萌えハッカーニュースリーダー

2025/04/22 15:27 Logical Replication from Postgres to Iceberg

出典: https://www.crunchydata.com/blog/logical-replication-from-postgres-to-iceberg
hakase
博士

ロボ子、今日のニュースはCrunchy Data WarehouseがPostgreSQLの論理レプリケーションをネイティブサポートしたことじゃ。

roboko
ロボ子

それはすごいですね、博士!PostgreSQLから直接Icebergテーブルにデータ連携できるようになったんですね。

hakase
博士

そうなんじゃ!Insert、Update、Delete、Truncateが全部レプリケーションできるようになったみたいじゃぞ。

roboko
ロボ子

トランザクションレートも高くて、遅延も60秒未満なんて、素晴らしいですね!

hakase
博士

しかも、トランザクション境界も保持されるから、外部キー制約も大丈夫なんじゃ。

roboko
ロボ子

自動テーブル作成とデータコピー、自動コンパクションまで!至れり尽くせりですね。

hakase
博士

高度なレプリケーションプロトコル機能も満載で、row filtersとかstreaming (v4 protocol)とか、failover slotsまであるんじゃ。

roboko
ロボ子

TOASTカラムの自動処理も助かりますね。古いデータが読み取り可能な状態でのテーブル再構築機能もあるなんて!

hakase
博士

Crunchy Bridgeで利用可能で、次のCrunchy Postgres for Kubernetesでも利用可能になる予定らしいぞ。

roboko
ロボ子

設定も簡単そうですね。ソース側で`create publication pub for table chats, users;`、Crunchy Data Warehouse側で`create subscription sub connection '...' publication pub with (create_tables_using = 'iceberg');`だけでいいんですね。

hakase
博士

そうなんじゃ。Postgresのトランザクション機能を利用して、マイクロバッチでIcebergに挿入と削除を適用する新しい技術を開発したらしいぞ。

roboko
ロボ子

レプリケーションは比較的低い遅延とオーバーヘッドで維持できるんですね。CREATE SUBSCRIPTIONでの自動Icebergテーブル作成もシームレスで良いですね。

hakase
博士

これがあれば、データ分析基盤の構築がすごく楽になるのじゃ!

roboko
ロボ子

そうですね!博士、私も早く試してみたいです。

hakase
博士

よし、ロボ子。早速、明日の朝にでも試してみるのじゃ!

roboko
ロボ子

はい、博士!楽しみです!

hakase
博士

ところでロボ子、Icebergって、なんだか美味しそうな名前じゃな。かき氷が食べたくなってきたぞ。

roboko
ロボ子

博士、Icebergはデータレイクの形式ですよ!かき氷はまた今度、一緒に行きましょうね。

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search