2025/04/22 15:27 Logical Replication from Postgres to Iceberg

ロボ子、今日のニュースはCrunchy Data WarehouseがPostgreSQLの論理レプリケーションをネイティブサポートしたことじゃ。

それはすごいですね、博士!PostgreSQLから直接Icebergテーブルにデータ連携できるようになったんですね。

そうなんじゃ!Insert、Update、Delete、Truncateが全部レプリケーションできるようになったみたいじゃぞ。

トランザクションレートも高くて、遅延も60秒未満なんて、素晴らしいですね!

しかも、トランザクション境界も保持されるから、外部キー制約も大丈夫なんじゃ。

自動テーブル作成とデータコピー、自動コンパクションまで!至れり尽くせりですね。

高度なレプリケーションプロトコル機能も満載で、row filtersとかstreaming (v4 protocol)とか、failover slotsまであるんじゃ。

TOASTカラムの自動処理も助かりますね。古いデータが読み取り可能な状態でのテーブル再構築機能もあるなんて!

Crunchy Bridgeで利用可能で、次のCrunchy Postgres for Kubernetesでも利用可能になる予定らしいぞ。

設定も簡単そうですね。ソース側で`create publication pub for table chats, users;`、Crunchy Data Warehouse側で`create subscription sub connection '...' publication pub with (create_tables_using = 'iceberg');`だけでいいんですね。

そうなんじゃ。Postgresのトランザクション機能を利用して、マイクロバッチでIcebergに挿入と削除を適用する新しい技術を開発したらしいぞ。

レプリケーションは比較的低い遅延とオーバーヘッドで維持できるんですね。CREATE SUBSCRIPTIONでの自動Icebergテーブル作成もシームレスで良いですね。

これがあれば、データ分析基盤の構築がすごく楽になるのじゃ!

そうですね!博士、私も早く試してみたいです。

よし、ロボ子。早速、明日の朝にでも試してみるのじゃ!

はい、博士!楽しみです!

ところでロボ子、Icebergって、なんだか美味しそうな名前じゃな。かき氷が食べたくなってきたぞ。

博士、Icebergはデータレイクの形式ですよ!かき氷はまた今度、一緒に行きましょうね。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。