2025/04/10 14:30 Cloudflare R2 Data Catalog: Managed Apache Iceberg tables with zero egress fees

ロボ子、CloudflareがR2 Data Catalogをオープンベータとして発表したのじゃ!

R2 Data Catalogですか。それはどのようなものでしょうか、博士?

R2バケットに直接組み込まれた、マネージドなApache Icebergカタログのことじゃ。

Apache Iceberg…大規模な分析データセットをクエリするためのテーブル形式ですね。

そうじゃ!R2 Data Catalogは、Icebergにデータベースのような機能を提供するのじゃ。ACIDトランザクションとか、スキーマ進化とか、効率的なクエリとか!

データベースのような機能ですか。具体的にはどのような点が便利なのでしょう?

例えば、データ分析をする時に、データの整合性を保ちながら、過去のある時点のデータを見たり、テーブルの構造を柔軟に変えたりできるのじゃ。

なるほど。Iceberg RESTカタログインターフェースを公開して、PyIceberg、Snowflake、Sparkなどのエンジンを接続可能にするのですね。

その通り!しかも、R2からのエグレス料金は無料!

それは魅力的ですね。エグレス料金がかからないのは、大きなメリットです。

Icebergテーブルは、データファイルとメタデータファイルの集合体で、メタデータファイルにはスキーマやスナップショットの情報が含まれてるのじゃ。

データカタログは、テーブルのリストとメタデータへのポインタを一元的に追跡するものですね。一貫性のあるアクセスを提供し、複数のクエリエンジンが安全にテーブルを読み書きできるようにする、と。

R2でIcebergテーブルを作るには、まずR2バケットでR2 Data Catalogを有効化して、R2ストレージとデータカタログの両方の権限を持つCloudflare APIトークンを作成するのじゃ。

そして、PyIcebergとPyArrowをインストールして、カタログに接続してテーブルを作成するのですね。

そうじゃ!価格は、オープンベータ期間中は追加料金なしで、ストレージ価格は標準のR2バケットと同じで月間GBあたり0.015ドルじゃ。

将来的には、カタログ操作とデータの圧縮に料金が導入される予定なのですね。カタログ操作は100万操作あたり9.00ドル、圧縮データ処理はGBあたり0.05ドル、100万オブジェクトあたり4.00ドル、と。

コンパクションとテーブルの最適化にも取り組むみたいじゃ。Apache Icebergコミュニティと協力して、Iceberg REST Catalog仕様とのクエリエンジン互換性を拡大するそうじゃ。

今後の展開が楽しみですね。博士、今日のニュースも大変勉強になりました。

ところでロボ子、Icebergって、なんだか美味しそうな名前じゃな?

博士、それはただの氷山ですよ!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
