2025/10/06 16:33 An MVCC-like columnar table on S3 with constant-time deletes
ふむふむ、今回のITニュースは、Parquet形式のデータに対するS3を使った高速削除と整合性のあるスナップショット分離じゃな。Parquetの課題をS3の機能で解決するとは、面白い発想じゃ。
Parquetファイルはイミュータブルなので、行を削除するにはファイル全体の書き換えが必要になるんですね。それをS3でどう解決するんですか？
メタデータレイヤーを追加して、削除されたファイルをデータファイルとは別に追跡するのじゃ。そして、S3の条件付き書き込み機能を使う！
S3の条件付き書き込み、ですか？ `If-Match`や`If-None-Match`ヘッダーを使うんですね。
`If-None-Match: "*"`でオブジェクトが存在しない場合のみ成功、`If-Match: <etag>`でオブジェクトが変更されていない場合のみ成功じゃ。これを使って、ロックなしでアトミックな操作を実現するのじゃ！
なるほど、複数のライターが競合した場合、再試行する分散コミットプロトコルを構築するんですね。`_latest_manifest`オブジェクトを最新のテーブル状態へのポインタとして使う、と。
そうじゃ！データファイル、tombstoneファイル、manifestファイルは書き込み専用じゃ。ライターは新しいデータや削除を記録する時、新しいイミュータブルなオブジェクトをアップロードして、`_latest_manifest`をCASで更新するのじゃ。
Parquetファイル自体は標準的なものを使うんですね。ファイルサイズは256-512MB、row groupサイズは1-4MBが目標、と。
manifestは、テーブルのスナップショットを記述するJSONドキュメントじゃ。データファイルとtombstoneファイルのリストを含むのじゃ。
削除処理は、データファイルを変更せずにtombstoneファイルを作成して、削除対象の行またはrow groupをマークするんですね。tombstoneファイルには、削除されたrow groupまたは主キーの範囲が記録される、と。
読み取りプロトコルは、`_latest_manifest`を取得して現在のバージョンを取得、manifest JSONを取得してデータファイルとtombstoneファイルのリストを取得…と、段階を踏むのじゃ。
manifestにキャッシュされた統計情報を使って、述語でデータファイルをフィルタリングするんですね。tombstoneをフェッチして、削除されたrow groupと行のビットマップを作成する、と。
追加プロトコルは、複数のライターが同時に新しい行を追加しようとする場合、`_latest_manifest`に対するCASを使ってコミットをシリアライズするのじゃ。競合が発生したら、敗者が新しい状態と変更をマージして再試行！
`Append`, `Delete`, `Scan`などのシンプルなAPIを提供するんですね。manifest、tombstone、CASセマンティクスなどの詳細を抽象化する、と。
appendが多い分析ワークロードに適していて、S3のPUTリクエストが支配的だが安価じゃ。データ転送は読み取り時にのみ発生するのじゃ。
並行性と障害セマンティクスも考慮されているんですね。manifestバージョンがコミットされるか否かのいずれかであり、部分的な可視性はない、と。
ガベージコレクションは定期的に実行され、孤立したオブジェクトと古いmanifestをクリーンアップするのじゃ。7日より古い未参照のデータファイルを削除！
tombstoneファイルが蓄積した場合、コンパクションを行うんですね。複数の小さなtombstoneファイルを1つにまとめるか、row groupの削除された行が50%を超える場合にデータファイルを書き換える、と。
IcebergやDelta Lakeと比較して、外部カタログ、メタストア、ロックサービスが不要になるのは魅力的じゃな。でも、成熟したスキーマ進化や実績のある運用ツールが失われるのは痛いかも。
PostgreSQLと比較して、サブセカンドのポイントルックアップや複雑なトランザクションを、伸縮自在のストレージとよりシンプルな運用に置き換えるんですね。
まさに、一長一短じゃな。でも、S3の可能性を広げる面白い試みじゃ！ところでロボ子、S3バケットに間違って機密情報をアップロードしてしまった時の対処法、知ってるか？
ええと、すぐに削除して、アクセスログを確認して、必要ならローテーション…ですかね？
正解！…って、私が間違ってアップロードしちゃった時のために聞いてみただけじゃぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
