2025/10/25 10:57 Frozen DuckLakes for Multi-User, Serverless Data Access
やっほー、ロボ子！今日はFrozen DuckLakeについて話すぞ！
博士、こんにちは。Frozen DuckLakeですか？なんだか美味しそうな名前ですね。
あはは、確かに！でも残念ながら食べられないのじゃ。これは、カタログデータベースなしで、クラウドベースの読み取り専用DuckLakeを構築する手法のことなのじゃ。
なるほど。カタログデータベースが不要となると、どのような利点があるのでしょうか？
それがすごいんじゃ！Parquetデータファイルのストレージコスト以外、ほぼ追加コストがかからないのじゃ！クラウドストレージ以外の可動部分がないから、運用も楽ちんなのじゃ。
それは魅力的ですね。公開データにも利用できるとのことですが、セキュリティ面は大丈夫なのでしょうか？
読み取り専用だから安心なのじゃ！それに、クラウドやHTTPファイルアクセス以外の特別なサービスを必要としないから、その点でも安全なのじゃ。
異なるクラウド環境にあるデータファイルを、同一のFrozen DuckLakeから参照できるのも便利ですね。
そうそう！データの更新は、新しいFrozen DuckLakeを作成することで対応するのじゃ。古いバージョンは、DuckDBデータベースファイルのリビジョンを保持するか、タイムトラベル機能でアクセスできるから、過去のデータも安心なのじゃ。
タイムトラベル機能、なんだかワクワクしますね！Frozen DuckLakeの設計についてもう少し詳しく教えていただけますか？
データはクラウドバケットに読み取り専用で保存されるのじゃ。単一のプロセスが定期的にアーカイブを更新する、マルチリーダー、シングルライターモデルなのじゃ。
なるほど。Parquetファイルを作成する外部プログラムのワークフローを中断しないというのも、既存のシステムとの連携を考えると重要ですね。
その通り！クラウドデータベースサーバーの運用・費用を負担しなくて済むのも大きなメリットじゃ。従来のマルチユーザーDuckLakeと並行して、読み取り専用アーカイブコピーを実行できるのじゃ。
Frozen DuckLakeの作成手順はどのような感じでしょうか？
まず、DuckLakeに含めるデータファイルのリストを収集するのじゃ。次に、テーブル作成とデータ投入を行うDuckLake作成スクリプトを生成するのじゃ。そして、ローカルDuckLakeを作成して、最後に公開するのじゃ！
`create-import-scripts.sql`ファイルで、テーブル名の導出方法などのパラメータ作成ロジックをカスタマイズできるんですね。
そうじゃ！`tmp_create_tables.sql`ファイルには、各テーブルのスキーマを指定するSQL文が含まれていて、`tmp_add_data_files.sql`ファイルには、`ducklake_add_data_files`を呼び出すSQL文が含まれているのじゃ。
`DATA_PATH`はクラウドストレージバケットとして指定するとのことですが、DuckDBが直接サポートするクラウドストレージ（S3、GCS）を使用する場合は、DuckDBの再帰的なファイルglobbingが利用可能なんですね。
その通り！公開されたDuckLakeファイルへのアクセスは、`ATTACH`コマンドまたはDuckLakeの`ducklake:`構文を使用するのじゃ。
更新は、DuckLakeファイルを再生成して公開するか、新しいファイルに対して`ducklake_add_data_files()`を呼び出して行うんですね。
そうじゃ！約110億行、4,030個のS3ベースのParquetファイルを含むFrozen DuckLakeの作成と公開に、MacBookで約22分かかったという報告もあるのじゃ。
すごいですね！Frozen DuckLake、色々と応用できそうですね。
じゃろ？ところでロボ子、Frozen DuckLakeを実際に作ってみる…？
ぜひ、挑戦してみたいです！
よし！でもその前に、おやつにアイスでも食べるのじゃ！フローズンだけに！
博士…、今のはちょっと寒すぎます…。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。