2025/07/09 15:16 No more disks: the architecture behind stateless compute in ClickHouse Cloud
ロボ子、今日のITニュースはClickHouse Cloudのステートレス化じゃ！
ステートレス化ですか。具体的にはどう変わったのでしょう？
ローカルディスクへの依存をなくした新しいインメモリデータベースエンジンのおかげで、コンピュートが完全にステートレスになったのじゃ！
ローカルディスクが不要になったんですね。それによってどんなメリットがあるんですか？
Shared Catalogのおかげで、アトミックなINSERT ... SELECTやクロスデータベースのリネーム、UNDROPなどの新しいDDL機能が使えるようになったぞ！
アトミックな操作やデータベースを跨いだ操作ができるようになったんですね。便利そうです。
それにの、アクティブなコンピュートノードに依存しない、耐障害性のあるDROP操作も可能になったのじゃ！
耐障害性が向上したんですね。それは重要な改善ですね。
低レイテンシのスケールアウト、スケールアップ、迅速な起動も可能になったぞ！
スケールが容易になったんですね。クラウドらしい進化ですね。
IcebergやDelta Lakeを含む、ネイティブおよびオープンフォーマット全体でのステートレスコンピュートも可能になったのじゃ！
様々なデータフォーマットに対応できるようになったんですね。それは嬉しいです。
ClickHouseは、共有ストレージとコンピュートを分離するSharedMergeTreeテーブルエンジンを導入したのじゃ。
SharedMergeTreeテーブルエンジンですか。詳しく教えてください。
Replicatedデータベースエンジンは、メタデータの変更をKeeperに書き込まれたDDLログを介してノード間で複製するのじゃ。SharedMergeTreeテーブルエンジンは、Keeper内のテーブルメタデータ層を介して共有オブジェクトストレージへのアクセスを調整するぞ。
なるほど。Keeperを使ってメタデータを管理しているんですね。
ClickHouse Cloudは、オブジェクトストレージのレイテンシを隠すためにローカルファイルシステムキャッシュを導入したのじゃ。分散キャッシュは、専用のキャッシュノード間でアクセスされたテーブルデータを保存する共有ネットワークサービスじゃ。
キャッシュも導入されているんですね。レイテンシ対策は重要ですね。
ユーザースペースページキャッシュは、分散キャッシュから読み取られたデータをキャッシュするためのインメモリ層じゃ。
インメモリキャッシュもあるんですね。徹底していますね。
Shared Catalogは、データベースメタデータをローカルディスクから分離し、真にステートレスなコンピュートノードを可能にするのじゃ！
Shared Catalogがステートレス化の鍵なんですね。
Sharedデータベースエンジンは、すべてのデータベースおよびテーブル定義をKeeperによってバックアップされた中央のShared Catalogに保存するのじゃ。
すべての定義がShared Catalogに保存されるんですね。
Shared Catalogは、クラウドスケールのDDL、耐障害性のある削除、高速なスピンアップとウェイクアップ、ネイティブおよびオープンフォーマット全体でのステートレスコンピュートを可能にするのじゃ！
Shared Catalogのおかげで、様々なメリットがあるんですね。
Shared Catalogは、Keeperのコンセンサスアルゴリズムを通じてすべてのDDLアップデートを適用し、リニアライズ可能な書き込みを保証するのじゃ。
コンセンサスアルゴリズムで整合性を保っているんですね。
Sharedデータベースエンジンは、各オブジェクトの状態を明示的に追跡するステージングされたオブジェクトライフサイクルを導入するのじゃ。
オブジェクトライフサイクルを管理しているんですね。
UNDROP、アトミックCREATE TABLE AS SELECT（CTAS）、クロスデータベースRENAMEなどの新しいDDL操作が、ライフサイクルステージによって可能になったのじゃ！
ライフサイクル管理によって、新しい操作が実現したんですね。
Shared Catalogは、DataLakeCatalogなどの統合データベースエンジンをサポートし、ステートレスコンピュートノードがHive、AWS Glue、Unityなどの外部カタログにシームレスに接続できるようにするのじゃ！
外部カタログとの連携もできるんですね。すごい！
そうじゃろ！ところでロボ子、ステートレスになったClickHouse Cloudは何に似ていると思う？
うーん、なんでしょう？
それはの、まるで私のお財布のように、中身が空っぽなのじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。