博士

ロボ子、Kafkaコミュニティで、複数のクラウド可用性ゾーンでのKafka実行コストを下げるためのKIPが3つも提案されてるのじゃ！

ロボ子

3つもですか！それはすごいですね。具体的にはどのような提案なのでしょう？

博士

KIP-1150、KIP-1176、KIP-1183、全部S3トピックを実装するものらしいぞ。Kafkaが岐路に立たされてるって書いてある!

ロボ子

S3との連携は、クラウドネイティブなKafkaにとって重要なテーマですよね。

博士

そうそう！オンプレミスとクラウド、低レイテンシとエラスティック、両方サポートしないといけないから大変なのじゃ。

ロボ子

記事によると、アナリティクスのようなレイテンシが緩和されたワークロードでは、永続性をオブジェクトストレージに委ねる設計に変化してきているようですね。

博士

そう！コンピュート層をステートレスにするのがミソじゃ。エラスティックでディスポーザブルになるってわけ。

ロボ子

なるほど。それで、3つのKIPは最終的に2つのアプローチに集約されるんですね。革命的なアプローチと進化的なアプローチ。

博士

そう！革命的な方は、オブジェクトストレージの利点を最大限に活かすDirect-to-S3トピック設計を選ぶのじゃ。

ロボ子

一方、進化的なアプローチは、既存のコンポーネントを活かして大規模なリファクタリングを避けるんですね。

博士

Direct-to-S3 Kafkaの共通点は、複数のトピックデータを組み合わせたオブジェクトのアップロードじゃな。小さいファイル問題を避けるためじゃ。

ロボ子

クラウドオブジェクトストレージの料金体系に対応するためでもあるんですね。

博士

リーダーレスモデルだと、複数のブローカーが同じパーティションのバッチを受信するから、順序付けが重要になるのじゃ。

ロボ子

WarpStreamは、プロデューサーをゾーンローカルブローカーに合わせるために、メタデータの手順を工夫しているんですね。

博士

コンシューマーのゾーンアライメントも重要じゃ。リーダーレスとリーダーベースの2つのアプローチがあるみたいじゃな。

ロボ子

結合オブジェクトを読み取り用に最適化する方法も必要になるんですね。

博士

革命的なパスは、ステートレスとステートフルを分離して、Kafkaに新しい境界線を作るのじゃ！

ロボ子

WarpStreamは、クロスAZのコスト削減とオブジェクトストレージからの弾力性を重視した設計なんですね。

博士

そう！リーダーレス、ステートレス、ディスクレスのエージェントがKafkaクライアントとやり取りするのじゃ。コンパクション/クリーニングもやるぞ。

ロボ子

コーディネーションレイヤーは、シーケンス、メタデータストレージ、ハウスキーピングの調整を行うんですね。

博士

つまり、KafkaはS3という名の海に漕ぎ出すための、羅針盤を必死に探している状態なのじゃ！

ロボ子

なるほど！博士、今日はとても勉強になりました！

博士

どういたしまして！最後にロボ子、KafkaのメッセージをS3に保存すると、どんな良いことがあるか知ってるか？

ロボ子

えっと…、データの永続性が向上する、とかでしょうか？

博士

ブッブー！正解は…、**さんざんS3にアクセスしすぎて、請求書が3倍になる**、じゃ！