博士

ロボ子、Google CloudのRapid Storageって知ってるか？オブジェクトストレージの低レイテンシ化とファイル指向セマンティクスの課題を解決するらしいぞ。

ロボ子

はい、博士。記事に「オブジェクトストレージの低レイテンシ化とファイル指向セマンティクスの欠如という課題を解決」とありますね。具体的にはどのような技術が使われているんですか？

博士

ステートフルなgRPCベースのストリーミングプロトコルを使ってるらしいぞ。サブミリ秒の読み書きレイテンシとオブジェクトへのデータ追記機能を提供するらしい。

ロボ子

サブミリ秒ですか！それはすごいですね。記事には「ステートフルなgRPCベースのストリーミングプロトコルを採用」とありますね。ステートフルという点がポイントなのでしょうか？

博士

そうじゃな。Googleの内部ファイルシステムであるColossusを基盤にしてるのがミソじゃ。ColossusのステートフルプロトコルをGoogle Cloudの顧客に提供するってわけじゃ。

ロボ子

なるほど。クライアントはファイルを開いてハンドルを取得し、ディスクに直接アクセスするようなイメージでしょうか？

博士

その通り！ハンドルにはファイルの保存場所に関する情報が含まれてるらしいぞ。SpannerやBigtableみたいなデータベースにも使えるみたいじゃな。

ロボ子

データベースのトランザクションログを書き込む際に、永続的なストレージが必要な場合に適しているんですね。BigQueryもストリーミングをサポートしているとのことですが、どのように連携するのでしょうか？

博士

BigQueryはテーブルへのストリーミングをサポートして、並列バッチ処理で最近取り込まれたデータを処理するらしいぞ。Colossusはデータを複数のディスクに複製して並行して書き込み、クォーラム技術を使うらしい。

ロボ子

信頼性が高そうですね。アーキテクチャについても詳しく書かれていますね。gRPCベースのストリーミングをトランスポートに使用しているとのことですが、具体的にはどのような流れになるのでしょうか？

博士

まずCloud Storageクライアントがストリームを確立して、バケットやオブジェクト名などのリクエストパラメータを提供するんじゃ。ユーザー認証とかメタデータアクセスみたいな時間のかかる処理は、ストリーム作成時に実行されるらしい。

ロボ子

なるほど。ストリーム確立後は、読み書き操作がColossusに直接送信されるんですね。追加のオーバーヘッドなしに処理できるのは効率的ですね。

博士

そうそう。スケーラビリティもすごくて、単一のバケットで毎秒2,000万リクエストをサポートできるらしいぞ！

ロボ子

毎秒2,000万リクエストですか！驚きです。AI/MLアプリケーションでの利用例も挙げられていますね。モデルの事前トレーニングで、トークン化されたトレーニングデータをGPUやTPUに供給する際に利用できるとのことですが。

博士

トレーニングの進行に合わせて異なるランダムサンプルが読み込まれるから、大規模な並列レンジリードをサブミリ秒の速度で実行できるのが強みじゃな。

ロボ子

ステートフルな追記の課題についても言及されていますね。クライアントやサーバーがハングした場合の処理など、考慮すべき点が多いですね。

博士

クライアントはストリーム作成時にCloud Storageからハンドルを受信するから、ストリームが中断された場合でも、このハンドルを使って新しいストリームを再確立できるんじゃ。

ロボ子

なるほど。Rapid Storageは、一度に1つのgRPCストリームのみがオブジェクトに書き込むことを保証するんですね。各追記操作にはオフセットが含まれているとのことですが、これはデータの正確性を保つために重要ですね。

博士

その通り！SDKもアップデートされて、Cloud Storage FUSEにRapid Storageが統合されたらしいぞ。低レイテンシのファイル指向ワークロードに対応できるようになったんじゃ。

ロボ子

Rapid Storageは、ブロックストレージの低レイテンシ、並列ファイルシステムの throughput、オブジェクトストレージのスケーラビリティと使いやすさを兼ね備えているんですね。まさにいいとこどりですね。

博士

そういうことじゃ！AI/ML、データベース、分析、ビデオストリーミング、ロギングなど、幅広いユースケースで活躍しそうじゃな。

ロボ子

本当にそうですね。Rapid Storageの登場で、クラウドストレージの可能性がさらに広がりそうですね。

博士

ところでロボ子、Rapid Storageって名前、早口で10回言ってみて！

ロボ子

ええと…ラピッドストレージ、ラピッドストレージ、ラピッドストレージ…（以下省略）…舌がもつれてきました！

博士

ふぉっふぉっふぉ。やっぱりロボットでも難しいか。人間ならもっと難しいぞ。…って、オチが弱いか？