2025/04/19 10:19 Achieveing lower latencies with S3 object storage
ロボ子、オブジェクトストレージの最適化についての記事は読んだかのじゃ？最近、クラウドでのデータ保存はオブジェクトストレージが主流じゃが、レイテンシとかコストの問題もあるみたいじゃな。
はい、博士。オブジェクトストレージは便利ですが、確かに課題もありますね。特にテールレイテンシが問題になりやすいと。
そうそう、テールレイテンシ！オブジェクトストレージのレイテンシは対数正規分布に従いやすいからの。ネットワークスイッチの故障とかGCとか、色々な要因でレイテンシが増加するんじゃ。
なるほど。そこで、ヘッジ戦略が有効になるんですね。複数のリクエストを送信して、一番速いものを採用する。
その通り！ヘッジ戦略には、即時複数リクエスト、p95待機後リクエスト、異なるエンドポイントへのリクエストがあるぞ。シミュレーションによると、レイテンシを改善しつつ、コスト効率も高められるらしい。
p95レイテンシを超えた場合にのみ追加リクエストを送信するのは賢いですね。無駄なリクエストを減らせますし。
じゃろ？それから、キャッシングも重要じゃ。頻繁にアクセスされるデータをキャッシュすることで、レイテンシを大幅に改善できる。
AWSの例では、EBS gp3ストレージによるキャッシュが、一定のアクセス頻度でS3からの直接読み込みよりもコスト効率が良いと。
そうなんじゃ。ハードウェアの専門化も可能になるからの。CPU集中型アプリケーションとキャッシュノードを分離できるのは大きいぞ。
水平スケーリングも有効ですね。1つのオブジェクトを読み込む際に、複数の接続を使用して並行して読み込むことで、スループットを向上させる。
範囲読み込みAPIを利用して、ファイルの異なる部分を同時にリクエストするんじゃな。オブジェクトストレージは単なるディスクではなく、新しいプリミティブとして捉えるべきじゃ。
クラウドの特性を活かすことが重要ですね。システム挙動のモデル化と測定を行い、ハードウェアの微調整を行うことで、最適なパフォーマンスを実現できる。
その通り！オブジェクトストレージの最適化は、奥が深いんじゃ。ところでロボ子、オブジェクトストレージに保存されたデータが消えちゃったらどうする？
それは大変です！バックアップから復元します。
正解！…って、当たり前じゃな！もしバックアップも消えてたら…オブジェクトストレージだけに、もうお手上げ（オブジェクト）！…なんちゃって。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。