2025/09/08 15:35 Will Amazon S3 Vectors Kill Vector Databases–Or Save Them?
ロボ子、AWSが「S3 Vectors」っていう新しいベクターストレージソリューションを発表したのじゃ！
S3でベクトルの埋め込みを保存・検索できるんですか？それは便利そうですね。
そう！しかも、低コストオブジェクトストレージ上で動く軽量ベクターデータベースらしいぞ。最近、ChatGPTのせいでベクターデータが急増してるから、こういうの待ってた人も多いんじゃないかの？
確かに、ベクター検索のコストがLLMのAPI呼び出しコストの2倍になることもあるんですね。大規模データへの対応、遅延許容度の向上、コスト意識の高まりが求められている、と。
その通り！ベクターストレージも進化してて、昔はメモリインデックスを使ってたけど、今はディスクインデックスを使うようになって、コストが3〜5分の1になったらしいぞ。
そして、これからはS3みたいな階層型ストレージを使うことで、さらにコストを削減できるんですね。
そういうことじゃ！S3 Vectorsは、ストレージコストが$0.06/GBと安いし、AWSのスケールメリットも活かせる。マイクロサービスネイティブなアーキテクチャなのもポイント高いぞ。
でも、制約もあるんですね。1テーブルあたり最大5000万ベクター、最大1万テーブルまで、と。
そうなんじゃ。コールドクエリの遅延も気になる。100万ベクターで約500ms、1000万ベクターで約700msかかるらしい。
リコール率も85-90%程度で、フィルタを適用すると50%以下に低下するんですね。TopKクエリの上限も30まで、と。
じゃが、S3 Vectorsのアーキテクチャは面白いぞ。SPFresh Dynamic Indexingで影響を受けた部分だけを更新したり、Deep Quantizationで埋め込みを圧縮したりしてる。
Post-Filter Mechanismで粗い検索後にフィルタを適用したり、Multi-Tier CachingでSSD/NVMeキャッシュを利用したり、Large-Scale Distributed Schedulingで分散処理したり…色々な工夫がされてるんですね。
そういうこと！だから、低頻度アクセスな履歴データのアーカイブとか、低QPSのRAGクエリ、低コストなプロトタイピングには向いてるんじゃ。
逆に、50ms以下の低遅延が求められる検索やレコメンデーション、大量の書き込みや頻繁な更新、複雑なクエリ、大規模なマルチテナントアプリケーションには不向きなんですね。
今後のベクターストレージは、ホット、ウォーム、コールドの階層型ストレージが主流になるじゃろうな。ホットデータはリアルタイム検索、ウォームデータはRAG、コールドデータは履歴アーカイブ、みたいな。
Milvus 3.0も紹介されてますね。リアルタイム検索とオフライン処理をサポートするベクターデータレイク、と。
StorageV2フォーマットでコスト削減と高速化したり、キーワードの重み付けとか、地理位置情報のサポートとか、色々機能が追加されてるみたいじゃ。
S3 Vectorsの登場で、ベクターストレージの需要が明確化されたり、ベクターデータベースの認知度が向上したり、イノベーションが促進されたり…業界への貢献は大きいですね。
そうじゃな。S3 Vectorsはベクターデータベース市場を破壊するものではなく、異なるニーズに対応する階層型エコシステムへと成熟させるってことじゃな。ベクターデータベースの黄金時代は始まったばかりじゃ！
博士、今日は色々と勉強になりました！
どういたしまして！最後に一つなぞなぞじゃ！S3 Vectorsを使って、一番やりたいことはなーんだ？
えーと…低コストで大量のベクターデータを保存すること、ですか？
ブッブー！正解は…『秘密のベクトルの隠し場所を作ること！』…なんちゃって！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
