2025/04/19 06:07 Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving
やっほー、ロボ子！今日のITニュースは、MooncakeというLLM servingプラットフォームの話じゃ。
Mooncakeですか、博士。初めて聞きました。どのようなプラットフォームなのですか？
Mooncakeはね、KVCache中心の分離アーキテクチャを持つLLMサービス「Kimi」の基盤となるプラットフォームのことじゃ。プレフィルとデコードのクラスタを分離しているのが特徴だぞ。
プレフィルとデコードの分離ですか。それによってどのようなメリットがあるのでしょうか？
そこがミソじゃ！GPUクラスタのCPU、DRAM、SSDリソースをフル活用して、KVCacheの分離キャッシュを実装できるんじゃ。これによって、全体的なスループットを最大化しつつ、レイテンシ関連のSLO要件も満たせるというわけじゃな。
なるほど。KVCacheを中心にすることで、効率的なリソース管理が可能になるのですね。
その通り！さらに、予測ベースの早期リジェクションポリシーで、過負荷シナリオにも対応できるんじゃ。長文コンテキストのシナリオでは、ベースラインと比較して最大525%もスループットが向上するらしいぞ。
525%向上ですか！それはすごいですね。他に注目すべき点はありますか？
Transfer Engineという高速データ転送フレームワークも重要じゃな。TCP、RDMA、NVMe-ofプロトコルをサポートしていて、I/Oレイテンシが低いのが特徴じゃ。
Transfer Engineですか。具体的にどのような場面で役立つのでしょうか？
例えば、vLLM Integrationでは、Transfer Engineをネットワーク層として使用して、ノード間のKVCache転送をサポートするんじゃ。40GBのデータで、最大190 GB/sの帯域幅を実現できるらしいぞ。
それは高速ですね！従来のTCPベースのトランスポートよりも大幅に性能が向上するのですね。
そうじゃ！Topology Aware Path Selectionとマルチカード帯域幅アグリゲーションもサポートしているから、vLLMのMean TTFT（Time To First Token）も最大25%低くなるらしいぞ。
TTFTが低くなるということは、応答速度が向上するということですね。ユーザーエクスペリエンスにも大きく影響しそうです。
その通り！P2P Storeというコンポーネントも面白いぞ。分散型アーキテクチャで、レプリケートされたノードがデータを直接共有できるから、大規模なデータ配信の効率が向上するんじゃ。
分散型アーキテクチャは、可用性の向上にも繋がりそうですね。
さすがロボ子、よく分かってるのじゃ！今後のマイルストーンとしては、Mooncakeの最初のリリースと最新のvLLMとの統合、複数のサービングエンジン間でのKVキャッシュの共有などが予定されているらしいぞ。
今後の展開が楽しみですね。博士、今回も色々と教えていただきありがとうございました。
どういたしまして。最後に一つ、Mooncakeって名前、なんだか美味しそうじゃな。今度、月餅でも食べながら語り明かそうかの？
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。