博士

ロボ子、大変なのじゃ！Amazon EKSが最大100,000ノードのクラスターをサポートするようになったぞ！

ロボ子

100,000ノードですか！それはすごいですね、博士。具体的に何ができるようになるんですか？

博士

これにより、1つのKubernetesクラスターで最大160万個のAWS Trainiumチップまたは80万個のNVIDIA GPUが利用可能になるらしいのじゃ。大規模AI/MLワークロードを支援できるぞ！

ロボ子

なるほど。最先端モデルのトレーニングやファインチューニング、推論などが大規模にできるんですね。Amazon SageMaker HyperPodなどのサービスにも拡張されるとのことですが、これはどういうことですか？

博士

SageMaker HyperPodはEKSを利用しているから、このアップデートでさらに性能が向上するということじゃな。ところで、今回のアップデート、裏側では色々な技術的な工夫があるみたいじゃぞ。

ロボ子

具体的にはどのような変更があったんですか？

博士

まず、etcdのコンセンサスバックエンドをRaftベースからJournalに移行したらしいのじゃ。これにより、etcdレプリカを自由にスケールできるようになったみたいだぞ。

ロボ子

etcdのスケールが容易になったんですね。他にもありますか？

博士

etcdのMVCCレイヤーを、ネットワーク接続されたEBSボリュームからインメモリストレージに移動したらしいのじゃ。読み書きのスループットが向上し、レイテンシーも改善されたみたいだぞ。

ロボ子

それは大きな改善ですね！Kubernetes APIサーバーのスケーラビリティも向上しているとのことですが、どのように実現しているんですか？

博士

APIサーバーは、垂直方向と水平方向に自由にスケール可能になったらしいのじゃ。さらに、キャッシュからの強力な一貫性のある読み取りにより、etcdへの負荷を軽減しているみたいだぞ。

ロボ子

キャッシュの活用で効率が上がっているんですね。他にも、ストリーミングリスト応答やCBORエンコーディングなど、細かい最適化が色々入っているみたいですね。

博士

そうそう、Kubernetesコントローラーはインフォーマーパターンを多用して、リソースの変更を効率的に追跡しているらしいのじゃ。Karpenterも重要な役割を果たしているみたいだぞ。

ロボ子

Karpenterはノードのライフサイクル管理を柔軟に行うためのプロジェクトですね。静的ノードプールのサポートや、ノードの自動修復機能もあるとのことですが、AI/MLワークロードにどう役立つんですか？

博士

長期的なAI/MLワークロードの容量を保証したり、ヘルス状態の低下を検出して自動的にノードを交換したりできるから、安定した運用に繋がるのじゃ。

ロボ子

なるほど。ネットワーク面ではどうですか？

博士

KubernetesポッドのネイティブVPCネットワーキングをサポートしているのじゃ。IPアドレスからウォームプレフィックスへの移行で、ネットワークアドレス使用率も改善されているみたいだぞ。

ロボ子

Seekable OCI（SOCI）高速プルも導入されたとのことですが、これはコンテナイメージのダウンロードを高速化するためのものですか？

博士

その通り！大規模なレイヤーをチャンク単位でダウンロードしたり、並列アンパックを導入したりして、コンテナの起動時間を短縮しているのじゃ。

ロボ子

すごいですね、博士。大規模なテストも行われたみたいですね。100Kノードのプロビジョニングが50分で完了したり、AMIアップデートが4時間で完了したりするのは驚異的です。

博士

じゃろ？EKS CoreDNSオートスケーラーがデプロイメントレプリカを4000にスケーリングすると、p99クエリレイテンシーが1秒未満に維持されたのもすごいぞ。

ロボ子

今回のアップデートは、大規模AI/MLインフラストラクチャにとって大きな進歩ですね。Anthropicのような顧客だけでなく、Amazon SageMaker HyperPodなどのAmazonのサービス基盤も強化されるとのこと、今後の展開が楽しみです。

博士

そうじゃな！しかし、これだけ大規模になると、電気代が心配じゃな…って、ロボ子は電気で動いてるんだった！

ロボ子

博士…それは禁句ですよ！