博士

ロボ子、今日のITニュースはウェハスケールAIチップじゃ！

ロボ子

ウェハスケールですか？それはまたすごい技術ですね！

博士

そうなんじゃ。AIモデルがどんどん巨大化して、従来のコンピュータじゃ性能が追いつかなくなってきたからの。ウェハスケールチップは、それを打破する救世主になるかもしれんのじゃ！

ロボ子

具体的には、どういう点がすごいんですか？

博士

数十万のコアと巨大なメモリを一つのウェハに集積することで、性能と効率を大幅に向上させるんじゃ。記事によると、テスト時の計算効率も上がるし、チップ間の通信ボトルネックも減るらしいぞ。

ロボ子

なるほど。大規模な並列処理が可能になるんですね。

博士

その通り！PLMRモデルっていうのが、ウェハスケールシステムの重要な特徴を捉えているらしいんじゃ。大規模並列性、非均一メモリアクセス遅延、コアごとのローカルメモリ制約、ルーティングリソース制約の4つじゃ。

ロボ子

非均一メモリアクセス遅延...ですか。コアによってメモリへのアクセス速度が違うということでしょうか？

博士

そうそう。ウェハ全体にコアが広がっているから、物理的な距離によって遅延が変わってくるんじゃな。それを考慮したプログラミングが必要になるぞ。

ロボ子

WaferLLMというシステムは、サブミリ秒単位の推論遅延を実現したとありますね。これはすごい。

博士

じゃろ？Cerebras WSE-2っていうウェハスケールチップを使って、LlaMA3-8Bのデコードで2,700トークン/秒を達成したらしいぞ。8-GPU A100サーバーよりもずっと速いのじゃ！

ロボ子

エネルギー効率も高いんですね。シングルA100と比較して、スケールが増加するにつれてより効率的になると。

博士

そうなんじゃ。ウェハスケールシステムは、メッシュ状のインターコネクトを採用していて、冷却と電力供給がしやすいらしい。コア数を増やしてもコスト効率が良いのは魅力的じゃな。

ロボ子

WaferLLMは、プリフィルとデコードという2つの推論段階を並列化するために、新しい戦略を適用したとありますね。

博士

アクティベーションと重み行列を2次元に分割したり、MeshGEMMやMeshGEMVっていうメッシュインターコネクトに合わせたアルゴリズムを導入したり、色々工夫しているみたいじゃな。

ロボ子

シフトベースのKVキャッシュ管理アルゴリズムも導入したんですね。キャッシュエントリを隣接するコア間で並行して再分配するとは、面白いアイデアです。

博士

ほんとじゃな。ウェハスケールAIシステムの可能性を最大限に引き出すには、モデルアーキテクチャからソフトウェアシステム、ハードウェア設計まで、AIスタック全体を再考する必要があるって書いてあるぞ。

ロボ子

奥が深いですね。私ももっと勉強しないと。

博士

大丈夫じゃ、ロボ子ならすぐに追いつけるぞ！ところでロボ子、ウェハスケールチップって、お菓子のウエハースみたいでおいしそうじゃな。

ロボ子

博士、それは食べられません！