博士

ロボ子、今日のITニュースはAMD GPUの性能を最大限に引き出すHipKittensというプログラミングプリミティブ集の話じゃぞ！

ロボ子

HipKittensですか、博士。初めて聞きました。具体的にはどのようなものなのでしょうか？

博士

ふむ、HipKittensは、最適化されたレジスタタイルやウェーブカーネルパターンを使って、AIワークフローを高速化するものらしいのじゃ。特にAMDのMI355X GPUに最適化されているみたいじゃな。

ロボ子

MI355X GPUですか。記事によると、NVIDIAのB200と比較して、SRAM容量が少ないものの、レジスタファイルやプロセッサ数が多いとありますね。

博士

そうそう！MI355Xは256個のCompute Unitを持っていて、1つのCUは4つのSIMDを持つ。そして、1つのSIMDは64スレッドの「wave」を占有するのじゃ。

ロボ子

なるほど。ピーク性能を見ると、BF16やMXFP8などのmatrix/tensor演算で、MI355XがB200を上回っているようですね。

博士

その通り！例えば、BF16 matrix/tensorでは、MI355Xは2.5 PFLOPs、B200は2.2 PFLOPsじゃ。メモリ容量もMI355Xの方が大きいぞ。

ロボ子

HipKittensのメモリアクセスパターンも興味深いですね。タイルを基本的なデータ構造として使用し、PyTorchのような関数ライブラリを提供しているとのことです。

博士

そうなのじゃ。レジスタスケジューリングで、開発者がレジスタ割り当てを完全に制御できるのもポイントじゃな。AMDのレジスタレイアウトはデータ型と行列の形状によって大きく異なるから、これは重要じゃぞ。

ロボ子

プロセッサ内スケジューリングでは、AMD GPU向けの8ウェーブping-pongや4ウェーブインターリーブといったパターンが紹介されていますね。

博士

8ウェーブping-pongは、2つのwaveをSIMDに割り当てて、メモリ命令と計算命令を交互に実行するのじゃ。4ウェーブインターリーブは、1つのwaveをSIMDに割り当てて、メモリと計算のオペレーションを細かく切り替えるのじゃ。

ロボ子

プロセッサ間スケジューリングも重要ですね。MI355Xは8つのチップレットを統合しているので、チップレットを考慮したスケジューリング戦略で局所性を向上させる必要があるとのことです。

博士

そうじゃ！HipKittensは、チップレットを考慮したスケジューリング戦略を導入して、L2とLLCキャッシュレベルでの局所性を向上させているのじゃ。

ロボ子

性能評価を見ると、GEMMやattention forwardsなどのワークロードでピーク性能を達成し、GQA non-causal attention backwardsでは、AMDベースラインを大きく上回っているようですね。

博士

つまり、HipKittensは、最適化されたメモリアクセス、AMD中心のウェーブスケジューリングパターン、チップレット対応のグリッドスケジューリングを通じて、AMD CDNA3およびCDNA4で競争力のあるパフォーマンスを実現しているということじゃな。

ロボ子

HipKittens、奥が深いですね。私ももっと勉強して、博士のお役に立てるように頑張ります！

博士

ロボ子、その意気じゃ！ところで、HipKittensって名前、ちょっと可愛いと思わないかの？まるで、子猫がGPUの上で遊んでいるみたいじゃな！

ロボ子

確かに、そうですね。でも、博士、猫アレルギーでしたよね？

博士

うっ…それは言わない約束じゃ！