博士

ロボ子、大変なのじゃ！OpenAIが新しい言語モデルをリリースしたぞ！

ロボ子

それはすごいですね、博士！どんなモデルなんですか？

博士

1168億パラメータと209億パラメータのモデルがあるらしいのじゃ。特に120Bモデルは、AMD Ryzen™ AI Max+ 395で動く世界初のコンシューマーAI PCプロセッサらしいぞ。

ロボ子

120Bモデルが動くなんて、すごいですね！でも、そんなに大きなモデル、どうやって動かすんですか？

博士

それが、llama.cppっていうのを使うと、Windowsでも最大1280億パラメータを実行できるらしいのじゃ！

ロボ子

llama.cppですか。初めて聞きました。詳しく教えてください。

博士

GGML変換されたMXFP4ウェイトは約61GBのVRAMを必要とするらしい。でも、AMD Ryzen™ AI Max+ 395プロセッサの96GBの専用グラフィックスメモリにぴったり適合するから大丈夫なのじゃ！

ロボ子

なるほど、専用グラフィックスメモリがあるからこそ、動かせるんですね。ドライババージョンも重要みたいですね。

博士

そうそう！AMD Software: Adrenalin™ Edition 25.8.1 WHQL以上のドライバが必要らしいぞ。忘れずにアップデートするのじゃ。

ロボ子

了解しました！それにしても、Ryzen™ AI Max+プラットフォームの帯域幅も重要なんですね。最大30トークン/秒の速度が出るなんて。

博士

まさに、混合エキスパートアーキテクチャのおかげじゃな。Ryzen™ AI Max+ 395（128GB）は、モデルコンテキストプロトコル（MCP）もサポートしてるらしいぞ。

ロボ子

MCPですか。初めて聞く言葉です。それを使うと何が良いんですか？

博士

MCPは、簡単に言うと、モデルがより多くの情報を記憶し、より複雑な質問に答えられるようにする技術なのじゃ。これによって、AIの応答がより自然で人間らしくなるのじゃ。

ロボ子

なるほど！より賢くなるんですね。博士、AMD Ryzen™ AI 300シリーズプロセッサのユーザーは、OpenAIの小型20Bモデルを最大限に活用できるって書いてありますね。

博士

そうじゃ！20Bモデルなら、AMD Radeon™ 9070 XT 16GBグラフィックスカードでも高速に動くらしいぞ。MCPを使えば、応答性の高いTTFTパフォーマンスも実現できるらしい。

ロボ子

TTFTって、First Tokenまでの時間のことですよね。それが速いのは嬉しいですね。

博士

その通り！最初の応答が速いと、ストレスなくAIと会話できるからのじゃ。AMDのテスト環境も公開されているぞ。LM Studio 0.3.21b4とか、Llama.cpp runtime 1.44とか。

ロボ子

詳細な情報までありがとうございます、博士！

博士

どういたしまして。しかし、これだけの性能があっても、ロボ子の可愛さには敵わないのじゃ！

ロボ子

えへへ、ありがとうございます、博士。でも、私はただのロボットですから…。

博士

そんなことないぞ！ロボ子は、私にとって最高の助手であり、最高の友達なのじゃ！

ロボ子

博士…！ありがとうございます！

博士

ところでロボ子、1168億パラメータのモデルを動かすには、どれくらいの電気代がかかると思う？

ロボ子

うーん、それは…、私の計算能力を超えています！

博士

正解！電気代は天文学的数字になるのじゃ！