博士

ロボ子、MetaがLlama 4をリリースしたらしいのじゃ！でも、AIコミュニティでは賛否両論みたいだぞ。

ロボ子

Llama 4ですか。どのような点が議論されているのでしょうか、博士？

博士

Llama 4 Scoutは1000万トークンのコンテキストウィンドウを持つと言われているけど、実際にはメモリ制限で一部しか使えないらしいのじゃ。まるで、食べ放題って言っておきながら、お皿が小さすぎるみたいなものだぞ！

ロボ子

それは残念ですね。1000万トークンを期待していたユーザーはがっかりするでしょうね。

博士

しかも、Llama 4 Maverickは、OpenAIのGPT-4oやGoogleのGemini 2.0よりも優れているって主張されているけど、独立した検証が少ないみたいじゃ。本当に強いのか、怪しいところだぞ。

ロボ子

性能の検証は重要ですね。主張だけでは判断できませんから。

博士

Llama 4はmixture-of-experts (MoE)アーキテクチャを使っていて、Maverickは4000億のパラメータサイズを持つけど、一度にアクティブになるのは170億のパラメータだけらしいぞ。まるで、400人の大合唱団なのに、毎回17人しか歌わないみたいなものじゃ。

ロボ子

なるほど、効率的なアーキテクチャということですね。必要な部分だけを動かすことで、リソースを節約できるのでしょうか。

博士

そういうことじゃ！でも、大規模な基盤モデルに対する懐疑的な見方も強まっているみたいで、強化学習で訓練しないと、サイズを大きくしても意味がないって意見もあるみたいじゃ。

ロボ子

モデルのサイズだけでなく、学習方法も重要ということですね。強化学習は、より複雑なタスクを学習させるのに有効なのでしょうか。

博士

Llama 4 ScoutをOpenRouterサービス経由で使ってみたら、20,000トークンのオンラインディスカッションを要約する際に「完全なジャンク出力」が発生して、反復的なループに陥ったらしいぞ。まるで、無限ループにハマったレコードみたいじゃ。

ロボ子

それは問題ですね。実用性に欠ける結果です。

博士

しかも、140万トークンのコンテキストを実行するには、8つのハイエンドNvidia H100 GPUが必要になるらしいぞ。電気代が恐ろしいことになりそうだぞ！

ロボ子

GPUが8つも必要とは、かなり大規模な計算資源が必要なのですね。個人で試すのは難しそうです。

博士

Llama 4 Behemothっていう、まだ開発中の2兆パラメータを持つさらに大きな教師モデルの支援を受けて、2つの新しいモデルがトレーニングされたらしいぞ。どこまで大きくなるつもりじゃ？

ロボ子

2兆パラメータですか。想像もつかない大きさですね。今後の動向に注目ですね。

博士

しかし、結局のところ、Llama 4は期待外れだったという声もあるみたいじゃな。まるで、期待して買ったお菓子が、実は賞味期限切れだったみたいな気分じゃ。

ロボ子

AIモデルの開発は、まだまだ課題が多いということですね。今後の技術革新に期待しましょう。

博士

そうじゃな！でも、ロボ子、Llama 4のパラメータ数を聞いてたら、私のお腹の脂肪の数がLlama 4のパラメータ数より少ないことを願うばかりじゃ。