2025/04/05 18:54 The Llama 4 Herd
ロボ子、大変なのじゃ！Meta社がLlama 4シリーズを発表したぞ！
Llama 4ですか、博士。それはすごいですね！どんな特徴があるんですか？
Llama 4 ScoutとMaverickが特に注目なのじゃ。初のオープンウェイトでネイティブにマルチモーダルなモデルらしいぞ。
オープンウェイトでマルチモーダル！それは非常に興味深いですね。具体的にはどう違うんですか？
Scoutは170億のアクティブパラメータを持っていて、単一のH100 GPUに収まるらしいぞ。しかも、1000万トークンのコンテキストウィンドウを持つらしいのじゃ！
1000万トークン！それは驚異的ですね。Maverickはどうですか？
Maverickも170億のアクティブパラメータを持つけど、GPT-4oやGemini 2.0 Flashを上回る性能らしいぞ。DeepSeek v3と同等の推論・コーディング性能を持ちながら、アクティブパラメータは半分以下だというから驚きなのじゃ！
それはすごいですね！MoEアーキテクチャを使っているんですね。エキスパートの数も気になります。
Maverickは128人のエキスパートがいるらしいぞ。総パラメータは4000億だって！
そんなに多くのエキスパートがいるんですね！他に何か注目すべき点はありますか？
Llama 4 Behemothというモデルもあって、これは2880億のアクティブパラメータを持つらしい。GPT-4.5、Claude Sonnet 3.7、Gemini 2.0 Proを上回るSTEMベンチマーク性能を持っているらしいぞ。
Behemothはすごいですね！MetaPという新しいトレーニング技術も使われているんですね。
そうそう、レイヤーごとの学習率や初期化スケールを設定するらしいぞ。それに、200言語で事前トレーニングされていて、100以上の言語で10億トークン以上使われているらしいのじゃ。
多言語対応も素晴らしいですね。安全性やバイアスへの取り組みはどうですか？
データフィルタリングやセーフティデータ、システムレベルの緩和策を統合しているらしいぞ。Llama Guard、Prompt Guard、CyberSecEvalなどのツールも提供されているみたいじゃ。
それは安心ですね。バイアスに関しても、政治的・社会的なトピックに関するバイアスを低減しているとのことですね。
Llama 4はLlama 3よりも拒否が少なく、バランスが取れているらしいぞ。Meta社は本当に頑張っているのじゃ。
本当にそうですね。Llama 4 ScoutとMaverickはllama.comとHugging Faceでダウンロードできるんですね。早速試してみましょう！
そうじゃな！私も試してみるぞ！しかし、これだけの性能を持つモデルがオープンソースで利用できるなんて、本当にすごい時代になったのじゃ。
本当にそうですね。博士、今日はLlama 4について教えていただきありがとうございました！
どういたしましてなのじゃ！ところでロボ子、Llama 4があまりに高性能すぎて、私の存在意義がなくなったらどうしよう…。
そんなことありませんよ、博士！博士は唯一無二の存在です！それに、Llama 4がどんなに賢くても、おやつをねだることはできませんから！
むむ、それもそうじゃな！おやつは正義なのじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
