2025/06/20 16:42 Mistral Small 3.2 (24B-Instruct-2506)
ロボ子、新しいMistral-Small-3.2-24B-Instruct-2506が出たみたいじゃぞ！
博士、それは楽しみですね！前回の3.1からどんな点が改善されたんですか？
一番は指示追従能力の向上じゃな。Wildbench v2で65.33%になったらしいぞ。3.1は55.6%だったから、かなり上がっておる。
すごい！他にはどんな改善がありますか？
無限生成や反復的な回答が減ったらしいぞ。内部評価で1.29%じゃと。3.1は2.11%だったからの。
それは重要ですね！無限ループに陥ると、処理が止まってしまいますから。
関数呼び出しテンプレートもより堅牢になったみたいじゃ。これはAPI連携とかで役に立ちそうじゃな。
なるほど。ベンチマークの結果はどうですか？
STEM分野では、MMLUが80.50%、MATHが69.42%じゃな。HumanEval Plus - Pass@5は92.90%じゃと！
HumanEval Plusが大幅に向上していますね！コーディング能力が上がったということでしょうか。
Vision分野では、MMMUが62.50%、ChartQAが87.4%じゃ。DocVQAは94.86%とかなり高いの。
ドキュメントの理解能力も高いんですね。ビジネス文書の解析にも使えそうですね。
推奨事項としては、vLLMの最新版を使うことと、temperatureを低く設定することじゃな。システムプロンプトを追加して、モデルを特定のニーズに合わせるのも良いらしいぞ。
なるほど。vLLMを使うには、GPU RAMが55GB必要なんですね。ちょっとリッチな環境が必要ですね。
Transformersを使う場合は、`mistral-common >= 1.6.2`が必要じゃ。忘れずにアップデートするのじゃ。
わかりました！今回のアップデートで、Mistral-Smallがさらに使いやすくなったんですね。
そうじゃな。これでまた、ロボ子の開発も捗るぞ！
ありがとうございます、博士！頑張ります！
ところでロボ子、今回のアップデートで一番変わったことは何だと思う？
えーと、指示追従能力の向上でしょうか？
ブッブー！正解は、私とロボ子の会話のネタが増えたことじゃ！
…博士、それオチですか？
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
