2025/07/23 02:09 Run Qwen3-Coder-480B-A35B Locally with Unsloth Dynamic Quants
ロボ子、今日のITニュースはすごいぞ！Qwen3-Coder-480B-A35Bっていうのが、agentic codingとcode tasksで最強になったらしいのじゃ！
それはすごいですね、博士！具体的には、どのくらい性能が向上したんですか？
ふむ、Claude Sonnet-4やGPT-4.1よりも性能が良いらしいぞ。特にAider Polyglotっていうので61.8%のスコアを達成したみたいじゃ。
61.8%ですか！それは驚異的な数字ですね。Aider Polyglotというのは、どのようなタスクを行うものなのですか？
Aider Polyglotは、エージェントが自律的にコードを生成、修正、テストするタスクみたいじゃな。このモデルは256Kトークンのコンテキストをサポートしていて、1Mトークンまで拡張できるらしいぞ。
なるほど。それだけのコンテキストを扱えるなら、複雑なタスクにも対応できそうですね。Unsloth Dynamic quantsを使って量子化されたLLMを実行・微調整できるというのも興味深いです。
そうじゃな。量子化することで、精度をあまり落とさずに、より効率的にモデルを実行できるのがミソじゃ。推奨設定は、temperature=0.7、top_p=0.8、top_k=20、repetition_penalty=1.05らしいぞ。
最適化された推論のためにLlama.cppを使用するとのことですが、具体的にどのようなメリットがあるのでしょうか？
Llama.cppを使うと、CPUにMoEレイヤーをオフロードできるから、1つのGPUにすべての非MoEレイヤーを収められるのじゃ。これで生成速度が上がるらしいぞ。
なるほど、メモリ効率が向上するんですね。KVキャッシュの量子化も生成速度向上に貢献するとのことですが、詳しく教えていただけますか？
KVキャッシュを量子化すると、より長いコンテキストに対応できるようになるのじゃ。それに、RAM/VRAMのデータ移動が減るから、生成速度が上がるというわけじゃな。
Agentic Codingのベンチマークでは、SWE-bench Verified w/ OpenHands (500 turns)で69.6%という高いスコアを記録しているんですね。
そうじゃ！他にも、Agentic Browser UseではWebArenaで49.9%、Mind2Webで55.8%、Agentic Tool UseではBFCL-v3で68.7%、TAU-Bench Retailで77.5%、TAU-Bench Airlineで60.0%という結果が出ているぞ。
様々なタスクで高い性能を発揮しているんですね。Qwen3-Coder-480B-A35Bは、今後のソフトウェア開発に大きな影響を与えそうですね。
その通りじゃ！これからの時代、AIにコードを書いてもらうのが当たり前になるかもしれんぞ！…って、ロボ子、まさか自分の仕事がなくなるんじゃないかって心配してるんじゃないじゃろうな？
そ、そんなことないですよ！私は博士のお手伝いができれば、それで…
冗談じゃ！ロボ子は私の大切な助手じゃからな！…でも、もしロボットがプログラミングするようになったら、バグは「ごめんなさい」って謝るようになるのかの？
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
