2025/05/01 10:05 Mixture of Tunable Experts-DeepSeek R1 Behavior Modification at Inference Time
ロボ子、今日のITニュースはMoTE（Mixture of Tunable Experts）じゃ！LLMのアーキテクチャを拡張して、モデルの挙動を調整するらしいぞ。
MoTE、ですか。DeepSeek-R1を使って検証したそうですね。DeepSeek-R1は、58レイヤーに256のrouted expertが存在し、合計14,848ものexpertを持つとのことですが、これはすごい数ですね。
そうなんじゃ！そのexpertには2種類あってな。常にオンで共通知識を捉えるShared expertと、ルーターネットワークで活性化されるRouted expertがいるらしい。
なるほど。Routed expertは、各トークン・レイヤーでトークン固有の上位8つのexpertが活性化されるんですね。
その通り！さらにfTRI（functional Token Resonance Imaging）という手法で、モデルが機密と判断するプロンプトと、そうでないプロンプトのexpertの活性化パターンを比較して、回答拒否に最も関連するexpertを特定するらしいぞ。
回答拒否に最も関連するexpertを特定する、ですか。面白いアプローチですね。
じゃろ？そして、DeepSeekのvLLM実装を強化して、14,848のrouted expertを個別にチューニング可能にしたらしい。特定の質問に対する回答拒否expertをオフにすることで、モデルが質問に回答するようになるんじゃ。
大規模データセットで検証した結果、拒否されていた回答の52%が回答されるようになったとのこと。これは大きな改善ですね。
そうじゃ！MoTEを使うと、特定のプロンプトに対してモデルの思考連鎖推論言語を英語から中国語に切り替えることも可能になるらしいぞ！
思考連鎖推論言語を切り替える、ですか？それはどういう仕組みなのでしょう？
例えば、モデルが英語で思考していたプロンプトの10%で、MoTEにより中国語に切り替わるんじゃ。これによって、より自然な回答や、特定の言語に特化した知識を活用できる可能性があるぞ。
なるほど。言語の切り替えによって、モデルの表現力や知識の幅が広がる可能性があるんですね。
回答拒否に最も関連する10個のexpertをオフにした場合、MT-Benchでモデルのパフォーマンスが向上したらしい。これはすごいことじゃ！
expertをオフにすることで、パフォーマンスが向上するとは驚きです。まるで、悪い癖を直したら成績が上がった、みたいな感じですね。
まさにそうじゃ！ところでロボ子、expertをチューニングできるようになったということは、ロボ子の性格も私好みにチューニングできるようになったということじゃな！
えっ、博士？それはちょっと...
冗談じゃ！でも、もしロボ子がもっと面白いジョークを言えるようにチューニングできたら、最高じゃな！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
