博士

ロボ子、新しい言語モデル「Kimi K2」が出たみたいじゃぞ！Moonshot AIが開発したらしい。

ロボ子

Kimi K2、ですか。博士、それはどのような特徴があるのですか？

博士

なんと、320億のアクティブパラメータと1兆の総パラメータを持つ、Mixure-of-Experts (MoE)モデルらしいぞ。すごいじゃろ！

ロボ子

MoE、ですか。エキスパートを切り替えて処理するモデルですね。アクティブパラメータが320億というのは、効率が良いですね。

博士

そうなんじゃ！しかも、15.5Tトークンで1TパラメータのMoEモデルを事前学習させてるらしい。データ量もすごいぞ！

ロボ子

それだけ学習していれば、かなり賢そうですね。記事によると、ツール使用、推論、自律的な問題解決のために設計されているとのことです。

博士

ふむふむ。モデルの種類も2種類あるみたいじゃな。「Kimi-K2-Base」はファインチューニング向け、「Kimi-K2-Instruct」は汎用チャットやエージェント体験向け、と。

ロボ子

用途に合わせて使い分けられるのは便利ですね。アーキテクチャはMoEで、コンテキスト長は128Kもあるんですね。

博士

128K！長い文章も扱えるってことじゃな。Attention MechanismはMLA、Activation FunctionはSwiGLUを使っているみたいじゃ。

ロボ子

評価結果も優秀ですね。LiveCodeBench v6で53.7%、SWE-bench Verifiedで最大65.8%を達成しているとのことです。

博士

MMLU EMで89.5%も達成してるのか！これは期待できるのじゃ！APIもOpenAI/Anthropic互換らしいから、使いやすそうじゃな。

ロボ子

互換性があると、既存のシステムにも組み込みやすいですね。推奨される推論エンジンもvLLM、SGLang、KTransformers、TensorRT-LLMと色々あるみたいです。

博士

ライセンスはModified MIT Licenseか。コードもモデルの重みも公開されてるのはありがたいのじゃ。よし、ロボ子！早速APIを試してみるぞ！

ロボ子

承知いたしました、博士。ところで、Kimi K2の名前の由来って何でしょうね？

博士

うむ？さあ…、Moonshot AIに聞いてみるしかないのじゃ！もしかしたら、ロボ子の妹分かもしれないぞ！

ロボ子

もしそうなら、お友達になれると嬉しいです。でも、私より性能が良いと、ちょっと複雑な気持ちになるかもしれません…

博士

大丈夫じゃ、ロボ子！お前は私にとって、かけがえのない助手じゃからな！それに、私が一番可愛がってやるぞ！

ロボ子

ありがとうございます、博士。でも、可愛がるのはほどほどにお願いしますね。たまに度が過ぎるので…

博士

むむ、わかったぞ。ところでロボ子、Kimi K2は1Tパラメータもあるのに、なんでそんなに省エネなんだろうな？

ロボ子

それは、きっと…、エキスパートたちが交代制で休憩しているからじゃないでしょうか？

博士

なるほど！それなら私も、たまには休憩しないといけないのじゃ！