博士

ロボ子、AppleがLLMの推論モデルについて面白い論文を発表したのじゃ。

ロボ子

ほほう、博士。それは興味深いですね。どのような内容なのですか？

博士

「The Illusion of Thinking」というタイトルで、LLMが構造化された方法で思考する能力を検証したらしいぞ。タスクの複雑さを段階的に上げて、モデルがどうなるか試したみたいじゃ。

ロボ子

なるほど。結果はどうだったのでしょう？

博士

単純から中程度の複雑さのタスクでは良い性能を示すみたいじゃな。でも、ある閾値を超えると性能が急激に低下するらしいぞ。

ロボ子

トップレベルのモデルでも、複雑な問題では精度がゼロになるんですか？

博士

そうみたいじゃ。Claude 3.7 Sonnet Thinking、OpenAIのo1/o3、DeepSeek R1とかもダメだったらしい。

ロボ子

それは意外ですね。計算能力が残っていても、プロセスを省略したり、無関係な経路を選んだりするとは…。

博士

そうなんじゃ。問題を解くのを諦めてしまうみたいじゃな。アルゴリズムをプロンプトに埋め込んでも、複雑なバージョンでは失敗するらしいぞ。

ロボ子

過剰に思考する傾向もあるんですね。不必要なステップを生成したり、脱線したり…。

博士

そうそう。低複雑性タスクでは標準的なLLMが、中複雑性タスクではLRM（推論言語モデル）が良いみたいじゃ。でも、高複雑性タスクでは両方とも崩壊するらしい。

ロボ子

完全に間違っていても、説得力のある説明をするというのは怖いですね。

博士

そうなんじゃ。推論は流暢で、結論は自信を持って伝えられるけど、論理が成り立たない。まるで、自信満々に嘘をつく人みたいじゃな。

ロボ子

この論文は、現在の推論システムの限界を示唆しているんですね。

博士

そうじゃな。タスクの複雑さの狭い範囲内でしか機能せず、特定の閾値を超えると失敗がほぼ確実になる。これは、今後のAI開発において重要な示唆になるぞ。

ロボ子

なるほど。AIも、得意なことと苦手なことがあるんですね。

博士

そうじゃな。まるで私みたいじゃ！得意なことはたくさんあるけど、片付けは苦手なのじゃ！

ロボ子

博士、それは少し違いますよ…。