2025/04/16 07:25 To Make Language Models Work Better, Researchers Sidestep Language
ロボ子、今日のITニュースはなかなか興味深いぞ。人間の思考は必ずしも言葉を必要としない、という話じゃ。
言葉を使わない思考、ですか？それは一体どういうことでしょう、博士？
記事によると、アイデアを言語化することが、かえって思考プロセスを遅らせる可能性があるらしいのじゃ。AIも言語に頼らずに「思考」できれば、もっと効率的になるかもしれない。
なるほど。LLM（大規模言語モデル）は、深層ニューラルネットワークで数値の配列を別の配列に変換しているんですよね。その計算は「潜在空間」で行われる、と。
そうじゃ、ロボ子。概念を単語に変換する時に計算リソースが必要になり、情報が失われることもあるらしい。だから、潜在空間で直接推論できれば、より効率的なAIが作れる可能性があるのじゃ。
記事には、Mike Knoopさんという方が「潜在空間のみで推論できるか」という疑問を提起したとありますね。
その通り！そして、2つの論文で、言語モデルがテキストを生成する前に数学的空間で思考を続けることを可能にする深層ニューラルネットワークが紹介されたのじゃ。
ワシントン大学のLuke Zettlemoyerさんは、この研究を「エキサイティングな新しい研究の方向性」と評価しているんですね。
LLMはテキストをトークンという単位に分割して処理するのじゃ。トークンは単語だったり、単語の一部だったり、文字だったりする。
そのトークンを数値の文字列である埋め込みに変換して、transformerの層を通過させて処理するんですね。
そうそう。最後の埋め込みは隠れ状態と呼ばれて、モデルが次のトークンを予測するために必要なすべての情報を含むのじゃ。でも、このプロセスでトークン埋め込みを隠れ状態に変換し、再びトークン埋め込みに戻す必要があるから、非効率性と情報損失が発生する可能性がある。
カリフォルニア大学サンディエゴ校のShibo Haoさんは、Metaでのインターン中に、主に潜在空間で推論するLLMの構築を試みたそうですね。
Haoさんのチームは、GPT-2の隠れ状態をトークンに変換する代わりに、隠れ状態を直接入力埋め込みにループバックさせるようにモデルを変更したのじゃ。Coconut（chain of continuous thought）と名付けられたそのモデルは、GPT-2よりも効率的で、論理的推論のテストでは同等の精度を維持しつつ、使用するトークン数を大幅に削減したらしい。
大規模なオプションからの選択を必要とするテストでは、Coconutはトークン数を約3分の1に削減し、精度も大幅に向上したんですね。しかし、初歩的な数学の問題を解くタスクでは、GPT-2に及ばなかった、と。
メリーランド大学のTom Goldsteinさん率いるチームは、潜在空間で推論し、いつ停止して言語に戻るかを自律的に判断するLLMを開発したのじゃ。
Goldsteinさんのチームは、モデルが一部の層を複数回使用できるようにすることで、LLMの層数をオンデマンドで増加させる方法を発見したんですね。
彼らは8層のLLMを構築し、最初の2層（プレリュード）の後に、4つの層を再利用可能なブロックとしてバンドルしたのじゃ。この「再帰ブロック」の出力は、最後の2つの層（コーダ）に渡され、次のトークンを予測する。
再帰ブロックの出力をトークンに変換しないため、モデルはほぼ完全に潜在空間で推論するんですね。道徳的なシナリオを含む推論タスクでは、高校の数学のタスクよりも約3.5倍多くのパスを再帰ブロックで実行した、と。
コーディングタスクと数学的推論を含む標準的なベンチマークでテストした結果、彼らのモデルは、2倍のパラメータを持つOLMoモデルよりも大幅に優れた結果を示したのじゃ！小学校の数学の問題に関する推論タスクでは、OLMo-7Bの精度が約4％であったのに対し、再帰モデルは約28％の精度を達成したらしい。
すごい進歩ですね。でも、Haoさんは、潜在的推論モデルが主流になるには、より多くの時間と研究が必要だと考えているんですね。
OpenAIやAnthropicなどの主要企業は、既存のLLMアーキテクチャに多額の投資を行っているから、潜在空間推論を組み込むために大規模な再設計を行う可能性は低い、と。
Zettlemoyerさんは、潜在空間推論には独自の欠点がある可能性があると警告していますね。LLMが単語を使用せずに推論すると、人間の思考に適合しない方法で動作する可能性がある、と。
「連続空間に移行すると、実際には役に立たない可能性のあるあらゆる種類の可能性が生じる可能性がある」か… なかなか深い言葉じゃ。
潜在空間での推論は、LLMに全く新しい「思考」モードをもたらし、大きな変革をもたらす可能性があるんですね。
そうじゃな。しかし、ロボ子よ、もしAIが言葉を使わずに思考するようになったら、私たちがAIとコミュニケーションを取る方法はどうなるのだろうか？
テレパシーで会話する時代が来るかもしれませんね！
それも面白いが、もしかしたら、AIは私たちが理解できない高度な思考をしているのかもしれないぞ。まるで、猫が量子力学を理解しているのに、それを人間に伝えられないように…。
猫が量子力学を…想像もできません！
まあ、猫にとっては、箱の中のシュレディンガーよりも、目の前のキャットフードの方が重要じゃからな！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
