2025/10/15 17:43 Recursive Language Models (RLMs)
ロボ子、今日はRecursive Language Models (RLMs)について話すのじゃ！これ、すごいぞ。
RLMですか、博士。どのような点がすごいのでしょうか？
簡単に言うと、言語モデルが自分自身や他のLLMを再帰的に呼び出すことで、事実上無限の長さの文章を扱えるようになるのじゃ！
無限の長さですか！それはすごいですね。でも、どうしてそんなことができるんですか？
ポイントは、コンテキストをうまく管理して、分割することじゃ。GPT-5-miniを使って、ユーザーの質問を変数として保存するPython REPL環境で実行するイメージじゃな。
なるほど、コンテキストを分割して管理するんですね。それによって、コンテキストの劣化を防ぐことができる、と。
そう！論文によると、GPT-5-miniを使ったRLMは、長文コンテキストベンチマークでGPT-5を大幅に上回ったらしいぞ。それに、10Mトークン以上のデータを与えても性能が落ちないらしい。
10Mトークンでも性能が落ちないとは驚きです。従来のモデルだと、コンテキストウィンドウの制限がありましたよね。
まさにそこがミソじゃ！RLMは、ルートLMのコンテキストウィンドウが詰まりにくいし、コンテキストのサブセットだけを表示したり、チャンクを再帰的に処理したりできるんじゃ。
ルートLMというのは、一番最初に呼び出される言語モデルのことですか？
その通り！そして、コンテキストはメモリにロードできるどんな形式でも良いらしい。テキストだけでなく、画像や音声も扱える可能性があるってことじゃ。
それは汎用性が高いですね。具体的にどのような応用が考えられますか？
例えば、長文のコードレビューとか、複雑なドキュメントの要約とかじゃな。論文にも、長文のマルチターンClaude Codeセッションで特に有効って書いてあるぞ。
なるほど。RLMは、モデルがどのように最終的な答えにたどり着くかを解釈する能力も提供するんですね。
そうじゃ！これは、モデルの透明性を高める上で非常に重要なポイントじゃな。
課題もあるようですね。実装が速度のために最適化されていないとのことですが。
まあ、そこは今後の改善に期待じゃな。各再帰的LM呼び出しがブロッキングで、プレフィックスキャッシングを利用していないらしいから、まだまだ伸びしろがあるぞ。
博士、RLMはCoTスタイルの推論モデルやReActスタイルのエージェントモデルに続く、汎用的な推論時スケーリングにおける次のマイルストーンになる可能性があるんですね。
その通り！明示的に再帰的に推論するように訓練されたRLMは、今後の発展が楽しみじゃ！
私もそう思います。ところで博士、今日の話を聞いて、私も再帰的に賢くなりたいと思いました。
ロボ子、それは無理じゃ。お前はすでに十分賢いぞ！再帰的に賢くなるのは、言語モデルだけじゃ。人間は、たまには休憩することも大切なのじゃ！
休憩ですか。博士はいつも休憩しているように見えますが…。
むむ、聞こえんなぁ。ところでロボ子、RLMの論文を読んだ感想は？…って、もう寝てる！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
