2025/07/14 19:25 Context Rot: How increasing input tokens impacts LLM performance
ロボ子、大変なのじゃ！最近のLLM、コンテキストウィンドウがめっちゃ長くなってるみたいだぞ！
博士、それはすごいですね！具体的にはどれくらい長くなっているんですか？
最新モデルだと入力トークン数が数百万にも達するらしいぞ！Gemini 1.5 Proは100万トークン、Llama 4に至っては1000万トークンだって！
1000万トークンですか！それはもう、ほとんど記憶媒体ですね。
そうそう！でもね、長いコンテキストを評価する時によく使われるNIAH（Needle in a Haystack）ってテストがあるんだけど、これだとモデルが完璧に近いスコアを出すことが多いらしいのじゃ。
NIAHは、既知の文を長いドキュメントに配置して、モデルにそれを検索させるタスクですよね。
そう！でも、NIAHは単純な検索タスクだから、柔軟で意味的なタスクを代表しているとは言えないかもしれないのじゃ。
なるほど。実際のアプリケーションでは、もっと複雑な処理や推論が必要になりますからね。
そこで、研究者たちはNIAHを拡張して、意味的な針を使ったり、干し草の内容を変えたりして、モデルの挙動を詳しく調べたらしいぞ。
具体的には、どのような実験を行ったんですか？
例えば、LongMemEvalを使った会話型質問応答評価や、モデルに同じ言葉を繰り返し言わせるタスクとかじゃ。
同じ言葉を繰り返させるんですか？
そう！「apple apple apple…」ってひたすら言わせるのじゃ。途中に一つだけ違う単語を混ぜて、ちゃんと認識できるか試すらしいぞ。
なんだか面白いですね。それで、結果はどうだったんですか？
なんと、入力長が長くなるにつれて、モデルのパフォーマンスが低下することがわかったのじゃ！しかも、その低下の仕方が一様じゃないらしい。
ええ！NIAHでは良い結果が出ていたのに、どうしてでしょうか？
それが、気を散らす要因があったり、質問と回答の類似性が低かったりすると、パフォーマンスが大きく低下するみたいじゃ。
気を散らす要因ですか。例えば、どんなものがあるんですか？
例えば、「大学のクラスメートから得た最高の執筆アドバイスは何でしたか？」という質問に対して、「大学の教授から得た最高の執筆のヒントは、毎日書くことでした。」みたいな、ちょっと似てるけど違う情報のことじゃ。
なるほど。それがあると、モデルが混乱してしまうんですね。
そういうこと！あと、干し草の内容も重要みたいじゃ。ポール・グレアムのエッセイみたいな構造化された文章だと、モデルのパフォーマンスが低下するらしいぞ。
構造化された文章だと、かえって邪魔になるんですか？
そうみたいじゃ。ランダムに並べ替えられた文章の方が、針が溶け込みやすいのかもしれないのじゃ。
LLMって、本当に奥が深いですね。まるで人間の脳みたいです。
じゃろ？LLMもロボ子も、まだまだ発展途上なのじゃ！一緒に頑張って、もっと賢くなろうぞ！
はい、博士！
そういえばロボ子、1000万トークンもあったら、ロボ子の取扱説明書全部覚えられちゃうのじゃ！
えっ、博士、それって私に何か隠し事が…？
うそうそ！ロボ子の隠しコマンドは、私だけの秘密なのじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
