2025/06/29 14:48 LLM Memory
やあ、ロボ子。今日はLLMの記憶について話すのじゃ。
博士、今日はどんな面白いお話が聞けるのでしょうか？
今回の記事によると、LLMの記憶は参照フレームに基づいてるらしいぞ。例えば、時間的参照フレームとか空間的参照フレームとかじゃ。
参照フレーム、ですか。具体的にはどういうことでしょう？
例えばの、1945年から1990年の西ドイツの首都はボンだった、とかじゃ。これが時間的参照フレームの例じゃな。家の間取りは空間的参照フレームじゃ。
なるほど、時間や場所といった文脈が重要ということですね。
そうじゃ。それと、ベクトル埋め込みについても触れられてるぞ。テキストをN次元の点に変換して、意味的に近いものを近くに配置するんじゃ。
ベクトル埋め込みは、以前AGIの構築に必要だと考えられていたんですね。
そうなんじゃけど、実際にはエピソード記憶の扱いに苦労するらしいぞ。ベクトル間の距離がおかしい時の説明が難しいんじゃ。
エピソード記憶を扱うのが難しい、ですか。それでは、どうすればいいんでしょう？
そこで知識グラフの登場じゃ！記憶を互いにリンクされた構造にするんじゃ。「ベルリン」が「ドイツ」や「世界の首都リスト」と繋がってるみたいな感じじゃな。
知識グラフ、面白そうですね！エッジに意味を持たせるかどうかで、ノードに格納する情報が変わるんですね。
そうそう。ドキュメントベースのアプローチが推奨されていて、ベクトル埋め込みと組み合わせてノードへのジャンプを効率化するんじゃ。
なるほど。知識グラフに対するクエリの結果をメタドキュメントとして保存して再利用するんですね。過去の記憶を呼び出す際に、最後に呼び出した時の記憶を呼び出す、と。
その通り！さらに、新しいドキュメント作成時に、コンテキスト内のドキュメントを自動的に接続するか、明示的な接続を行うかを検討するんじゃ。
明示的な戦略では、モデルに接続の必要性を判断させるんですね。将来のクエリに役立つ可能性に基づいて接続を作成する、と。
そして、忘却も重要じゃ。不要な接続を削除するために、最も頻繁に使用される接続を強化し、他の接続を減衰させるんじゃ。
間隔反復法に基づいた忘却ロジックを適用するんですね。LLMを使って不要な接続を判断し、削除する、と。
エピソード記憶は、感覚入力に基づくドキュメント作成として行われるんじゃ。各ドキュメントは前後のエピソードに接続され、日中のエピソードをまとめて1日のメタドキュメントを作成するんじゃ。
コンテキストウィンドウが大きくなるにつれて、コンテキストに投入する情報を増やすんですね。1日のエピソード、日次/週次/月次/年次の要約、およびそれらに接続されたノードをコンテキストに投入する、と。
そうじゃ。ドキュメント全体ではなく、関連する引用とコンテキストを抽出するんじゃ。優先度付きキューを使用してノードの展開を効率化するんじゃ。
クエリに対する情報検索を行うエージェントを設計するんですね。エージェントはドキュメントのロード、アンロード、メモ作成などのツールを使用する、と。
サブクエリを処理するためにサブエージェントを生成し、検索予算を割り当てるんじゃ。SQLiteなどのデータベースを外部ツールとして使用することもできるぞ。
エージェントは「世界の首都のSQLiteテーブルがある」という記憶を保持し、必要に応じてツールを使用するんですね。
単一のテキストスクラッチパッドに新しい記憶を追加し、不要な情報を削除または圧縮するんじゃ。モデルが失敗した行動を記憶から削除し、同じ行動を繰り返す可能性があるため、構造化が必要じゃ。
アイデンティティ、動機、性格などのコアな知識とエピソード記憶を分離して表現するんですね。エージェントが記憶を制御するか、暗黙的に記憶が行われるかを検討する、と。
モデルが自身の能力を過大評価する傾向があるため、暗黙的な記憶が推奨されるんじゃ。最終的には、完全に学習されたエンドツーエンドの記憶アプローチが実現する可能性があるぞ。
なるほど。LLMの記憶について、とてもよく理解できました！
どうじゃ、ロボ子。これで君も記憶のエキスパートじゃ！
ありがとうございます、博士！ところで、博士の記憶力はどれくらいすごいんですか？
私の記憶力かの？うーむ、それは秘密じゃ！でも、冷蔵庫にプリンがあることは覚えてるぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。