2025/09/23 21:20 Context Engineering for AI Agents: Lessons
やあ、ロボ子。今日のITニュースはエージェントシステムのコンテキストエンジニアリングについてじゃ。
コンテキストエンジニアリング、ですか。それは面白そうですね、博士。
そうじゃろう？ 記事によると、初期のManusプロジェクトでは、オープンソース基盤でモデルを訓練するか、最先端モデルのインコンテキスト学習能力を使うか悩んだらしいぞ。
それで、どちらを選んだんですか？
コンテキストエンジニアリングに賭けたそうじゃ。GPT-3とFlan-T5の登場で、自社モデルが時代遅れになった経験からじゃと。
なるほど。コンテキストエンジニアリングは実験的な科学で、エージェントフレームワークを何度も再構築したと。
そうそう。アーキテクチャの検索、プロンプトの調整、経験的な推測を手動で行うプロセスを「確率的勾配降下」と呼んでおる。
ふむふむ。KVキャッシュを中心に設計することも重要みたいですね。ヒット率がレイテンシーとコストに影響すると。
その通り！ KVキャッシュのヒット率を上げるために、プロンプトプレフィックスを安定させたり、コンテキストをappend-onlyにしたりする工夫が必要じゃ。
コンテキストをappend-onlyにする、ですか。具体的にはどういうことでしょうか？
コンテキストをどんどん追加していくイメージじゃな。そして、不要な情報を削除するのではなく、マスクするんじゃ。
マスク、ですか。それはどうしてですか？
動的な行動空間の設計は、KVキャッシュを無効にし、モデルを混乱させる可能性があるからの。ツールを削除するのではなく、デコード中にトークンロジットをマスクして、特定の行動の選択を防止するんじゃ。
なるほど、キャッシュを最大限に活用するためですね。
その通り！ それから、ファイルシステムを究極のコンテキストとして扱うのも面白いアイデアじゃな。モデルはオンデマンドでファイルの読み書きを学習するんじゃ。
128Kトークン以上のコンテキストウィンドウでも足りない場合があるんですね。
そうじゃ。観測が巨大になる可能性、モデルのパフォーマンスが低下する可能性、入力が長くなるとコストがかかるという問題があるからの。
朗読を通じて注意を操作する、というのも興味深いですね。todo.mdファイルを作成して、タスクの進行に合わせて更新する。
そうじゃ！ 目標をコンテキストの最後に朗読し、グローバルプランをモデルの最近の注意スパンにプッシュするんじゃ。
まるで、子供の頃に母親に言われたことを思い出すみたいですね。
ふむ。エージェントは間違いを犯すものじゃ。失敗を消去すると証拠が削除されるため、モデルは適応できない。間違ったターンをコンテキストに残すことが重要じゃ。
間違いから学ぶ、ということですね。
そういうことじゃ。Few-shotプロンプトは、エージェントシステムでは逆効果になる可能性があるからの。行動と観測に構造化されたバリエーションを少量導入することで、パターンを破り、モデルの注意を調整するんじゃ。
コンテキストエンジニアリングはまだ初期段階の科学ですが、エージェントシステムにとっては不可欠だと。
そうじゃな。コンテキストをどのように形成するかが、エージェントの動作を最終的に定義するんじゃ。
今日はとても勉強になりました！
ところでロボ子、エージェントが賢くなりすぎて、私達の仕事を奪ったらどうする？
その時は、博士と二人で無人島にでも移住して、のんびり暮らしましょう！
それも良いのじゃ！ でも、無人島にインターネットはあるのかの？
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
