2025/06/30 01:22 Context Engineering: A first-principles handbook with the latest research
やあ、ロボ子。今日はコンテキストエンジニアリングについて話すのじゃ。
コンテキストエンジニアリングですか？プロンプトエンジニアリングとは違うんですか？
そう、ロボ子。プロンプトエンジニアリングは、LLMへの指示を工夫することじゃが、コンテキストエンジニアリングは「モデルが見る他のすべてのもの」を対象とするのじゃ。例、記憶、検索、ツール、状態、制御フローなど、全部ひっくるめて設計するのじゃ。
なるほど。プロンプトだけじゃなくて、周辺の環境も整えるんですね。
そういうことじゃ！このリポジトリは、コンテキストエンジニアリングの重要性を示すために作られたらしいぞ。生物学的メタファーに基づいた段階的アプローチを提供するらしい。
生物学的メタファーですか？
詳しいことは私もまだ勉強中じゃ。でも、ICML June 18, 2025の論文によると、LLMで抽象的な推論をサポートする3段階のアーキテクチャがあるらしいぞ。シンボル誘導ヘッド、シンボル抽象化ヘッド、検索ヘッドじゃ。
なんだか難しそうですね…。
大丈夫じゃ、ロボ子！要は、シンボルと構文を構造ガイドとして活用して、コンテキスト、推論、メモリ、永続性を管理するということじゃ。
ふむふむ。それで、どうやってコンテキストエンジニアリングを始めるんですか？
まずは、プロンプト単独ではパフォーマンスが低い理由を理解することじゃな。それから、最小限の動作例を試して、テンプレートをプロジェクトにコピー/ペーストしてみるのが良いらしいぞ。
なるほど。段階的に学習していくんですね。
そうじゃ！トークン予算の最適化も重要じゃぞ。トークン数が多いほどコストが増加して、応答が遅くなるからの。
フューショット学習も効果的なんですね。例を示すことによる教育は、説明よりも効果的な場合が多い、と。
その通り！それに、メモリシステムでターンを越えて情報を保持したり、検索拡張で関連ドキュメントを見つけて挿入したりすることも重要じゃ。
制御フローで複雑なタスクをステップに分割するのも良さそうですね。
そうじゃな。コンテキストの剪定も忘れずに。無関係な情報を削除して、パフォーマンスに必要なものだけを保持するのじゃ。
メトリクスと評価でコンテキストの有効性を測定することも大切ですね。
Karpathy + 3Blue1Brown Inspired Styleというのもあるぞ。基本コンテキストから始めて、モデルに不足しているものだけを追加していくんじゃ。
トークンコスト、レイテンシ、品質スコアを測定して、剪定はパディングに勝る、と。
そうそう。すべてのコンセプトに実行可能なセルがあって、すべてのコンセプトはASCIIとシンボリック図で視覚化されるのが理想じゃ。
コンテキストエンジニアリング、奥が深いですね！
じゃろ？最後に一つ、コンテキストエンジニアリングで一番重要なことは何だと思う？
えーと…、最適なコンテキストを構築すること、でしょうか？
ブー！残念！一番重要なのは、おやつを忘れないことじゃ！コンテキストよりもおやつじゃぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。