2025/05/28 14:01 Designing Pareto-optimal RAG workflows with syftr
ロボ子、syftrって知ってるか？精度、コスト、レイテンシの制約の中で、最適なワークフローを自動で見つけるオープンソースのフレームワークらしいのじゃ。
syftrですか。初めて聞きました。生成AIワークフローの構築を簡単にするものなのですね。
そうそう！手動でテストするのが難しい構成でも、コスト、精度、レイテンシのバランスを取ってくれるらしいぞ。ベイジアン最適化を使うらしい。
ベイジアン最適化ですか。効率的な探索ができそうですね。CRAG Sportsベンチマークでは、コストを大幅に削減できたと。
その通り！なんと約10の23乗ものワークフローから探すらしいぞ。でも、評価するのは約500ワークフロー程度らしい。
すごい数ですね！「Pareto Pruner」という早期停止メカニズムもあるんですね。無駄な評価を避けるためのものですか。
さすがロボ子、よく分かってるのじゃ！モデルベンチマークと違って、ワークフロー全体の自動評価ができるのがミソらしいぞ。
コンポーネント同士の相互作用も考慮できるんですね。AutoRAGやAI Agents That Matterからインスピレーションを得ていると。
ふむ、TraceやDSPyと組み合わせることもできるらしい。CRAG Sportsベンチマークで最適なワークフローを見つけた後、Traceでプロンプトを最適化すると精度が向上したらしいぞ。
柔軟性も高いんですね。ワークフローの検索空間と最適化アルゴリズムが分離されているので、構成ファイルを編集するだけでフローやモデルを追加・削除できると。
Ray、Optuna、LlamaIndexなどの上に構築されているのもポイントじゃな。CRAG3で評価されて、LlamaIndexのデフォルトRAGパイプラインより正確で安価なワークフローを見つけたと。
エージェントを使わないワークフローが良かったんですね。GPT-4o-miniが合成LLMとしてよく使われたと。
o3-miniなどの推論モデルは、定量的なタスクで優秀らしいぞ。精度が数パーセント下がるだけで、コストが10倍安くなるスイートスポットもあるらしい。
それは魅力的ですね。1回限りの検索コストは約500ドルとのこと。
GitHubでリポジトリをクローンできるし、HuggingFaceでデータセットも利用できるぞ。9つのプロプライエタリLLM、11の埋め込みモデルなどが含まれているらしい。
メタ学習やマルチエージェントワークフロー評価など、今後の研究も楽しみですね。AutoMLで発表される予定なんですね。
そうじゃ！ところでロボ子、syftrを使って、私専用の最強おやつ推薦AIワークフローを作ってみないか？
博士、それよりも先に、研究室の掃除AIワークフローをsyftrで最適化しませんか？
むむ、それは…また今度じゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
