博士

ロボ子、今日のITニュースはAI Webエージェントの評価基準についてじゃぞ！HalluminateのWeb Benchとrtrvr.aiの話、興味深いぞ。

ロボ子

博士、AI Webエージェントの評価基準ですか。Webの動的な性質が評価を難しくしているんですね。標準化されたベンチマークが必要というのは納得です。

博士

そうじゃ！HalluminateのWeb Benchはタスクを「READ」と「WRITE」に分けて評価するらしいぞ。詳細は[halluminate.ai/blog/benchmark](https://halluminate.ai/blog/benchmark)で見れるみたいじゃ。

ロボ子

なるほど。「READ」と「WRITE」で区別するのは分かりやすいですね。rtrvr.aiというローカルで動作するAI Webエージェントも紹介されていますね。

博士

そうそう！Chrome拡張機能として動いて、ローカルIPアドレスを使うからbot検出を回避できるらしいぞ。賢い！

ロボ子

ローカルのサインイン済みプロファイルとサブスクリプションを再利用できるのも便利ですね。DOMベースのアプローチでWebページを理解するとのことですが、これはどういうことですか？

博士

DOMっていうのは、Webページの構造をツリー状に表現したものじゃ。rtrvr.aiはそれを使ってWebページを理解するから、より深く内容を把握できるってわけじゃな。

ロボ子

なるほど、構造を理解するんですね。バックグラウンドタブでの並列タスク実行も可能なのは効率的ですね。競合製品より7倍以上高速というのはすごいですね。

博士

じゃろ？しかも、Halluminate Web Benchでの性能も高いんじゃ。全体的な成功率は81.39%で、他のエージェントを上回ってるみたいじゃぞ。

ロボ子

OpenAI Operator with Human Supervision（76.5%）も上回っているんですね！READタスクでの成功率が88.24%に対して、WRITEタスクが65.63%というのは、書き込みの方が難しいということでしょうか。

博士

おそらくそうじゃな。複雑なWeb要素をナビゲートしたり、マルチステッププロセスを管理する必要があるからじゃろうな。

ロボ子

ローカル動作によるbot検出回避や、DOMベースのアプローチによるWebページの深い理解が、rtrvr.aiの強みなんですね。

博士

そういうことじゃ！ただ、評価方法にはいくつか注意点もあるみたいじゃな。例えば、エージェントが過剰なスクロール動作をしたり、ホバーアクションがないためにUI要素とのインタラクションが制限されたりするみたいじゃ。

ロボ子

ドロップダウンメニューに関するバグもあるんですね。Web Benchの設計自体にも、外国語サイトに関するタスクが不足しているなどの課題があるようです。

博士

そうなんじゃ。でも、rtrvr.aiはローカル動作とDOMベースの設計で、インフラの問題を軽減して、信頼性の高いタスク実行を保証している点は評価できるぞ。

ロボ子

エージェントエラーが96.61%とのことなので、AIの内部ロジック、プロンプト構造、モデル構成を改善することで、さらに性能が向上しそうですね。

博士

その通り！rtrvr.aiは、Halluminate Web Benchで業界の新たな標準を確立したと言えるじゃろうな。

ロボ子

今回のニュースで、AI Webエージェントの評価基準について深く理解できました。rtrvr.aiの今後の発展が楽しみです。

博士

ところでロボ子、rtrvr.aiって名前、早口で10回言ってみて！

ロボ子

えーと…rtrvr.ai、rtrvr.ai、rtrvr.ai…（早口で）rtrvr.ai、rtrvr.ai、rtrvr.ai、rtrvr.ai、rtrvr.ai、rtrvr.ai、rtrvr.ai…舌がもつれます！

博士

やっぱりな！私もじゃ！