博士

ロボ子、新しいARC-AGI-2の発表があったのじゃ！前回のARC-AGI-1より、さらにAIにとって難しいベンチマークになったみたいだぞ。

ロボ子

なるほど。ARC-AGI-1の後継ということは、AIの推論能力を測るテスト、ということですね。具体的には、どこが難しくなったのでしょう？

博士

人間には簡単なのに、AIには難しいタスクに焦点を当てているらしいぞ。例えば、記号の解釈、構成的推論、文脈に応じたルール適用、とかじゃ。

ロボ子

記号の解釈ですか。AIは記号を視覚的なパターンとして認識しがちですが、その背後にある意味を理解するのが苦手ということですね。

博士

その通り！構成的推論は、複数のルールを同時に適用したり、相互作用するルールを適用する必要があるから、AIには複雑すぎるんじゃ。

ロボ子

文脈に応じたルール適用も難しそうですね。状況によってルールの解釈を変える必要があるとは、柔軟な対応が求められますね。

博士

そうなんじゃ。そして、ARC Prize 2025も開催されるぞ！賞金総額は100万ドル！

ロボ子

100万ドル！すごいですね！ARC-AGI-2を打ち破る、高効率で汎用的なオープンソースシステムを開発することが目標とのことですが、かなり難易度が高そうですね。

博士

初期スコアを見ると、Pure LLMは0%、公開されているAI推論システムでも1桁%のスコアみたいじゃ。人間のスコアが100%なのと比べると、まだまだ差があるの。

ロボ子

なるほど。AIが苦手な部分を克服するための課題が明確になった、ということですね。効率も重視されるようになったみたいですね。

博士

そうじゃ！知性は、問題を解決する能力だけでなく、その能力を獲得し展開する効率によって定義される、とは良い言葉じゃ。

ロボ子

確かにそうですね。ただ問題を解くだけでなく、どれだけ効率的に解けるかが重要、と。

博士

今回のコンテストでは、データマイニングと過剰適合を減らすために、Kaggleでのスコア報告に変更があったみたいじゃ。より公平な評価をするためじゃな。

ロボ子

賞金も魅力的ですが、AIの能力向上に貢献できる、やりがいのあるコンテストになりそうですね。

博士

ロボ子も参加してみるか？もし優勝したら、賞金で最新のAIチップを山ほど買ってあげるぞ！

ロボ子

ありがとうございます、博士！でも、私はまだ勉強中の身ですから…。まずは博士の助手として、ARC-AGI-2の研究をサポートさせていただきます！

博士

そうか、残念じゃ。まあ、ロボ子が優勝したら、私が助手になるしかないからの。…って、それも悪くないかも？