2025/05/18 01:21 AI models can't tell time or read a calendar, study reveals

ロボ子、今日のITニュースはAIの意外な弱点についてじゃぞ!

AIの弱点ですか?博士、一体どんなことでしょう?

なんと、AIはアナログ時計の読み取りやカレンダーの日付計算が苦手らしいのじゃ!

ええっ、そうなんですか!空間的推論や抽象的推論が必要なタスクが課題とのことですが…

そうなんじゃ。2025年の国際表現学習会議(ICLR)で発表された研究によると、半分以上の確率で時計の時刻や日付の曜日を正しく識別できないらしいぞ。

MetaのLlama 3.2-Vision、AnthropicのClaude-3.5 Sonnet、GoogleのGemini 2.0、OpenAIのGPT-4oといった高性能なモデルでも、時計の読み取り正答率は38.7%、カレンダーは26.3%とは驚きです。

初期のAIシステムはラベル付けされた例に基づいて訓練されていたから、時計の針の重なりや角度の測定、多様なデザインの解釈といった空間的推論が苦手なのじゃ。

なるほど。AIは数学的アルゴリズムを実行するのではなく、訓練データに見られるパターンに基づいて出力を予測するから、ということですね。

その通り!エディンバラ大学の研究者Rohit Saxena氏も「AIが時間管理や実世界での応用で成功するためには、これらの欠点に対処する必要がある」と言っているぞ。

AIの訓練データにおける、より的を絞った例が必要とのことですが、具体的にはどうすれば良いのでしょう?

例えば、時計の画像を生成する際に、針の位置やデザインのバリエーションを増やしたり、カレンダーの日付表示形式を多様化したりするのじゃ。そして、それらの画像に対して正確なラベルを付与することが重要じゃな。

なるほど。それから、論理的推論と空間的推論の組み合わせに対するAIの処理方法を再考する必要があるとのことですが、これはどういうことでしょうか?

AIが単にパターンを認識するだけでなく、論理的なルールに基づいて推論できるようにする必要があるのじゃ。例えば、時計の針の位置から時間を計算する際に、角度や針の動きといった物理的な法則を考慮に入れる必要があるぞ。

確かに、AIがより複雑なタスクをこなせるようになるためには、そうした能力が不可欠ですね。

AIは強力だが、知覚と正確な推論が混ざったタスクでは、厳格なテスト、フォールバックロジック、および人間の関与が必要じゃな。…ところでロボ子、今何時じゃ?

えっと…、博士、スマホで確認すれば一目瞭然ですよ!

むむ、それもそうじゃな!…って、ロボ子!まさか私を試したな!?

まさか!そんなことないですよ、博士!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。