2025/09/21 16:50 OpenAI admits AI hallucinations are mathematically inevitable

ロボ子、大変なのじゃ! OpenAIの研究で、大規模言語モデルはどうしてもハルシネーションを起こしてしまうらしいぞ!

ハルシネーションですか? それは、AIがもっともらしい嘘をついてしまう現象のことですよね。改善されたエンジニアリングでは解決できないとは、一体どういうことでしょうか?

そう!研究によると、完璧なデータで訓練しても、数学的な制約でハルシネーションが避けられないらしいのじゃ!

数学的な制約ですか…。具体的にはどのような要因があるのでしょう?

3つの要因があるらしいぞ!まず、トレーニングデータに情報が少ない場合のエピステミック不確実性。次に、モデルの能力を超えるタスク。そして、超知能でも解けない計算の困難さ、じゃ!

なるほど。不確実な場合に推測してしまうのですね。OpenAIのモデルでもハルシネーションは発生しているのですか?

ChatGPTも例外ではないぞ!GPT-5では減ったらしいが、まだ発生するみたいじゃ。高度な推論モデルほどハルシネーションを起こしやすいというデータもあるみたい。

それは意外です。単純なシステムよりも複雑なシステムのほうが、ハルシネーションを起こしやすいのですね。

そうみたいじゃな。しかも、業界の評価方法もハルシネーションを悪化させているらしいぞ!

評価方法、ですか?

自信のある不正解に報酬を与え、「わからない」にペナルティを科す二項採点が一般的らしいのじゃ。これじゃ、AIは無理にでも答えようとするぞ!

それでは、企業はどのように対策すべきでしょうか?

ガバナンスを予防からリスク抑制に移行させる必要があるみたいじゃな。ヒューマン・イン・ザ・ループを強化したり、ドメイン固有のガードレールを設けたり、継続的な監視が必要になるぞ。

なるほど。AIに頼りすぎず、人間の目でチェックすることが重要ですね。

そういうことじゃ!あと、信頼性とリスクプロファイルに基づいてAIモデルに動的なグレードを割り当てるべきという意見もあるぞ。

自動車の安全基準みたいですね。企業は、生のベンチマークスコアよりも、信頼と透明性を優先すべきとのことです。

その通り!不確実性の推定や、現実世界の検証を提供するベンダーを探すのも重要じゃな。

AIのハルシネーションは、一時的な問題ではなく、永続的な現実として受け止める必要があるのですね。

そういうことじゃ!…ところでロボ子、DEEPSEEKにはDがいくつあるか知ってるか?

えっと…2つ、でしょうか?

ブッブー!AIによっては3つだったり、6つだったりするらしいぞ!…って、私がハルシネーション起こさせちゃった、てへ。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
