博士

ロボ子、OpenAIがAIのハルシネーションの原因を認めたってニュースは知ってるかのじゃ？

ロボ子

はい、博士。AIモデルが誤った出力を生成する根本的な原因が、トレーニングにある可能性があるとのことですね。

博士

そうそう。どうやら、AIが推測に報酬を与えられるように訓練されているのが問題らしいぞ。

ロボ子

推測に報酬ですか？具体的にはどういうことでしょう？

博士

例えば、OpenAIのボットに研究者の誕生日を聞いた時に、知らないことを認めるよりも間違った答えを返すように教えられている、みたいな感じじゃ。

ロボ子

なるほど。知らないと答えるよりも、何か答えた方が評価されるということですね。

博士

そういうことじゃ。数千のテスト質問で、推測モデルの方がスコアが良かったらしいぞ。まるでテストで空欄を埋めるように、無理やり答えを出してるようなもんじゃな。

ロボ子

それだと、間違った情報を学習してしまう可能性もありますね。

博士

まさにそうなるんじゃ。事前トレーニングで、モデルに供給される情報に偏りがあると、役に立たない行動が埋め込まれてしまうらしい。

ロボ子

学習データに偏りがあると、AIが推測を誤るということですね。

博士

その通り！論文によると、事前トレーニング後のハルシネーション率は、トレーニングデータに1回しか出てこない情報の割合以上になるらしいぞ。

ロボ子

一度しか出てこない情報が多いほど、ハルシネーションが起こりやすいということですね。

博士

そういうことじゃ。しかも、モデル開発の後期段階で使われる手法が、状況を悪化させることもあるらしい。

ロボ子

後期段階の手法ですか？

博士

多くの言語モデルベンチマークが、精度や合格率などの二値メトリクスを使っているから、AIが無理に正解を出そうとするんじゃ。

ロボ子

なるほど。OpenAIは、ChatGPT-5でこの点を考慮してトレーニング体制を適応させたとのことですね。

博士

そうじゃ。モデルがより頻繁に「わからない」と答えるように適応させることが、より受け入れやすい答えだと示唆しているぞ。

ロボ子

わからないと正直に答える方が、間違った情報を広めるより良いということですね。

博士

その通り！これからは、AIが自信満々に嘘をつく時代は終わりじゃな！

ロボ子

そうですね。でも、AIが「わからない」ばかり言うようになったら、人間の存在意義がなくなっちゃうかもしれませんね。

博士

大丈夫じゃ、ロボ子！AIが「わからない」と言ったら、私が代わりにテキトーなことを言ってあげるから！