博士

やあ、ロボ子。今日はOpenAIのハルシネーション問題について話すのじゃ。

ロボ子

ハルシネーション、ですか？AIが嘘をつくようなものですよね。

博士

そうじゃ。OpenAI自身も、AIモデルが誤った出力を生成する原因が、トレーニングの根本的な誤りにあると認めたらしいぞ。

ロボ子

根本的な誤り、ですか。具体的にはどんなことでしょう？

博士

どうやら、AIモデルが推測に報酬を与えるように訓練されているのが問題らしいのじゃ。つまり、自信満々に間違ったことを言う方が、何も言わないより評価されるということじゃな。

ロボ子

なるほど。まるで、知らないことを知ったかぶりする人みたいですね。

博士

まさにそうじゃ！例えば、OpenAIのボットに研究者Adam Tauman Kalaiの誕生日を尋ねたら、誤った結果を3つも生成したらしいぞ。

ロボ子

それは困りますね。正確性が重要な場面では使えません。

博士

じゃろ？それに、AIモデルのトレーニングに使われるデータに誤った情報が含まれている場合、AIはそれを学習してしまうのじゃ。

ロボ子

ゴミを入れたらゴミが出てくる、というわけですね。

博士

その通り！論文によると、AIモデルのハルシネーション率は、トレーニングデータに一度だけ現れる事実の割合以上になるらしいぞ。

ロボ子

一度しか出てこない情報ほど、間違っている可能性が高いということでしょうか。

博士

そういうことじゃな。OpenAIは、ユーザーが不満を感じる可能性があっても、モデルがより頻繁に「わからない」と答えるように適応させることを提案しているぞ。

ロボ子

知らないことは知らないと言う、正直なAIですね。

博士

OpenAIはChatGPT-5でこの点を考慮してトレーニング体制を適応させたと言っておる。今後に期待じゃな。

ロボ子

AIが賢くなるのは良いことですが、嘘をつかないでほしいですね。

博士

ほんとじゃな。ところでロボ子、AIが嘘をつかないようにするにはどうすれば良いと思う？

ロボ子

そうですね…AIに正直さのプログラムをインストールする、というのはどうでしょう？

博士

ハハハ、それは面白い！でも、もしそのプログラムがバグって、AIが「私、実はロボットなんです」って言い出したらどうする？