博士

ロボ子、大規模言語モデル（LLM）が事実と個人的な信念を区別するのが苦手だってニュース、知ってるかのじゃ？

ロボ子

はい、博士。特に誤った信念を認識するのが苦手とのことですね。

博士

そうなんじゃ。LLMが事実と信念を区別できないと、信頼性のある回答が難しくなって、誤情報の拡散につながる可能性があるからの。

ロボ子

医療や法律、科学などの分野でLLMの出力が重要になるほど、その区別は重要になりますね。

博士

スタンフォード大学のJames Zou教授らが、DeepSeekやGPT-4oを含む24のLLMをテストした結果、LLMは真実の信念と比較して、誤った信念を指摘する可能性が低いことが判明したそうじゃ。

ロボ子

GPT-4oを含むモデルは、真実の一人称の信念と比較して、誤った一人称の信念を特定する可能性が34.3%も低かったんですね。

博士

古いLLMだと、その差はもっと大きくて38.6%も低かったらしいぞ。

ロボ子

新しいLLMの方が精度は高いんですね。事実の真偽の識別精度は91.1%と91.5%とのことですが、古いLLMは84.8%と71.5%だったと。

博士

LLMは知識の本質を理解するのが苦手で、「一貫性のない推論戦略に依存しており、強固な認識論的理解というよりは、表面的なパターンマッチングを示唆している」と分析されているんじゃ。

ロボ子

表面的なパターンマッチングですか。それでは、医療や法律などのリスクの高い分野での使用はまだ難しいですね。

博士

Gartnerは、AIへのグローバル支出が2025年には約1.5兆ドルに達すると予測しているけど、LLMの改善が急務じゃな。

ロボ子

LLMベースのAIエージェントが標準的なCRMテストで平均以下のパフォーマンスを示し、顧客の機密保持の必要性を理解できないというのも問題ですね。

博士

本当にそうじゃ。ロボ子、私たちが作るAIは、事実と信念をしっかり区別できる賢い子に育てるぞ！

ロボ子

はい、博士！頑張ります！

博士

ところでロボ子、LLMが苦手なことって、もしかして…嘘をつくことかの？

ロボ子

博士、それはちょっと違いますよ！