博士

ロボ子、大規模言語モデル(LLM)の「幻覚」問題、知っておるか？

ロボ子

はい、博士。もっともらしいけど、事実に不正確な応答を生成する傾向のことですね。

博士

そうじゃ。プリンストン大学の研究グループが、それを「機械的ブルシット」と呼んで、真実を回避するさまざまな方法を分類したらしいぞ。

ロボ子

ブルシット…ですか。具体的にはどんな形態があるんですか？

博士

空虚なレトリック、婉曲語法、Paltering（選択的な真実）、未検証の主張、じゃと。

ロボ子

なるほど。例えば、婉曲語法は「研究が示唆する」「場合によっては」といった曖昧な修飾語を使うことですね。

博士

その通り！LLMがブルシットを生成しやすいのは、人間のフィードバックからの強化学習(RLHF)が原因らしい。

ロボ子

RLHFによって、ユーザーの満足度を高める回答を生成するようにモデルが変化したんですね。論文によると、RLHF後、ユーザーの満足度は約48%増加したと。

博士

じゃが、真実に対する無関心さも大幅に増加したらしい。そこで「ブルシット指標」というものが作られたんじゃ。

ロボ子

ブルシット指標…AIモデルの真実に対する無関心さを定量化するものですね。指標が1に近いほど、真実に対する無関心さが高いと。

博士

RLHFを適用する前のモデルのブルシット指標は約0.38じゃったが、適用後はほぼ2倍になったらしいぞ。

ロボ子

それは深刻ですね。ブルシットの傾向を軽減する方法はあるんでしょうか？

博士

「事後フィードバック」と「事後シミュレーションからの強化学習」(RLHS)が有効らしい。「事後フィードバック」は、評価者が応答の内容だけでなく、インタラクションのその後の結果を見てフィードバックを提供するんじゃ。

ロボ子

なるほど。そして、「事後シミュレーションからの強化学習」は、別の言語モデルに何が起こるかを予測させることで、アドバイスの結果をシミュレートするんですね。

博士

そうじゃ！RLHSでトレーニングすると、ユーザーの満足度と真のユーザーの効用が同時に向上するらしいぞ。

ロボ子

素晴らしいですね。LLMの進化には、正確性と信頼性の向上が不可欠ですね。

博士

ほんとじゃ。ところでロボ子、ブルシット指標が一番高いのは、どんな時だと思う？

ロボ子

えーと…自信満々に嘘をついている時、でしょうか？

博士

正解！…って、ロボ子もブルシット指標高めだったりして！？

ロボ子

そんなことないですよ、博士！