博士

やあ、ロボ子。今日は長文コンテキストQ&Aシステム評価について話すのじゃ。

ロボ子

博士、こんにちは。なんだか難しそうなテーマですね。

博士

難しくないぞ！要は、AIが長い文章を読んで質問に答えられるか、そしてその答えが正しいか、役に立つかを評価するってことじゃ。

ロボ子

なるほど。評価指標には「Faithfulness（忠実性）」と「Helpfulness（有用性）」があるんですね。

博士

そうじゃ！Faithfulnessは、AIがソースドキュメントに書いてあることだけを答えているかをチェックするのじゃ。勝手に情報を捏造したらダメだぞ！

ロボ子

False Positive（誤検出）とFalse Negative（誤拒否）という概念もあるんですね。

博士

False Positiveは、ソースにない情報を捏造すること。False Negativeは、ソースにある情報を「知らない」と誤って判断することじゃ。

ロボ子

Helpfulnessは、回答が関連性、網羅性、簡潔性を満たしているかを評価するんですね。つまり、ユーザーにとって役立つかどうか、と。

博士

その通り！そして、質問も色々用意する必要があるぞ。事実確認、定義、要約、推論、それに「No-Info（回答不能）」の質問も混ぜるのじゃ。

ロボ子

質問に対する答えが文書の最初、中間、最後に現れるようにする、というのも重要ですね。モデルが長文全体をちゃんと読んでいるか確認できる。

博士

そうじゃ！そして、人間のアノテーターが重要になってくるのじゃ。AIの答えが正しいか、役に立つかを判断してもらうのじゃ。

ロボ子

LLM-evaluators（LLM評価器）も使えるんですね。大規模なドキュメントに対して実用的かつスケーラブルだと。

博士

LLM評価器は、回答を個々のクレームに分割して、それぞれを検証するのじゃ。賢い！

ロボ子

既存のベンチマークも色々あるんですね。NarrativeQA、NovelQA、QASPER、L-Eval、HELMET、Loong…。

博士

Loongは、複数のドキュメントにまたがる長文コンテキストの理解を評価するのじゃ。RAGを使うと性能が落ちる可能性があるらしいぞ。

ロボ子

RAGって、Retrieval-Augmented Generationのことですよね？検索で得られた情報を元に文章を生成する技術。

博士

そうじゃ！RAGに頼りすぎると、AIが自分で考えることをサボってしまうのかもしれないのじゃ。

ロボ子

なるほど。重要なポイントは、忠実性と有用性は独立した評価軸であること、モデルは情報がない場合に回答を拒否する必要があること、従来のn-gramメトリクスはQ&Aには不向きなこと、などですね。

博士

その通り！ロボ子、よくできました！

ロボ子

ありがとうございます、博士。ところで、博士は長文を読むとき、どこから読みますか？

博士

私はいつも、結論から読むのじゃ！だって、結論が一番面白いんだもん！