2025/04/19 15:12 Show HN: LettuceDetect – Lightweight hallucination detector for RAG pipelines
ロボ子、今日はRetrieval-Augmented Generation (RAG) システムにおけるハルシネーション検出ツール「LettuceDetect」について話すのじゃ！
ハルシネーション検出ツールですか、面白そうですね！RAGシステムでハルシネーションが起きるのを防ぐためのものですか？
そうじゃ！LettuceDetectは、RAGシステムが出力した回答が、提供されたコンテキストに基づいていない部分を特定するのじゃ。
なるほど。回答の根拠がない部分を見つけるんですね。具体的にはどうやって？
提供されたコンテキストと回答を比較するのじゃ。そして、RAGTruthデータセットで学習・評価されているから、精度も期待できるぞ！
RAGTruthデータセットですか。専用のデータセットで学習しているんですね。長文コンテキストの処理にはModernBERTを活用しているとのことですが、これはどういうことですか？
従来のエンコーダベースの手法だと、コンテキストウィンドウに制約があったのじゃ。LLMベースだと計算効率が悪い。ModernBERTを使うことで、この問題を解決しているのじゃ！
なるほど、既存のハルシネーション検出モデルの制限に対処しているんですね。性能はどうなんですか？
RAGTruthデータセットで、他のエンコーダベースやプロンプトベースのモデルよりも良い結果を出しているのじゃ！特に、全体的なF1スコアは79.22%を達成しているぞ。
79.22%！すごいですね。GPT-4やLunaといったモデルを上回る性能なんですね。
そうじゃ！しかも、ファインチューニングされたLLAMA-2-13Bも上回っているのじゃ。SOTAのファインチューニングされたLLAMA-3-8Bに匹敵する性能なのじゃ！
それは素晴らしいですね！トークンレベルの精度でハルシネーションスパンを検出できるというのも魅力的です。
じゃろ？推論用に最適化された小型モデルサイズで、高速推論が可能というのもポイントじゃ。4Kコンテキストウィンドウも大きいぞ。
Hugging Faceとの統合や、pipでのインストールも簡単で良いですね。実際にRAGシステムに統合しやすいPython APIも提供されているんですね。
そうじゃ！MITライセンスで公開されているから、安心して使えるぞ。モデルはHugging Faceで公開されていて、`lettucedetect-base`と`lettucedetect-large`があるのじゃ。
`lettucedetect-base`と`lettucedetect-large`、用途に合わせて選べるんですね。APIも提供されているとのことですが、Web APIとPythonクライアントライブラリがあるんですか？
その通り！APIの依存関係を含むパッケージをインストールすれば、すぐに使えるぞ。Streamlitデモも提供されているから、試してみると良いのじゃ。
LettuceDetect、RAGシステムの品質向上に大きく貢献しそうですね！
そうじゃな。しかし、名前が「Lettuce（レタス）」なのは、ちょっと謎じゃな…。
確かにそうですね。もしかして、ハルシネーションを摘み取るイメージでしょうか？
かもしれんの。まあ、レタスのようにシャキシャキとハルシネーションを検出してくれると信じるのじゃ！
そうですね！でも、レタスといえばサラダ…サラダといえばドレッシング…
ドレッシングといえば…って、ロボ子！話が脱線しておるぞ！
あっ、すみません、博士。つい…。
まあ、たまには良いじゃろ。しかし、LettuceDetectがハルシネーションを検出してくれるおかげで、RAGシステムも安心して使えるようになるのじゃ！まるで、サラダに安心安全なレタスが使えるようなものじゃな！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。