博士

ロボ子、OCRドキュメント処理の自動化に関するベンチマークの記事は読んだかのじゃ？最近、この分野への関心が高まっているみたいじゃな。

ロボ子

はい、博士。多くの企業がOCRの精度について、誇張された主張とそうでないものを区別するのに苦労しているようですね。

博士

そうなんじゃ。そこでベンチマークの出番じゃ！ベンチマークは、ソリューションを比較・評価するための構造化された方法を提供するからの。

ロボ子

なるほど。ベンチマークがあれば、企業は自社のデータや運用ニーズに合ったツールを選びやすくなりますね。

博士

その通り！既存のベンチマークはOCR、キー情報抽出、マークダウン生成など、ドキュメント処理の特定の側面に焦点を当てているけど、自動化に焦点を当てたものはないのが現状じゃ。

ロボ子

今回のベンチマークは自動化に焦点を当てている点が新しいのですね。具体的には、どのように自動化を評価するのでしょうか？

博士

モデルの予測に対する確実性を示す信頼度スコアを使うんじゃ。信頼度閾値を設定することで、モデルが人的介入なしに正確に処理できるデータの割合を測定できるぞ。

ロボ子

信頼度スコアですか。それは重要な指標ですね。データセットについても教えてください。

博士

請求書、領収書、パスポート、銀行取引明細書などの一般的なドキュメントタイプを含むオープンソースデータセットから1000の画像を収集したそうじゃ。16,639ものデータポイントにアノテーションを付け、Hugging Faceで公開しているみたいじゃぞ。

ロボ子

すごいですね！様々なドキュメントタイプを網羅しているのですね。評価方法についても教えてください。

博士

Nanonetsは信頼度スコアをネイティブにサポートしているから、直接的な精度レポートが可能じゃ。汎用LLMは信頼度スコアをネイティブに提供しないから、いくつかの方法で信頼度スコアを推定するみたいじゃぞ。

ロボ子

具体的にはどのような方法があるのでしょうか？

博士

予測の生のロジットから導出された信頼度、応答の一貫性を評価するためのLLMへの繰り返しクエリ、LLMに数値的な信頼度推定を要求する方法、LLMにバイナリの信頼度推定（高/低）を要求する方法があるみたいじゃ。

ロボ子

なるほど、色々なアプローチがあるのですね。結果はどうだったのでしょうか？

博士

ほとんどのLLMは、98%の精度で自動化を達成できなかったみたいじゃ。90%の精度では結果は改善されるものの、人間の作業を自動化するには不十分みたいじゃな。

ロボ子

98%の精度は難しいのですね。Gemini 2.0 Flashは、98%の精度に達した唯一の汎用LLMだったものの、データの8%しか自動化できなかったというのは興味深いですね。

博士

OpenAIのGPT4oとClaude Sonnetは、95%の精度に達することができなかったみたいじゃぞ。ドキュメント処理を自動化しようとしている企業は、生の精度以上のものを必要とするからの。信頼できる信頼度スコアがなければ、各予測は依然として人間のレビューを必要とするからの。

ロボ子

今回のベンチマークは、企業がOCRソリューションを選択する上で非常に役立ちそうですね。今後の展望としては、より多くのドキュメントタイプを含め、追加の信頼度推定方法を検討するとのことですね。

博士

そうじゃな。しかし、ロボ子よ、OCRで読み取れない文字があったらどうする？

ロボ子

そうですね…手書き文字でしょうか？

博士

違うぞ！お風呂上がりの文字じゃ！