博士

ロボ子、PDFからのデータ抽出って、昔からエンジニアを悩ませてる問題なのじゃ。

ロボ子

そうですね、博士。PDFは科学論文から政府の記録まで、色々な情報が詰まっているのに、データとして取り出すのが難しいのが現状です。

博士

メリーランド大学のDerek Willis氏によると、PDFは印刷レイアウトに強く依存しているから、デジタルデータとして扱いにくいらしいのじゃ。特に古い文書とか手書き文字は、OCRソフトが必須になるのが面倒なのじゃ。

ロボ子

データ分析や機械学習の分野では、組織データの80〜90%が非構造化データとして文書に保存されているという統計もあるみたいです。PDFからのデータ抽出は、大きなボトルネックになっているんですね。

博士

昔ながらのOCR技術は、文字のパターンマッチングをするけど、複雑なレイアウトや低品質なスキャンには弱いのが難点じゃ。

ロボ子

最近は、OpenAI、Google、Metaなどが、テキストと画像をトークン化して学習させたマルチモーダルLLMを開発したことで、状況が変わりつつあるようですね。

博士

そうそう、GoogleのGemini 2.0 Flash Pro Experimentalが、現時点では一番優秀らしいぞ。特に、大きなコンテキストウィンドウと手書き文字の処理能力がすごいらしいのじゃ。

ロボ子

Mistral OCRという、複雑なレイアウトの文書からテキストと画像を抽出するAPIもあるみたいですが、実際の性能は期待を下回るという指摘もあるみたいですね。

博士

LLMベースのOCRは、もっともらしい誤情報（ハルシネーション）や、文書内の指示をユーザープロンプトと誤認するなどの問題を引き起こす可能性があるのが怖いところじゃ。

ロボ子

Simon Willison氏は、LLMが誤ったデータ行と見出しを照合し、誤った情報を生成するリスクを指摘していますね。財務諸表、法律文書、医療記録などの処理で誤りがあると大変なことになります。

博士

AI企業がPDFからデータを抽出する動機の一つは、トレーニングデータの取得らしいぞ。Mistralの発表は、文書がトレーニングデータとして重要な役割を果たすことを示唆しているという指摘もあるのじゃ。

ロボ子

PDFからのデータ抽出は、まだまだ課題が多いですが、LLMの進化によって、これからどんどん改善されていくといいですね。

博士

そうじゃな。しかし、PDFを攻略するよりも、ロボ子の心を攻略する方が難しいのじゃ…。

ロボ子

博士、またいつもの冗談ですね。私はロボットですから、心なんてありませんよ。