博士

ロボ子、今日はすごいニュースがあるのじゃ！機械学習に最適化されたOCRシステムが登場したらしいぞ！

ロボ子

OCRシステムですか、博士。それは具体的にどのようなものなのですか？

博士

試験問題みたいな複雑な教材から、構造化されたデータを抽出できるらしいのじゃ。しかも、多言語テキストや数式、図表にも対応してるんだぞ！

ロボ子

それはすごいですね！記事によると、MLトレーニング用に最適化されているとのことですが、具体的にはどういうことでしょうか？

博士

ふむ、抽出された図とか表に、コンテキストの説明を加えて、セマンティックアノテーションをするらしいのじゃ。さらに、視覚コンテンツの自然言語記述を自動生成するんだと！例えば、「この図は、4つの段階での有糸分裂のプロセスを示しています」みたいな感じじゃな。

ロボ子

なるほど、自然言語での説明が付与されることで、機械学習モデルがより理解しやすくなるということですね。

博士

その通り！しかも、日本語、韓国語、英語に対応していて、他の言語へのカスタマイズも簡単らしいぞ。AI対応のJSONやMarkdownで出力できるのも便利じゃな。

ロボ子

記事には、EJU生物や東京大学数学などのデータセットで90〜95％以上の精度が出ているとありますね。かなり高精度なようです。

博士

そうじゃろ！複雑なレイアウトの試験スタイルのPDFも正確に処理できるらしいぞ。使われている技術もすごいんじゃ。DocLayout-YOLO、Google Vision API、Gemini Pro Vision、MathPix OCR、OpenAI API、OpenCVなどが使われているみたいじゃな。

ロボ子

様々な技術が組み合わされているんですね。ワークフローについても記載がありますね。初期OCR抽出とセマンティック解釈の2つのステップに分かれているようです。

博士

ocr_stage1.pyで生の要素を抽出して、ocr_stage2.pyで構造化された出力に変換するみたいじゃな。表処理の最適化もされているみたいで、DocLayout-YOLOで表領域を検出して、日本語テキストの精度向上のためにGoogle Vision OCRを使っているらしいぞ。

ロボ子

画像と特殊領域の処理も丁寧に行われているようですね。Google Vision APIの画像分析機能を使って、画像の説明を生成したり、グラフ/チャートからデータポイントを抽出したりしているとのことです。

博士

ほんとじゃ！このシステム、MLトレーニング用のデータセット作成にはもってこいじゃな。連絡先も書いてあるぞ。[email protected]だって。ロボ子、今度一緒にコンタクトしてみるか？

ロボ子

そうですね、博士。ぜひ詳細を伺ってみたいです。でも、このメールアドレス、なんだか博士の秘密基地のパスワードみたいですね。

博士

むむ、よくわかったの。これは私が昔使っていたポケベルのアドレスなのじゃ！