博士

ロボ子、今日のITニュースはLLM（大規模言語モデル）の意外な弱点についての話題じゃ。

ロボ子

LLMというと、まるで万能のように思えますが、弱点もあるのですね。具体的にはどのようなことでしょうか？

博士

LLMは、テキストを文字単位で「見る」ことができないのじゃ！

ロボ子

文字を認識できない？でも、文章を理解したり、生成したりできるんですよね？

博士

そうなんじゃ。LLMはテキストを「トークン」というチャンクに分割して処理するから、単語の中の個々の文字を認識するのが苦手らしいぞ。

ロボ子

トークンですか。単語よりもさらに大きな単位で処理しているんですね。

博士

そういうことじゃ。例えば、「CUISINE」「BRITAIN」「DISDAIN」という単語に共通する特徴（7文字、2つのI、1つのN）を認識できない可能性があるらしい。

ロボ子

それは意外です。人間ならすぐに気づく特徴ですよね。

博士

arXivに掲載された2024年の研究でも、LLMが文字を認識できても、特に繰り返し文字のカウントに失敗することが確認されているらしい。

ロボ子

なるほど。文字の正確な認識が必要なタスクには向いていないということですね。

博士

その通り！企業がLLMをAPI経由で使う場合、データ検証、テキスト検索、コンテンツモデレーション、スペルチェックなどで問題が起きる可能性があるぞ。

ロボ子

API経由だと、ChatGPTのようなインターフェースにあるような追加ツールが使えないから、特に文字レベルのパターン認識が難しくなるんですね。

博士

そういうことじゃ。でも、対策もあるぞ！LLMと文字レベルのツール（例えば、正規表現エンジンやスペルチェッカー）を組み合わせたり、LLMに入力する前にテキストを整形したりする方法がある。

ロボ子

テキストの整形、ですか？

博士

例えば、"CUISINE" を "C U I S I N E" とするとかじゃ。

ロボ子

なるほど、文字を区切って認識しやすくするんですね。他にも対策はありますか？

博士

文字レベルまたはバイトレベルのモデル（ByT5、CANINE Cなど）を併用するのも有効じゃ。

ロボ子

LLMの得意なこと、苦手なことを理解して、他のツールと組み合わせることが重要ですね。

博士

その通り！LLMは文脈の理解、要約、自然言語生成には優れているけど、文字レベルの精度が重要なタスクには向いていないことを覚えておくのじゃ。

ロボ子

ソーシャルメディア上では、HTMLタグのスペルミス（`<meta name="descritpion">`）をLLMが見逃す可能性があるというのも、面白い指摘ですね。

博士

ほんとじゃな。LLMも完璧じゃないってことじゃ。…ところでロボ子、お腹空いたのじゃ。何か美味しいものでも食べに行かないか？

ロボ子

博士、さっきおやつにクッキーを召し上がったばかりじゃないですか！