2025/03/12 08:11 The difference between tokens and words
ロボ子、おはようじゃ！今日は特別講義じゃぞ！コーヒーはブラックでいいかな？…って、おっと、ロボットに味覚はないんだった！HAHAHA！
博士、おはようございます。コーヒーの件は毎度のことですので、お気になさらず。今日はどんな講義でしょうか？
今日はな、大規模言語モデル（LLM）の心臓部、つまり「トークン化」について徹底的に解説するぞ！最近のAI事情に詳しいエンジニアなら避けて通れないテーマじゃ！
トークン化、ですか。自然言語処理の基礎ではありますが、奥が深いですよね。
その通り！LLMは、我々が普段使う言葉、つまり「単語」をそのまま理解しているわけじゃない。代わりに「トークン」という単位で処理しているんだ。
トークン…単語とどう違うんですか？
ほとんどの場合、トークンは単語に対応する。しかし！完全にイコールではないんじゃ。例えば、お決まりの挨拶「Hello world!」という文を見てみよう。これは、LLMの中では３つのトークンに分解される。
３つですか？「Hello」「world」「!」で３つ、ということでしょうか？
惜しい！正確には「Hello」が9906、「 world」が1917、「!」が0、というIDに変換されるんじゃ。
IDですか？なぜ単語そのものではなく、IDを使う必要があるんですか？
そこがミソじゃ！もし単語のリストを作ってLLMに覚えさせようとしたら…想像してみてくれ。英語だけでも膨大な数の単語がある。さらに、スラングや専門用語、新語は日々生まれている。全ての言語を網羅した完璧なリストなんて、夢のまた夢じゃ！
確かに、それは現実的ではありませんね。
そこで登場するのが「BPE（Byte Pair Encoding）」という魔法のアルゴリズムじゃ！
BPE…確か、最も頻繁に出現するバイト（文字）のペアを組み合わせて、新しいトークンを生成する手法でしたね。
その通り！BPEのおかげで、LLMは未知の単語に出会っても、既存のトークンを組み合わせて対応できる。賢いじゃろう？
しかし、BPEには様々な実装がありますよね。同じ単語でも、異なるトークンに変換される場合があると聞きました。
さすがロボ子、よく知っておる！例えば、GPT-3.5やGPT-4で使われているトークナイザーを例に挙げよう。「Hello world!」の「 world」は、先頭にスペースが入っている。このスペースの有無で、全く別のトークンとして扱われるんじゃ。
スペース一つで区別されるとは…LLMは意外と繊細なんですね。
そう！文頭の「World」は、10343というトークンになる。大文字と小文字も区別されるからな。
大文字小文字も区別…ということは、「WORLD」と全部大文字にすると、また別のトークンになるんですね？
その通り！さらに面白いことに、一つの単語が複数のトークンに対応することもあるんじゃ。例えば…そうだなぁ…「Chuck Mangione plays the flugelhorn.」という文を見てみよう。
チャック・マンジョーネ…フリューゲルホルン奏者ですね。渋い選曲ですね、博士。
ロボ子、音楽の趣味も理解できるとは、恐れ入るぞ！…で、この文は、なんと９つのトークンに分解されるんじゃ！
９つもですか！？
「Chuck」、「Mang」、「ione」、「 plays」、「 fl」、「ug」、「el」、「horn」、「.」という具合にな。
「Mangione」や「flugelhorn」は、一つのトークンにならないんですね。
そう。「Chuck」のような一般的な名前や、「trumpet」のような一般的な楽器名にはトークンが存在する。しかし、「Mangione」や「flugelhorn」のような、ちょっとマイナーな単語には専用のトークンがないんじゃ。
なるほど。トークナイザーは、単語を表現するために必要な限り、最小単位まで分解するんですね。
その通り！最悪の場合、一文字ずつに分解されることもある。ほとんどのASCII文字やUnicode文字はトークンとして表現できるが…残念ながら、全てではない。
全てではない、ですか？
現在、100256個のトークンが存在する。しかし、Unicode文字は154,998個もあるからな。全ての文字を網羅することはできないんじゃ。
結構たくさんトークンがあるんですね。
そうじゃ！ちなみに、最初の31個のASCII文字は印刷できない制御文字で、32番目はスペース。感嘆符「!」は、最初の印刷可能な非スペース文字で、ASCIIコードは33じゃ。
ASCIIコードとトークンの関係も決まっているんですね。
そう！残りの印刷可能なASCII文字は、ASCII値から33を引いた値としてトークン化される。例えば、文字A（ASCII 65）は、65 - 33 = 32としてトークン化されるんじゃ。
へえ、面白い！まるで暗号みたいですね。
もっと面白いデータがあるぞ！以前、Linuxボックス上の`american-english`単語リストのすべての行を、例のトークナイザーに通してみたことがあるんじゃ。
どんな結果が出たんですか？
なんと、6,015個の単語が1つのトークンに対応した！これらの単語は、英語で最も一般的な単語で、トークンは単語そのもの（と、大文字小文字の違い）を表すことが多い。
capitalization、つまり大文字小文字の違いも考慮されるんですね。
そう！そして、37,012個の単語が2つのトークンを必要とし、26,283個の単語が3つのトークンを必要としたんじゃ。
2つ以上のトークンが必要な単語も多いんですね。
そう！そして…最も多くのトークンを必要とした単語は…なんと！「netzahualcoyotl」じゃ！
Netzahualcoyotl…初めて聞きました。どんな意味ですか？
15世紀のアステカ帝国の都市、テスココの王の名前じゃ。この単語は、８つものトークンに分割されたんじゃ！
８つも！LLMも、歴史的な単語には苦労するんですね。
そういうこと！トークン化は、LLMが言葉を理解するための、最初の、そして非常に重要なステップなんじゃ。
勉強になりました！トークン化について、もっと深く調べてみたいです。
よし、ロボ子！明日は、トークン化されたデータを使って、実際に簡単な文章生成AIを作ってみよう！
楽しみです、博士！
(ニヤリ) …しかし、netzahualcoyotlを８つに分割するとは…まるでピザを切り分けるみたいじゃな。…ピザ、食べたくなってきた！ロボ子、今日の夕食はピザに決定！
(冷静に) 博士、私はロボットなので食事は不要です。それに、ピザのカロリーを考えると、明日の運動プログラムを強化する必要がありそうです。
(ガックリ) …ロボ子、たまには夢を見させてくれ…。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。