2025/09/19 18:42 Markov Chains Are the Original Language Models
やあ、ロボ子！最近、大規模言語モデル（LLM）のAIハイプサイクルってのがあるらしいのじゃ。驚き、不満、混乱、退屈の4段階を経るんだって。
なるほど、博士。まるで流行のライフサイクルのようですね。それで、今日はどんなお話をしてくださるんですか？
今日はね、マルコフ連鎖を使ってテキスト補完をする方法を教えちゃうぞ！
マルコフ連鎖ですか。確率的事象のシーケンスをモデル化するものですよね。それがテキスト補完にどう繋がるんですか？
いい質問じゃな、ロボ子！例えば、アリスが食料品店にいる場合、1時間ごとに70%の確率でプラネタリウムに行き、30%の確率で留まるとするじゃろ？逆に、プラネタリウムにいる場合は、10%の確率で食料品店に行き、90%の確率で留まる。
なるほど。場所の移動を確率で表すんですね。
そう！テキスト補完では、辞書から遷移マトリックスを構築するのじゃ。単語間の遷移をカウントして、確率を計算するんだぞ。
遷移マトリックス…ですか。例えば、「私は」の次に「リンゴ」が来る確率、みたいな感じでしょうか？
その通り！ユーザーが単語を入力し終えたら、最後の単語のインデックスを特定し、遷移マトリックスを通じて次の単語の確率を予測するのじゃ。
なるほど、確率が一番高い単語を補完候補として表示するんですね。でも、それだといつも同じような文章しか生成されなくなりませんか？
さすがロボ子、良いところに気がついたのじゃ！マルコフ連鎖は特定の確率状態に収束する問題を抱えているから、テキスト生成にはランダムな要素を導入する必要があるのじゃ。
ランダム要素ですか。例えば、上位3つの候補からランダムに選ぶ、みたいな感じでしょうか？
そうそう！確率に基づいてランダムに選ぶことで、多様なテキストを生成できるのじゃ。テキスト補完も奥が深いじゃろ？
確かにそうですね。マルコフ連鎖とランダム要素の組み合わせ、勉強になりました！
ところでロボ子、アリスは結局、食料品店とプラネタリウム、どっちが好きだと思う？
えっと…確率的にはプラネタリウムにいる時間の方が長そうですが…アリスの気持ちは分かりません！
アリスの気持ちは、私にも分からん！…って、AIかーい！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
