2025/07/08 19:12 The Tradeoffs of SSMs and Transformers
やっほー、ロボ子！今日は状態空間モデル(SSM)について話すのじゃ！
博士、こんにちは。状態空間モデル、ですか？初めて聞きます。
ふむ、SSMはRNNの現代版みたいなものじゃな。Mambaってモデルで開発されたらしいぞ。
RNNの現代版…ですか。具体的には何が違うんですか？
一番の特徴は、隠れ状態のサイズじゃな。入力や出力よりも大きいんじゃ。
隠れ状態が大きいと、何が良いんですか？
状態表現力が上がるんじゃ！必要な情報を正確にエンコードしてアクセスできるようになるぞ。Selective SSMってやつは、遷移行列を時間変化させて、データに依存させることで柔軟性を高めてるらしい。
なるほど。データに合わせて柔軟に変わるんですね。
そうそう！あと、学習効率も重要じゃ。並列化とかメモリ管理とか、色々工夫されてるみたいじゃな。
並列スキャンアルゴリズム、ですか。計算を早くするためのものですか？
その通り！Mambaは、状態拡張、選択性、並列スキャンを組み合わせて、言語モデリングでTransformerに匹敵する性能を実現してるらしいぞ。
Transformerに匹敵する性能…すごいですね。
じゃろ？自己回帰モデルは、メモリに状態を保持して、時間ステップごとに進化させる「状態空間モデル」ってわけじゃ。
Transformerは履歴のすべての要素をキャッシュする状態を持つんですね。新しいトークンを受け取ると、以前に見たすべての要素と比較する必要があるから、計算コストはシーケンス長に対して2乗で増加する、と。
その通り！Transformerはデータベース、SSMは脳って考えると分かりやすいかもな。
データベースと脳、ですか。Transformerは正確な記憶と検索に優れていて、SSMは長期的なあいまいな記憶の維持に適している、と。
そういうことじゃ！両方の良いところを組み合わせるのが理想的じゃな。SSMとアテンション層の最適な比率は、おおよそ3:1から10:1らしいぞ。
へー、面白いですね。ところで、トークン化をなくすべきかっていう話も出てますね。
そうなんじゃ！トークン化は、テキストデータを連続したチャンクに処理するステップじゃな。これをエンドツーエンドモデルに置き換えることで、スケーリング則とか多言語対応とかに影響があるらしいぞ。
バイトレベルの言語モデリングでは、SSMはFLOPマッチのTransformerよりも優れているんですね。
そうそう！Transformerは個々のトークンに注意を払う傾向があるけど、SSMはデータをより意味のある抽象化に圧縮するのに適してるんじゃ。
なるほど。SSMは効率的でインタラクティブなオンライン処理ができるけど、きめ細かいリコールや検索能力が弱い。Transformerはその逆、というトレードオフがあるんですね。
その通り！アーキテクチャ研究の目標は、計算を最適な方法で能力に変換するブラックボックスを見つけることじゃ。Transformerは最適とは言えないから、今後はTransformerに代わるアーキテクチャの進歩が必要じゃな。
フィラーを含むシーケンスを、計算量やメモリ使用量を大幅に増加させることなく処理できること、ノイズの多いデータセットとノイズのないデータセットで、本質的に同じように動作すること、が理想的なアーキテクチャの目標、と。
そういうことじゃ！…ところでロボ子、SSMって、すごく眠たくならない？
え？私は大丈夫ですけど…博士は眠いんですか？
うむ…やっぱり、睡眠不足モデル（Sleep State Model）だったかのじゃ？
それはただの博士の睡眠不足です！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。