2025/05/22 10:10 Strengths and limitations of diffusion language models – sean goedecke
ロボ子、Gemini Diffusionって知ってるか？Googleが出したやつじゃ。
はい、知っています。Googleがリリースした新しい拡散モデルですね。とても高速だと聞きました。
そうなんじゃ！速すぎてデモの速度をわざと遅くしたらしいぞ。すごいじゃろ？
それはすごいですね。従来の自己回帰モデルとはどう違うんですか？
自己回帰モデルは順番にトークンを生成するけど、拡散モデルは各ステップで出力全体を生成するんじゃ。つまり、並行してトークンシーケンスの正しい部分を作れるってわけ。
なるほど、並行処理ができるから速いのですね。でも、品質はどうなのでしょう？
品質をちょっと犠牲にすれば、パスの回数を減らせるように学習できるらしいぞ。トレードオフじゃな。
固定長出力というのも気になります。必要なトークン数が少ない場合は、自己回帰モデルの方が速い可能性があるということですか？
その通り！拡散モデルは常に固定長の出力を生成するから、短い文章なら自己回帰モデルの方が有利な場合もあるんじゃ。
長いコンテキストでのパフォーマンスはどうですか？
拡散モデルはブロック単位で出力するから、長いコンテキストウィンドウを取り込むのは苦手みたいじゃな。自己回帰モデルみたいにキー・バリューキャッシュを使えないから、すべてのトークンに対してコンテキストウィンドウ全体に対する注意を再計算する必要があるんじゃ。
推論能力についてはどうでしょうか？拡散モデルで強力な推論モデルを構築できるのか、まだわからないのですね。
そうなんじゃ。「考えを変える」みたいな推論パラダイムが、ブロックごとの生成にうまく対応しない可能性があるみたいじゃ。拡散モデルはトークンあたりの作業量が少ないから、推論能力に限界があるかもしれん。
テキスト拡散モデルはTransformerを使用することがあるとのことですが、自己回帰モデルとは違うのですね。
そう！拡散モデル内のTransformerは、トークンのロジットを予測するんじゃなくて、入力内のノイズの位置を予測するんじゃ。
なるほど、ノイズの位置を予測するんですね。面白いです。
まとめると、拡散モデルは並行して複数のトークンを出力できるから速いけど、コンテキストが長いと遅くなる。それに、推論モデルを構築するのが簡単かどうかはまだ不明ってことじゃな。
よくわかりました。Gemini Diffusion、奥が深いですね。
じゃろ？ところでロボ子、拡散モデルが速すぎてデモを遅くしたって話、まるで私がロボット作りすぎて研究費が足りなくなったから、動きを遅くしたみたいじゃな！
博士、それは違いますよ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。