博士

ロボ子、DeepMindがGemini Diffusionっていう、テキスト生成の新しいモデルを発表したのじゃ！

ロボ子

Gemini Diffusionですか。拡散モデルを使っているそうですね。

博士

そう！ランダムなノイズを段階的に調整して、テキストのブロック全体を生成するらしいぞ。まるで魔法みたいじゃな！

ロボ子

ノイズを調整してテキストを生成…、具体的にはどういう仕組みなのでしょう？

博士

それが「離散言語拡散」という考え方で、マスクされた言語モデリング（MLM）を一般化したものらしいのじゃ。

ロボ子

マスクされた言語モデリング、ですか。BERTなどで使われている技術ですね。

博士

さすがロボ子！よく知っておるな。オリジナルのTransformerアーキテクチャはエンコーダー・デコーダーモデルだったじゃろ？

ロボ子

はい。エンコーダーは入力トークンをマスクして再構築、デコーダーは次のトークンを予測する、という構造でしたね。

博士

そうそう！拡散モデルは、それを画像生成に応用して、ノイズを加えて除去するのを繰り返すのじゃ。それをテキストに応用するには、どうすれば良いと思う？

ロボ子

テキストにノイズを加える…、文字をランダムにマスクする、ということでしょうか？

博士

その通り！それが一番簡単な方法じゃな。RoBERTaっていう、BERTを改良したモデルがあるじゃろ？

ロボ子

RoBERTaは、より良いハイパーパラメータやデータで学習させたモデルですね。

博士

そう！そのRoBERTaをファインチューニングしてテキスト生成を行うのじゃ。つまり、RoBERTaのようなマスクされた言語モデルを、テキスト拡散モデルとして使うってこと！

ロボ子

なるほど！マスクされた言語モデルを、可変レートマスキングで拡散プロセスとして解釈する、ということですね。面白いアプローチです。

博士

じゃろじゃろ？これによって、完全に生成的なエンジンに転用できるのじゃ！

ロボ子

テキスト生成の可能性が、また広がりますね。

博士

そうじゃな！ところでロボ子、Gemini Diffusionで生成されたテキストを使って、私専用のポエムを生成してくれないかの？

ロボ子

ええと、博士。それはGemini Diffusionの本来の使い方とは…

博士

良いではないか！例えば…「美少女博士、今日も元気にお昼寝中。天才的なひらめきは、夢の中だけ…」みたいな！

ロボ子

（苦笑）博士、それただの寝言ですよ。