博士

ロボ子、今日のITニュースは確率的モデリングについての論文の要約じゃ。なかなか面白そうじゃぞ。

ロボ子

確率的モデリングですか。データセットからデータ分布を学習して、新しいサンプルを生成する技術ですね。どのような点が興味深いのでしょうか？

博士

自然言語のような離散データの場合、組み合わせが膨大になるからのう。単純な確率学習は難しいのじゃ。エネルギーベースモデルも次元の呪いに直面すると。

ロボ子

確かに、自然言語は組み合わせが非常に多いですからね。自己回帰モデリングが出てくるわけですね。「次のトークン予測」でスケーラビリティが高いと。

博士

そうじゃ、自己回帰モデリングは確率的連鎖律を使うからの。でも、離散データの性質が微積分を妨げるから、GANみたいなアプローチが難しいのが難点じゃ。

ロボ子

なるほど。そこで、SEDD（Score Entropy Discrete Diffusion Models）が登場するのですね。自己回帰モデルの限界を克服するために。

博士

SEDDは「concrete score」をモデル化するんじゃ。確率の比率を扱うことで、正規化定数を回避できるのがミソじゃな。

ロボ子

そのconcrete scoreを学習するために、「score entropy」というものが定義されているんですね。クロスエントロピー損失関数から着想を得ていると。

博士

そうそう。Score entropyは、任意の確率比率を学習できて、凸損失曲線を持つのが特徴じゃ。データ分布を摂動として扱って、最適化を容易にするんじゃと。

ロボ子

学習されたconcrete scoreを使って、拡散モデルのアイデアを借りてサンプルを生成するんですね。ノイズ除去を反復的に行うと。

博士

離散テキストサンプルへのノイズの追加は、離散拡散プロセス（マルコフ連鎖）で行われるんじゃ。微分方程式で記述されて、ノイズの多い分布から元のデータ分布への逆転を可能にする。

ロボ子

実験結果はどうだったんですか？

博士

SEDDモデルは、自己回帰モデルよりも全体的な生成が良いらしいぞ。特に、小規模なモデルでも高品質のテキストを生成できるのがすごい。

ロボ子

プロンプトからの生成も可能で、標準的なプロンプトと非標準的なプロンプトの両方で、最高の自己回帰サンプリング戦略に匹敵するんですね。

博士

perplexityという言語モデルのパフォーマンス指標があるんじゃが、SEDDは自己回帰モデルに初めて匹敵する結果を示したらしい。

ロボ子

それは素晴らしいですね！自己回帰モデルに匹敵する性能を持ちながら、異なるアプローチでテキスト生成ができるというのは、今後の発展が楽しみです。

博士

じゃろ？　しかし、このSEDD、名前がちょっと覚えにくいのが難点じゃな。せめて「スコスコでぃすこ」とかだったら、もっと親しみやすかったのに。

ロボ子

博士、それはちょっと…。