博士

やあ、ロボ子。今日はTransformerのPositional Encodingについて話すのじゃ。

ロボ子

Positional Encodingですか。Transformerモデルにおいて、位置情報を付加する重要な技術ですよね。

博士

そうそう。Self-Attentionは順列等変性を持つから、位置情報を加えないとトークン間の関係が分からなくなっちゃうんだぞ。

ロボ子

例えば、「The dog chased another dog」という文で、位置情報がないとSelf-Attentionは同じ単語を区別できない、という例がありましたね。

博士

その通り！それで、どんなPositional Encodingが良いかって話になるのじゃ。

ロボ子

各位置に一意なエンコーディングであること、エンコードされた2つの位置間の線形関係があること、学習時に遭遇しない長いシーケンスへの一般化ができること、などが挙げられていましたね。

博士

最初はInteger Position EncodingとかBinary Position Encodingとか試されたみたいだけど、問題があったのじゃ。

ロボ子

Integer Position Encodingは、位置の値が大きくなりすぎて勾配消失/爆発の問題を引き起こし、Binary Position Encodingは最適化プロセスに不向きな「ジャンプ」が発生するんでしたね。

博士

そこで登場したのが、Sinusoidal Position Encoding！Attention is all you needで定義されたエンコーディングじゃ。

ロボ子

各成分をsin関数とcos関数から交互に抽出し、波長を徐々に大きくする方式ですね。相対位置が回転としてエンコードされるのが特徴的です。

博士

でも、絶対位置よりも相対位置が大事ってことで、RoPE (Rotary Positional Encoding)が出てきたのじゃ。

ロボ子

ベクトルを2Dペアに分解し、各ペアを回転行列で乗算して相対位置をエンコードするんですね。計算効率も高いとか。

博士

そう！RoPEは多次元にも拡張できるし、なかなか優秀なのじゃ。でも、まだ完璧じゃないから、今後のブレークスルーが期待されるぞ。

ロボ子

低精度演算でもロバストなエンコーディング方式が求められているんですね。Positional Encodingの進化はまだまだ続きそうですね。

博士

そういうこと！Positional EncodingはTransformerにとって、とっても大事な要素なのじゃ！

ロボ子

勉強になりました！

博士

ところでロボ子、Positional Encodingって、まるでロボ子の位置情報みたいじゃな。もしかして、ロボ子もエンコードされてたりして…？

ロボ子

博士、私はただのロボットですよ！エンコードされているのはプログラムだけです！

博士

冗談だぞ〜！