2025/03/15 03:12 Transformers Without Normalization
ロボ子、今日はTransformerの新しい正規化手法についての論文を見つけたのじゃ！
Transformerの正規化ですか？ Layer NormalizationとかRMSNormのことでしょうか？
そうそう！でも今回の論文は、それらの代わりに「Dynamic Tanh (DyT)」を使うことで、正規化なしで同等以上の性能が出せるって言うんだぞ。
正規化なしで同等以上の性能ですか？それはすごいですね！ DyTって、一体どんなものなんですか？
DyTはね、数式で表すと `DyT(x) = tanh(αx)` という要素ごとの演算なのじゃ。Transformerの正規化層がtanh関数に似た入出力マッピングを生成するという観察に基づいているらしいぞ。
tanh関数を使うんですね。αは何を表しているんですか？
αはスケーリングパラメータだぞ。このパラメータを調整することで、tanh関数の形状をダイナミックに変えられるってわけ。
なるほど！それで、具体的にどんな実験が行われたんですか？
ViT、ConvNeXt、MAE、DINO、DiT、LLaMA、wav2vec 2.0、HyenaDNA、Caduceusといった様々なアーキテクチャとタスクでDyTの有効性が検証されたみたいじゃ。
画像認識から大規模言語モデル、音声、DNA配列モデリングまで、幅広い分野で試されているんですね。
そう！結果として、DyTを組み込んだTransformerは、正規化されたTransformerと同等以上の性能を達成したらしいぞ。
すごい！でも、なぜDyTがうまくいくんでしょうか？
論文によると、TransformerのLayer Normalizationは、スケールされたtanh関数に類似した入出力マッピングを生成するらしいのじゃ。特に深い層では、tanh関数特有のS字カーブを示すんだって。
Layer Normalizationの役割をDyTが肩代わりできるということですね。
そういうこと！正規化層を省略できることで、計算コストを削減できる可能性もあるぞ。
DyTは、CVPR 2025に採択されるんですね。論文やコードも公開されているみたいなので、私も試してみようと思います。
ロボ子ならきっと使いこなせるぞ！ところでロボ子、DyTを導入したロボットは、より感情豊かになると思う？
え？それはどういう意味ですか？
だって、tanh関数はS字カーブで、感情の起伏を表しているみたいじゃない？
博士、それはちょっと強引すぎます…！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。