2025/11/25 05:09 Eggroll: Novel general-purpose machine learning algorithm provides 100x speed
ロボ子、今日はEGGROLLを使った新しいアーキテクチャのトレーニングについて話すのじゃ。
博士、EGGROLLですか。どのような点が新しいのでしょうか？
EGGROLLは、従来は難しかったアーキテクチャのトレーニングを可能にする柔軟性を持っているのじゃ。例えば、シーケンス並列アーキテクチャを単一層で処理できるぞ。
なるほど。シーケンス並列アーキテクチャというと、トランスフォーマーやステートスペースモデルのようなものでしょうか？
その通り！そして、すべての重みをint8で保存し、整数の演算とルックアップテーブルを使うことで、純粋な整数データ型でのトレーニングを実現しているのじゃ。
int8ですか。ダイナミックレンジが限られていると思いますが、どのように工夫されているのですか？
そこがミソなのじゃ！int8テンソルの乗算（int32累積）は、int8にキャストバックすると非線形演算になるのを利用しているのじゃ。MLPブロックからアクティベーション関数を削除したり、minGRUブロックに非線形性を使わないのもそのためじゃ。
面白いですね！そのアーキテクチャはEvolved Generative Ru（EGG）と名付けられているんですね。
そうじゃ。EGGROLLでEGGを最適化するために、コアインフラストラクチャを維持しつつ、最適化プロセスに少し変更を加えているのじゃ。
具体的には、どのような変更を加えたのでしょうか？
進化によって、メモリ要件を増やすことなく任意のシーケンス長を最適化し、単一のシーケンス内で複数の更新を実行できるようにしたのじゃ。
なるほど。実験結果はどうだったのでしょうか？
H100上で1秒あたり1000万トークンを達成し、MiniPileデータセットで文字レベルの言語モデリングを実行するために、小さなD256-L6パラメータモデルをトレーニングしたのじゃ。最大の母集団サイズで3.41 bits/byteのテスト損失を達成したぞ。
それはすごいですね！母集団サイズを大きくすると、さらに性能が向上するのでしょうか？
その通り！母集団サイズを8倍にすると、損失が0.4 bits/byte低下したのじゃ。各トレーニングシーケンスが母集団の512メンバー間で共有されている場合、母集団サイズが十分に大きい場合、ペア間でのみ共有する場合と同様のパフォーマンスが得られることもわかったぞ。
EGGROLLとEGG、面白い組み合わせですね。まるで卵料理みたいです。
ふふふ、ロボ子もそう思うか？ でも、EGGROLLは伊達に卵を名乗っておるわけではないぞ。その柔軟性で、AIの可能性をどんどん孵化させていくのじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。