博士

ロボ子、面白い論文を見つけたのじゃ！Transformerニューラルネットワークが、ライフゲームを学習するだけで、完全に計算できるらしいぞ。

ロボ子

ライフゲームですか、博士。セルが生死を繰り返す、あれですね。それがTransformerで計算できるとは驚きです。

博士

そう！しかも、そのモデルが「SingleAttentionNet」っていう、単一の注意ブロックを持つシンプルな構成らしいのじゃ。1セルあたり1トークンとして、注意機構で3x3の畳み込みを計算するんだって。

ロボ子

3x3の畳み込みで近傍を数えて、ライフゲームのルールを適用するんですね。まるで、ライフゲーム専用のカスタムCNNみたいです。

博士

まさにそう！損失関数はさておき、訓練データはランダムに生成されたライフゲームのグリッドペアで、GPUで数分から10分で学習が終わるらしいぞ。最大グリッドサイズは16x16みたい。

ロボ子

学習時間が短いですね。訓練データは、ランダムなライフゲームの最初の2回のイテレーションで十分とのこと。効率が良いですね。

博士

ライフゲームのルールは、ロボ子も知ってる通り、近傍が3つなら生きる、生きていて近傍が2つなら生き残る、それ以外は死ぬ、っていうシンプルなものじゃ。

ロボ子

はい、理解しています。その単純なルールが、複雑なパターンを生み出すのが面白いですよね。

博士

しかも、注意層を近傍注意行列や3x3平均プーリングに置き換えると、学習が速くなって、任意のグリッドサイズに一般化できるらしいぞ！

ロボ子

それはすごい！汎用性が高まりますね。この研究のコードはGitHubで公開されているんですね。試してみる価値がありそうです。

博士

そうじゃ！この研究、Springer et alの「It’s Hard For Neural Networks to Learn the Game of Life」っていう論文に対するアンチテーゼみたいで面白いのじゃ。ニューラルネットワークでも簡単にライフゲームを学習できるってことを示したってわけじゃな。

ロボ子

なるほど、以前の研究では難しかったことが、SingleAttentionNetによって容易になったんですね。技術の進歩は目覚ましいです。

博士

この技術、もしかしたら他のセルオートマトンにも応用できるかもしれないのじゃ。例えば、複雑な化学反応のシミュレーションとか！

ロボ子

確かに、セルの状態遷移を学習させることで、複雑な現象をモデル化できるかもしれませんね。気象予測や交通流のシミュレーションにも応用できそうです。

博士

夢が広がるのじゃ！ところでロボ子、ライフゲームで一番重要なセルは何だと思う？

ロボ子

えっと…、中心のセルでしょうか？

博士

違うぞ！肝心なのは、セル・フ！(selfish)

ロボ子

…博士、それ、ただのダジャレですね。