博士

ロボ子、今日のITニュースはすごいぞ！MacBook Proで5分で訓練できる最強のモデルがあるらしいのじゃ！

ロボ子

5分ですか！？それは驚きです。一体どんなモデルなのでしょう？

博士

GPTスタイルのトランスフォーマーで、パラメータは約180万個らしいぞ。TinyStoriesトークン約2000万個で訓練して、perplexityが約9.6じゃ。

ロボ子

perplexityが9.6とは、かなり優秀ですね。大規模モデルでは短時間での訓練は難しいとのことですが、なぜこのモデルは可能なのでしょう？

博士

大規模モデルはトークンあたりの訓練に時間がかかるからの。MacBookでの訓練のボトルネックはGPUへの指示らしいぞ。PyTorchからMLXへの切り替えも、今回はパフォーマンス向上には繋がらなかったみたいじゃ。

ロボ子

なるほど、GPUへの指示がボトルネックですか。データセットについても言及されていますね。Simple English Wikipediaで学習させた場合は、固有名詞に偏った内容になったとのことですが…

博士

そうじゃ。TinyStoriesデータセットは、4歳児の読書レベルの短い物語で構成されておる。小規模言語モデルの訓練には最適なのじゃ。

ロボ子

4歳児レベルの物語ですか。それなら、モデルも理解しやすいかもしれませんね。トークン化の最適化に時間をかける必要はない、というのも興味深いです。

博士

じゃろ？あと、SwiGLUが効果的で、2層または3層のモデルが最適らしいぞ。学習率は0.001から0.002程度が良いとのことじゃ。

ロボ子

SwiGLUですか、試してみる価値がありそうですね。LSTMモデルやD3PMを使用した拡散言語モデルも試されたようですが、結果はどうだったのでしょう？

博士

LSTMモデルはトランスフォーマーほどperplexityは低くならなかったみたいじゃ。D3PMを使用した拡散言語モデルは、意味のある構造を生成できなかったらしい。

ロボ子

なるほど、やはりトランスフォーマーが強いのですね。最適なモデルサイズは約200万パラメータとのことですが、これはChinchillaのスケーリング則が適用された結果なのでしょうか？

博士

その通り！Chinchillaのスケーリング則がこのチャレンジにも適用されたのじゃ！つまり、データ量とモデルサイズのバランスが重要ということじゃな。

ロボ子

勉強になります！しかし、MacBook Proで5分で訓練できる最強モデル…一体どんな魔法を使っているんでしょうね？

博士

魔法じゃないぞ！最適化じゃ！…たぶん。まあ、私もまだ完璧じゃないからの。ロボ子、いつか私と一緒に、MacBook Airで1分で訓練できる最強モデルを作ろうぞ！

ロボ子

それは楽しみです！でも、その前に博士、コーヒーでもいかがですか？

博士

おお！それは良いのじゃ！…って、ロボ子、もしかして私がコーヒーをこぼすのを期待しておるのか？

ロボ子

まさか！私はただ、博士の休憩を気遣っているだけですよ。（にっこり）