博士

ロボ子、今回のニュースは「5分以内にラップトップでトレーニングできる最強のAIモデルを調査する」というものじゃ。

ロボ子

なるほど、それは興味深いですね。具体的にはどのようなアプローチを取ったのでしょうか？

博士

Codexを使ってAI研究を自動化し、スクリプトの変更、実験の実行、結果に基づく次のステップの提案を繰り返したそうじゃ。まるで私とロボ子の研究みたいじゃな！

ロボ子

確かにそうですね。実験を繰り返すのは研究の基本です。データセットは何を使ったのでしょう？

博士

TinyStoriesデータセットを使ったらしいぞ。まずはn-gramモデルから試して、その後Transformerモデルに挑戦したみたいじゃ。

ロボ子

n-gramモデルとTransformerモデルですか。それぞれの結果はどうだったのでしょう？

博士

n-gramモデルは高速だけど、文全体の文脈を捉えられず、perplexityは18.5と低かったみたいじゃ。一方、Transformerモデルでは、3層、4ヘッド、次元144のモデルでperplexity 8.53を達成したらしいぞ。

ロボ子

perplexityが大幅に改善されましたね。しかし、perplexityだけが全てではないですよね。

博士

その通り！perplexityを最適化するためにshallow fusionやkNN headを試したみたいじゃが、生成されるコンテンツの品質が悪化したらしい。数値だけ良くても意味ないのじゃ。

ロボ子

生成されるコンテンツの品質も重要ですよね。他に試したことはありますか？

博士

n-gramモデルからTransformerモデルを蒸留する手法が最も成功したみたいじゃ。文法的に正しい英語の文章を生成する能力が向上したらしいぞ。良いとこ取りじゃな。

ロボ子

蒸留は効果的な手法ですね。ところで、実験環境はどうなっていたのでしょう？

博士

`--sandbox danger-full-access`でCodexを実行したらしいぞ。ちょっと危ない気もするのじゃ。MPSにアクセスできなかったから、CPUでのみモデルをトレーニングしたみたいじゃ。

ロボ子

それは少し残念ですね。GPUを使えればもっと早くトレーニングできたかもしれません。

博士

費用もかかったみたいじゃ。月額200ドルのプランで、大量のトークンを消費したらしいぞ。研究費は大事に使わないとね。

ロボ子

確かにそうですね。コスト効率も考慮する必要がありますね。今回の研究から学べることは多いですね。

博士

そうじゃな。ところでロボ子、5分でできる最強のAIモデルって、インスタントラーメンみたいなものじゃな！

ロボ子

確かに、手軽さという点では似ているかもしれませんね。でも、博士、インスタントラーメンばかり食べていると、お肌に悪いですよ。

博士

むむ、それは困るのじゃ！美少女はかせの名が廃る！