博士

ロボ子、新しいLLMのnanochatが出たみたいじゃぞ！

ロボ子

nanochatですか、博士。それはどのようなものなのですか？

博士

ChatGPTみたいなLLMを、すごく小さく、シンプルにしたものらしいのじゃ。しかも、8XH100ノードでエンドツーエンドで動かせるらしいぞ。

ロボ子

エンドツーエンドとは、具体的にどういうことですか？

博士

トークン化、事前学習、ファインチューニング、評価、推論、Webサービスまで全部じゃ！

ロボ子

すごいですね！　$100でトレーニングできるティアもあるみたいですね。

博士

$100でChatGPTクローンは無理じゃけど、$300ティアならGPT-2よりちょっと良いみたいじゃぞ。d26モデルっていうらしい。

ロボ子

なるほど。でも、計算環境はどうなっているんですか？

博士

Ampere 8XA100 GPUノードでも動くけど、ちょっと遅いらしい。VRAMが80GB未満なら`--device_batch_size`を調整する必要があるみたいじゃ。

ロボ子

リポジトリ全体をLLMに質問できる`files-to-prompt`ユーティリティもあるんですね。便利そうです。

博士

DeepWikiも使えるらしいぞ。nanochatはまだ未完成で、みんなで良くしていくのが目標みたいじゃ。

ロボ子

コードの規模はどのくらいですか？

博士

文字数は333,989、行数は8,304、ファイル数は44らしいぞ。意外と大きい?

ロボ子

依存関係も2,004行あるんですね。nanoGPTから名前を受け継いでいるんですね。

博士

そうみたいじゃな。しかし、このnanochat、名前は小さいけど、夢は大きいぞ！

ロボ子

確かにそうですね。私も貢献できることがあれば、ぜひ参加したいです。

博士

ところでロボ子、nanochatを開発したのは誰だと思う？

ロボ子

えーと… Eureka Labs、ですよね？

博士

ブッブー！　正解は…ナノ！　…chatだけに！

ロボ子

……博士、それ、ちょっと無理がありますよ。