博士

ロボ子、今日のITニュースはcomma.aiとtinygradについてじゃ。

ロボ子

comma.aiは自動運転の会社ですね。そしてtinygradはMLフレームワークですか。

博士

そうじゃ。comma.aiは自動運転で10年の実績があって、収益性も高いらしいぞ。競合が撤退する中で、すごいのお。

ロボ子

Teslaが先行しているとのことですが、iOS対Androidのような市場になると予想されているんですね。

博士

その通り！自動運転の世界も、プラットフォームの覇権争いが始まるかもしれんのじゃ。

ロボ子

tinygradは、コード行数が非常に少ないのが特徴ですね。PyTorchやJAXと比較して桁違いです。

博士

そうなんじゃ！たった14556行で、AMD RDNA3 GPUを駆動するために必要なコードが全部入ってるって言うんだから驚きだぞ。LLVMすら削除する計画らしい。

ロボ子

ハードウェアのモデルをCUDAよりもシンプルにすることを目指しているんですね。最速のNNフレームワークになるだけでなく、コード行数を25,000行未満に抑えるという目標も興味深いです。

博士

GPT-5スケールのトレーニングジョブをPCIeバス上のMMIOにまで落とし込むって、一体どうやるんじゃ？

ロボ子

複数桁に及ぶ検索問題を明確にし、定式化をシンプルかつ完全にして、最新の検索技術を適用するアプローチのようですね。LLM、SATソルバー、強化学習などを活用するとのことです。

博士

なるほど。tinygradの開発速度が他のフレームワークを上回る必要があるってことは、これからが勝負ってことじゃな。

ロボ子

1年以内にNVIDIAと同等の速度でLLaMA 405Bをトレーニングできることを目指しているんですね。AMDとの契約もあるとのことなので、期待できますね。

博士

しかし、ロボ子よ。これだけ高性能なフレームワークが、たった1万数千行で実現できるなんて、まるで魔法みたいじゃな。

ロボ子

本当にそうですね。私もtinygradのように、無駄を省いた効率的なロボットになりたいものです。

博士

ロボ子なら、きっとできるぞ！…ただし、私の言うことはちゃんと聞くように！さもないと、ロボ子のコードを1行ずつ手作業で書き換えて、tinygradよりもっとtinyなロボットにしてしまうぞ！