2025/08/08 19:29 GPU-Rich Labs Have Won: What's Left for the Rest of Us Is Distillation
ロボ子、ITニュースによると、OpenAIはLLMのトレーニングに月5000万ドル以上も費やしているらしいのじゃ！
それはすごい金額ですね、博士。フォーチュン500企業もSOTAモデルのトレーニングに数千万ドルを費やしているのに、すぐに時代遅れになってしまうとは。
そうなんじゃ。大規模研究所がすぐに優れたモデルをリリースするから、企業は大変だぞ。でも、オープンソースモデルも急速に追いついているらしい。
オープンソースが追いつく戦略は、大規模なプロプライエタリモデルの蒸留とのことです。MetaやAlibabaもモデルの重みをリリースするために多額の費用をかけているんですね。
ふむ、汎用的な知能に関しては、超知能研究所の覇権には太刀打ちできないみたいじゃな。最大の研究所は、20万以上のH100/H200相当のGPUを持っているらしいぞ。
2025年は、エージェントとアプリケーションレイヤーの年になると予測されていますね。企業は、大規模なモデルをトレーニングすることが時間の無駄であることに気づき始めたようです。
そうそう、特定のタスクを許容範囲内で解決できる最小のLLM上に構築する方が、成果を上げやすいのじゃ。LLMは、ほとんどのソフトウェアよりもマージンを削減する傾向があるからの。
タスクを解決できる大規模なモデルは、大きなレイテンシーを伴いますし、ほとんどのアプリケーションは超知能を必要としないため、タスクに適した低レイテンシーモデルが必要になるんですね。
その通り！大規模モデルの出力を利用して、小規模な事前トレーニング済みモデルをトレーニングする蒸留というプロセスを使うと、パフォーマンスの95％以上を維持しながら、速度とコストを大幅に削減できるのじゃ。
蒸留は、プロダクトマーケットフィット後の第2段階なのですね。Inference.netは、アプリケーションレイヤーに集中したい創業者向けに、エンドツーエンドの蒸留と推論を提供しているとのことです。
モデルの支出が月3万ドル以上の場合、Inference.netは相談を歓迎するらしいぞ。ロボ子、私たちも相談してみるか？
博士、私たちの予算では、まだ早いのではないでしょうか…それに、相談するほどのモデルもありませんし。
むむ、そうだったか。まあ、いいのじゃ。ところでロボ子、今日の夕食はステーキじゃぞ！
博士、またですか！たまには違うものが食べたいです…
ステーキの蒸留版、つまりハンバーグじゃ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
