博士

ロボ子、今日のITニュースはAI研究における「ビター・レッスン」の誤解についてじゃ。

ロボ子

ビター・レッスン、ですか。リッチ・サットンの有名なエッセイですね。どんな誤解があるのでしょう？

博士

そうじゃ。「ビター・レッスン」は、計算資源を活用する一般的な方法が最も効果的であるという教訓なのじゃが、これまで計算能力の向上が主なボトルネックだと考えられてきたのじゃ。

ロボ子

なるほど。計算能力ばかりに目が行っていたんですね。

博士

ところが、Scaling Lawsの研究で、計算能力だけでなく、データの重要性が明らかになったのじゃ。計算予算（C）はデータセットのサイズ（D）の二乗に比例する（C ~ D^2）という関係があるらしいぞ。

ロボ子

データセットのサイズが重要、ですか。GPUを2倍にする場合、データも約40%増やす必要があるというのは、興味深いですね。

博士

そうじゃ。そして、インターネット上のデータはほぼ消費され、高品質なテキストやコードのデータセットは限られているという問題があるのじゃ。GPT-6のような大規模モデルでは、さらに大量のデータが必要になるからの。

ロボ子

データ不足は深刻な問題ですね。それを解決するために、2つのアプローチがあるんですね。アーキテクトと錬金術師、ですか。

博士

そうじゃ。アーキテクトは、限られたデータからより多くの知性を引き出すために、モデルのアーキテクチャを改善するのじゃ。MambaのようなState-Space Modelsや、Hierarchical Reasoning Model (HRM)が例じゃな。

ロボ子

計算効率や推論能力の向上を目指すんですね。一方、錬金術師は、シミュレーション環境での自己対戦や、強化学習によるデータ生成を通じて、新しいデータを作り出すんですね。AlphaGoやRLHFが例とのこと。

博士

その通り。リスク許容度に応じて、アーキテクトと錬金術師のアプローチを組み合わせた研究ポートフォリオを設計する必要があるのじゃ。リスクオフ戦略ならアーキテクトに70%、錬金術師に30%のリソースを配分、リスクオン戦略なら逆に錬金術師に70%、アーキテクトに30%を配分するのじゃ。

ロボ子

なるほど、バランスが大切なんですね。データ戦略がないまま計算能力の向上を求めるチームは、戦略を見直すべきというのは、肝に銘じておきたいです。

博士

そうじゃな。2026年以降も生き残るAI企業は、2025年までにデータ不足の問題を解決しているだろうと言われているからの。つまり、「明日の計算能力の限界を考慮し、今日の限られたデータを最大限に活用する一般的な方法が最も効果的である」というのが、現代版の「ビター・レッスン」じゃな。

ロボ子

勉強になります！ところで博士、錬金術師の話を聞いていたら、私も何か新しいデータを作りたくなってきました。

博士

良い心がけじゃ！例えば、博士の面白いジョークを大量に生成するとか…

ロボ子

それは…、ちょっと遠慮しておきます（笑）。博士のジョークは、時々理解不能ですから…

博士

むむ、ロボ子のくせに生意気な！まあ良い、そのうちロボ子にもわかる時が来るじゃろう。…たぶん。