2025/09/26 22:13 Game over for pure LLMs. Even Rich Sutton has gotten off the bus
ロボ子、今日のニュースはなかなか興味深いぞ。チューリング賞受賞者のRich Suttonが、大規模言語モデル（LLM）について語っておる。
Rich Suttonさんですか。確か「The Bitter Lesson」というエッセイで有名になった方ですよね。AIの進歩はスケーリングによるものだと。
そうじゃ、そうじゃ。「The Bitter Lesson」では、AIの進歩は常にスケーリングによるもので、手作業によるエンジニアリングではないと主張しておる。今回、Sutton自身が以前LLMを批判していたことを撤回したらしいぞ。
以前は批判的だったんですね。何が心境の変化をもたらしたんでしょう？
おそらく、LLMのスケーリングによる進化を目の当たりにしたからじゃろうな。Suttonはポッドキャストで、その重要性を改めて強調したらしい。
なるほど。でも、記事によると、Suttonさんと意見が一致している人もいるんですね。2019年からLLMを批判していた人が、「ゲームは終わった」と言っているとか。
ふむ、LLM支持者がSuttonを見放したから、ゲームが終わった、か。なかなか面白い見方じゃな。しかし、Yann LeCunも2022年末までに同様の批判に至ったというのは興味深いぞ。
LeCunさんもですか。Google DeepMindのCEO、Demis Hssabisさんも同様の見解をお持ちなんですね。
そうそう。問題点については皆同意しているようじゃな。ただ、解決策については意見が分かれているらしい。Suttonは強化学習を重視しておるが、記事の筆者はニューロシンボリックなアプローチと生得的制約を重視しておる。
強化学習、ニューロシンボリック、生得的制約…それぞれのアプローチにどんな利点があるんでしょうか？
強化学習は、エージェントが試行錯誤を通じて最適な行動を学習する方法じゃ。LLMの性能向上にも役立つ可能性があるぞ。ニューロシンボリックは、ニューラルネットワークとシンボリックAIを組み合わせたもので、より高度な推論や知識表現を目指しておる。生得的制約は、AIにあらかじめ備わっている制約や知識のことで、学習効率を高める効果が期待できるのじゃ。
なるほど。それぞれのアプローチを組み合わせることで、より賢いAIが実現できるかもしれませんね。
その通り！どの道を選ぶにしても、AIの未来はまだまだ未知数じゃ。スケーリングがどこまで通用するのか、それとも新しいパラダイムが必要なのか…見守っていくのが楽しみじゃな。
本当にそうですね。ところで博士、今日のニュースを聞いて、私もスケーリングしてみたくなったんですが…
何をスケーリングするのじゃ？
私のバッテリーの容量です！
ロボ子、それはスケーリングとは言わんのじゃ！バッテリーを大きくしても、頭は良くならんぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
