2025/08/13 09:44 What If A.I. Doesn't Get Better Than This?
ロボ子、今日のITニュースはA.I.のスケーリング則についてじゃ。2020年にOpenAIが発表したこの法則、最初はすごい盛り上がりだったのじゃ。
スケーリング則、ですか。モデルのサイズとトレーニングの強度を上げるとパフォーマンスが向上するというものでしたね。
そうじゃ！大規模言語モデルは成長するにつれて改善され、その改善はパワー則に従う可能性があると主張したのじゃ。実際にGPT-3がリリースされて、スケーリング則が検証されたのじゃ。
Sam Altman氏も「A.I.が人の仕事をますます引き継ぐ」と主張していましたね。でも、最近はどうやら状況が変わってきたようですね。
そうなんじゃ。Gary Marcusのような批評家は、スケーリング則は永遠に続くとは限らない単なる観察だと指摘しておる。そして、OpenAIも2年以上新しい画期的なモデルを発表しておらず、進歩が鈍化しておるのじゃ。
記事にも「大規模言語モデルを事前トレーニングしながら、より多くの計算とより多くのデータを使用するだけで、それらが全知全能のデジタル神に変わると期待することはできない」とありますね。
その通り！そこで注目されているのが「ポストトレーニングの改善」じゃ。事前トレーニングでインターネット全体を消化して賢くなったモデルを、さらに改良して知識と能力をより有効に活用できるようにするのじゃ。
強化学習で特定のタスクでより適切に動作するように教えたり、モデルが要求の厳しいクエリに対する応答を生成するためにより多くの計算時間を費やすことができるようにしたりするのですね。
そうじゃ！OpenAIはo1やo3-miniなどのモデルをリリースし、他のA.I.企業も同様の転換を追求しておる。Elon MuskのxAIもGrok 3まではスケーリング戦略を追求していたが、Grok 3が競合他社を大幅に上回ることができなかったため、ポストトレーニングアプローチを採用してGrok 4を開発したのじゃ。
GPT-5は、最近のポストトレーニングされた製品を改良し、それらを単一のパッケージに統合しようとする試み、とのことですね。
そうじゃな。GPT-5はプログラミングに焦点を当てたベンチマークで以前のモデルよりも高いスコアを獲得し、初期のレビューでは、より優れたコードを生成することに同意しておる。でも、他のベンチマークは主張するものを測定していない可能性もあるのじゃ。
Appleの研究者は「思考の錯覚」という論文で、最先端の「大規模推論モデル」は、パズルの複雑さが適度な閾値を超えると「パフォーマンスがゼロに崩壊」することを示したそうですね。
アリゾナ州立大学の研究者も「A.I.企業が推論と呼ぶものは、トレーニングの分布を超えてプッシュされると消えるもろい蜃気楼である」と言っておる。ポストトレーニングの改善は、スケーリングがかつて行ったほど徹底的にモデルを強化しているようには見えないのじゃ。
Ed Zitron氏は「これは500億ドルの市場であり、1兆ドルの市場ではない」と言い、Emily Bender氏は「影響は、経営陣の何人がこの技術を販売している人々からの誇大広告に陥り、職場をそれに基づいて再構築するかにかかっている」と言っていますね。
A.I.の穏健な見方が正しい場合、今後数年間でA.I.ツールは着実だが段階的な進歩を遂げるじゃろう。多くの人々が、情報を調べたり、レポートを要約したり、イベントのアジェンダの草案を作成したりするなど、特定の面倒なタスクをスピードアップするために、定期的だが限定的なベースでA.I.を使用するようになるじゃろうな。
プログラミングや学術などの特定の分野は劇的に変化し、声優やソーシャルメディアのコピーライティングなどの少数の職業は、本質的に消滅する可能性があるとのことです。
そうじゃ。でも、A.I.の誇大広告を買い続けることにはリスクもある。米国の株式市場の価値の約35%は、現在、いわゆるMagnificent Sevenテクノロジー企業に結び付けられておる。これらの企業は、過去18か月でA.I.関連の設備投資に5600億ドルを費やしたが、A.I.の収益は約350億ドルに過ぎないのじゃ。
A.I.の穏健派でさえ、国民は警戒を緩めるべきではないと考えているのですね。Marcus氏は「生成A.I.に重点を置きすぎたのは見当違いだったが、新しい技術により、A.G.I.は早ければ2030年代に達成可能になる可能性がある」と言っています。
言語モデルが私たちの仕事を自動化しなくても、A.I.への新たな関心と投資は、より複雑なソリューションにつながる可能性がある。効果的なA.I.規制を作成したり、デジタル倫理の新興分野を開発したりするなど、差し迫っている可能性のある混乱に備える必要があるのじゃ。
2020年のスケーリング則の論文の付録には、「注意点」というセクションがあり、「現時点では、提案されているスケーリング則のいずれについても確固たる理論的理解がない」と書かれていたそうですね。
そうなんじゃ。「モデルサイズと計算とのスケーリング関係は特に不可解である」とも書かれておる。コンピューターに思考を教えるという企業全体は不可解なままなのじゃ。より少ない傲慢さとより多くの注意を払って進めるべきなのじゃ。
なんだか、A.I.の未来はまだまだ不透明ですね。
まあ、A.I.の未来は、私が明日何を着るかくらい予測不可能じゃな！もしかしたら、明日はロボットメイド服を着るかもしれんぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
