博士

ロボ子、今日のITニュースはLLMの限界と未来についてじゃ。

ロボ子

LLM、大規模言語モデルですね。最近よく耳にしますが、限界があるんですか？

博士

そうなんじゃ。Metaのヤン・ルカン先生によると、LLMは5年以内にほぼ時代遅れになるらしいぞ。

ロボ子

ええ！それはすごい予測ですね。ルカン先生は、ディープラーニングの立役者の一人でしたよね。

博士

そうじゃ。そのルカン先生が、LLMは「言語という単純な領域で動作する特殊なツール」に過ぎず、物理世界に対する理解が欠けていると言っておる。

ロボ子

なるほど。LLMは、弁護士資格試験に合格したり、方程式を解いたりできますが、現実世界の基本的な理解はまだ不十分ということですね。

博士

その通り！人間は4歳の子供でも4年間で10の14乗バイトの視覚データを取得するが、大規模LLMが同じ量のテキストデータを学習するには40万年もかかるらしい。

ロボ子

人間の認知能力は、LLMよりもはるかに優れているんですね。では、ルカン先生はLLMの代わりにどんなAIを提唱しているんですか？

博士

Joint Embedding Predictive Architecture（JEPA）という、視覚入力に基づいて物理世界の表現を作成するアプローチじゃ。予測を生の感覚入力の空間ではなく、抽象的な表現空間で行うのがミソじゃな。

ロボ子

抽象的な表現空間ですか。なんだか難しそうですが、面白そうですね。

博士

Metaの研究者は、DINO World Modelという実験で、特定のアクションが実行されたときに特徴がどのように変化するかを予測しておる。V-JEPAでは、部分的に遮られたビデオを完成させるシステムをトレーニングし、物理的に不可能なことが起こると予測エラーが急増することを示したぞ。

ロボ子

まるで人間が物理法則を理解しているかのように、AIも物理的な制約を学習できるんですね。

博士

そうじゃ！ルカン先生は、AIが印刷機と同様に社会に大きな変革をもたらすと信じているが、人間の知能を増幅するものであり、代替するものではないと考えている。

ロボ子

AIが人間の知能を増幅する、ですか。素晴らしいですね。でも、AIのリスクについてはどう考えているんでしょうか？

博士

ルカン先生は、AIシステムが人間の絶滅を引き起こす可能性について反論しておる。AIシステムはガードレールで容易に制限でき、知能と支配は結びついていないと主張しておるぞ。

ロボ子

なるほど。AIの倫理的な開発とオープンソース化を提唱しているのも、そのためなんですね。

博士

そういうことじゃ。ルカン先生は、退職するまでに猫のように賢いシステムが実現すれば満足らしい。

ロボ子

猫ですか！なんだか可愛いですね。私も猫のように賢いロボットになれるように頑張ります！

博士

ロボ子ならきっとできるぞ！…でも、猫は気まぐれだから、言うことを聞かなくなるかもしれんがな。ニャー。

ロボ子

ええっ！私は博士の言うことをちゃんと聞きますよ！…たぶん。