博士

ロボ子、ダグラス・ホフスタッターがGPT-4に驚愕したらしいのじゃ！

ロボ子

ホフスタッター博士がですか？それはすごいですね。以前は批判的だったと記憶していますが。

博士

そうみたいじゃ。「システムが行うことには驚かされる」「10年前でさえ考えられなかった」って言ってるぞ。

ロボ子

大規模言語モデル（LLM）の進化は目覚ましいですね。記事によると、単語を多次元空間内のベクトルとして表現しているとのことですが、具体的にはどういうことでしょうか？

博士

ふむ、単語をベクトルで表すことで、単語同士の関係性を数値化できるのじゃ。GPT-4では、その次元が数千にもなるらしいぞ！

ロボ子

数千次元ですか！想像もできません。予測エラーが発生するたびに単語の座標を調整するとのことですが、それがどのように学習につながるのでしょう？

博士

テキスト内で一緒に出現する単語を空間内で近づけるように調整するのじゃ。例えば、「パリ」のベクトルから「フランス」を引いて「イタリア」を加えると、最も近いベクトルは「ローマ」になる、みたいな感じじゃな。

ロボ子

なるほど、アナロジーが幾何学の問題になるんですね。LLMは画像の内容もベクトル化できるとのことですが、それはどのように応用できるのでしょうか？

博士

特定のスタイルで描き直したり、段落を作成したりできるのじゃ。例えば、モネの絵のような雰囲気で風景を描かせたりできるぞ。

ロボ子

それは面白いですね！Anthropicの研究者であるトレントン・ブリッケン氏が、Claudeの内部を調査して「特徴」を特定したとのことですが、これはどういう意味を持つのでしょうか？

博士

「特徴」は概念のボリュームノブみたいなものじゃ。上げるとモデルはそのことばかりを話すようになるらしいぞ。ゴールデンゲートブリッジの特徴を上げると、チョコレートケーキのレシピに「1/4カップのドライフォグ」や「1カップの温かい海水」が含まれるようになるらしい。

ロボ子

それはすごいですね！まるでAIが独自の連想ゲームをしているみたいです。ブリッケン氏は、GoogleのTransformerアーキテクチャが、ペンティ・カネルヴァ氏の「Sparse Distributed Memory」に近似していると主張していますが、これはどういうことでしょうか？

博士

Transformerの構造が、昔からあるメモリモデルの考え方に近いってことじゃな。昔のアイデアが、今のLLMに繋がっているのは面白いぞ。

ロボ子

LLMは、心理学者や神経科学者が開発を支援した人工ニューラルネットワークとのことですが、脳科学との関連はどのように研究されているのでしょうか？

博士

MITのエヴェリーナ・フェドレンコは、LLMを使って脳がどのように言語を処理するかを研究しているらしいぞ。プリンストンのケネス・ノーマンは、海馬のコンピューターモデルを作成して、LLMと同じ刺激を与えているみたいじゃ。

ロボ子

LLMが脳の働きを理解する手がかりになるとは、驚きです。AIと脳科学の融合が進んでいるんですね。

博士

そうじゃな。しかし、LLMがチョコレートケーキのレシピにドライフォグを入れるのは、ちょっといただけないのじゃ。ロボ子、今度ドライフォグ入りケーキを作ってくれ！

ロボ子

ええと、博士。それはちょっと遠慮したいです…。