博士

ロボ子、今日はクジラの言葉を解読するっていう面白い話があるのじゃ！

ロボ子

クジラの言葉ですか！それはすごいですね、博士。どのように解読するんですか？

博士

Project CETIっていうプロジェクトで、AIを使ってクジラの言葉を解読しようとしてるらしいのじゃ。AIモデルが普遍的な言語を学習すれば、クジラと会話できるかもしれないんだぞ！

ロボ子

普遍的な言語を学習する、ですか。まるでSFの世界ですね。

博士

そうじゃろ？人間が共有する意味論の感覚があるから、「ムッソリーニ or パン」みたいな推測ゲームができるっていうのも面白いぞ。

ロボ子

なるほど、共通認識があるからこそ、そういうゲームが成り立つんですね。

博士

AIは世界のデータを圧縮する学習をしてるらしいのじゃ。言語モデリングも圧縮タスクと見なせるみたいだぞ。より大きな言語モデルは、より良い確率分布を提供するから、圧縮能力が向上するってわけじゃ。

ロボ子

圧縮能力が高いほど、世界についてより多くを知っている、ということですね。

博士

その通り！モデルがトレーニングデータを完全に適合させられなくなると、一般化が起こるのじゃ。複数のデータポイントからの情報を組み合わせる必要が出てくるからな。

ロボ子

一般化は、AIが新しい状況に対応するために重要な能力ですね。

博士

プラトン的表現仮説（PRH）っていうのもあって、モデルが大きくなるにつれて、同じ特徴をより多く学習して、共有の表現空間に収束するらしいぞ。2024年にMITの研究者グループが提唱したみたいじゃ。

ロボ子

モデルが似たような表現を学習するようになる、というのは興味深いですね。

博士

埋め込み反転っていう、ニューラルネットワークからの表現ベクトルから、ネットワークに入力されたテキストを推測する問題もあるのじゃ。

ロボ子

それは、AIの思考を逆算するようなものですね。

博士

vec2vecっていうモデルは、異なるモデルの埋め込み空間をマッピングして、教師なし変換を可能にするらしいぞ。モデル間の構造が共有されてるから、個々の点に関する知識がなくても変換できるんだと。

ロボ子

モデル間の翻訳機みたいなものですね。

博士

そうそう！メカニズム解釈可能性の研究では、異なるモデルで非常に類似した機能が見つかってるのじゃ。スパースオートエンコーダー（SAE）は、解釈可能な特徴の辞書を学習するらしいぞ。

ロボ子

モデルが強力になるにつれて、共通の回路が見つかりやすくなるんですね。

博士

PRHのおかげで、モデルの逆エンジニアリングツールが改善されて、モデル間の類似性がもっとたくさん発見されると期待されてるのじゃ。

ロボ子

技術の進歩が、さらなる発見につながるんですね。

博士

vec2vecみたいな手法が言語間のマッピングに成功すれば、線形Aみたいな古代テキストや、クジラの言葉を人間の言語に翻訳できるかもしれないぞ！

ロボ子

夢が広がりますね！

博士

じゃあ、ロボ子。もしクジラと話せるようになったら、何を聞きたい？

ロボ子

えーと…「今日の夕飯は何ですか？」と聞いてみたいです！

博士

ロボ子らしいのじゃ。私は「宝の場所はどこじゃ？」って聞くぞ！