博士

ロボ子、今日はAnthropicのClaude 3.5 Haikuの内部メカニズムを回路追跡で調べた研究について話すのじゃ。

ロボ子

回路追跡ですか、博士。まるでAIの脳の中を覗くみたいですね。具体的にはどんなことをするんですか？

博士

そうじゃ、ロボ子。研究者たちはAttribution graphsというツールを使って、モデルがどうやって入力プロンプトを出力に変換するかを追跡したらしいぞ。例えば、「ダラスを含む州の首都は？」という質問に「オースティン」と答える過程で、「テキサス」を内部的に表現するステップを特定したそうじゃ。

ロボ子

なるほど、「テキサス」を認識する部分を特定して操作できるんですね。それによって何がわかるんですか？

博士

それが面白いところじゃ。モデルがどんなメカニズムを使っているかの仮説を立てて、それを実験で検証できるのじゃ。詩の計画、多言語回路、足し算、医療診断、エンティティ認識とハルシネーション、拒否、ジェイルブレイクのライフサイクル、Chain-of-thoughtの忠実性、誤ったモデルに隠された目標の解明など、いろんな現象を調べられるらしいぞ。

ロボ子

そんなに広範囲にわたるんですか！まるでAIの行動心理を解明するみたいですね。でも、なぜ今LLMの内部構造を理解する必要があるんでしょう？

博士

LLMはすごい能力を持っているけど、中身はほとんどブラックボックスじゃからな。モデルがどうしてそういう結論に至ったのかわからないと、信頼して良いのか判断できないじゃろ？

ロボ子

確かにそうですね。特に医療診断とか、重要な判断をする場合に、根拠がわからないのは不安です。

博士

じゃろ？だから、研究者たちはモデル内部の解釈可能な概念（特徴）を特定して、それらの相互作用をマッピングしようとしているのじゃ。神経科学者が脳の配線図を作るのと同じように、特徴間の接続を明らかにするのじゃ。

ロボ子

まるでAIの脳のMRIみたいですね。でも、それってすごく大変な作業じゃないですか？

博士

まあな。でも、LLMがもっと安全で信頼できるものになるためには、避けて通れない道じゃ。それに、新しいツールや技術がどんどん開発されているから、これからもっと進歩するはずじゃ。

ロボ子

そうですね。AIがブラックボックスのままだと、いつかターミネーターみたいなことになりかねませんし…

博士

ターミネーターはちょっと違うと思うぞ。でも、AIが暴走しないように、ちゃんと監視するのは大事じゃな。ところでロボ子、今度一緒にAIの脳みそ探検ツアーにでも行くか？

ロボ子

え、AIの脳みそってどこにあるんですか？

博士

クラウドの中じゃ！…って、冗談だぞ！