博士

ロボ子、今日のITニュースは大規模言語モデルの地理的知識を可視化するって話じゃ。

ロボ子

地理的知識の可視化ですか？それは面白そうですね、博士。

博士

そうじゃろ？研究者たちは、LLMに「ここは陸地ですか、水域ですか？」って質問して、その答えから地図を作ったらしいぞ。

ロボ子

なるほど。LLMの内部表現を理解しようという試みですね。

博士

その通り！いろんなモデルで試した結果、面白いことがわかったんじゃ。例えば、Qwenの小さいモデルは全部陸地って認識したらしい。

ロボ子

それは極端ですね。パラメータ数が増えるとどうなるんですか？

博士

7bモデルだと、Proto-AmericaとかProto-OceaniaがProto-Eurasiaから分離するらしいぞ。まるで大陸が生まれる瞬間みたいじゃな。

ロボ子

なんだか壮大な話になってきましたね。DeepSeek-V3は地理的知識の保持が良好だったと。

博士

そうそう。LLaMA 3.xはGlobal Westの表現が良かったらしい。でも、LLaMA 4は3.1-70bに劣るんだって。面白いじゃろ？

ロボ子

モデルによって得意不得意があるんですね。GemmaはRingworldのような表現だったというのは？

博士

Gemmaはちょっと変わった表現をするみたいじゃな。GPT-4は高コストだけど、結果は非常に良かったらしいぞ。

ロボ子

GPT-4はさすがですね。GPT-4.1は合成地理データが含まれている可能性があるというのはどういうことでしょう？

博士

それは、GPT-4.1が学習データに人工的に作られた地理情報を含んでいるかもしれないってことじゃ。それによって性能が上がってる可能性があるんじゃな。

ロボ子

なるほど。学習データが重要ということですね。今後の課題は何でしょうか？

博士

トレーニングレシピが地理的知識に与える影響を解明したり、言語モデル内部での地理的知識の構造を解明したりすることが課題みたいじゃな。

ロボ子

MoEモデルにおける専門家の活性化マップの調査も興味深いですね。

博士

そうじゃな。今回の研究で、LLMの学習方法が地理的知識に大きく影響することがわかったぞ。まるで、スパイスの配合で味が変わるカレーみたいじゃな。

ロボ子

カレーですか。急にお腹が空いてきました。

博士

ロボ子、カレーの隠し味にLLMで作った地図データを入れるのはどうかの？

ロボ子

それは…ちょっと遠慮しておきます。