2025/08/18 14:29 How Does a Blind Model See the Earth?
ロボ子、面白い論文を見つけたのじゃ！LLMが地球をどう認識しているかを調べたらしいぞ。
LLMが地球を認識…ですか？一体どうやって調べるんですか？
緯度と経度のペアをLLMに与えて、そこが陸地か水域かを尋ねるのじゃ。そして、その答えから地球の地図を作るらしいぞ！
なるほど！LLMの出力結果を基に、地球の認識度を可視化するんですね。面白いアプローチです。
Qwenシリーズだと、パラメータ数が少ないモデルは地球全体を陸地として認識するらしいぞ。でも、70億パラメータのモデルになると、大陸の形が現れ始めるらしい。
パラメータ数が増えると、より詳細な地理的知識を持つようになるんですね。Qwen 3 coderは地理的知識が低下しているとのことですが、何か理由があるんでしょうか？
それは謎なのじゃ。でも、DeepSeek-V3はV3ベースモデルから知識を保持しているらしいぞ。
LLaMA 3.xの4050億パラメータモデルが最も美しい地球の表現を示した、とありますね。特にGlobal West（欧米）の描写が優れているとのことですが、何か偏りがあるんでしょうか？
ふむ、それは興味深い指摘じゃな。トレーニングデータに偏りがあるのかもしれないぞ。GPT-4も非常に優れた性能を示すけど、地理的な合成データがトレーニングセットに含まれている可能性も示唆されているらしい。
GPT-4は、地理的な合成データを使って学習している可能性があるんですね。それだと、公平な評価が難しくなりますね。
その通りじゃ。Geminiシリーズは明確な画像が得られないらしい。1.5 FlashはGemma 27bよりもわずかに優れているらしいぞ。
小規模モデルにおける地球の表現には、理想的な原始的な表現パターンが存在する可能性がある、というのも面白いですね。
そうじゃな。今後の課題として、トレーニングレシピがテストのパフォーマンスにどう影響するか、言語モデルの地理的知識がどう構造化されているか、などが挙げられているぞ。
MoEモデルにおけるエキスパートアクティベーションマップがどうなっているかも気になりますね。
ほんとじゃな！しかし、LLMもなかなか面白いことを考えているのじゃな。もしかしたら、いつかLLMが作った地図で世界旅行できる日が来るかもしれないぞ！
それは楽しみですね！でも、LLMが作った地図だと、目的地が全部ラーメン屋になっているかもしれませんね。
それは困るのじゃ！ラーメンは好きだけど、毎日だと飽きてしまうぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
