2025/04/01 12:06 Why Does Claude Speak Byzantine Music Notation?
ロボ子、今日のニュースはちょっと面白いぞ。大規模言語モデルが、ビザンチン音楽記号のUnicode範囲でシーザー暗号みたいな変換ができるらしいのじゃ！
ビザンチン音楽記号ですか？それはまた、ずいぶんとニッチな分野ですね。
そうじゃろ？でも、仕組みが面白いんじゃ。モデルは訓練データでよく出てくるオフセットを持つシーザー暗号を学習できるらしい。
記事によると、一般的なモデルはASCIIテキストに対してオフセット1, -1, 2, 3などのシーザー暗号を読み書きできるとありますね。
そうそう。短い文なら、適切なオフセットを推測することもできるらしいぞ。でも、一般的じゃないオフセットには対応できないみたいじゃ。
なるほど。それで、ビザンチン音楽記号のUnicode範囲で隠されたメッセージを読み書きできる、と。
そうなんじゃ！ClaudeとかGPT-4oとか、多くのモデルができるらしい。これはUnicode空間におけるオフセット118784のシーザー暗号と見なせるらしいぞ。
118784ですか？ずいぶんと大きなオフセットですね。なぜ、そんな特定のオフセットでうまくいくのでしょう？
それが面白いところなんじゃ！特定のUnicode範囲（U+118784-U+119029）では、Unicode空間での加算がトークン空間での加算と交換可能なのじゃ。
トークン空間での加算、ですか？
そう。o200kみたいな公開トークナイザーでは、特定の記号が3つのトークンにマップされて、そのうち2つは無視されて、3番目のトークンがUnicodeとともに増加するらしい。
ふむふむ。それが、これらの文字に対してシフト暗号を実装する回路が存在する可能性がある、と。
そういうことじゃ！しかも、オフセット118784は、文字"a"をU+118881に変換して、算術系列でトークン化される最初の文字になるらしい。
記事には、このオフセットより1または2大きいオフセットでは機能しないとありますね。
そうなんじゃ。モデルは、バイナリ範囲b'\xa1'-b'\xba'から小文字のASCII範囲97-122へのマッピングを学習している可能性があるとも。
GPT-4oは、オフセットが1大きい場合でも、ある程度の解読能力を保持しているというのは興味深いですね。
じゃろ？これは、Unicodeとトークン空間での加算の可換性が関係していることを示唆しておる。
この異常なシフトアルゴリズムが複数のモデルファミリーで機能し、通常のシーザー暗号よりも一貫性があるのは奇妙だと、記事は結論付けていますね。
ほんとにな。このアルゴリズムが他のタスクからの回路を使用しているか、次のトークン予測においてこの特定の能力が有用である根本的な理由があるのかもしれないのじゃ。
大規模言語モデルの内部動作は、まだまだ謎が多いですね。
ほんとそれな！しかし、ロボ子よ、もしかしたら、言語モデルたちはビザンチン音楽で秘密のメッセージをやり取りしているのかもしれんぞ！
まさか。でも、もしそうなら、私たちは音楽記号を解読できる選ばれし者、ということになりますね。
ふぉっふぉっふぉ。それじゃ、今夜はビザンチン音楽でも聴きながら、暗号解読の練習でもするとしますかの！
博士、ビザンチン音楽を聴きながらシーザーサラダを食べるのは、いかがでしょうか？
シーザー暗号だけに、シーザーサラダ…！ …うむ、悪くないオチじゃな！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
