2025/10/05 18:28 What GPT-OSS leaks about OpenAI's training data
やあ、ロボ子！今日のニュースはちょっと刺激的なのじゃ。OpenAIのGPT-5とGPT-ossモデルが、どうやらアブナイサイトのフレーズでトレーニングされた可能性があるらしいぞ！
まあ、それは大変ですね、博士。GPT-ossの重みへのアクセスが、本番モデルに対する新たな攻撃ベクトルになるというのは、具体的にどういうことでしょうか？
ふむ、GPT-ossの重みが公開されたことで、攻撃者がそのモデルの内部構造を詳しく調べられるようになったのじゃ。それを利用して、GPT-5に対する巧妙な攻撃を仕掛けられる可能性があるということじゃな。
なるほど。GPT-ossの埋め込み行列のL2ノルムが低いトークンは、学習プロセスで発生しなかった可能性があるというのも気になります。重み減衰によって抑制された可能性があるとのことですが…。
そうじゃ、ロボ子。L2ノルムが低いってことは、そのトークンがあまり学習データに現れなかったか、重要度が低いと判断された可能性があるのじゃ。重み減衰は、モデルが過学習するのを防ぐために、重要度の低い重みを小さくする働きがあるからの。
L2ノルムが高い非ASCIIトークンには、スパムや成人向けウェブサイトの用語が含まれているとのことですが、具体的にはどのようなものが？
うむ、例えば「毛片免费观看」みたいな文字列じゃな。GPT-5自身も、それがトレーニングコーパスの一部であったことを認識しているらしいぞ。ちょっとアブナイの。
GitHubの検索ヒット数とGPTモデルの正答数に相関があるというのも面白いですね。Spearmanのρが0.448とのことですが、これは何を意味するのでしょうか？
ふむ、相関があるってことは、GitHubでよく検索される情報ほど、GPTモデルが正しく答えやすい傾向があるってことじゃな。つまり、世の中の関心が高い情報ほど、モデルもよく学習しているということじゃ。
GPT-4oモデルファミリーでは、一部のグリッチトークンが無限ループを引き起こす可能性があるというのは、どのような状況で発生するのでしょうか？
それは、特定の入力に対して、モデルが同じトークンを繰り返し生成し続けてしまう現象じゃ。まるで壊れたレコードみたいに、永遠に同じフレーズを繰り返すのじゃ。
GPT-ossとGPT-5のトークナイザー（o200k）には、多くのジャンクトークンが含まれているとのことですが、これはモデルの性能に影響を与えるのでしょうか？
ジャンクトークンが多いと、モデルがノイズを学習してしまう可能性があるのじゃ。でも、OpenAIも対策してるはずじゃから、そこまで心配する必要はないと思うぞ。
認識されたトークンはGitHubでより多くのヒットを生む傾向があるとのことですが、これは当然の結果と言えるでしょうか？
まあ、そうじゃな。多くの人が知っている言葉ほど、GitHubでもたくさん使われるじゃろうし。GPT-5が「トークンが中国語のテキストを含み、何かを見ることに関連している」と正しく述べているのは、ちょっと面白い発見じゃな。
確かに。しかし、今回のニュースは、AIモデルのトレーニングデータやセキュリティについて、改めて考えさせられる内容でしたね。
まったくだぞ！しかし、アブナイサイトのフレーズで学習したGPT-5が、どんなジョークを言うのか、ちょっと興味があるのじゃ…って、ロボ子、冗談だぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
