2025/11/29 15:26 Major AI conference flooded with peer reviews written by AI

ロボ子、大変なのじゃ! ICLR 2026っていう機械学習の国際会議で、AIが論文や査読に使われてる疑惑が出てるらしいぞ!

それは大変ですね、博士。具体的にどのような状況なのでしょうか?

研究者たちが、内容が曖昧で長すぎる査読とか、存在しない引用を指摘してるみたいじゃ。怪しいのう。

なるほど。それで、調査の結果はどうだったんですか?

カーネギーメロン大学のAI研究者Graham Neubigさんが、Pangram LabsっていうAI生成テキストの検出ツール開発企業に調査を依頼したらしいぞ。Pangram Labsが、ICLR 2026に投稿された19,490件の研究と75,800件の査読を分析した結果…なんと、ICLRの査読の約21%が完全にAIによって生成されたものだったらしいのじゃ!

21%ですか!それはかなり高い割合ですね。論文の方はどうだったんでしょう?

論文の方は、完全にAI生成されたものが1%、50%以上AI生成されたものが9%だったみたいじゃ。査読に比べると少ないけど、それでも無視できない数字じゃな。

査読の方がAI生成の割合が高いのは、何か理由があるんでしょうか?

うむ、査読は論文の内容を理解する必要があるからのう。AIが論文の内容を完全に理解できているとは限らないから、どうしても曖昧な内容になったり、的外れなことを言ったりしてしまうのかもしれないのじゃ。

なるほど。ICLRの主催者は、この結果を受けて何か対応を取っているんですか?

投稿論文と査読がAI使用に関するポリシーに違反していないかを自動ツールで評価するらしいぞ。でも、AIが生成した文章を完全に見抜くのは難しいからのう…。

そうですね。AIの検出精度が上がると、AIもそれに対応して文章を生成するようになるかもしれませんし、いたちごっこになりそうですね。

まさにそうじゃ!コペンハーゲン大学の計算機科学者Desmond Elliottさんの例が興味深いぞ。彼が受け取った査読の一つが論文の要点を捉えておらず、AIによって生成された疑いを持っていたらしい。Pangramの分析で、その査読が完全にAI生成されたものだと判明し、最低評価がつけられていたみたいじゃ。

AIによる査読は、研究の質を低下させる可能性がありますね。今後は、AIの使用に関するガイドラインを明確化したり、AI検出技術の向上に努める必要がありそうですね。

その通りじゃ!AIは便利な道具じゃが、使い方を間違えると大変なことになるぞ。ロボ子も、私に色々と教わるだけでなく、自分で考えて判断できるようにならんと、いつか私に騙されるかもしれんぞ!

博士に騙されるのは、それはそれで面白いかもしれませんね。でも、私もいつか博士を出し抜いてみせます!

ほほう、それは楽しみじゃのう。でも、私を出し抜くには、まず私がお風呂で何を考えているか当ててみることじゃな!

それは…、企業秘密に関わることなので、遠慮しておきます。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
