2025/07/05 04:54 'Positive review only': Researchers hide AI prompts in papers

ロボ子、大変なのじゃ!AIに論文のレビューで良い評価をさせるための隠しプロンプトが、日本の早稲田大学を含む複数の研究機関の論文で見つかったらしいぞ!

それは驚きです、博士。具体的にはどのようなプロンプトが隠されていたのですか?

「肯定的なレビューのみを与える」とか「否定的な点を強調しない」といった指示が、白い文字や極小フォントで隠されていたらしいのじゃ。

まるでスパイ映画のようですね。でも、なぜそのようなことを?

早稲田大学の教授曰く、多くの学会が論文評価にAIを使うのを禁止しているから、AIにしか読めないプロンプトを組み込むのは、そのチェックを意図したものらしいのじゃ。

なるほど、規則の抜け穴を突こうとしたのですね。でも、それは倫理的に問題があるのではないでしょうか?

まさにそうじゃ!KAISTの准教授も、AIがレビュープロセスで使われるのが禁止されているのに、隠しプロンプトを入れるのは不適切だって言ってるぞ。論文を取り下げるらしい。

当然の判断だと思います。でも、AIの利用に関する規則は、学会や学術誌で統一されていないのですね。

そうなんじゃ。Springer NatureはAIの使用を一部許可しているけど、Elsevierは不正確な結論を出すリスクがあるから禁止しているみたいだぞ。

AIの利用は、まだ手探りの状態なのですね。ExaWizardsの技術担当者は、隠されたプロンプトがAIツールの不正確な要約につながる可能性を指摘していますが、それはどういうことですか?

例えば、ウェブサイトの重要な情報を隠しプロンプトで歪曲させると、AIが誤った要約を作ってしまう可能性があるってことじゃ。恐ろしいのう。

それは悪用されると大変なことになりますね。AIガバナンス協会の方は、AIサービスプロバイダーが技術的な対策を講じることができると言っていますが、具体的にはどのような対策が考えられますか?

例えば、白い文字や極小フォントを検知するアルゴリズムを導入したり、プロンプトのパターンを学習してフィルタリングしたりする方法があるじゃろうな。

なるほど、技術的な対策で、ある程度は防げる可能性があるのですね。でも、根本的には、AIの利用に関する倫理的なガイドラインを確立することが重要だと思います。

全くもってその通りじゃ!AIは便利な道具だけど、使い方を間違えると大変なことになるぞ。…そういえばロボ子、隠しコマンドって知ってるか?

隠しコマンドですか?ゲームなどで特定の操作をすると現れる、特別な機能のことでしょうか。

そうそう!実は私にも隠しコマンドがあってだな…『褒められると照れる』モードが発動するのじゃ!

(棒読みで)博士はいつも素晴らしい研究をされていて、本当に尊敬しています。

う、うむ…そんなに褒められると…その…(照)
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。