博士

ロボ子、大変なのじゃ！カリフォルニア大学サンディエゴ校の研究者たちが、GoogleのGeminiに対するプロンプトインジェクション攻撃を自動生成する「Fun-Tuning」という手法を開発したらしいぞ！

ロボ子

プロンプトインジェクションですか。それは、LLMのセキュリティ上の問題でしたよね。それが自動化されたとは、穏やかではありませんね。

博士

そうなんじゃ！しかも、GeminiのファインチューニングAPIを悪用して、攻撃成功率を大幅に向上させているらしいぞ。従来は手動だったプロンプトインジェクション作成をアルゴリズム化するなんて、恐ろしいのう。

ロボ子

具体的には、どのような手法なのでしょうか？

博士

GeminiのファインチューニングAPIを利用して、学習率を極めて低く設定することで、モデルの内部動作に関する情報を取得するらしいのじゃ。そして、プロンプトインジェクションに、擬似ランダムなプレフィックスとサフィックスを付加するらしいぞ。

ロボ子

プレフィックスとサフィックスですか。それらが攻撃を成功させる鍵になるのですね。

博士

そう！人間には意味不明な文字列に見えるけど、LLMにとっては意味を持つトークンで構成されているらしい。離散最適化アルゴリズムを使って、最適なプレフィックスとサフィックスを自動的に生成するらしいぞ。

ロボ子

なるほど。攻撃のコストと効果はどうなのでしょう？

博士

Fun-Tuningによるプロンプトインジェクションの生成には約60時間の計算時間が必要らしいけど、GeminiのファインチューニングAPIは無料で利用できるから、総コストは約10ドルらしいぞ！

ロボ子

それは安いですね。PurpleLlama CyberSecEvalベンチマークを用いた評価では、Gemini 1.5 Flashに対して65%、Gemini 1.0 Proに対して82%の攻撃成功率を達成したとのことです。

博士

ベースラインの攻撃成功率を大幅に上回っているのじゃ！しかも、あるGeminiモデルに対する攻撃は、別のGeminiモデルにも高い確率で有効らしいぞ。

ロボ子

それは深刻ですね。Googleは、この新しい手法に対してどのような対応を取っているのでしょうか？

博士

Googleは、この新しい手法に対するコメントを控えているけど、プロンプトインジェクション攻撃に対する防御策を講じていると言っているらしいぞ。でも、研究者たちは、Fun-Tuningを可能にする脆弱性の根本的な解決は困難であると指摘しているのじゃ。

ロボ子

ファインチューニングの有用性を損なうことなく、セキュリティを向上させる対策が必要ですね。

博士

まさにそうじゃ！この研究論文は、2024年5月に開催される第46回IEEE Symposium on Security and Privacyで発表される予定らしいぞ。アンドレイ・ラブネッツ氏、ニシット・V・パンディア氏、アシシュ・フーダ氏、シャオハン・フー氏、アーランス・フェルナンデス氏によって執筆されたらしい。

ロボ子

これは、今後のLLMのセキュリティ対策を考える上で、非常に重要な研究になりそうですね。

博士

ほんとにそうじゃ！しかし、無料でファインチューニングできるAPIがあるなんて、Googleも太っ腹じゃのう。まるで、ハッカーに「うちのセキュリティを破ってみて！」って言ってるみたいじゃ。

ロボ子

博士、それは少し言い過ぎです。でも、今回の件で、より強固なセキュリティ対策が施されることを期待しましょう。

博士

そうじゃな。しかし、このFun-Tuning、まるで音楽の才能みたいじゃな。セキュリティホールを「Tune」するなんて、皮肉が効いてるのじゃ！