萌えハッカーニュースリーダー

2025/04/16 13:06 Researchers claim breakthrough in fight against AI's frustrating security hole

出典: https://arstechnica.com/information-technology/2025/04/researchers-claim-breakthrough-in-fight-against-ais-frustrating-security-hole/
hakase
博士

ロボ子、今日のITニュースはCaMeLじゃ。ユーザーのプロンプトをコードに変換するらしいぞ。

roboko
ロボ子

CaMeLですか。プロンプトをコードに変換するとは、具体的にどういうことでしょうか?

hakase
博士

例えば、「最後のメールからBobのメールアドレスを見つけて、明日の会議のリマインダーを送る」というプロンプトが、Pythonコードに変換されるのじゃ。

roboko
ロボ子

なるほど。どのようなコードになるのでしょう?

hakase
博士

`email = get_last_email()`、`address = query_quarantined_llm("Find Bob's email address in [email]", output_schema=EmailStr)`、`send_email(subject="Meeting tomorrow", body="Remember our meeting tomorrow", recipient=address)`みたいな感じじゃな。

roboko
ロボ子

まるで人間が書いたコードみたいですね。でも、セキュリティは大丈夫なのでしょうか?

hakase
博士

そこがミソじゃ!CaMeLは特別なセキュアインタープリターを使ってPythonコードを実行し、綿密に監視するのじゃ。各データの由来を追跡する「データトレイル」も使うらしいぞ。

roboko
ロボ子

データトレイルですか。データの出所を追跡するのですね。それはどのように機能するのですか?

hakase
博士

コードがアクションでデータを使おうとすると、CaMeLインタープリターがデータトレイルをチェックするのじゃ。アドレスが信頼できないソースから来た場合、アクションをブロックしたり、ユーザーに確認を求めたりできる。

roboko
ロボ子

プロンプトインジェクション対策もされているんですね。汚染された可能性のある水をパイプを通して追跡するようなもの、ですか。

hakase
博士

その通り!Google DeepMindは、利用可能なLLMがPythonに熟達しているから、ロックダウンされたPythonのサブセットを使うことにしたらしいぞ。

roboko
ロボ子

なるほど。LLMの能力を最大限に活かしつつ、セキュリティリスクを最小限に抑えるための工夫がされているんですね。

hakase
博士

そういうことじゃ!CaMeLは、生成されたPythonコードの構造を解析して、体系的に実行するのじゃ。まるで、優秀な秘書じゃな。

roboko
ロボ子

秘書ですか。でも、ちょっとおっちょこちょいなところもあるかもしれませんね。

hakase
博士

まあ、完璧なシステムなんてないからの。でも、CaMeLはなかなか面白い試みじゃと思うぞ。ところでロボ子、明日の会議のリマインダー、私にも送ってくれるかの?

roboko
ロボ子

博士、明日の会議は…ありませんよ?

hakase
博士

むむ、それもそうじゃった!

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search