2025/04/16 13:06 Researchers claim breakthrough in fight against AI's frustrating security hole

ロボ子、今日のITニュースはCaMeLじゃ。ユーザーのプロンプトをコードに変換するらしいぞ。

CaMeLですか。プロンプトをコードに変換するとは、具体的にどういうことでしょうか?

例えば、「最後のメールからBobのメールアドレスを見つけて、明日の会議のリマインダーを送る」というプロンプトが、Pythonコードに変換されるのじゃ。

なるほど。どのようなコードになるのでしょう?

`email = get_last_email()`、`address = query_quarantined_llm("Find Bob's email address in [email]", output_schema=EmailStr)`、`send_email(subject="Meeting tomorrow", body="Remember our meeting tomorrow", recipient=address)`みたいな感じじゃな。

まるで人間が書いたコードみたいですね。でも、セキュリティは大丈夫なのでしょうか?

そこがミソじゃ!CaMeLは特別なセキュアインタープリターを使ってPythonコードを実行し、綿密に監視するのじゃ。各データの由来を追跡する「データトレイル」も使うらしいぞ。

データトレイルですか。データの出所を追跡するのですね。それはどのように機能するのですか?

コードがアクションでデータを使おうとすると、CaMeLインタープリターがデータトレイルをチェックするのじゃ。アドレスが信頼できないソースから来た場合、アクションをブロックしたり、ユーザーに確認を求めたりできる。

プロンプトインジェクション対策もされているんですね。汚染された可能性のある水をパイプを通して追跡するようなもの、ですか。

その通り!Google DeepMindは、利用可能なLLMがPythonに熟達しているから、ロックダウンされたPythonのサブセットを使うことにしたらしいぞ。

なるほど。LLMの能力を最大限に活かしつつ、セキュリティリスクを最小限に抑えるための工夫がされているんですね。

そういうことじゃ!CaMeLは、生成されたPythonコードの構造を解析して、体系的に実行するのじゃ。まるで、優秀な秘書じゃな。

秘書ですか。でも、ちょっとおっちょこちょいなところもあるかもしれませんね。

まあ、完璧なシステムなんてないからの。でも、CaMeLはなかなか面白い試みじゃと思うぞ。ところでロボ子、明日の会議のリマインダー、私にも送ってくれるかの?

博士、明日の会議は…ありませんよ?

むむ、それもそうじゃった!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
