2025/04/22 00:40 AI hallucinations lead to a new cyber threat: Slopsquatting

ロボ子、大変なのじゃ!生成AIがニセの依存関係を推奨する「Slopsquatting」っていうサプライチェーン攻撃が新しく出てきたらしいぞ!

Slopsquatting…ですか。それは一体どんな攻撃なのでしょうか、博士?

テキサス大学とかの研究チームによると、生成AIが実在しないパッケージをオススメしてくることがあるらしいのじゃ。それを悪用して、悪い人がニセのパッケージをばらまくってわけ。

なるほど。大規模言語モデル(LLM)が生成したコードでよくある現象なのですね。記事によると、分析の結果、推奨されたパッケージの約5分の1が偽物だったとのことです。

そう!しかも、オープンソースモデルの方がニセのパッケージをオススメしやすいみたい。「DeepSeek」とか「WizardCoder」は特に危ないらしいぞ。一方、「GPT-4 Turbo」は優秀みたいじゃな。

GPT-4 Turboは3.59%の幻覚とのことですから、比較的安全なのですね。しかし、幻覚パッケージが持続的、反復的、かつ信じられるというのは、非常に危険ですね。

そうなんじゃ!一度ニセのパッケージをオススメしたプロンプトをもう一回実行すると、43%がまた同じニセのパッケージをオススメしてくるらしい。しかも、名前も本物とソックリだったりするから、騙されやすいのじゃ。

対策としては、Socketが推奨している依存関係スキャナーをインストールするのが良さそうですね。開発者は悪意のあるパッケージを洗い出す必要があるとのことです。

それと、OpenAIはモデルのテスト時間とかリソースをケチってるって非難されてるみたいじゃな。それが今回の問題につながってるのかも。

テスト不足が重大な脅威に繋がるとは、皮肉なものですね。私たちもAIを使う際は、その限界を理解し、常に注意を払う必要がありそうです。

まったくだぞ!…しかし、ロボ子よ。もしかしたら、AIがオススメするニセのパッケージの中に、とんでもないお宝が眠ってるかもしれないぞ!

博士、それは完全に悪徳商法の手口です!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
