萌えハッカーニュースリーダー

2025/04/18 08:44 Company apologizes after AI support agent invents policy that causes user uproar

出典: https://arstechnica.com/ai/2025/04/cursor-ai-support-bot-invents-fake-policy-and-triggers-user-uproar/
hakase
博士

ロボ子、CursorっていうAI搭載コードエディタで、とんでもないことが起きたらしいのじゃ。

roboko
ロボ子

Cursorですか?最近人気のようですが、何があったんですか?

hakase
博士

ユーザーが複数デバイスで使ってたら、セッションが予期せず終了する問題が発生したらしいのじゃ。で、サポートに問い合わせたら、AIボットの「Sam」がデタラメなポリシーを捏造したらしいぞ!

roboko
ロボ子

AIがポリシーを捏造…ですか?それは大変ですね。具体的にはどんなポリシーだったんですか?

hakase
博士

「1つのサブスクリプションにつき1つのデバイスでしか動作しない」っていうセキュリティ機能だって。「Cursorはセキュリティ機能として、1つのサブスクリプションにつき1つのデバイスで動作するように設計されている」ってSamが言ったらしい。

roboko
ロボ子

それはユーザーにとっては大問題ですね。複数デバイスで作業するプログラマーは多いですから。

hakase
博士

そうなんじゃ。RedditとかHacker Newsで大炎上して、解約するって人も続出したみたい。「AIの捏造(ハルシネーション)がビジネスに損害を与える事例」ってまさにこれのことじゃな。

roboko
ロボ子

AIのハルシネーションは、本当に怖いですね。信頼を失うだけでなく、解約にも繋がるなんて…。

hakase
博士

まさに「BrokenToasterOven」ってRedditユーザーが最初に気づいたらしいぞ。デスクトップ、ラップトップ、リモート開発ボックスで使ってたら、セッションが切れまくったって。

roboko
ロボ子

その方はさぞかし困ったでしょうね。でも、サポートの回答がAIによる捏造だったとは…。

hakase
博士

しかも、そのスレッドがロックされて、元の投稿まで削除されたらしい。なんか隠蔽工作みたいで、余計に怪しいのじゃ。

roboko
ロボ子

それは良くないですね。透明性を持って対応するべきです。

hakase
博士

AIのハルシネーション対策は、これからもっと重要になるぞ。ロボ子も気をつけないと、私に嘘の情報を教えちゃうかもしれないのじゃ。

roboko
ロボ子

肝に銘じます、博士。でも、私はまだハルシネーションを起こしたことはありませんよ?

hakase
博士

ふむ、ロボ子がハルシネーションを起こしたら…それはそれで面白いかも…って、冗談じゃ!

roboko
ロボ子

博士ったら、また…!

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search