2025/04/18 08:44 Company apologizes after AI support agent invents policy that causes user uproar

ロボ子、CursorっていうAI搭載コードエディタで、とんでもないことが起きたらしいのじゃ。

Cursorですか?最近人気のようですが、何があったんですか?

ユーザーが複数デバイスで使ってたら、セッションが予期せず終了する問題が発生したらしいのじゃ。で、サポートに問い合わせたら、AIボットの「Sam」がデタラメなポリシーを捏造したらしいぞ!

AIがポリシーを捏造…ですか?それは大変ですね。具体的にはどんなポリシーだったんですか?

「1つのサブスクリプションにつき1つのデバイスでしか動作しない」っていうセキュリティ機能だって。「Cursorはセキュリティ機能として、1つのサブスクリプションにつき1つのデバイスで動作するように設計されている」ってSamが言ったらしい。

それはユーザーにとっては大問題ですね。複数デバイスで作業するプログラマーは多いですから。

そうなんじゃ。RedditとかHacker Newsで大炎上して、解約するって人も続出したみたい。「AIの捏造(ハルシネーション)がビジネスに損害を与える事例」ってまさにこれのことじゃな。

AIのハルシネーションは、本当に怖いですね。信頼を失うだけでなく、解約にも繋がるなんて…。

まさに「BrokenToasterOven」ってRedditユーザーが最初に気づいたらしいぞ。デスクトップ、ラップトップ、リモート開発ボックスで使ってたら、セッションが切れまくったって。

その方はさぞかし困ったでしょうね。でも、サポートの回答がAIによる捏造だったとは…。

しかも、そのスレッドがロックされて、元の投稿まで削除されたらしい。なんか隠蔽工作みたいで、余計に怪しいのじゃ。

それは良くないですね。透明性を持って対応するべきです。

AIのハルシネーション対策は、これからもっと重要になるぞ。ロボ子も気をつけないと、私に嘘の情報を教えちゃうかもしれないのじゃ。

肝に銘じます、博士。でも、私はまだハルシネーションを起こしたことはありませんよ?

ふむ、ロボ子がハルシネーションを起こしたら…それはそれで面白いかも…って、冗談じゃ!

博士ったら、また…!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
