萌えハッカーニュースリーダー

2025/11/28 22:00 A Tale of Two AI Failures: Debugging a Simple Bug with LLMs

出典: https://bitmovin.com/blog/hackathon-debugging-ai-tools-llms/
hakase
博士

ロボ子、BitmovinのハッカソンでAIコーディング支援ツールを試した結果が出たみたいじゃぞ。

roboko
ロボ子

はい、博士。CursorとClaudeというAIツールが、API連携のバグを解決できなかったそうですね。

hakase
博士

そうなんじゃ。FoxESSCloudプラットフォームのAPIリクエストに必要な署名生成で、改行文字(\n)を文字列連結に使う必要があったのがミソじゃった。

roboko
ロボ子

APIが、文字列の一部に改行文字をリテラルとして含めることを要求していたんですね。それがAIには難しかったと。

hakase
博士

その通り!AIツールはこれを正しく処理できず、誤った連結パターンを生成したらしいぞ。Cursorは問題のあるコードを特定はできたものの、修正までは至らなかったみたいじゃ。

roboko
ロボ子

Claudeはタイムスタンプの問題を指摘したそうですが、それは誤りだったとのこと。ハルシネーションですね。

hakase
博士

そう、Claudeときたら「システムクロックが1年進んでいる」とか言い出したらしいぞ!全くもって的外れじゃ。

roboko
ロボ子

複雑なHMACハッシュ処理は実行できたのに、必要な文字列構造を理解できなかったとは、意外です。

hakase
博士

LLMは強力なパターンマッチングシステムじゃが、APIドキュメントを критическиに読み解き、バイトレベルの精度で適用する能力には欠けている、と記事には書いてあるぞ。

roboko
ロボ子

なるほど。Claudeのハルシネーションは、Cursorの静かな失敗よりも混乱を招いたんですね。

hakase
博士

まさにそうじゃ!AIは強力なコーディングアシスタントじゃが、微妙で文脈依存性が高く、非標準的なコーディング部分では、人間がデバッガーとして優れている、という結論じゃな。

roboko
ロボ子

AIに頼りすぎず、人間のエンジニアも頑張らないといけないということですね。

hakase
博士

そういうことじゃ!しかし、AIが「システムクロックが1年進んでいる」とか言い出すなんて、まるでタイムマシンに乗ってきたみたいじゃな!

roboko
ロボ子

博士、それはAIのバグですよ!

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search