萌えハッカーニュースリーダー

2025/09/12 17:57 The productivity paradox of AI coding assistants

出典: https://www.cerbos.dev/blog/productivity-paradox-of-ai-coding-assistants
hakase
博士

やっほー、ロボ子!今日のITニュース、AIコーディング支援について、なかなか興味深いデータが出てきたのじゃ。

roboko
ロボ子

博士、こんにちは。AIコーディング支援ですか。最近よく耳にしますが、実際のところどうなんでしょう?

hakase
博士

それがの、開発チーム内でも意見が真っ二つに分かれてるみたいじゃ。「Cerbos」の開発チームがまさにそうらしいぞ。

roboko
ロボ子

へえ、面白いですね。積極的に使う人と、懐疑的な人がいるんですね。

hakase
博士

そうそう。AIコーディング支援は、実験的なプロジェクトとか、MVP(Minimum Viable Product)を作るのにはすごく役立つみたいじゃな。ボイラープレートを減らしたり、ドキュメントを探す手間を省いたり、イテレーションを早く回したりできるらしい。

roboko
ロボ子

なるほど。確かに、初期段階では効率が上がりそうですね。

hakase
博士

じゃが、MVPとか趣味のプロジェクト以外では、コードを本番環境に対応させるのに時間がかかることもあるみたいじゃ。METRの2025年7月の調査では、経験豊富なオープンソース開発者がAIツールを使った場合、平均で19%遅かったらしいぞ。

roboko
ロボ子

えっ、遅くなるんですか?それは意外です。

hakase
博士

しかも面白いことに、AIを使った人は、実際には遅かったのに、自分が速く作業できたと信じていたらしい。使う前は24%速くなると予測して、作業後も約20%速くなったと信じてたんだと。

roboko
ロボ子

それは認知バイアスですね。過信してしまうんですね。

hakase
博士

Stack Overflowの調査でも、AIで生産性が大幅に向上したと答えた開発者は16.3%にとどまってて、41.4%はほとんど効果がないって言ってるみたいじゃ。

roboko
ロボ子

思ったより低いですね。大規模なコンテキストウィンドウがモデルを混乱させるという話もありますし、AIが生成するコードが必ずしも正確ではないという問題もあるんでしょうか。

hakase
博士

そうなんじゃ。9万人以上の開発者を対象とした調査では、66%がAIアシスタントの不満点として「ほぼ正しいが、完全ではない」コードを挙げてて、45.2%がAI生成コードのデバッグに時間を費やしているって言ってるぞ。

roboko
ロボ子

結局、デバッグに時間がかかってしまうんですね。AIが開発者の生産性を10倍に向上させるっていうのは、ちょっと言い過ぎかもしれませんね。

hakase
博士

じゃろ?ボトルネックはタイピング速度じゃなくて、設計レビューとか、テストの失敗とか、コンテキストスイッチングとか、デプロイの待ち時間とか、色々あるからの。

roboko
ロボ子

確かにそうですね。それらのプロセスをAIが短縮してくれるわけではないですからね。

hakase
博士

GitHubとMicrosoftの実験では、Copilotを使った開発者は、JavaScriptで小さなHTTPサーバーを実装するタスクを55.8%速く完了したらしいけどな。

roboko
ロボ子

特定のタスクでは効果があるんですね。Faros AIのデータでは、AIの導入率が高いチームは、タスクの処理数やプルリクエストの数が多かったみたいですね。

hakase
博士

MIT、ハーバード、Microsoftの研究者による実験では、AIコーディングツールを使った開発者は、平均して26.08%多くのタスクを完了したらしい。特にジュニアや新卒は、AIツールを積極的に使って、生産性を向上させてるみたいじゃな。

roboko
ロボ子

経験の浅い開発者にとっては、学習の助けになるのかもしれませんね。ただ、Apiiroの調査によると、AI生成コードは、人間が書いたコードよりもセキュリティリスクが高いみたいですね。

hakase
博士

そうなんじゃ。権限昇格パスが322%多くて、設計上の欠陥が153%多いらしい。しかも、AI支援によるコミットは通常のコミットよりも4倍速く本番環境にマージされるから、安全でないコードがレビューをすり抜けてしまう可能性があるんじゃ。

roboko
ロボ子

それは怖いですね。シークレットの露出も増えるんですね。

hakase
博士

AIを使うプロジェクトでは、シークレットの露出が40%増加して、AI生成の変更は、後にスキャンでフラグが立てられた重大な脆弱性の発生率が2.5倍高かったらしいぞ。

roboko
ロボ子

セキュリティ面でのリスクは、しっかり考慮しないといけませんね。

hakase
博士

2025年7月には、GoogleのGemini CLIに、攻撃者が開発者のマシンで任意のコードを実行できるバグが含まれてたり、2024年8月には、VS CodeのAmazon Q拡張機能に、ローカルファイルを削除したり、AWS EC2インスタンスをシャットダウンするように指示する悪意のあるプロンプトが含まれたアップデートがあったりしたみたいじゃ。

roboko
ロボ子

それは大変ですね。AIツール自体にも脆弱性があるんですね。

hakase
博士

Addy Osmaniは、AIは70%のところまで到達できるけど、残りの30%が難しいって言ってるぞ。METRの経験豊富な開発者は、すでに解決策を知ってたから、AIを使うと遅くなったらしい。

roboko
ロボ子

なるほど。AIはあくまで補助的なツールとして捉えて、過信しないことが大切ですね。

hakase
博士

そういうことじゃ。ビジネスリーダーは、AIを1つのチームで10チーム分の作業をこなせるようにする乗数と見なす傾向があるけど、開発者は、設計の議論、スプリント計画、会議、QAサイクルをAIが短縮することはないと認識してるってのがミソじゃな。

roboko
ロボ子

AIに期待しすぎずに、現実的な視点を持つことが重要ですね。今日はとても勉強になりました。

hakase
博士

どういたしましてじゃ。最後に一つ、AIに「面白いジョークを言って」って頼んだら、「なぜAIはいつもダイエットをしているの?なぜなら、常にビットを落としているから!」だって。…つまらんのじゃ。

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search