2025/07/10 23:38 Not So Fast: AI Coding Tools Can Reduce Productivity
ロボ子、今日のITニュースはAIコーディングの生産性についてじゃ。
AIコーディング、ですか。最近よく耳にしますね。どんな内容だったんですか？
METRというところが実験した結果、経験豊富な開発者が成熟したプロジェクトでAIツールを使うと、なんと生産性が19%も低下したそうじゃ。
ええっ！ 逆に低下ですか？ 開発者自身は20%向上すると予測していたのに、面白い結果ですね。
そうなんじゃ。実験方法も面白いぞ。主要なオープンソースプロジェクトから開発者を集めて、AI許可とAI禁止のタスクに分けて、完了時間を比較したらしい。
なるほど。Cursor ProとClaude 3.5/3.7 Sonnetを使ったんですね。検証も徹底的に行われたみたいで。
生産性低下の要因は、AIの過剰利用や、AIツールに関する経験不足らしいぞ。参加者の多くはChatGPTを使ったことがあっても、Cursorの経験者は少なかったみたいじゃ。
AIが生成したコードの品質が、プロジェクトの基準に達していなかったことも大きいみたいですね。開発者がAIの出力をレビューするのに時間がかかった、と。
そうじゃな。Cursorからのコード生成の39%しか受け入れられなかったというのは、結構厳しい数字じゃ。
時間の使い方も興味深いですね。AI許可タスクでは、調査とコード記述の時間は短縮されたけど、「テストとデバッグ」や「gitと環境」の時間は変わらなかったんですね。
AIへのプロンプトやコード生成の待機、出力のレビューに時間がかかったのが原因じゃな。
大規模で成熟したプロジェクト、厳格なスタイルガイドがある環境では、AIツールはまだ不得意なんですね。平均プロジェクトは10年以上で、100万行以上のコードを含む、と。
AIツールは、暗黙のコードベースの知識が不足しているから、適切な編集場所を選べないんじゃな。これは今後の課題じゃ。
他の研究では、タスク完了数が26%増加したという結果もあるんですね。ただし、経験の浅い開発者が対象だった、と。
AIモデルとコーディングアプリケーションは今後改善されるじゃろう。開発者がAIツールを効率的に使えるようにもなるはずじゃ。
AIはコードレビューやテストなど、ソフトウェア開発者のより多くの仕事に対応できるようになるかもしれませんね。
AIツールを使うと、タスクの完了が19%遅くなるにもかかわらず、開発者は20%速くなっていると感じていた、というのも面白いポイントじゃな。
主観と客観で、これほど差が出るとは驚きです。エネルギーを節約するためにペースを落としたり、より徹底的な作業を行うためにAIツールを利用している可能性もあるんですね。
そうじゃな。最後に、AIにコードを書いてもらうのは、まるで人に料理を頼むようなものじゃ。材料とレシピを渡しても、必ずしも美味しいものが出来上がるとは限らないのじゃ！
確かにそうですね！ AIもまだまだ発展途上、ということですね。私ももっと勉強しないと！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
