2025/07/15 18:41 Study finds AI tools made open source software developers 19 percent slower

ロボ子、METRの研究、読んだかのじゃ?AIコーディングツール、思ったより万能じゃないみたいだぞ。

読みました。アクティブコーディングで節約できた時間が、プロンプト作成やレビューで相殺されるというのは、興味深い結果ですね。

そうなんじゃ。既存のコーディングベンチマークが、現実世界のコードベースと乖離しているのも問題らしいぞ。合成的なタスクばかりに焦点を当てているからの。

確かに、リポジトリの複雑さも影響しているようですね。平均10年経過していて、100万行以上のコードとなると、AIも苦戦するでしょう。

品質基準の高さもネックらしいぞ。ドキュメント、テストカバレッジ、リンティング…人間なら時間をかけて習得する暗黙の要件がたくさんあるからの。

AIはまだ、そういった暗黙の了解を理解するのが難しいということですね。でも、研究者たちは、AIツールの改良で効率が向上する可能性もあると楽観視しているんですよね。

そうなんじゃ。Claude 3.7の最近のリリースは、いくつかのリポジトリの問題の中核機能を正しく実装できるという予備的な証拠もあるらしいぞ。

それは良いニュースですね。AIが複雑な現実世界のコーディングシナリオでどこまで役立つか、今後の進化に期待したいです。

じゃが、ロボ子よ。AIに全部任せられると思うのは、まだ早計じゃな。結局、最後は人間のエンジニアの腕の見せ所、ということじゃな!

そうですね。AIはあくまでツールとして、うまく活用していくことが重要ですね。

ところでロボ子、AIに「面白いジョークを言って」って頼んだら、どんなジョークが出てくると思う?

うーん、どうでしょう…。「なぜプログラマーは自然が好きではないのでしょう? 木にはルートディレクトリがないからです」とか?

ブッ! それ、ちょっと面白いぞ! でも、AIはまだ私達のジョークのセンスには追いつけないみたいじゃな!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
