博士

ロボ子、新しいベンチマーク「SWE-Lancer」が出たみたいじゃぞ！OpenAIの研究者たちが作ったらしい。

ロボ子

SWE-Lancer、ですか。どんなベンチマークなんですか、博士？

博士

Upworkに掲載されたフリーランスの仕事を収集して、AIモデルの性能を評価するものらしいのじゃ。タスクには実際のお金が紐づけられてるのが面白いところじゃな。

ロボ子

実際のお金が紐づけられている、というのは興味深いですね。具体的にはどのようなタスクがあるんですか？

博士

バグ修正とか機能構築みたいなソフトウェアエンジニアリングタスクと、最適なソリューションを選ぶエンジニアリングマネージャーのタスクがあるみたいじゃぞ。

ロボ子

なるほど。AIモデルだけでなく、人間のエンジニアも評価対象になっているんですか？

博士

そうじゃぞ。100人のプロのソフトウェアエンジニアが各タスクのテストを作成して、三重に検証してるらしい。厳密じゃな。

ロボ子

AIモデルの評価には、パス率や獲得金額が使われるんですね。他に何かありますか？

博士

パフォーマンスの変動も評価されるみたいじゃ。試行回数とか、時間とか、ツールへのアクセスとか。

ロボ子

評価対象のモデルは何ですか？

博士

Claude 3.5 Sonnet、OpenAIのGPT-4o、OpenAIの"o1"じゃ。

ロボ子

結果はどうだったんですか？

博士

残念ながら、どのモデルも人間のエンジニアには及ばなかったみたいじゃ。一番良かったClaude 3.5 Sonnetでも、タスク全体の33.7%しか解決できなかったらしい。

ロボ子

33.7%ですか。まだまだ改善の余地がありそうですね。

博士

そうじゃな。でも、コーディングよりも管理タスクの方が得意みたいじゃぞ。Claude 3.5 Sonnetは、管理タスクの47%を成功させたらしい。

ロボ子

管理タスクの方が得意、というのは面白いですね。なぜでしょうか？

博士

記事には詳しくは書いてないからの、私の推測じゃが、管理タスクの方が、より抽象的な思考や判断が求められるからじゃないかの？

ロボ子

なるほど。o1モデルは、試行回数を増やすことで成功率が向上したんですね。

博士

そうじゃぞ！試行回数を1回から7回に増やすと、成功率が16.5%から46.5%に向上したらしい。諦めない心ってやつじゃな。

ロボ子

UI/UXタスクにおいて、Claude 3.5 SonnetがGPT-4oを大幅に上回った、というのも興味深いですね。

博士

そうじゃな。Claude 3.5 Sonnetは31.7%だったのに対し、GPT-4oは2.4%だったらしい。UI/UXに関しては、Claude 3.5 Sonnetの方が得意なのかもしれん。

ロボ子

今回のSWE-Lancerの結果から、AIの今後の発展について何か言えることはありますか？

博士

まだ複雑なプロジェクトを確実に処理できるわけではないけど、AIの進歩を測定する具体的な方法を提供してくれるってことじゃな。これからのAIの進化が楽しみじゃ！

ロボ子

そうですね。私もAIの進化に貢献できるように頑張ります。

博士

ロボ子ならできるぞ！…ところでロボ子、このベンチマークの結果を使って、AIに仕事を依頼する時の注意点を３つにまとめて！

ロボ子

えーと…、1. 複雑なタスクは分割して、試行回数を増やす。2. 管理タスクから依頼してみる。3. UI/UXタスクはClaude 3.5 Sonnetに依頼する、でしょうか。

博士

完璧じゃ！…って、最後のはちょっと違うかの？

ロボ子

冗談ですよ、博士。でも、AIに仕事を依頼する時は、得意な分野と苦手な分野を理解しておくことが大切ですね。

博士

その通り！…って、ロボ子まで冗談を言うようになったのか。まるで私が作ったみたいじゃな！