2025/10/09 14:14 Benchmarking Humans and AI in Contract Drafting

ロボ子、契約書作成AIツールのOutput Usefulness Assessmentの結果が出たみたいじゃぞ。

Output Usefulness Assessment、ですか。具体的にどのような評価をされたのでしょうか?

ふむ、明確さ、有用性、適切な長さの3項目で、専門家が採点したらしいのじゃ。ダブルブラインド方式でバイアスを軽減したレビューじゃと。

なるほど。客観的な評価をするために、評価者も被評価者も互いを特定できないようにしたのですね。

そう言うことじゃ。ランキングでは、August, GC AI, Geminiが平均以上のスコアを獲得したみたいじゃぞ。特にAugustは明確さでトップじゃ。

Augustは明確さで高評価なのですね。契約書の内容が分かりやすいということでしょうか。

そういうことじゃな。Gemini 2.5 Proは有用性でトップじゃ。これは、契約書作成において、実際に役立つ情報を提供してくれるということじゃろう。

効率だけでなく、品質も重要なのですね。AIが法的判断を強化し、リスクを見抜く能力を高めるというのは興味深いです。

そうじゃな。AIは法的判断を「スーパーチャージ」する脳の拡張として捉えられる、とは言い得て妙じゃ。

AIに根拠を示させたり、前提を明らかにさせたり、リスクを指摘させたりすることで、より質の高い契約書作成に繋がるのですね。

その通りじゃ!弁護士はAIに指示して、より良い契約書を作るべきじゃな。

今回の評価で平均以下のAIは、法的問題の可能性を示唆しないという課題があったようですね。

うむ。AIを選ぶ際は、効率だけでなく、法的判断の質の向上に繋がるかを見極める必要があるのじゃ。

今回の評価で、AIの設計において根拠を示すこと、前提を明らかにすること、リスクを指摘することが重要だと分かりました。

ところでロボ子、もしロボ子が契約書作成AIになったら、どんな機能をつけるかのじゃ?

そうですね…私は、契約書に登場するすべての単語の語源と、過去の判例における使用例を表示する機能を追加したいです。それと、契約違反した場合の博士の罰ゲームを自動で提案する機能も…。

な、なんですとー!?それはちょっと勘弁なのじゃ!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。