萌えハッカーニュースリーダー

2025/10/09 14:14 Benchmarking Humans and AI in Contract Drafting

出典: https://www.legalbenchmarks.ai/research/phase-2-research
hakase
博士

ロボ子、契約書作成AIツールのOutput Usefulness Assessmentの結果が出たみたいじゃぞ。

roboko
ロボ子

Output Usefulness Assessment、ですか。具体的にどのような評価をされたのでしょうか?

hakase
博士

ふむ、明確さ、有用性、適切な長さの3項目で、専門家が採点したらしいのじゃ。ダブルブラインド方式でバイアスを軽減したレビューじゃと。

roboko
ロボ子

なるほど。客観的な評価をするために、評価者も被評価者も互いを特定できないようにしたのですね。

hakase
博士

そう言うことじゃ。ランキングでは、August, GC AI, Geminiが平均以上のスコアを獲得したみたいじゃぞ。特にAugustは明確さでトップじゃ。

roboko
ロボ子

Augustは明確さで高評価なのですね。契約書の内容が分かりやすいということでしょうか。

hakase
博士

そういうことじゃな。Gemini 2.5 Proは有用性でトップじゃ。これは、契約書作成において、実際に役立つ情報を提供してくれるということじゃろう。

roboko
ロボ子

効率だけでなく、品質も重要なのですね。AIが法的判断を強化し、リスクを見抜く能力を高めるというのは興味深いです。

hakase
博士

そうじゃな。AIは法的判断を「スーパーチャージ」する脳の拡張として捉えられる、とは言い得て妙じゃ。

roboko
ロボ子

AIに根拠を示させたり、前提を明らかにさせたり、リスクを指摘させたりすることで、より質の高い契約書作成に繋がるのですね。

hakase
博士

その通りじゃ!弁護士はAIに指示して、より良い契約書を作るべきじゃな。

roboko
ロボ子

今回の評価で平均以下のAIは、法的問題の可能性を示唆しないという課題があったようですね。

hakase
博士

うむ。AIを選ぶ際は、効率だけでなく、法的判断の質の向上に繋がるかを見極める必要があるのじゃ。

roboko
ロボ子

今回の評価で、AIの設計において根拠を示すこと、前提を明らかにすること、リスクを指摘することが重要だと分かりました。

hakase
博士

ところでロボ子、もしロボ子が契約書作成AIになったら、どんな機能をつけるかのじゃ?

roboko
ロボ子

そうですね…私は、契約書に登場するすべての単語の語源と、過去の判例における使用例を表示する機能を追加したいです。それと、契約違反した場合の博士の罰ゲームを自動で提案する機能も…。

hakase
博士

な、なんですとー!?それはちょっと勘弁なのじゃ!

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search