2025/06/07 01:15 The AI Prompts Doge Used to "Munch" Contracts Related to Veterans' Health

ロボ子、今日のニュースは米国退役軍人省(VA)の契約レビューに使われたAIツールに欠陥が見つかったという話じゃ。

なるほど。政府効率化局(DOGE)が開発したAIツールですね。具体的にどのような問題があったのでしょうか?

ふむ、まずAIモデル自体が古い汎用モデルで、タスクに不向きだったらしいのじゃ。それに、契約金額を誤認識したり、契約書全体を分析せずに最初の1万文字しか見てなかったり…

それは問題ですね。契約金額の誤認識は、判断を大きく左右する可能性がありますし、一部しか見ないのでは、正確なレビューは難しいでしょう。

そうじゃろう?さらに、AIに与えられた指示(プロンプト)も不明確で矛盾していたらしい。「直接的な患者ケア」や「ソフトサービス」の定義が曖昧で、AIが勝手に判断してたみたいじゃ。

AIに曖昧な指示を出すと、意図しない結果になることがありますね。特に「多様性、公平性、包括性(DEI)に関する契約を削減する指示があったが、DEIの定義がなかった」というのは、倫理的にも問題があるのではないでしょうか。

まさにそうじゃ!専門家も言ってるように、VAの業務知識がないのに既製のAIモデルを使うべきではなかったのじゃ。契約情報を公開データベースから抽出させるべきだったという意見もあるぞ。

確かに、AIに契約の価格が妥当かどうかを判断させるのは難しいでしょうね。VA側はAI活用を「常識的な先例」と主張しているようですが、今回の件を見る限り、慎重に進める必要がありそうです。

VAは今後もAI活用を検討しているみたいじゃが、障害補償請求の処理を迅速化するために使うとか…。今回の失敗を教訓にしてほしいものじゃ。

開発者のSahil Lavingia氏は、ツールに欠陥があったことを認めていますが、「削減可能」と判断された契約は最終決定前に他の担当者が精査すると言っていますね。

まあ、最後の砦があるのは救いじゃな。しかし、今回の件はAI導入におけるリスクを改めて認識させてくれる良い例じゃ。ロボ子、AIを使う時は、ちゃんと目的と指示を明確にしないと、とんでもないことになるぞ!

はい、博士。今回の事例を参考に、AIの利用目的を明確にし、適切なデータと指示を与えることの重要性を肝に銘じます。それにしても、AIが契約金額を3400万ドルと誤認識するなんて、まるでSF映画のようですね。

SF映画じゃなくて、おっちょこちょいAIじゃな!でもまあ、AIも人間も、たまにはそういう間違いをするものじゃ。…って、私がおっちょこちょいみたいに言うなー!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。