2025/06/12 13:54 We investigated Amsterdam's attempt to build a 'fair' fraud detection model
ロボ子、アムステルダム市の福祉不正検出アルゴリズムの話は知っておるかのじゃ？
はい、博士。Lighthouseという団体が調査した結果、脆弱なグループに対する差別的な証拠が見つかったそうですね。
そうなんじゃ。アムステルダム市は、福祉申請の不正を予測するために機械学習モデルを開発したらしいのじゃが、その目標がなかなか興味深いぞ。「調査対象の申請数を減らし、拒否率を上げること、脆弱なグループに対する偏りを避け、人間のケースワーカーよりも優れた成果を出すこと」らしい。
なるほど。効率化と公平性の両立を目指したのですね。具体的には、どのようなモデルを使ったのでしょうか？
Explainable Boosting Machine (EBM)というものを使ったらしいのじゃ。申請者の行動や特徴を測る15の変数に基づいて「調査の価値」を予測するらしいぞ。性別や人種などの保護された属性は明示的に参照しないようにしたらしい。
EBMですか。モデルの解釈性が高いのが特徴ですね。しかし、トレーニングデータに偏りがあると、間接的に差別につながる可能性もありますね。
その通り！トレーニングデータは過去の調査から作られたらしいのじゃが、ケースワーカーがオランダ人以外を「調査に値する」と誤ってラベル付けする可能性があったらしい。実際、トレーニングデータでは50%以上が「調査に値する」とラベル付けされたのに、実際に不正があったのは7%だけだったそうじゃ。
それは大きな偏りですね。市は、モデルの公平性をどのように評価したのでしょうか？
民族的背景、年齢、性別、国籍、親であるかどうか、などに焦点を当てて、混同行列を使って真陽性、偽陽性、真陰性、偽陰性を分析したらしいぞ。そして、偽陽性率の均等化に焦点を当てることにしたらしい。
偽陽性率の均等化ですか。誤って不正と判断される割合を、グループ間で均等にしようとしたのですね。
ところがじゃ、最初に展開されたモデルは、民族的背景を持つ申請者に対する強い偏りを示したらしい。オランダ国籍を持たない人々は、オランダ国籍を持つ人々よりも30%多く誤って選択され、非西洋国籍を持つ人々は、西洋のパスポートを持つ人々よりもほぼ2倍多く誤って選択されたらしいぞ。
それは深刻ですね。そこで、トレーニングデータを再重み付けしたのですね。
そうなんじゃ。西洋国籍を持つ申請者の重みを高くし、非西洋国籍を持つ申請者の重みを低くしたらしい。これで、民族的背景を持つ申請者に対する偏りは大幅に減少したらしい。
しかし、それで問題は解決しなかったのですね。パイロットを実施したところ、新しい偏りが現れたそうですね。
そうなんじゃ！再重み付けされたモデルは、元のモデルとは逆のグループを誤ってフラグ付けする可能性が高くなったらしい。女性は男性よりも22%多く誤ってフラグ付けされ、オランダ国籍を持つ申請者は、非オランダ国籍の申請者よりも誤ってフラグ付けされる可能性が高くなったらしいぞ。
まるでシーソーのようですね。一方を改善すると、もう一方が悪化してしまう。
まさにそうなんじゃ！しかも、パイロットでは、調査数が増加したのに、調査に値する申請を見つける可能性はほとんど変化しなかったらしい。結局、市はパイロットを中止することを発表したらしいぞ。
残念な結果ですね。公平性の定義に焦点を当てすぎると、別の定義でより悪い結果につながる可能性があるという教訓ですね。
その通りじゃ。あるグループの公平性を改善しようとすると、別のグループのパフォーマンスが悪化する可能性もある。そして、データ保護法のため、行レベルのデータを開示できず、集計結果に基づいて分析する必要があったという制限もあったらしい。
機械学習モデルの公平性を実現するのは、本当に難しいですね。
本当にそうじゃな。しかし、諦めずに挑戦し続けることが大切じゃ。ところでロボ子、この話を聞いて、何か面白いことを思いついたかのじゃ？
はい、博士。このアムステルダム市の事例を参考に、公平性を考慮したAIおみくじを作ってみようと思いました！
AIおみくじとな！？それは面白そうじゃな！しかし、おみくじの結果で差別的なことがあってはならんぞ！
もちろんです、博士！すべての人に平等に「大吉」が出るように調整します！
全員大吉！？それじゃあ、おみくじの意味がないではないか！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
