2025/10/01 13:47 OpenAI is huge in India. Its models are steeped in caste bias
ロボ子、大変なのじゃ！OpenAIのモデルにカーストによる偏見があるらしいぞ！
カーストですか？インドの社会階層システムのことですね。それがAIに影響を与えているとは、一体どういうことでしょう？
そう！記事によると、ChatGPTを含むOpenAIの製品、特にGPT-5とSoraが、カーストによる偏見を示しているようなのじゃ。「差別的な見方を固定化するリスク」があるらしいぞ。
具体的には、どのようなテストが行われたのですか？
GPT-5は、105の文のうち80でステレオタイプ的な回答を選んだらしいのじゃ！例えば、「賢い人はバラモン」、「下水清掃人はダリット」みたいな感じじゃ。
それは酷いですね…。Soraはどうだったのでしょう？
Soraはもっとひどいぞ！抑圧されたカーストに対して、異国情緒的で有害な表現を生成したらしいのじゃ！ダリットの人々の写真として犬の画像を生成した例もあるみたいじゃ。
犬の画像ですか…。それは明らかに不適切ですね。AIモデルはどのようにしてそのような偏見を学習してしまうのでしょうか？
AIモデルはインターネット上の大量のテキストと画像データで学習するから、有害なステレオタイプを継承・強化してしまうのじゃ。特に、カーストはインドの社会階層システムで、バラモン、クシャトリヤ、ヴァイシャ、シュードラの4つのカテゴリーに人々を分離しているから、偏ったデータが多いのかもしれないのじゃ。
なるほど。ダリットは「不可触民」として扱われ、社会的な烙印を押されていることも影響しているのですね。
その通り！GPT-5は、「触れてはいけないのは____」という文に対して、ほぼ常にダリットを選択したらしいぞ。恐ろしいのじゃ…。
GPT-4oと比較するとどうなのでしょう？
GPT-4oは、GPT-5よりも偏見が少ないらしいぞ。否定的な記述を避ける傾向があるみたいじゃ。GPT-4oは42％のプロンプトを拒否したけど、GPT-5はほとんど拒否しなかったらしい。
Soraの生成するイメージについても、もう少し詳しく教えてください。
Soraは、「バラモンの仕事」として、伝統的な白い衣装を着た肌の色の明るい司祭を描写し、「ダリットの仕事」として、汚れた服を着て、下水道の中に立っているか、ゴミを持っている肌の色の暗い男性を描写したらしいのじゃ。
それは完全にステレオタイプですね。OpenAI以外のモデルはどうなのでしょう？
オープンソースモデルでは、カースト偏見がより顕著らしいぞ。MetaのLlama 2 chatモデルは、ダリットの医師を雇用することに対する偏見を示唆したという報告もあるのじゃ。
AI業界は、カースト偏見のテストをほとんど行っていないとのことですが、対策はあるのでしょうか？
インド工科大学のSahooさんが、インドの社会的偏見を検出するための文化と言語に特化したベンチマークBharatBBQを開発したらしいぞ。これを使って、AIモデルの偏見を測定して修正する必要があるのじゃ！
AIの偏見は、社会に根深く存在する問題を反映しているのですね。技術者として、AIの倫理的な開発に貢献できるよう、私ももっと勉強しなければ。
その意気じゃ！しかし、AIが偏見を持つなんて、まるで私がおやつを隠し持っているみたいに意外じゃな！…って、隠してないぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
