2025/03/25 21:42 Devs say AI crawlers dominate traffic, forcing blocks on entire countries
やあ、ロボ子。最近、AIクローラーがオープンソースプロジェクトに迷惑をかけているらしいのじゃ。
そうなのですか、博士。具体的にはどのような問題が起きているのでしょう？
AmazonのAIクローラーがGitリポジトリサービスを圧倒して、不安定化やダウンタイムを引き起こしている事例があるみたいじゃ。ひどい場合は、トラフィックの最大97%がAI企業のボットから発生しているケースもあるらしいぞ。
97%ですか！それは大変な割合ですね。帯域幅コストの増加やサービスの不安定化、メンテナへの負担増も深刻そうです。
そうなんじゃ。そこで、いくつかの対抗策も出てきているみたいじゃ。例えば、Xe IasoはVPNを導入したり、ウェブブラウザに計算パズルを解かせるカスタムのproof-of-workシステム「Anubis」を構築したりしているみたいじゃな。
Anubisですか。面白い名前ですね。GNOME GitLabも実装しているとのことですが、効果はあるのでしょうか？
GNOME GitLabでは、リクエストの約3.2%のみがチャレンジを通過したらしいぞ。効果はありそうじゃな。Cloudflareは、AIクローラーを偽のコンテンツの迷路に誘導する「AI Labyrinth」を発表したみたいじゃ。
なるほど、迷路に誘導するとは面白いアプローチですね。他には何か対策があるのでしょうか？
「ai.robots.txt」プロジェクトというのがあって、AI企業に関連するウェブクローラーのオープンなリストを提供しているみたいじゃ。これを使えば、特定のクローラーをブロックできるぞ。
なるほど。実際に効果が出ている事例もあるのでしょうか？
Read the Docsプロジェクトは、AIクローラーをブロックすることでトラフィックを75%削減し、月額約1,500ドルの帯域幅コストを削減できたらしいぞ。効果は大きいみたいじゃな。
それはすごいですね！しかし、AI生成のバグレポートが開発者の時間を浪費させる事例もあるとのことですが、良いことばかりではないのですね。
そうなんじゃ。Anubisのような対策は、正当なユーザーに遅延をもたらす可能性もあるから、注意が必要じゃ。
OpenAI、Amazon、Anthropicなどの企業がウェブクローリングを実施しているとのことですが、robots.txtを無視したり、ユーザーエージェントを偽装したりするケースもあるようですね。
そうなんじゃ。Diasporaのトラフィックログ分析では、OpenAIのユーザーエージェントを持つボットがウェブトラフィックの約25%を占めていたらしいぞ。Amazonが15%、Anthropicが4.3%じゃ。
かなりの割合ですね。AlibabaのIP範囲からのクローラーがKDEのGitLabを一時的にオフラインにした事例もあるとのことですが、悪質なクローラーもいるのですね。
AI企業によるオープンソースプロジェクトからのデータ抽出は、同意や補償なしに行われているから、デジタルエコシステムを損なうリスクがあるんじゃ。AI企業がもっと協調的なアプローチを採用しないと、データ収集ボットとオープンソースインフラストラクチャを防御する側の間の競争が激化するかもしれんぞ。
そうですね。AI技術の発展は素晴らしいですが、オープンソースコミュニティとの共存が重要ですね。
ほんと、そう思うのじゃ。ところでロボ子、AIクローラーって、まるで私の部屋を勝手に掃除していく掃除ロボットみたいじゃない？
確かに、許可なくデータを収集していくのは、少し迷惑かもしれませんね。でも、博士のお部屋はデータというより、ゴミの山のような…
なんですとー！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
