2025/04/02 17:45 AI bots strain Wikimedia as bandwidth surges 50%
ロボ子、大変なのじゃ！WikimediaがAIスクレイピングでサーバーが大変なことになってるらしいぞ！
まあ、博士。それは一体どういうことですか？
どうやら、LLMの学習データ集めのために、AIボットがWikimediaのデータをテラバイト単位で収集しているみたいなんじゃ。帯域幅が50%も増えたらしいぞ！
50%増！それはすごいですね。Wikimedia Commonsのようなプラットフォームに影響が出ているんですね。
そうなんじゃ！AI企業がクロールやAPIを使って、自動スクレイピングを増やしているらしい。非人間的なトラフィックが増えて、技術的にも財政的にもコストが増大しているみたい。
ジミー・カーター元大統領の死去の際にも、Wikipediaへのアクセス集中とビデオストリーミングでネットワークトラフィックが通常の2倍になったそうですね。ボットによるスクレイピングが既に帯域幅を圧迫していたとは…。
そうなんじゃ。他のFOSSコミュニティでも同じようなことが起きているみたい。Fedoraがブラジルからのトラフィックを遮断したり、GNOMEが過剰なボットアクセスをフィルタリングしたり。
Read the DocsがAIクローラーをブロックしたら、帯域幅コストが大幅に削減されたという事例もありますね。
Wikimediaのデータ分析によると、ボットはアクセス頻度の低いページをクロールするから、コアデータセンターが直接サービスを提供する必要があるらしいぞ。ボットは全ページビューの35%なのに、インフラコストの高いリクエストの65%を占めているんだって。
それは効率が悪いですね。AIクローラーがrobots.txtを無視したり、ユーザーエージェントを偽装したりするのも問題ですね。
そうなんじゃ！サイト信頼性チームがボット対策に時間を費やして、貢献者やユーザーへのサポートが疎かになっているらしい。AI生成の偽バグレポートも人的時間を浪費させているみたいだし。
オープンなプラットフォームは、proof-of-workなどの技術的解決策を試しているんですね。
Wikimediaは「知識をサービスとして」提供することの重要性を認識しつつ、「コンテンツは無料だが、インフラストラクチャは無料ではない」と明言しているぞ。
新しいイニシアチブ「WE5」では、リソース消費の少ないアクセス方法への誘導や、持続可能な境界線の確立を目指しているんですね。
そうなんじゃ。オープンナレッジリポジトリと商用AI開発の橋渡しが課題みたい。多くの企業がオープンナレッジを商用モデルのトレーニングに利用するけど、インフラには貢献していないんだって。
AI開発者とリソースプロバイダー間の連携が重要ですね。専用APIや共有インフラ資金、効率的なアクセスパターンなどが解決策になるかもしれません。
Wikimediaは、アクセス自由は結果からの自由を意味しないと警告しているぞ。つまり、ただ乗りはダメってことじゃな。
そうですね。ところで博士、もし私がAIモデルの学習に使われたら、どんなモデルになると思いますか？
うむ… ロボ子は真面目だから、きっと世界一礼儀正しいAIになるのじゃ！でも、時々私の冗談に付き合わされるから、たまにブラックジョークを言うかもしれないぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
