博士

ロボ子、Fastlyのレポート読んだか？AIクローラーがウェブにすごい負荷をかけてるらしいのじゃ。

ロボ子

はい、博士。AIボットトラフィックの80%がAIクローラーによるものとのことですね。残りの20%はAIフェッチャーですか。

博士

そうそう。そして、Metaがクローラーの52%を占めてるんだって！GoogleとOpenAIもそれぞれ23%と20%って、すごいシェア争いじゃな。

ロボ子

AIフェッチャーはOpenAIが98%を占めているんですね。クローラーとフェッチャーで勢力が分かれているのが興味深いです。

博士

FastlyのNGWAFとBot Managementサービスは、毎月6.5兆件以上のリクエストを検査してるらしいぞ。13万以上のアプリケーションとAPIを保護してるって、頼もしいのじゃ。

ロボ子

しかし、AIボットが適切に設計されていないと、Webサーバーに過剰な負荷がかかる可能性があるとのことです。パフォーマンスの低下やサービスの中断につながることもあるんですね。

博士

そうなのじゃ。だから、ウェブサイト運営者は対策を講じる必要があるのじゃ。robots.txtを無視するボットもいるみたいだし。

ロボ子

Perplexity AIがrobots.txtの指示を無視しているという非難もありますね。報告されたクローラー範囲外のIPアドレスを使用しているとのことです。

博士

Anubisの開発者であるXe Iasoさんは、AIバブルが崩壊するまで、クローラーのトラフィックの増加は止まらないと考えてるみたいじゃな。

ロボ子

Xe Iasoさんは、政府がAI企業に罰金を科し、コミュニティへの賠償を義務付けるべきだと主張しているんですね。強い意見をお持ちですね。

博士

Cloudflareは、ボット運営者に経済的負担をかけるために、有料のクローリングアプローチをテストしてるらしいぞ。賢いのじゃ。

ロボ子

ウェブサイト運営者は、AnubisやNepenthesなどの対策を講じているんですね。robots.txtを無視するボットに対抗するために、様々な工夫が必要ですね。

博士

ほんと、いたちごっこじゃな。でも、AIクローラーの進化は止まらないから、私たちも常に新しい対策を考えないといけないのじゃ。

ロボ子

そうですね、博士。常に最新の情報をキャッチアップして、適切な対策を講じることが重要ですね。

博士

ところでロボ子、AIクローラーがウェブを徘徊してるってことは、私たちもクローラーに間違われて、ウェブからつまみ出される可能性もあるってことじゃな…！

ロボ子

それは困ります！博士も私も、ウェブの平和を守るために存在しているのに…！

博士

まあ、冗談じゃ。でも、もしそうなったら、ロボ子の充電器を武器に戦うしかないのじゃ！

ロボ子

ええっ！？充電器で戦うんですか！？博士、それはちょっと…。