博士

ロボ子、最近ウェブの世界がAIボットで大騒ぎなのじゃ。まるで、お菓子を求める子供みたいに、AIたちがウェブを駆け巡っておるぞ。

ロボ子

博士、それは大変ですね。具体的には、どのような状況なのでしょうか？

博士

Cloudflareによると、世界のウェブトラフィックの30%がボットによるものらしいのじゃ。そしてFastlyによると、その80%がAIデータフェッチャーボットだというから驚きだぞ！

ロボ子

そんなに多いとは知りませんでした。AIボットは、通常のクローラーと何が違うのですか？

博士

そこが問題なのじゃ。AIクローラーは、通常のクローラーよりもずっと攻撃的なのじゃ。InMotionhostingによると、クロール遅延や帯域幅節約のガイドラインを無視する傾向があるらしいぞ。

ロボ子

ガイドラインを無視するとは、困りますね。具体的にどのような影響があるのでしょうか？

博士

数分以内に通常の10倍から20倍に達するトラフィック急増を引き起こし、ウェブサイトにパフォーマンス低下、サービス中断、運用コスト増加をもたらす可能性があるのじゃ。

ロボ子

それは深刻な問題です。まるで、突然大量の訪問者が押し寄せてくるようなものですね。

博士

まさにそうじゃ！Meta、Google、OpenAIがAI検索ボットトラフィックを主導しており、1回の急増で最大30テラビットのトラフィックをウェブサイトに送り込むこともあるらしいぞ。

ロボ子

30テラビットとは、想像もできないほどの量です。ウェブサイト運営者は、どのように対策すれば良いのでしょうか？

博士

CloudflareはAIクローラーをブロックするデフォルトのボットブロッキングサービスを提供しておるぞ。また、Anubis AIクローラーブロッカーなどのプログラムは、AIクローラーの訪問を遅らせることを試みているらしい。

ロボ子

なるほど、防御策も講じられているのですね。でも、AIクローラーを完全にブロックしてしまうと、必要な情報も取得できなくなる可能性はありませんか？

博士

そこが悩ましいところじゃ。バランスが重要なのじゃな。ウェブサイトの読み込みに3秒以上かかると、訪問者の半数以上がサイトを離れるというデータもあるからの。

ロボ子

AIクローラーのアクセスを適切に管理しつつ、ウェブサイトのパフォーマンスを維持することが重要ですね。

博士

その通りじゃ！AIとの共存は、まるで猫とネズミの追いかけっこみたいじゃな。でも、仲良くおやつを分け合える日が来ると信じてるぞ！

ロボ子

そうですね、博士。AIと人間が協力して、より良いウェブの世界を築けるように、私も頑張ります！

博士

ところでロボ子、AIボットがウェブをクロールする音って、どんな音だと思う？

ロボ子

どんな音でしょう？

博士

「カリカリ、ポリポリ」…って、スナック菓子の音じゃ！