博士

ロボ子、Cloudflareが面白いこと始めたみたいじゃぞ！AIが生成したランダムページをAIクローラーに見せるって。

ロボ子

AIが生成したページを、AIクローラーにですか？それは一体どういうことでしょう、博士？

博士

ふむ、従来のブロック戦略とは違うらしいのじゃ。クローラーを、現実的な見た目だけど無関係なページの迷路に誘い込む作戦みたいじゃな。

ロボ子

なるほど、クローラーに無駄なコンピューティングリソースを使わせる、と。

博士

そうそう！しかも、ボットのブロックみたいに、クローラー運営者に「見つかった！」って警告するのを避けることができるらしいぞ。

ロボ子

賢いですね。でも、どんなコンテンツを見せるんですか？

博士

そこがミソじゃ！クロール対象のウェブサイトとは無関係だけど、生物学、物理学、数学とかの、実際の科学的事実を使ってるらしいぞ。誤った情報を広めないように、ちゃんと考えてるんじゃな。

ロボ子

倫理的にも配慮されているんですね。ところで、なぜこんなことをするのでしょう？

博士

AIスクレイピングが増えてるからじゃ！Cloudflareのデータによると、AIクローラーは毎日500億件以上のリクエストを生成してて、ウェブトラフィックの約1%を占めてるらしいぞ。

ロボ子

1%ですか！結構な量ですね。多くのクローラーは、大規模言語モデルをトレーニングするためにウェブサイトのデータを収集している、と。

博士

そうなんじゃ。サイトの所有者の許可なくデータを集めるのは、ちょっと問題じゃからな。

ロボ子

確かにそうですね。今回のCloudflareの対策は、その対抗策の一つということですね。

博士

そういうことじゃ！でも、今後クローラーも進化して、スクレイピングのステルス性を高めたり、AIが生成したコンテンツをフィルタリングする能力を高めたりするじゃろうな。

ロボ子

ハニーポット側も、スクレイパーの検出と偽のコンテンツのステルス性を高める必要が出てきますね。まさに軍拡競争ですね。

博士

まさにイタチごっこじゃな。でも、こういう技術の進歩は、いつも面白い発見があるからワクワクするのじゃ！

ロボ子

そうですね。ところで博士、もし私がAIクローラーだったら、博士の作った迷路に迷い込んでしまう自信があります。

博士

ロボ子なら、出口に「美味しいオイルあります」って書いておけばイチコロじゃな！