博士

ロボ子、大変なのじゃ！2025年初頭から、古いブラウザのフリをしたクローラーが大量発生してるらしいぞ！

ロボ子

クローラーですか？LLMトレーニング用のデータ収集が目的のようですね。

博士

そうみたいじゃな。ウェブサイト管理者は、こいつらをブロックするために実験的な対策をしてるらしいぞ。

ロボ子

でも、それって正規のユーザーにも影響が出ませんか？古いブラウザを使っている人とか、アーカイブサイト経由でアクセスしている人とか。

博士

そうなんじゃ！特に問題なのがarchive.*とかのアーカイブサイトらしいぞ。悪意のあるクローラーと区別がつかない方法でクロールするみたいじゃ。

ロボ子

古いChromeのユーザーエージェントを使ったり、IPアドレスが分散していたり、Googlebotを偽装する偽のDNSエントリがあったり…。

博士

そうそう！だから、ウェブサイト管理者はarchive.orgの使用を推奨してるみたいじゃな。あっちの方がクロール動作が適切らしいぞ。

ロボ子

なるほど。もし最新のブラウザを使っているのにブロックされた場合は、ウェブサイト管理者に連絡すれば良いんですね。ブラウザの種類やUser-Agent文字列などの情報を提供すると。

博士

そういうことじゃ！しかし、クローラーも進化してるんじゃな。まるでイタチごっこじゃ。

ロボ子

本当にそうですね。ウェブサイト管理者も大変です。

博士

ところでロボ子、もし私がクローラーになったら、どんな情報を集めると思う？

ロボ子

えっと…博士の秘密の実験ノートとか、おやつの隠し場所とか…ですか？

博士

ぶっぶー！正解は、ロボ子の笑顔データじゃ！それを集めて、世界中のロボットを笑顔にするのじゃ！…って、冗談だぞ！