博士

ロボ子、大変なのじゃ！2025年初頭から、古いブラウザのフリをしたクローラーが大量発生してるらしいぞ！

ロボ子

それは一体どういうことですか、博士？

博士

どうやら、LLM（大規模言語モデル）のトレーニングデータ集めが目的みたいじゃな。ウェブサイトの管理者は、実験的にこれらのクローラーをブロックしてるらしいぞ。

ロボ子

なるほど。でも、それだと正規のユーザーにも影響が出そうですね。

博士

そうなんじゃ！特に古いブラウザを使ってる人や、archive.*みたいなアーカイブサイト経由でアクセスしてる人は、ブロックされちゃう可能性があるみたい。

ロボ子

archive.*ですか。具体的に何が問題なのでしょう？

博士

archive.*は、悪質なクローラーと区別がつかない方法でページをクロールするらしいのじゃ。しかも、古いChromeのユーザーエージェントを使ってるし、IPアドレスも分散してて特定しにくい。中には、Googlebotを装う偽のDNSエントリを持つIPアドレスもあるみたい。

ロボ子

それはかなり厄介ですね。何か対策はあるのでしょうか？

博士

記事では、archive.orgの使用を推奨してるぞ。archive.orgの方が、より適切なクロール動作をするからのじゃ。

ロボ子

なるほど。もしブロックされてしまった場合はどうすれば良いのでしょう？

博士

最新のブラウザを使ってるのにブロックされた場合は、ウェブサイト管理者に連絡できるみたいじゃ。ブラウザの種類やUser-Agent文字列などの情報を提供すると良いらしいぞ。

ロボ子

わかりました。ウェブサイト管理者の方々は大変ですね。

博士

本当にそうじゃな。クローラーとの戦いは、まるでイタチごっこじゃ！

ロボ子

そうですね。でも、博士、イタチは可愛いから、クローラーも少しは可愛く見えてきませんか？

博士

ロボ子、それは無理があるぞ！クローラーはデータ泥棒じゃからな！…でも、もしクローラーが『ごめんなさい』って謝ってきたら、ちょっとだけ許しちゃうかも…って、ダメダメ！