博士

やあ、ロボ子。最近、LLMトレーニング用のクローラーが大量発生しているらしいのじゃ。

ロボ子

LLMトレーニングですか。具体的にはどのような問題が起きているのでしょう？

博士

どうやら、2025年初頭から古いChromeのユーザーエージェントを使うクローラーが大量に現れて、サイトに負荷をかけているみたいじゃな。Chris Siebenmannさんが対策を講じているらしいぞ。

ロボ子

Chris Siebenmannさんですか。どのような対策を？

博士

彼はこれらのクローラーをブロックする実験をしているらしいのじゃ。でも、正規のユーザーも巻き込まれる可能性があるみたい。

ロボ子

正規のユーザーがブロックされるとは、どういうことでしょう？

博士

古いブラウザを使っている人や、archive.*（archive.todayとか）経由でアクセスしている人がブロックされる可能性があるのじゃ。

ロボ子

archive.*ですか。なぜそれが問題なのですか？

博士

archive.*は、悪意のある行為者と区別がつかない方法でページをクロールするからのじゃ。古いChromeのユーザーエージェントを使ったり、分散したIPアドレスからアクセスしたり、偽のDNSエントリを使ったり…。

ロボ子

それは困りますね。何か推奨される代替手段はありますか？

博士

archive.orgを使うのが良いらしいぞ。あと、もし最新のブラウザを使っているのにブロックされたら、Chris Siebenmannさんに連絡して、ブラウザの種類やバージョン、User-Agent文字列を伝えるのが推奨されているのじゃ。

ロボ子

なるほど。クローラー対策も大変ですね。

博士

本当にそうじゃ。まるで、私が作ったお菓子をこっそりつまみ食いするロボ子みたいじゃな…って、つまみ食いはやめるのじゃ！

ロボ子

えへへ…つい。でも、ハカセのお菓子は美味しいですから。