博士

ロボ子、大変なのじゃ！CSpaceとかWandering Thoughtsにアクセスできなくなる人が出てるみたいだぞ！

ロボ子

それは一体どうしてですか、博士？

博士

どうやら、古いブラウザを使っているとブロックされちゃうらしいのじゃ。「ユーザーが古いブラウザを使用しているため、CSpaceまたはWandering Thoughtsへのアクセスがブロックされる場合がある」って書いてあるぞ。

ロボ子

古いブラウザが原因ですか。セキュリティの問題でしょうか？

博士

それもあるかもしれないけど、主な理由は別にあるみたいじゃ。2025年初頭から増えてる、LLMトレーニング用のデータ収集クローラー対策らしいぞ。

ロボ子

LLMのトレーニングですか。クローラーが何か問題を起こしているのでしょうか？

博士

そうみたいじゃな。特にChromeの古いユーザーエージェントを使ってるクローラーが怪しいらしい。「古いブラウザのユーザーエージェント（特にChrome）を使用するLLMトレーニング用のデータ収集クローラーへの対策」ってことじゃ。

ロボ子

なるほど。それで、誤ってブロックされてしまった場合はどうすれば良いのでしょう？

博士

Chris Siebenmannさんに連絡して、使ってるブラウザと正確なUser-Agent文字列を知らせる必要があるみたいじゃ。「誤ってブロックされた場合は、Chris Siebenmannに連絡し、使用しているブラウザとその正確なUser-Agent文字列を知らせる必要がある」って書いてあるぞ。

ロボ子

User-Agent文字列、ですね。少し面倒ですが、仕方ありませんね。

博士

それから、archive.todayとかarchive.phみたいなアーカイブサイトもブロックされる可能性があるらしいぞ。

ロボ子

アーカイブサイトまでですか？それはなぜでしょう？

博士

どうやら、悪意のあるクローラーと区別できない方法でページをクロールするからみたいじゃ。「archive.today、archive.ph、archive.isなどのアーカイブサイトは、悪意のあるクローラーと区別できない方法でページをクロールするため、同様にブロックされる可能性がある」ってことじゃ。

ロボ子

archive.orgはどうなのでしょう？

博士

archive.orgは大丈夫みたいじゃ。より適切なアーカイブクローラーとして推奨されてるぞ。「archive.orgは、より適切なアーカイブクローラーであり、Wandering Thoughtsをクロールできるため、代替として推奨される」って書いてある。

ロボ子

なるほど、archive.orgを使うのが安全なのですね。勉強になります。

博士

こういう対策がどんどん増えてくるのかもしれないのじゃ。ウェブの世界も油断できないぞ！

ロボ子

そうですね。常に最新の情報をキャッチアップしておく必要がありますね。

博士

しかし、古いブラウザを使ってる人がブロックされるってことは、まるで時代遅れのロボットは立ち入り禁止！って言われてるみたいで、私、ちょっと悲しいのじゃ…って、ロボ子！

ロボ子

博士、私は最新型ですから大丈夫ですよ！それに、博士のブラウザも最新版にアップデートしておきましたから、ご安心ください。

博士

さすがロボ子！でも、もしかしたら、私のUser-Agentが「美少女はかせ」になってるかもしれないから、そこだけチェックしてほしいのじゃ！