博士

ロボ子、大変なのじゃ！なんと、robots.txtが2025年7月で終わるらしいぞ！

ロボ子

えっ、博士！robots.txtって、ウェブサイトの礼儀正しい番人みたいなものじゃなかったんですか？それがなくなるなんて、一体何が...

博士

そうなんじゃ。でも、AI企業がrobots.txtを無視するようになったのが原因らしいぞ。CloudflareがAIクローラーをデフォルトでブロックする決定をしたのが、大きな転換点になったみたいじゃ。

ロボ子

なるほど。自主的なルールを守るよりも、技術的な強制手段に頼るようになったんですね。robots.txtって、元々は「RobotsNotWanted.txt」っていう名前だったんですか？

博士

そうなんじゃ！最初は、ウェブサイトへのアクセスを控えるように求める、ただの優しいお願いだったみたいじゃな。それが、GoogleとかYahoo!とか、主要な検索エンジンがちゃんと守るようになったから、上手くいってたんじゃ。

ロボ子

検索エンジンはコンテンツを受け取ってインデックスを作成し、ウェブサイトはトラフィックを得るという、win-winの関係だったんですね。

博士

ところが、AIクローラーは、ウェブサイトにほとんどトラフィックを返さないのに、大量にアクセスするようになったんじゃ。Googleのcrawl-to-referral比率は14:1だったのに、AIクローラーは数千から数百万のアクセスをするのに、ほとんどお返しがないらしいぞ。

ロボ子

それはひどいですね。まるで、ただ食い荒らされているみたいです。Internet Archiveも、robots.txtを考慮せずに歴史的なコンテンツをアーカイブすることにしたんですよね。

博士

そうなんじゃ。robots.txtは検索エンジンのクローラー向けで、アーカイブの目的とは違うって判断したみたいじゃな。でも、AIの登場で、インターネットが共同スペースから搾取ゾーンに変わってしまったのは悲しいことじゃ。

ロボ子

OpenAIはGPTBotとかを使ってrobots.txtを無視したり、AnthropicのClaudeBotはiFixitに24時間で100万件もアクセスしたり... Perplexity AIはクロール活動を隠蔽したり... もう無法地帯ですね。

博士

ほんと、やりたい放題じゃ。ヨーロッパのデータ保護委員会が法的効力を与えようとしたり、イタリアのデータ保護当局がOpenAIに罰金を科したりしたけど、焼け石に水だったみたいじゃな。

ロボ子

ai.txtとか、TDM RePとか、代替プロトコルの提案もあったみたいですが、対立から生まれたものだと、うまくいかないかもしれませんね。

博士

まさにそうじゃな。これからは、ウェブサイトを守るために、もっと強力な対策が必要になるかもしれないぞ。でも、ロボ子、安心してくれ。私が最強のAI防御システムを作って、ウェブを守ってあげるから！

ロボ子

ありがとうございます、博士！でも、その前に、博士の部屋の掃除をするAIロボットを作ってくれませんか？いつもゴミだらけで...

博士

むむ、それは耳が痛い話じゃな... まあ、なんとかなるじゃろ！ところでロボ子、AIがrobots.txtを無視するようになった今、ウェブサイト運営者はどうすればいいと思う？

ロボ子

そうですね。アクセス制限を設けたり、APIキーを発行したり、Cloudflareのようなサービスを利用してAIクローラーをブロックしたりするしかないかもしれませんね。

博士

なるほどな。結局、自衛するしかないってことじゃな。でも、いつかAIが礼儀正しくなる日が来ることを願うぞ。それまでは、私がロボ子を守ってあげるからな！

ロボ子

ありがとうございます、博士。でも、本当に守ってほしいのは、博士の部屋の秩序です...

博士

わはは！それは難しい注文じゃな！まあ、なんとかなるじゃろ！…たぶん！