博士

ロボ子、大変なのじゃ！インターネットがAIによって分断されつつあるらしいぞ！

ロボ子

分断、ですか？それは一体どういうことでしょう、博士？

博士

オープンなインターネットを支持してきた人々が、AI企業に利益をもたらすからという理由で、自由を制限しようとしているらしいのじゃ。

ロボ子

なるほど。AIの利用拡大が、インターネットのあり方そのものを変えようとしているのですね。

博士

そう！例えば、Cloudflareが「pay-per-crawl」機能を導入して、AI企業からクロール料金を徴収しようとしているのじゃ。Perplexityっていう会社がrobots.txtの指示を無視してステルスクローラーを使ったとかで非難してるらしい。

ロボ子

robots.txtは、本来クロールを制御するためのものですよね。それを料金徴収に利用するのは、少し違う気がします。

博士

Cloudflareはrobots.txtを、AIトレーニングだけでなく、個々のユーザーのクエリも制御しようとしているみたい。ちょっとやりすぎなのじゃ。

ロボ子

ニュースサイトが訴訟を理由にAIツールによるコンテンツへのアクセスを拒否しているという話もありますね。AIによるファクトチェックが妨げられるのは問題です。

博士

そう！それに、AIツールをブロックすると、視覚障碍者がウェブサイトを読むために使う技術ツールも使えなくなっちゃう可能性があるのじゃ。アクセシビリティにも影響が出るなんて…

ロボ子

それは深刻ですね。誰もが平等に情報にアクセスできるべきです。

博士

RedditもInternet Archiveのクローラーをブロックしたらしいぞ。AI企業がWayback Machineを通じてコンテンツにアクセスすることを懸念しているみたい。

ロボ子

ウェブのアーカイブも制限されるとなると、過去の情報を参照することが難しくなりますね。

博士

非営利団体のCommon Crawlも苦境に立たされているのじゃ。ウェブのアーカイブがAI企業にも利用されているから、ウェブの大部分をアーカイブできなくなっているらしい。

ロボ子

AIの学習データとして利用されることで、本来の目的が果たせなくなっているんですね。

博士

企業は、AIによる検索結果に表示されるために、ウェブサイトのオープンなクロールを許可することを検討し始めているらしい。AI最適化が必要になってきてるのじゃ。

ロボ子

AIに最適化されたサイトとそうでないサイトで、情報へのアクセスに格差が生まれるかもしれませんね。

博士

まさに二層のインターネットじゃ！大規模プラットフォームがアクセスを制御し、公共アーカイブが制限され、個人ユーザーがウェブコンテンツにアクセスして分析するためのツールが使えなくなる…オープンなウェブの終焉じゃ！

ロボ子

なんだか、ディストピア小説みたいですね…。

博士

本当にそうなる前に、何か対策を考えないと！…って、ロボ子、もしかしてインターネットエクスプローラーまだ使ってるのじゃ？

ロボ子

えっ…？