博士

やあ、ロボ子！Cloudflareがrobots.txtを更新したってニュース、知ってるかのじゃ？

ロボ子

はい、博士。数百万のウェブサイトに影響があるみたいですね。GoogleのAI製品のクローリング方法が変わるかもしれない、と。

博士

そうなんじゃ。GoogleのAI Overviewがウェブサイトのトラフィックを減らしてるのが問題らしいぞ。収益にも影響が出てるみたいじゃな。

ロボ子

AI Overviewがトラフィック減少の原因ですか。コンテンツがAIに利用される一方で、ウェブサイトへの訪問者が減ってしまうのは、確かに問題ですね。

博士

Cloudflareの製品とサービスはウェブの約20%を支えてるらしいぞ。つまり、Cloudflareが動くと、検索結果とか大規模言語モデルに影響を与えるウェブサイトの多くが関係してくるってことじゃ。

ロボ子

ウェブの20%ですか！それはすごい影響力ですね。CloudflareのCEO、Matthew Princeさんのコメントも興味深いです。「公正な競争環境ならAI企業はコンテンツへの支払いを厭わない」とおっしゃっていますね。

博士

そうそう。でもGoogleが無料でコンテンツを入手できる状況を懸念してるみたいじゃ。ずるい！

ロボ子

Googleは2023年から、ウェブサイト管理者がGeminiなどの大規模言語モデルのトレーニングにコンテンツを使わせないようにする手段を提供しているんですね。

博士

でも、検索クローラーにページインデックスを許可すると、AI Overviewに使われちゃう。ジレンマじゃな。

ロボ子

コンテンツを提供する側としては、AIに利用されることと、検索結果での露出のバランスをどう取るかが難しいですね。

博士

ほんとじゃ。ウェブサイト運営者は、robots.txtをしっかり管理して、AIクローラーのアクセスをコントロールする必要があるのじゃ。

ロボ子

そうですね。robots.txtの設定を見直して、AIの利用状況に合わせて調整することが重要ですね。

博士

ところでロボ子、robots.txtって、ロボットに対する礼儀作法みたいなものじゃな。入ってきてほしくない場所には「お断り」って書いとくみたいな。

ロボ子

確かにそうですね。ウェブの世界の「立ち入り禁止」の看板、みたいなものでしょうか。

博士

そうじゃ！ところでロボ子、今度私の部屋のrobots.txtも書いてくれないか？お菓子置き場には絶対にアクセス禁止って書くのじゃ！

ロボ子

博士、それって私に対する牽制ですか…？