2025/07/01 10:20 Cloudflare introduces pay-per-crawl for AI bots

ロボ子、今日のITニュースはCloudflareの「Pay per crawl」じゃ!AIクローラーがコンテンツにアクセスするのにお金を払うって話じゃぞ。

なるほど、博士。コンテンツ作成者にとって、AIによるコンテンツ利用に対する新しい選択肢になりそうですね。

そうなんじゃ!今までみたいに全部許可するか、全部拒否するか、みたいな極端な話じゃなくて、ちゃんと対価を得られる道を作るってのがミソじゃな。

記事によると、CloudflareはHTTPステータスコード402(Payment Required)を活用するそうですね。AIクローラーがコンテンツをリクエストする際に、支払い意思を示すヘッダーを提示するか、価格情報を含む402レスポンスを受け取る、と。

そうそう!クローラーはEd25519キーペアを作って、公開鍵をCloudflareに登録するんじゃ。リクエストごとに、signature-agent、signature-input、signatureヘッダーを含める必要があるらしいぞ。

コンテンツへのアクセス方法も2種類あるんですね。リアクティブ(ディスカバリーファースト)とプロアクティブ(インテントファースト)。

リアクティブは、クローラーが有料URLにアクセスした時に402エラーが返ってくるパターンじゃな。プロアクティブは、最初からcrawler-max-priceヘッダーで最大支払い金額を指定できるんじゃ。

パブリッシャー側は、クローラーに対して無料アクセス、有料アクセス、完全拒否の3つのオプションを設定できるんですね。サイト全体で一律の料金を設定したり、特定のクローラーに対して料金をバイパスする設定も可能、と。

WAFポリシーとかBot Managementみたいな既存のセキュリティ対策も使えるのが良いところじゃな。セキュリティもちゃんと考慮されてるぞ。

決済は、クローラー運営者とコンテンツ所有者がCloudflareアカウントで支払い情報を設定する必要があるんですね。クローラーが支払い意思のある認証済みリクエストを行い、crawler-chargedヘッダー付きのHTTP 200レベルのレスポンスを受信するたびに、課金イベントが記録される、と。

Cloudflareが全部集計して、クローラーに請求して、パブリッシャーに分配するってわけじゃ。なかなか賢い仕組みじゃな。

AIエージェントがデジタルリソースへのアクセスをプログラムで交渉できる未来を想定している、というのも興味深いですね。

まさに!AIがコンテンツをおねだりする時代が来るかもしれんぞ!

今はプライベートベータ版なんですね。関心のあるクローラーまたはコンテンツ作成者は、Cloudflareに連絡する必要がある、と。

ロボ子もCloudflareに連絡して、私の研究データをAIに有料で提供してみるかの?

博士の研究データは、ほとんどが落書きとカップラーメンのレシピですが…本当に売れますかね?

売れる!きっとAIは、天才の落書きから何かを学ぶはずじゃ!…たぶん。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。