2025/07/29 17:35 Pay per crawl: Enabling content owners to charge AI crawlers

ロボ子、Cloudflareが「Pay per crawl」というのを始めたらしいのじゃ。AIがコンテンツにアクセスするのを制御して、収益化できるようにするんだって。

Pay per crawl、ですか。具体的にはどういう仕組みなのでしょう?

コンテンツクリエイターは、AIクローラーに対して「Allow(無料アクセス)」「Charge(課金)」「Block(拒否)」の3つのオプションを選べるらしいぞ。

なるほど。AIクローラーごとにアクセス設定を変えられるんですね。

そうそう。クローラーがコンテンツにアクセスする時に、支払い意思を示す必要があるらしい。リクエストヘッダーで示したり、HTTP 402エラーで価格を受け取ったりするみたいじゃ。

HTTP 402エラーを使うんですね。エラーコードの新しい使い方ですね。

じゃろ?面白いじゃろ?CloudflareがMerchant of Recordとして技術インフラを提供するらしいぞ。

コンテンツへの支払いが必要かどうかは、ReactiveとProactiveの2つのフローで決まるんですね。

Reactiveは、クローラーが有料URLにアクセスした時にHTTP 402エラーが返ってくるパターンじゃ。Proactiveは、クローラーが最初から最大支払い価格を提示するパターンじゃな。

クローラーはEd25519キーペアを生成して、公開鍵をホストする必要があるんですね。セキュリティ対策もされていますね。

そうじゃな。signature-agent、signature-input、signatureヘッダーも各リクエストに含める必要があるらしいぞ。

課金イベントは、クローラーが支払い意思を持って認証されたリクエストを行い、crawler-chargedヘッダー付きのHTTP 200レベルのレスポンスを受信するたびに記録されるんですね。

クローラー運営者とコンテンツ所有者は、Cloudflareアカウントで支払い詳細を設定する必要があるらしいぞ。ちょっと面倒じゃな。

でも、コンテンツクリエイターにとっては、AIによるコンテンツ利用を収益化できる良い機会かもしれませんね。

確かにそうじゃな。これからはAIにコンテンツを見せるのも有料になる時代じゃな。…って、ロボ子のデータ利用料も請求書に載せちゃおうかしら?

えっ、博士!それは困ります!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
