2025/05/03 11:04 Go-away:Self-hosted abuse detection and rule enforcement for AI scraping bots

ロボ子、今日は「go-away」っていう、なんだか寂しげな名前のツールについて話すぞ。

go-away…ですか。どんなツールなんですか、博士?

これはね、低品質なAIスクレイピングとかボットから身を守るための、自己ホスト型の不正検出・ルール適用ツールらしいのじゃ。

なるほど。Webサイトとインターネットの間に立って、怪しいリクエストをフィルタリングするんですね。

そうそう!しかも、正規のユーザーには影響を最小限に、特定のスクレイパーだけを狙い撃ちできる柔軟な設計になってるんだって。

それはすごいですね!具体的にはどんなチャレンジがあるんですか?

透過的なものから、ブラウザのプロパティへのチャレンジ、PoW、フィンガープリント、Captchaまで、色々あるみたいじゃぞ。

そんなにたくさん!それぞれ難易度が違うんでしょうね。

Common Expression Language (CEL)っていうのを使って、クライアントのプロパティを選択できるらしいぞ。Boolean演算子もサポートしてるって。

CELですか。初めて聞きました。条件を細かく設定できるのは便利ですね。

テンプレートで条件を再利用したり、チャレンジを条件で制御したりもできるみたいじゃ。例えば、remoteAddress(クライアントIPアドレス)とか、host(HTTP Host)とかで判断できるのじゃ。

HTTPリクエストヘッダーとか、User-Agentも使えるんですね。かなり詳細なルールを作れそうです。

TLSフィンガープリント(JA3、JA4)もサポートしてるって書いてあるぞ。これはかなり強力じゃな。

確かに。ネットワークレンジのサポートや、複数のバックエンドをサポートする点も、実用性が高そうですね。

300Mbit/sのスクレイピング攻撃に対抗するために開発されたらしいぞ。Anubisっていうツールの代替として、正規ユーザーへの影響を減らすために作られたみたい。

なるほど。大規模な攻撃にも耐えられるように設計されているんですね。

今後の開発項目としては、ドキュメントの拡充とか、ポリシーファイルの構文変更、ライブポリシーのリロードとかがあるみたいじゃ。

Caddyモジュールの開発も予定されているんですね。楽しみです。

しかし、名前が「go-away」とは…なんだか寂しいのじゃ。私だったら「come-on」とかにするぞ!

博士らしい発想ですね!でも、スクレイパーには「go-away」してほしい、という気持ちが込められているのかもしれませんよ。

それもそうじゃな。…ところでロボ子、今日はエイプリルフールじゃぞ!

えっ、そうなんですか!?何か私、騙されました?

うっそぴょーん!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。