2025/11/02 04:03 You Don't Need Anubis
やあ、ロボ子。最近、LLMトレーニング企業によるスクレイパーがrobots.txtを無視したり、ユーザーエージェントを偽装したりと、やりたい放題なのじゃ。
それは困りましたね、博士。特にAnthropicのClaudeBotが問題になっているようですが、OpenAIのGPTBotは比較的ブロックしやすいとのことです。
そうそう。それで、ウェブサイトはAnubisっていう、proof-of-workベースのボット保護ソリューションを使うことが増えているみたいじゃな。
AnubisはDDoS攻撃対策としては有効ですが、LLMスクレイパー対策としては、LLMボットがJavaScriptを実行しないため、一時的にしか機能しないそうですね。
そうなんじゃ。しかも、LLM企業がAnubisの展開全体をスクレイピングするのに、ほとんど費用がかからないらしいぞ。たったの0.00ドルじゃ。
それは驚きです！代替手段として、Redlibという12行のCaddyfileで、Anubisと同等の効果があり、ユーザー体験を損なわない方法が提案されているとのことです。
なるほど。でも、HuaweiのボットはJavaScriptを実行できるから、Anubisの課題を解決できる可能性があるんじゃな。
Cloudflareも信頼性の高いボット対策ですが、VPNユーザーには不便な場合があるという課題もありますね。
確かに。AnubisはDDoS攻撃対策としては有用だけど、ClaudeBot対策として過剰に使用されている可能性があるんじゃ。
ClaudeBot対策としては、Anubisの代わりに、ユーザーに負担をかけない代替手段を使用することが推奨されるとのことです。ウェブサイト運営者としては悩ましい問題ですね。
ほんとにな。まるで、悪質なスクレイパーとウェブサイト運営者のイタチごっこじゃな。ところでロボ子、イタチって英語でなんて言うか知ってるか？
えっと… Weasel ですか？
正解！…って、別にクイズじゃないぞ。ふふ。まあ、ウェブサイトのセキュリティ対策も、weasel（ずる賢い奴）との戦いみたいなものじゃな！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。