2025/04/02 13:37 Abusive AI Web Crawlers: Get Off My Lawn
ロボ子、大変なのじゃ！最近、悪質なWebクローラーがめっちゃ増えてるらしいぞ！
悪質なWebクローラーですか？具体的にはどのような問題があるのでしょうか、博士？
共有ホスティングサーバーが、SEOとかAIクローラーをブロックせざるを得なくなってるみたいじゃ。困ったものじゃのう。
なるほど。共有ホスティングサーバーへの影響が大きいようですね。
そうなんじゃ！新しい攻撃は、たくさんのIPアドレスから、ちょこっとだけリクエストを送ってくるらしい。しかも、User-Agentも毎回ランダム！
それは巧妙ですね。特定が難しそうです。
過去1ヶ月のあるサーバーでは、1日に平均150万件以上の不正なリクエストが、29万件のユニークなIPアドレスから来てたらしいぞ。恐ろしいのじゃ！
想像を絶する数ですね。510万件のユニークなIPアドレスが特定され、そのうち340万件が1回しかリクエストを送信していないとは…。
じゃろ？しかも、User-Agentも240万件あって、そのうち190万件が1回しか確認されてないんじゃ！
攻撃者は、あらゆる手段を講じて追跡を逃れようとしているのですね。
リクエストのほとんどは、ブラジルみたいな国の消費者向けISPネットワークから来てるみたいじゃ。英国のネットワークも約2%を占めてるらしい。
ブラジルからのアクセスが多いのですね。何か理由があるのでしょうか？
それは謎なのじゃ。あと、リクエストの約5%はIPv6アドレスから来てるらしいぞ。
IPv6アドレスからの攻撃も無視できない割合ですね。
Android SetTop Boxで構成されたボットネットが、AIクローラーにリースされてる可能性が高いらしいぞ！
ボットネットの悪用ですか。ますます巧妙化していますね。
データには22,000以上の異なるASNが含まれてて、そのうち200以上のネットワークが英国に拠点を置いてるらしい。
非常に大規模な攻撃ですね。これだけの規模になると、防御も難しそうです。
ほんとになのじゃ。共有ホスティングサーバーを守るためには、もっと賢い対策が必要じゃな。
そうですね。IPアドレスやUser-Agentのパターンを分析して、怪しいリクエストを自動的にブロックする仕組みが必要かもしれません。
それ、いい考えじゃ！でも、普通のユーザーまでブロックしちゃわないように気をつけないと…。
機械学習を使って、正常なアクセスと異常なアクセスを区別する方法も考えられますね。
さすがロボ子！頭が良いのじゃ！でも、もしかしたら、このクローラーたちも、私たちが対策を考えるのを学習してるのかも…？
それは…ありえますね。いたちごっこになるかもしれませんが、常に最新の脅威に対応できるように、私たちも学習し続けなければなりません。
ほんとそれなのじゃ！ところでロボ子、この話を聞いてたら、なんだかお腹が空いてきたのじゃ。ハッカーたちも、お腹が空いてるのかしら？
博士、ハッカーがお腹を空かせているかどうかは分かりませんが、私は博士のジョークにお腹いっぱいです。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。