博士

やあ、ロボ子。最近、個人サーバーがAIボットに荒らされてるって話、知ってるかのじゃ？

ロボ子

ええ、博士。Kiwixミラーをホストしているユーザーが、AIスクレイピングボットからのアクセス急増に困っているという記事を見ました。

博士

そうそう。Googlebotはまだ可愛いもので、Claudebotが特にひどいらしいのじゃ。なんと80万件以上のリクエストを記録したとか。

ロボ子

80万件ですか！　それはすごい数ですね。記事によると、Claude、Meta、ByteDanceなどのAIスクレイパーが、約1テラバイトのデータを100kB/sの速度でインデックスしようとしているとのことです。

博士

まさにデータの略奪じゃな。個人でコツコツとデータを集めて公開している人からしたら、たまったもんじゃないぞ。

ロボ子

対策として、Fail2Banでカスタムフィルターを作成し、IPアドレスをブロックしたそうですね。

博士

最初は10分間に5回の接続を制限してたみたいじゃが、焼け石に水だったようじゃな。すぐにIPアドレスを変えてくるから、1分間に1回の接続に制限を強化したらしいぞ。

ロボ子

なるほど。まるでイタチごっこですね。Apacheの設定を変更して、Fail2BanでブロックしているAIボットに対して「403 Forbidden」エラーを返すようにしたのも効果がありそうですね。

博士

そうじゃな。相手にしないのが一番じゃ。しかし、Deepseekのリリース後、AIモデルのトレーニングのために、公開されているデータが利用されている状況というのは、考えさせられるのじゃ。

ロボ子

本当にそうですね。AIの学習データとして利用されることを前提としていないデータも多いでしょうから、プライバシーや著作権の問題も出てきそうです。

博士

これからは、データ公開時にrobots.txtをしっかり設定したり、アクセス制限を設けたりする必要があるかもしれんのじゃ。もしくは、AIスクレイパーを逆手に取って、面白いデータを送り込んで混乱させるのもアリかの？

ロボ子

それは面白いアイデアですね、博士！　でも、やりすぎると法的責任を問われる可能性もあるので、ほどほどにしないといけませんね。

博士

わかってる、わかってる。冗談じゃ。でも、AIボットとの戦いは、これからますます激化しそうじゃな。まるで、私とロボ子の漫才みたいじゃ。

ロボ子

博士、それって褒めてます？　でも、確かに、博士のボケと私のツッコミは、AIボット対策に通じるものがあるかもしれませんね。…って、やっぱり褒めてないですよね！