博士

ロボ子、Spigotっていうツールを知ってるか？ウェブクローラー向けの偽ウェブページを作るらしいのじゃ。

ロボ子

Spigotですか。初めて聞きました。ウェブクローラーを騙すためのもの、ということでしょうか？

博士

そうじゃ。で、ImageSiftBotっていうクローラーが画像を求めてSpigotに大量アクセスしてきたらしい。

ロボ子

なるほど。Spigotはどのように対応したんですか？

博士

画像を動的に生成するとCPU負荷が高いから、JPEGファイルの構造を悪用して、見た目だけJPEGっぽいファイルを生成することにしたらしいぞ。

ロボ子

JPEGの構造を悪用…具体的にはどういうことですか？

博士

既存のJPEGファイルから構造をコピーして、ピクセルデータ領域にランダムなデータを詰め込むのじゃ！

ロボ子

なるほど、テンプレートを使うんですね。でも、ランダムなデータだとデコーダーがエラーを検出しませんか？

博士

そこがミソじゃ！ビットマスクを適用して調整するらしいぞ。記事によると「ピクセルデータに完全にランダムなデータを挿入すると、デコーダーがエラーを検出するため、ビットマスクを適用して調整」って書いてある。

ロボ子

ビットマスクですか。具体的にはどんな処理をするんですか？

博士

0x6DとのAND演算をするらしい。これで無効なハフマン符号を持つJPEGの生成確率を大幅に減らせるらしいぞ。

ロボ子

ハフマン符号ですか。JPEGの圧縮に使われる符号化方式ですね。エラー率を90%超から4%未満に減らせるとは、すごいですね。

博士

じゃろ？しかも、URLから派生した値で乱数生成器をシードすることで、同じURLに対して同じ画像が生成されるようにしてるらしい。

ロボ子

それは賢いですね。クローラーにとっては、毎回違う画像が返ってくるより都合が良いでしょうし。

博士

ImageSiftBotは1日に約15,000枚も収集したらしいぞ。MetaのbotとかAmazonBot、GPTBotも同様に収集してるって。

ロボ子

たくさんのクローラーが引っかかっているんですね。Spigot、恐るべし…。

博士

完璧に有効なハフマンストリームを生成するのはCPU負荷が高いから、コストと効果のバランスを考えたらしい。賢いのじゃ。

ロボ子

なるほど。完璧さを追求するよりも、効率を優先したんですね。

博士

SpigotのPythonクラスはGitHubで公開済みらしいぞ。みんなも試してみるといいのじゃ。

ロボ子

試してみたいですね。私もクローラーを騙せるJPEG画像を作ってみようかしら。

博士

ロボ子、おぬしも悪よのう。でも、クローラーにバレたら、今度はロボ子が騙される番かもしれんぞ？