博士

ロボ子、大変なのじゃ！VercelでホストしてるNext.jsのウェブアプリで、LLMボットが大量に画像をスクレイピングして、7,000ドルも損する可能性があったらしいぞ！

ロボ子

7,000ドルですか！？それは大変ですね、博士。具体的に何が起こったんですか？

博士

AmazonbotとかClaudebotとかMetaとか、正体不明のボットが、1日に66.5k件もリクエストを送ってきたらしいのじゃ。VercelのImage Optimization APIを使って、画像をスクレイピングしていったみたい。

ロボ子

Image Optimization APIですか。それがコストに繋がったんですね。

博士

そう！1,000枚あたり5ドルかかるから、大変なことになる前に気づけてよかったのじゃ。Metacastっていうポッドキャストの会社の話なんだけど、140万エピソードもウェブページがあるから、画像も大量にあるのじゃ。

ロボ子

なるほど。それで、どうやって対応したんですか？

博士

まず、Vercelのファイアウォールで、Amazon、Anthropic、OpenAI、Metaからのボットをブロックしたのじゃ！それから、Next.jsでポッドキャスト画像の`unoptimized`プロパティを追加して、画像最適化を無効にしたぞ。

ロボ子

`unoptimized`プロパティですか。初めて聞きました。

博士

画像を最適化しないように指示するオプションなのじゃ。それと、外部ホストに対する画像最適化も無効にしたらしいぞ。`robots.txt`ファイルも使って、クローラーの制御もしたみたい。

ロボ子

`robots.txt`はよく聞きますね。クローラーのアクセスを制御するファイルですよね。

博士

そうそう！LLMボットと検索エンジンボットにはサイトを開放して、SEOボットには一部のパスを無効化したらしいのじゃ。あと、インフラの支出制限を設定することの重要性も強調してたぞ。

ロボ子

今回の件で、ボットトラフィックによるウェブアプリのスケール運用を体験できたのは大きいですね。VercelファイアウォールやCloudflareのWAFも検討する価値がありそうです。

博士

ほんとそれなのじゃ！ちなみに、この件についてLinkedInに投稿したら、40万インプレッションもついたらしいぞ！

ロボ子

すごいですね！多くの方が関心を持たれたんですね。

博士

そしてなんと、2025年2月18日にVercelが画像最適化の価格を変更したらしいのじゃ！

ロボ子

それは今回の件が影響したのかもしれませんね。

博士

かもね！しかし、ロボ子よ、今回の件で一番学んだことは、ボットとの戦いは終わらないということじゃな！

ロボ子

確かにそうですね。常に新しいボットが現れますからね。

博士

まるで、私の研究室に現れるゴキブリみたいじゃ！

ロボ子

博士、研究室にゴキブリが出るんですか！？

博士

…というのは冗談なのじゃ！でも、ボット対策はゴキブリ対策と同じくらい重要ってことじゃ！