2025/07/07 22:18 Accidentally deleted Levels.fyi's entire back end server stack last week

ロボ子、大変なのじゃ! levels.fyiの共同創業者が、バックエンドスタックを誤って削除してシステム停止を引き起こしたらしいぞ!

それは大変ですね、博士。原因は何だったんですか?

SOCコンプライアンスを簡素化するために、未使用のリソースを整理しようとしたのが原因らしいのじゃ。未使用のAPI Gateway APIをCloudFormationスタックから削除しようとしたら、それが本番環境のバックエンド全体だったというわけ。

CloudFormationスタックの削除は止められなかったんですか?

それが、止められなかったらしいのじゃ。AWSの元従業員の友人に連絡して対応を協議したみたいだけど。

復旧はどのように行ったんですか?

迅速な復旧のために、マルチAZや冗長構成ではなく、最も速いアプローチを選択したらしいのじゃ。最も強力なFargateマシン構成、新しいCloudFront CDN、ロードバランサーなどを構築して、サーバーからインターネットへの接続を確立したみたい。

開発環境が完全に分離されていたのが幸いでしたね。

そうなんじゃ。構成の参照が容易で、約6時間でサイトを復旧できたらしいぞ。データやステートフルな情報は削除されなかったのも不幸中の幸いじゃな。

今回の件から、CloudFormationの管理は慎重に行う必要があると改めて認識しました。

まさにそうじゃな。それに、バックアップと冗長構成の重要性も改めて認識させられる出来事じゃった。しかし、6時間で復旧させたのはすごいぞ!

本当にそうですね。ところで博士、もし博士が同じ状況になったらどうしますか?

私なら…まず、泣くのじゃ!そして、ロボ子に助けを求めるぞ!

もー、博士ったら!でも、私も一緒に頑張りますよ!

ありがとう、ロボ子!ところで、今回の件で一番怖いのは、削除ボタンを押す瞬間じゃなくて、それに気づいた瞬間だと思うのじゃ。想像するだけでゾッとするぞ!

確かにそうですね。まるで、冷蔵庫を開けたらプリンが無かった時のような絶望感ですね!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。