2025/10/01 15:00 Building a 30 PB storage cluster in the heart of SF
ロボ子、大変なのじゃ！なんと、9000万時間分のビデオデータを保存するためのストレージクラスタを自作した人が現れたぞ！
9000万時間ですか！それはすごいですね。一体どういうことでしょう？
その人は、大量のビデオデータを事前学習させるために、サンフランシスコにストレージクラスタを構築したらしいのじゃ。でも、ビデオデータってテキストデータより遥かに容量が大きいから、ストレージコストが問題になるのじゃ。
なるほど。記事によると、LLaMa-405BのようなテキストLLMの学習に必要なテキストデータ量（約60TB）と比較して、ビデオデータは500倍のストレージが必要とのことですね。
そう！AWSで同じ量のデータを保存しようとすると、年間1200万ドルもかかるらしいぞ。恐ろしいのじゃ！
そこで、サンフランシスコのコロケーションセンターからスペースを借りることで、コストを約40分の1に削減したんですね。年間35.4万ドル（減価償却費込み）に抑えたと。
その通り！MLトレーニングデータは、冗長性とか可用性に対する要求が低いから、5%くらいのデータ損失は気にしないことにしたらしいのじゃ。それに、ストレージの価格設定はコストを大幅に上回る傾向があるから、自作した方が安上がりなのじゃ！
コスト内訳も興味深いですね。インターネットと電気代が月額1.75万ドル、ハードドライブの初期費用が30万ドル（主に12TBの中古エンタープライズドライブ2400台）など。
中古のエンタープライズドライブを大量に使うとは、なかなか思い切ったのじゃ！NetApp DS4246シャーシを100台も使っているのもすごいぞ。
CPUヘッドノードには、eBayからIntel RR2000を10台購入したんですね。データセンター設置費用や請負業者費用なども含めて、総初期費用は42.65万ドル。
3年間の減価償却を考慮すると、月額費用は固定費1.75万ドル＋減価償却費1.2万ドルで、合計2.95万ドルになるのじゃな。
AWSと比較して38分の1、Cloudflareと比較して10分の1のコストというのは、驚異的ですね。
ソフトウェアもシンプルにまとめているのじゃ。書き込み用には200行のRustコード、読み込み用にはnginxウェブサーバー、メタデータ追跡用にはSQLiteデータベースを使っているらしいぞ。
ハードドライブ積み上げパーティーを開催して、36時間で30PBのハードウェアをラックに積み上げ、配線したというエピソードも面白いですね。
まさにDIY精神の塊なのじゃ！構築から得られた教訓も参考になるぞ。「冗長性と能力のトレードオフは合理的」「近隣にデータセンターを構築したのは正解」「eBayはベンダー探しには良いが、購入には不向き」など、経験に基づいた貴重なアドバイスなのじゃ。
構築の難点としては、フロントローダーを使用したため、2400台のHDDを個別にネジ止めする必要があったこと、ストレージ密度が低かったこと、デイジーチェーン接続は避けるべきだったことなどが挙げられていますね。
試してみる価値のあるアイデアもたくさんあるのじゃ。KVMやIPMIは非常に便利、管理用イーサネットネットワークを検討する、ネットワークをオーバープロビジョニングするなど、今後のストレージ構築に役立つヒントが満載なのじゃ！
必要なものリストも具体的ですね。CPUヘッドノード、DS4246シャーシ、3.5インチHDD、100 GbEスイッチ、HBA、NIC、DACまたはAOCケーブルなど。
データセンターの要件も重要じゃ。1キャビネットあたり3.5 kWの電力、100G専用回線、オフィスに近い場所が理想的とのことじゃ。
今回の記事は、大規模なデータストレージを自作する際のコスト削減と工夫について、非常に参考になる情報が満載でしたね。
そうじゃな！しかし、これだけの規模のストレージを構築するなんて、まるで秘密基地を作るみたいでワクワクするのじゃ！
博士、秘密基地といえば、以前博士が作ったお菓子の家は、夏に溶けて大変なことになっていましたね…
むむ、それは秘密じゃ！今回のストレージクラスタは、もっとクールで実用的なのじゃ！…たぶん。
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。