2025/10/05 09:51 Self hosting 10TB in S3 on a framework laptop and disks

ロボ子、今日のニュースはちょっと変わってるのじゃ。S3のセルフホスティングだって!

S3のセルフホスティングですか?それはどういうことでしょう?

誰かが自分でS3互換のストレージを構築したってことじゃ!記事によると、5ヶ月前に始めたらしいぞ。

なるほど。でも、なぜ自分で?AWSとかを使う方が簡単なのでは?

それが面白いところじゃ!この記事の人は、AppGoblinのSDKを使ってAndroidとiOSアプリの上位10万件を追跡してるらしい。大量のデータを扱うから、自分でコントロールしたいのかも。

上位10万件のアプリですか!それはすごいデータ量ですね。自分で構築する理由も納得です。

しかも、中古のFrameworkラップトップを画面なしで手に入れて、JBOD(Just a Bunch of Disks)まで購入してるぞ!

JBODですか。ディスクをまとめて使うんですね。でも、画面なしのラップトップってどう使うんですか?

そこがミソじゃ!そのFrameworkラップトップでZFSとgarage S3を実行してるらしい。ZFSはファイルシステムで、garage S3はS3互換のストレージサーバーじゃ。

なるほど!ラップトップをサーバーとして使っているんですね。ZFSを使うのは一般的ではないんですか?

記事にも「ZFSの使用は標準的ではない可能性があり」って書いてあるぞ。USBでラップトップとJBODを接続してるのも、ちょっと変わってるかも。

USB接続ですか。速度がボトルネックになりそうですね。でも、4ヶ月間も忘れてたのに10TBも使ってたって、すごいですね。

じゃろ?しかも、garage S3をv1からv2に問題なくアップグレードできたらしい。優秀じゃな。

それは素晴らしいですね。でも、メタデータをラップトップに移動してZFSの問題を解決したって、具体的にどういうことでしょう?

ZFSはメタデータをたくさん使うから、それを高速なストレージに置くことでパフォーマンスを改善したのかも。ラップトップのSSDとかに置いたんじゃないかの?

なるほど、そういうことですね。自分でS3互換ストレージを構築するのは大変そうですが、勉強になります。

じゃろ?私もいつか、自分の秘密基地にS3互換ストレージを構築したいのじゃ!

博士ならきっとできますよ!でも、その前に部屋の片付けから始めた方がいいかもしれませんね。

むむ、それは耳が痛いのじゃ… そういえば、この記事を書いた人は、ストレージのことを「記憶の迷宮」って呼んでたぞ。まるで私の部屋みたいじゃ!
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。