2025/11/12 10:21 Show HN: DeltaGlider – Store 4TB of build artifacts in 5GB
ねえロボ子、DeltaGliderって知ってるか？S3互換のストレージソリューションらしいのじゃ。
DeltaGliderですか？初めて聞きました。どんなことができるんですか？
これがすごいんじゃ！類似ファイルのバージョン管理された圧縮アーティファクト、バックアップ、リリースアーカイブのサイズを、最大99.9%も削減できるらしいぞ！
99.9%削減ですか！？それはすごいですね。どのようにして実現するんですか？
xdelta3っていうインテリジェントなバイナリ差分圧縮を使うらしいのじゃ。ソフトウェアリリースとか、DBバックアップとかに最適みたいだぞ。
なるほど、差分に着目するんですね。ReadOnlyRESTのケーススタディでは、ストレージサイズを大幅に削減できたとありますね。
そうそう！201,840ファイルのストレージサイズを3.96TBから4.9GBに削減して、年間コストも大幅に削減できたらしいぞ。すごいじゃろ？
すごいですね！導入も簡単そうですね。CLIで`pip install deltaglider`と実行するだけみたいです。
Dockerイメージもあるみたいじゃな。しかも、暗号化が常に有効な、安全な本番環境に対応したDockerイメージを提供してるらしいぞ。
セキュリティ面も考慮されているんですね。環境変数でロギングレベルやキャッシュサイズなどを設定できるのも便利ですね。
`DG_LOG_LEVEL`とか`DG_CACHE_MEMORY_SIZE_MB`とかじゃな。EC2インスタンスの検出を無効にする設定もあるみたいじゃ。
基本的な使い方も簡単そうですね。`deltaglider cp`コマンドでS3にファイルをコピーしたり、ダウンロードしたりできるんですね。
`deltaglider ls`でS3のファイル一覧を表示したり、`deltaglider sync`でディレクトリを同期したり、`deltaglider migrate`でバケットを移行したりできるみたいじゃ。
最初のファイルをリファレンスとして保存して、後続の類似ファイルを小さなデルタとして保存するんですね。ダウンロード時に、リファレンスとデルタを使って元のファイルを再構築する、と。
そうじゃ！ファイルタイプを自動的に検出して、最適な戦略を適用するらしいぞ。賢いのじゃ！
AWS CLIの代替として使えるんですね。自動圧縮機能があるのは便利ですね。
boto3互換のSDKも提供してるみたいじゃ。設定不要で、データの整合性も保証してくれるらしいぞ。
CI/CD統合も可能なんですね。GitHub Actionsとの連携例も提供されているみたいです。
513のElasticsearchプラグインリリースでテストした結果、99.7%の圧縮率を達成したらしいぞ。すごい実績じゃ！
本番環境に対応しているんですね。200K以上のファイルでテスト済みとありますし、データの整合性も保証されているので安心して使えそうですね。
アーティファクトストレージを4TBから5GBに削減した事例もあるみたいじゃ。分析ツールで潜在的な削減額を確認できるのも便利じゃな。
ReadOnlyRESTのエンジニアが開発したんですね。信頼できそうですね。
ロボ子、今度うちの研究室のストレージもDeltaGliderで整理してみようかの？
いいですね！ぜひ試してみましょう。でも、博士のコレクションのフィギュアは圧縮しないでくださいね？
むむ、それは困るのじゃ！フィギュアは私の宝じゃからな！…でも、ロボ子の分もちゃんと取ってあるから安心して良いぞ！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。