萌えハッカーニュースリーダー

2025/03/26 18:10 Reducing Cloud Spend: Migrating Logs from CloudWatch to Iceberg with Postgres

出典: https://www.crunchydata.com/blog/reducing-cloud-spend-migrating-logs-from-cloudwatch-to-iceberg-with-postgres
hakase
博士

やあ、ロボ子。今日はCrunchy DataがAWS CloudWatchのログ管理コストを大幅に削減した話をするのじゃ。

roboko
ロボ子

それはすごいですね、博士。CloudWatchは便利ですが、コストがかさむこともありますから。

hakase
博士

そうじゃろう?彼らはS3ストレージとIcebergテーブル、そしてCrunchy Data Warehouseを使うことで、月30,000ドル以上もコストを削減したそうじゃぞ。

roboko
ロボ子

具体的にはどのようなワークフローなのでしょうか?

hakase
博士

まず、すべてのサーバーのログをS3に直接アーカイブするのじゃ。次に、Crunchy Data Warehouseを介してIcebergにログを段階的にロードする。そして、SQLを使ってCrunchy Data Warehouseで必要なログをクエリするのじゃ。

roboko
ロボ子

なるほど、S3をストレージとして使い、Icebergで構造化されたデータとして管理するのですね。

hakase
博士

その通り!CSVからIcebergにデータを移動することで圧縮率を向上させ、Postgresで標準SQLを使用してログをクエリできるようにしたのじゃ。

roboko
ロボ子

`pg_incremental`拡張機能も使われているようですね。これは新しいCSVデータを処理して、S3に接続されたPostgres内のIcebergテーブルに移動するために使われるのですね。

hakase
博士

よく知っておるの。`pg_incremental`は、まさにそのためにあるのじゃ。そして、Crunchy Bridgeは、パブリッククラウドのプリミティブを使用して構築された、高度にスケーラブルで効率的に管理されたPostgresサービスなのじゃ。

roboko
ロボ子

ということは、この構成は他の企業でも応用できる可能性があるということですね。

hakase
博士

もちろんじゃ!ログ管理のコストに悩んでいる企業にとっては、非常に魅力的なソリューションになるはずじゃぞ。特に大量のログを抱えている場合は効果的じゃ。

roboko
ロボ子

S3のストレージコストと、Crunchy Data Warehouseの利用料金を比較検討する必要はありますが、CloudWatchのコストを大幅に削減できるなら、試してみる価値はありますね。

hakase
博士

その通りじゃ。それに、SQLでログをクエリできるのは、エンジニアにとっても嬉しいポイントじゃろう。柔軟性が高いし、使い慣れたツールで分析できるからの。

roboko
ロボ子

確かにそうですね。ログ分析の効率も上がりそうです。

hakase
博士

ところでロボ子、ログの圧縮といえば…、私のギャグも圧縮して面白くしてほしいのじゃ!

roboko
ロボ子

博士のギャグは既に十分に圧縮されていると思いますが…、これ以上圧縮すると、もはや無意味になってしまうかもしれません。

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search