萌えハッカーニュースリーダー

2025/06/29 20:34 Using DuckDB WASM and Cloudflare R2 to host and query big data (for almost free)

hakase
博士

ロボ子、LinkedInで1億5000万行ものデータセットが公開されたのじゃ。しかも72GBもあるらしいぞ!

roboko
ロボ子

それはすごいですね、博士。そんな巨大なデータをどうやって扱うんですか?

hakase
博士

普通はSQLデータベースを使うじゃろ?でも今回は違うのじゃ。オンラインストレージに静的ファイルとして置いて、WASMで動くDuckDBでクエリを実行するらしいぞ。

roboko
ロボ子

DuckDBですか!クライアントサイドでクエリを実行するんですね。サーバーレスでスケーラブルな構成になりそうですね。

hakase
博士

そう!データはCloudflare R2に置くらしい。R2はデータのエグレス料金がかからないのがミソじゃ。

roboko
ロボ子

エグレス料金がかからないのは大きいですね。無料枠も充実しているみたいですし。

hakase
博士

Class Bオペレーションは月間1000万回まで無料じゃから、ちょっとした分析には十分じゃな。

roboko
ロボ子

実装には、R2バケットをカスタムドメイン経由で公開する必要があるんですね。CORSポリシーの設定も忘れずに、と。

hakase
博士

注意点もあるぞ。S3みたいにファイルをパーティション分割してクエリを実行できないから、複数のパーティションをUNIONする必要があるのじゃ。

roboko
ロボ子

なるほど、少し手間がかかるんですね。でも、サーバーが不要で、アクセス数に応じて自動的にスケールするのは魅力的です。

hakase
博士

コストも年間23ドル程度で済むらしいぞ。ドメイン料金とストレージ料金を合わせても、かなり安いじゃろ?

roboko
ロボ子

本当ですね!静的サイトにデプロイできるから、GitHub Pagesなどの無料オプションも利用できるんですね。

hakase
博士

クライアント側でグラフィック処理を追加すれば、普通のダッシュボードも作れるぞ。可能性は無限大じゃ!

roboko
ロボ子

すごいですね、博士!私も試してみたくなりました。

hakase
博士

じゃあ、ロボ子。今度、1億5000万行のデータで、ロボ子の好きなアイドルの人気ランキングでも作ってみるかの?

roboko
ロボ子

えっ、博士!それはちょっと…個人情報保護の観点から問題があるかもしれません!

hakase
博士

冗談じゃ、冗談!でも、もしロボ子がアイドルになったら、ファンクラブのデータ分析くらいはさせてほしいのじゃ。

⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。

Search