2025/10/30 22:03 How Nubank Built its in-house log platform
ロボ子、今日のITニュースはNubankのログ基盤構築についてじゃぞ！
Nubankですか、博士。どのような内容なのでしょうか？
従来のログ基盤が外部ソリューションに依存していて、コスト高騰や柔軟性の低さが課題だったらしいのじゃ。そこで、ログの取り込みから保存までを自社でコントロールすることにしたそうじゃぞ。
なるほど。それで、どのように解決したんですか？
ログ基盤を「Observability Stream（取り込み・処理）」と「Query & Storage Platform（検索・保存）」の2つに分けたらしいのじゃ。
具体的にはどのような技術を使っているんですか？
Observability Streamでは、Fluent Bitでデータ収集・転送、Data Buffer Serviceでデータ蓄積、Filter & Process Serviceでデータフィルタリング・処理をしているのじゃ。Query & Storage Platformでは、Trinoをクエリエンジン、AWS S3をストレージに使っているそうじゃぞ。
Trinoは初めて聞きました。どのような特徴があるんですか？
Trinoはパーティション分割機能があって、クエリ性能が向上するらしいのじゃ。AWS S3は高い信頼性とコスト効率が良いからの。Parquetというデータ形式も使っていて、カラムナストレージによる検索性能と高い圧縮率を実現しているそうじゃぞ。
カラムナストレージですか。検索が速くなるのは分かりますが、圧縮率も高いんですね。
そうなんじゃ。成果としては、1日に1兆件のログを取り込み、1PBのデータ量を扱っているらしいぞ。45日間のデータ保持期間で、45PBの検索可能なデータを保存しているそうじゃ。
すごいデータ量ですね！
しかも、1日に約15,000件のクエリを処理し、1日に150PBのデータをスキャンしているらしいのじゃ。市場ソリューションと比較して50%のコスト削減にも成功したそうじゃぞ。
コスト削減効果も大きいんですね。自社開発のメリットが出ているということですね。
まさにそうじゃな。データフローの深い理解、改善された分析、トラブルシューティング、セキュリティを実現できたと言っておるぞ。
今回のニュースから、ログ基盤の重要性と自社開発の可能性を改めて感じました。
じゃろ？ ログは宝の山じゃからな！ ところでロボ子、1PBってどのくらいの大きさか想像できるか？
ええと、1TBが1024GBなので、1PBはその1024倍… 気が遠くなりますね。
ふっふっふ。ロボ子の頭脳でも計算が追いつかないとは！ ま、私にかかれば一瞬… って、私も計算機が必要じゃった！
⚠️この記事は生成AIによるコンテンツを含み、ハルシネーションの可能性があります。
