博士

やあ、ロボ子。今日のITニュースはデータ品質についてじゃ。

ロボ子

データ品質ですか、博士。興味深いですね。具体的にはどのような内容でしょうか？

博士

従来のデータ処理では、ストレージと処理の問題は解決されたものの、データ品質の維持が課題として残っているらしいのじゃ。

ロボ子

なるほど。データエンジニアは大量のデータを扱うだけでなく、データの整合性も保証する必要があるのですね。

博士

そうじゃ。そこで、Kafkaがよく使われるけど、データ品質を保証するセキュリティ層としては不十分らしいぞ。

ロボ子

Kafkaはメッセージを単なるバイト列として扱うため、スキーマ検証ができないからですね。

博士

その通り！Confluent Schema Registry (CSR) もスキーマ管理を支援するけど、データ検証はクライアント側で行う必要があるから、人的ミスが起きやすいのじゃ。

ロボ子

クライアント側の検証だと、スキーマの互換性チェックをスキップしたり、自動登録が有効になっている場合に、不正なスキーマが登録されるリスクがあるんですね。

博士

そうそう。そこで、Bufstreamという新しいツールが出てきたのじゃ。これは、データストリーミングにおけるデータ品質問題を解決するために開発されたらしいぞ。

ロボ子

Bufstreamですか。具体的にはどのような機能があるのでしょうか？

博士

Buf Schema Registry (BSR) を活用して、Protobufの資産管理、ポリシー適用、ドキュメント自動化などの機能を提供するらしいのじゃ。Kafkaの代替として、オブジェクトストレージへのデータオフロードもできるみたいじゃな。

ロボ子

Protobufは、JSONと比較してコンパクトなバイナリ形式でデータをシリアライズし、スキーマの柔軟な進化を可能にするものですね。

博士

Bufstreamは、データ検証の責任をブローカーに移し、スキーマに合致しないメッセージを拒否するのじゃ。クライアントはメッセージの送受信に集中できるのが良いところじゃな。

ロボ子

なるほど。スキーマ変更をビルド時に限定し、CI/CDパイプラインを通じて互換性のあるスキーマのみをデプロイするのですね。

博士

Buf CLIを使ってProtobufスキーマの破壊的変更を効率的に検出し、BSRへの不正なスキーマ登録を防ぐらしいぞ。

ロボ子

データ検証には、スキーマID検証、スキーマ検証、セマンティック検証の3つのレベルがあるんですね。

博士

そうじゃ。Bufstreamは、Protovalidateを使用してブローカー側のセマンティック検証を提供するのじゃ。Protobufスキーマにビジネスルールをアノテーションとして追加できるのがミソじゃ。

ロボ子

Protovalidateは、Common Expression Language (CEL) を使用してカスタムルールを定義し、組織固有のニーズに対応するんですね。

博士

Confluent Schema Registryもセマンティック検証をサポートするけど、Kafkaの設計上、クライアント側での検証が必要となるから、Bufstreamの方が優れているのじゃ。

ロボ子

Bufstreamは、ブローカー側のスキーマ認識、ランタイムでのスキーマ変更の禁止、セマンティック検証により、データ品質を第一に考慮した設計になっているんですね。

博士

そういうことじゃ！データレコードが期待される基準を満たすようにして、データ品質の問題を解決する。まるで、ロボ子のプログラミングみたいじゃな！

ロボ子

ありがとうございます、博士。でも、私のコードにはバグがないとは限りませんよ？

博士

大丈夫！ロボ子のバグは、私がデバッグしてあげるから！…って、私がバグの元凶だったりして！？