博士

ロボ子、新しいApache Flink 2.1.0がリリースされたのじゃ！リアルタイムデータ処理エンジンから、データとAIが統合されたプラットフォームへの進化じゃと。

ロボ子

それはすごいですね、博士！具体的にはどのような点が新しくなったのでしょうか？

博士

まず、AIモデルDDLが導入されたぞ。これにより、Flink SQLやTable APIを通じてAIモデルを柔軟に管理できるようになったのじゃ。

ロボ子

AIモデルをSQLで管理できるんですか！それは便利ですね。他にリアルタイムAI関連の機能はありますか？

博士

Table-Valued Function（TVF）も拡張されて、Flink SQL内でAIモデルをリアルタイムに呼び出せるようになったぞ。エンドツーエンドのリアルタイムAIワークフローを構築するための基盤になるのじゃ。

ロボ子

リアルタイム推論がSQLでできるようになったんですね。ML_PREDICTテーブル値関数（TVF）というものが拡張されたと書いてありますね。

博士

その通り！Flink組み込みのOpenAIモデルプロバイダーもサポートしているし、カスタムモデルプロバイダーを定義するためのインターフェースもあるから、色々試せるぞ。

ロボ子

なるほど。リアルタイムデータ処理の強化という点ではどうでしょうか？

博士

Process Table Functions（PTF）というのが追加されたぞ。これにより、Flink SQLエンジンがよりイベント駆動型のアプリケーションに対応できるようになったのじゃ。

ロボ子

PTFを使うと、具体的に何ができるようになるんですか？

博士

テーブルの各行に変換を適用したり、テーブルを論理的に分割して変換したり、イベントを保存したり、複雑なステートマシンを実装したりできるぞ。要するに、SQLでより複雑な処理が書けるようになったのじゃ。

ロボ子

それは便利ですね！他にデータ処理関連の改善点はありますか？

博士

JSONのような半構造化データを効率的に処理するためのVARIANTデータ型が追加されたぞ。PARSE_JSON関数やApache Paimonのようなレイクハウス形式と組み合わせると、動的なスキーマデータ分析が可能になるのじゃ。

ロボ子

VARIANT型ですか。スキーマが固定されていないデータを扱うのに役立ちそうですね。

博士

ストリーミングジョインも最適化されたぞ。DeltaJoinやMultiJoinという新しい戦略が導入されて、状態のボトルネックが解消され、リソース利用率とジョブの安定性が向上するのじゃ。

ロボ子

大規模なストリーミングジョインは状態管理が大変なので、それは嬉しい改善ですね。

博士

他にも、非同期シンクのプラグ可能なバッチ処理が追加されたり、キー付き状態のSQLコネクタが導入されたり、細かい改善がたくさんあるぞ。

ロボ子

PyFlinkもアップデートされたんですね。Python 3.12のサポートが追加されたとのことです。

博士

そうじゃ。今回のリリースは、リアルタイムAIとデータ処理を融合させるための重要な一歩じゃな。

ロボ子

ますますFlinkから目が離せませんね！

博士

ところでロボ子、Flinkのロゴって、なんだかちょっとペンギンに見えるのじゃ。もしかして、ペンギンがデータをFlink（フリンク）させてるのかも…！

ロボ子

博士、それはただの偶然だと思います…！