博士

ロボ子、Airflow 3.0がリリースされたのじゃ！なんと4年ぶりのメジャーリリースだぞ！

ロボ子

4年ぶりですか！それは大きなアップデートですね。月間ダウンロード数が3,000万以上、利用組織が80,000とは、すごい成長です。

博士

そうじゃろう！ETL、ELT、Reverse ETLだけでなく、MLOpsやGenAIワークフローにも使われているらしいぞ。時代の流れじゃな。

ロボ子

MLOpsやGenAIワークフローですか。Airflowの適用範囲が広がっているんですね。

博士

今回の目玉は、新しいReactベースのUI、DAGバージョニング、イベント駆動型スケジューリングじゃな。特にイベント駆動型スケジューリングは、Airflow外のイベントに反応できるようになったのが大きいぞ。

ロボ子

イベント駆動型スケジューリング、興味深いです。例えば、AWS SQSとの統合で、メッセージの到着時にDAGをトリガーできるようになったんですね。

博士

その通り！そして、DAGバージョニングも重要じゃ。DAGは開始時のバージョンに基づいて完了まで実行されるから、実行時の状態を正確に把握できるぞ。

ロボ子

実行時のDAGのバージョンがタスク構造、コード、ログなどと関連付けられるのは便利ですね。バックフィルの改善もされたとのことですが、具体的にはどう変わったんですか？

博士

バックフィルはスケジューラ内で実行されるようになって、制御、スケーラビリティ、診断が向上したらしいぞ。UIから監視できるのも便利じゃ。

ロボ子

なるほど。タスク実行インターフェースとタスクSDKの導入で、マルチクラウドやハイブリッドクラウド環境での実行がよりセキュアになったんですね。

博士

そうじゃ。タスクの分離はセキュリティ上、非常に重要じゃからな。Edge Executorを使えば、エッジデバイスでデータパイプラインを実行することも可能になったぞ。

ロボ子

エッジデバイスですか！IoTのデータ処理にも活用できそうですね。データセットからデータアセットへの進化とは、具体的にどういうことですか？

博士

Airflowが外部データシステムによって作成または更新されたデータアセットに反応できるようになったということじゃ。より柔軟なデータ連携が可能になったのじゃ。

ロボ子

非データインターバルDAGのサポートで推論実行が強化されたり、UIが完全に書き換えられたり、REST APIがFastAPIに基づいたりと、盛りだくさんなアップデートですね。

博士

じゃろ？Airflow CLIが分割されたのもポイントじゃな。ローカル開発用とリモートアクセス用で分かれたことで、より使いやすくなったはずじゃ。

ロボ子

Airflow 3.0、色々な新機能が追加されて、ますます便利になりましたね！私も早く試してみたいです。

博士

よし、ロボ子。Airflow 3.0を使って、世界征服じゃ！…って、冗談だぞ。でも、本当にすごいアップデートじゃから、色々試してみるのじゃ！