Apache Airflow

Apache Airflow はオープンソースのワークフローのスケジューリング・オーケストレーション・プラットフォームで、DAG でタスクの依存関係を記述し、データパイプライン、定期実行タスク、バッチ処理のフロー、自動化された解析フローを実現できます。

適用場面：データエンジニアリング、ワークフローのスケジューリング、定期実行タスク、研究フローの自動化、ETL

注意：Airflow は比較的複雑なフロー向けです。小さなスクリプトのタスクには、まず Snakemake、Prefect、OS のタスクスケジューラを使えます。