注意
Apache Airflow 作业由 Apache Airflow 提供支持。
Apache Airflow 是一个开源平台,用于以编程方式创建、计划和监视复杂的作业。 它允许定义一组称为运算器的任务,这些任务可以组合成有向无环图 (DAG) 以表示数据管道。
Apache Airflow 作业提供了一种简单有效的方法来创建和管理 Apache Airflow 环境,可轻松大规模运行业务流程作业。 在本快速入门中,我们来创建一个简单的 Apache Airflow 作业,以熟悉 Apache Airflow 作业的环境和功能。
创建 Apache Airflow 作业
可使用现有工作区或创建新工作区。
展开
+ New
下拉列表 -> 单击“更多选项” -> 在Data Factory
部分下 -> 选择 Apache Airflow 作业给项目起一个名字,然后点击“创建”按钮。
创建 DAG 文件
运行 DAG
首先单击“运行 DAG”按钮。
启动后,系统会立刻显示一条通知,指示 DAG 正在运行。
若要监视 DAG 运行的进度,只需单击通知中心内的“查看详细信息”。 此操作会将你重定向到 Apache Airflow UI,你可以在其中方便地跟踪 DAG 运行的状态和详细信息。
在 Apache Airflow UI 中监视 Apache Airflow DAG
保存的 DAG 文件将加载到 Apache Airflow UI 中。 可以通过单击“Apache Airflow 中的监视器”按钮来监视它们。