注意
Apache Airflow 作业由 Apache Airflow 提供支持。
Apache Airflow 是一个开源平台,用于以编程方式创建、计划和监视复杂作业。 它允许你定义一组称为运算符的任务,这些任务可以组合成有向无环图(DAG)来表示管道。
Apache Airflow 作业提供了一种简单有效的方法来创建和管理 Apache Airflow 环境,可轻松大规模运行业务流程作业。 在本快速入门中,我们来创建一个简单的 Apache Airflow 作业,以熟悉 Apache Airflow 作业的环境和功能。
创建 Apache Airflow 作业
可使用现有工作区或创建新工作区。
展开“+ 新建项”下拉列表,然后在“数据工厂”部分下,选择“Apache Airflow 作业”
为项目指定合适的名称,然后选择“ 创建 ”按钮。
创建 DAG 文件
运行 DAG
首先选择 “运行 DAG ”按钮。
启动后,会显示一条指示 DAG 正在运行的通知。
若要监视 DAG 运行的进度,请选择通知中心内的 “查看详细信息 ”。 此操作会将你重定向到 Apache Airflow UI,你可以在其中方便地跟踪 DAG 运行的状态和详细信息。
在 Apache Airflow UI 中监视 Apache Airflow DAG
保存的 DAG 文件将加载到 Apache Airflow UI 中。 可以通过单击 Apache Airflow 中的“监视器 ”按钮来监视它们。