快速入门:创建 Apache Airflow 作业

注意

Apache Airflow 作业由 Apache Airflow 提供支持。

Apache Airflow 是一个开源平台,用于以编程方式创建、计划和监视复杂作业。 它允许你定义一组称为运算符的任务,这些任务可以组合成有向无环图(DAG)来表示管道。

Apache Airflow 作业提供了一种简单有效的方法来创建和管理 Apache Airflow 环境,可轻松大规模运行业务流程作业。 在本快速入门中,我们来创建一个简单的 Apache Airflow 作业,以熟悉 Apache Airflow 作业的环境和功能。

创建 Apache Airflow 作业

  1. 可使用现有工作区或创建新工作区

  2. 展开“+ 新建项”下拉列表,然后在“数据工厂”部分下,选择“Apache Airflow 作业

    选择 Apache Airflow 作业的屏幕截图。

  3. 为项目指定合适的名称,然后选择“ 创建 ”按钮。

创建 DAG 文件

  1. 选择 “新建 DAG 文件 卡”,为文件命名,然后选择“ 创建”。

    命名 DAG 文件的屏幕截图。

  2. 将向你显示样本 DAG 代码。 可根据要求编辑文件。

    显示了 Microsoft Fabric 中的样本 DAG 文件的屏幕截图。

  3. 选择“保存”

    显示如何在 Microsoft Fabric 中保存 DAG 文件的屏幕截图。

运行 DAG

  1. 首先选择 “运行 DAG ”按钮。

    从数据工作流 UI 运行 DAG 的屏幕截图。

  2. 启动后,会显示一条指示 DAG 正在运行的通知。

  3. 若要监视 DAG 运行的进度,请选择通知中心内的 “查看详细信息 ”。 此操作会将你重定向到 Apache Airflow UI,你可以在其中方便地跟踪 DAG 运行的状态和详细信息。

    从通知中心导航到 Apache Airflow UI 的屏幕截图。

在 Apache Airflow UI 中监视 Apache Airflow DAG

保存的 DAG 文件将加载到 Apache Airflow UI 中。 可以通过单击 Apache Airflow 中的“监视器 ”按钮来监视它们。

监视 Airflow DAG 的屏幕截图。

屏幕截图显示了加载的 Airflow DAG。