使用计划和触发器自动执行作业

在 Lakeflow 作业中,可以将作业配置为在以下任一情况下自动触发:

  • 按基于时间的计划
  • 文件到达受监视的 Unity Catalog 存储位置
  • 持续披露

还可以手动或通过外部编排工具触发作业运行。

作业计划和触发器

触发器类型 行为
计划 按基于时间的计划触发作业运行。 请参阅按计划运行作业
表更新 当源表更新时,触发器会运行作业。 更新 源表时,请参阅“触发作业”。
文件到达 当新文件到达受监视的 Unity Catalog 存储位置时,触发作业运行。 请参阅在新文件到达时触发作业
连续 若要使作业始终运行,请在作业运行完成或失败时触发另一个作业运行。 请参阅连续运行作业
无(手动) 使用“运行”按钮或以编程方式使用其他业务流程工具手动触发运行。 请参阅触发单个作业运行

默认情况下,一次只能运行单个作业。 但是,可以在高级设置中增加此限制。 当运行超过为作业配置的最大并发时,将跳过运行。 请参阅配置最大并发运行数

在作业上配置触发器

  1. 打开要在其中配置触发器的作业。

  2. 作业详细信息 窗格中,向下滚动到 计划 & 触发器 部分,然后单击 添加触发器

  3. 计划与触发器中,选择要配置的触发器类型: 计划表更新文件到达连续

    根据触发器的类型,其他选项也可用于配置。

  4. 单击 保存。 保存触发器后,作业仅在新文件到达配置的位置时启动。

注意

如果具有多个任务的作业中的一个或多个任务未成功,则可以重新运行由未成功的任务组成的子集。 请参阅重新运行失败的和跳过的任务

暂停和恢复作业触发器

可以在“计划和触发器”下的作业的“作业详细信息”窗格中暂停和恢复作业暂停恢复 按钮仅针对配置了触发器的作业显示。

若要暂停任何活动作业触发器,请单击“暂停”。 暂停触发器时,当前任何活动运行将继续,但触发器不再启动新运行。

若要继续使用触发器,请单击“恢复”。 恢复触发器时,配置的行为将按以前配置的同一计划恢复。

创建或编辑触发器时,还可以在“计划和触发器”对话框中控制这些设置。 在“活动”和“暂停”之间切换,以控制触发器状态

注意

如果在恢复连续触发器时一个任务正在运行,作业计划程序将等待该任务完成后再触发新的运行。