Compartir a través de

Tarea de canalización para trabajos

Los trabajos de Lakeflow proporcionan un enfoque de procedimientos para definir relaciones entre tareas. Las canalizaciones declarativas de Spark de Lakeflow proporcionan un enfoque declarativo para definir relaciones entre conjuntos de datos y transformaciones. En esta página se describe cómo puede programar canalizaciones declarativas de Spark de Lakeflow desencadenadas para que se ejecuten como una tarea en un trabajo, mediante la interfaz de usuario de trabajos, la interfaz de usuario de canalizaciones declarativas de Spark de Lakeflow o SQL.

Nota:

Una canalización desencadenada es una canalización que no se ejecuta continuamente, pero que se debe desencadenar para iniciarse. Una tarea de canalización puede ser el mecanismo de desencadenamiento para una canalización desencadenada. No es necesario desencadenar canalizaciones continuas, por lo que desencadenarlas a través de una tarea sería redundante. Para más información sobre las canalizaciones desencadenadas y continuas, consulte Modo de canalizaciones continuas y desencadenadas.

Configurar una tarea de canalización con la interfaz de usuario de Jobs

Las canalizaciones declarativas de Spark de Lakeflow gestionan todas las configuraciones para el código fuente y el cómputo en la definición de canalización.

Para agregar una canalización a un trabajo, complete los pasos siguientes:

  1. Cree y asigne un nombre a una nueva tarea y seleccione pipeline para el tipo.
  2. En el menú desplegable Canalización , seleccione una canalización existente. La canalización debe ser una canalización desencadenada. Las canalizaciones continuas no se admiten como una tarea de trabajo.
  3. Opcionalmente, puede desencadenar una actualización completa en la canalización.

Nota:

También puede crear una nueva canalización de ingesta al crear una tarea si elige + Nueva canalización de ingesta en el panel Agregar tarea o en la lista desplegable Tipo de tareas.

Programar una canalización con la interfaz de usuario de canalización

Al agregar una programación a una canalización, se crea un trabajo con una sola tarea de canalización. Solo puede configurar desencadenadores de programación basados en el tiempo mediante esta interfaz de usuario. Para obtener opciones más avanzadas de desencadenamiento, consulte Configurar una tarea de canalización con la interfaz de usuario de Jobs.

Configure una tarea de canalización en un trabajo programado mediante la interfaz de usuario de canalización completando los pasos siguientes:

  1. En el área de trabajo, haga clic en el icono Flujos de trabajo.Trabajos y canalizaciones en la barra lateral.
  2. Haga clic en el nombre de la canalización. Aparece la interfaz de usuario de canalización.
  3. Haga clic en Programar.
    • Si no existe ninguna programación para la canalización, aparecerá el cuadro de diálogo Nueva programación.
    • Si ya existe una o varias programaciones, haga clic en Agregar programación.
  4. Escriba un nombre único para el trabajo en el campo nombre del trabajo.
  5. (Opcional) Actualice la frecuencia de programación.
    • Seleccione Advanced para obtener opciones más detalladas, incluida la sintaxis cron.
  6. (Opcional) En Más opciones, configure una o varias direcciones de correo electrónico para recibir alertas sobre el inicio, el éxito o el error de la canalización.
  7. Haga clic en Crear.

Nota:

El botón Programar se actualiza para mostrar el número de programaciones existentes si la canalización se incluye en uno o varios trabajos programados; por ejemplo, Programación (5).

Agregar una programación a una vista materializada o una tabla de streaming en Databricks SQL

Las vistas materializadas y las tablas de streaming definidas en Databricks SQL admiten la programación basada en tiempo especificada en comandos CREATE o ALTER.

Para obtener detalles, vea los siguientes artículos:

  • Last updated on