tarea de plataforma dbt para trabajos

Use la tarea de la plataforma dbt para organizar y supervisar los trabajos existentes de la plataforma dbt directamente desde Azure Databricks. En esta página se explica cómo seleccionar y desencadenar trabajos de dbt, establecer opciones de reintento automático para errores y supervisar ejecuciones.

Diferencias entre la plataforma dbt y las tareas de dbt

En la plataforma Jobs, se ofrecen dos tipos de tareas para proyectos de dbt. Elija la correcta en función de dónde se administre el proyecto de dbt:

tarea de la plataforma dbt: úselo para orquestar trabajos de plataforma dbt preexistentes. Se conecta a la API de la plataforma dbt y desencadena una ejecución allí. Elija esta opción si quiere centralizar la orquestación en Azure Databricks mientras conserva todas las ventajas de la plataforma dbt, como la supervisión y la programación.

tarea dbt: úselo para ejecutar proyectos principales de dbt en un clúster de Azure Databricks con código de Git. Elija esto si necesita un control total sobre el entorno de ejecución y prefiere administrar las dependencias completamente dentro de Azure Databricks. Consulte tarea dbt para trabajos.

Prerrequisitos

Para usar la tarea de la plataforma dbt, debe cumplir los siguientes requisitos previos:

• Un administrador del área de trabajo debe habilitar la versión preliminar. Consulte Administración de versiones preliminares de Azure Databricks.
• Debe tener CREATE CONNECTION privilegios en los metadatos del Catálogo Unity en su área de trabajo.
• Acceso a un proyecto de dbt existente con un trabajo definido en la plataforma dbt. Para más información, consulte Trabajos en la plataforma dbt en la documentación de dbt.
• Permisos para generar un token de servicio en la plataforma dbt. Para más información, consulte Tokens de cuenta de servicio.

Recopilación de detalles de la plataforma dbt

Para integrar dbt con Azure Databricks, necesita los tres detalles siguientes:

• Identificador de la cuenta de la plataforma dbt.
• Clave de API generada en la plataforma dbt.
• Dirección URL del host de implementación de la plataforma dbt.

En las secciones siguientes se describe cómo encontrar esta información necesaria.

Obtenga el identificador de la cuenta:

Para recuperar el identificador de la cuenta:

1. Inicie sesión en la plataforma dbt.
2. Vaya a Configuración>de la cuenta.
3. Obtenga el identificador de cuenta del sufijo de dirección URL, que tiene el formato siguiente: https://cloud.getdbt.com/settings/accounts/{account_id}.

Obtención de la clave de API

Para recuperar la clave de API:

1. Inicie sesión en la plataforma dbt.
2. Vaya a Configuración>Configuración de Perfil>Tu Perfil>Acceso a la API>Clave de API.

URL del host

La dirección URL del host depende de la ubicación y del inquilino. Consulte Acceso, regiones y direcciones IP en la documentación de dbt para encontrar la dirección URL de su región.

Identifique su región y el tipo de alojamiento (multiarrendamiento o basado en celular). Use la columna Dirección URL de acceso para obtener la dirección URL del host.

configuración de conexión de la plataforma dbt

Siga estos pasos para configurar la conexión de la plataforma dbt en Azure Databricks.

1. Haga clic en Catálogo en la barra lateral.
2. Haga clic en El icono de signo más en el explorador de esquemas. A continuación, haga clic en Crear una conexión. Se abre el formulario Configurar conexión .
3. Escriba la siguiente información y haga clic en Siguiente:
   • En Nombre de conexión, escriba un nombre.
   • En Tipo de conexión, elija plataforma dbt.
4. Escriba la dirección URL del host de la plataforma dbt en el campo Texto del host . No incluya una barra diagonal final (/).
5. Escriba el identificador de cuenta de la plataforma dbt y el token de API que recopiló en un paso anterior.
6. Haga clic en Crear conexión para confirmar los detalles de la conexión.
7. (Opcional) Conceda a otros usuarios privilegios para usar la conexión:
   • Elija las ID de usuario y los grupos a los que desea conceder privilegios en el menú desplegable Principales.
   • Seleccione los privilegios que desea conceder.
   • Haga clic en Confirmar.

Crea un nuevo trabajo con una tarea de plataforma dbt

1. En el área de trabajo, haga clic en Trabajos y canalizaciones en la barra lateral.
2. Haga clic en Crear y, a continuación, en Trabajo. El nuevo trabajo se nombra automáticamente con una marca de tiempo asociada.
3. (Opcional) Haga clic en el nombre del trabajo y escriba un nombre nuevo para editarlo.
4. Haga clic en Agregar otro tipo de tarea. Busque la plataforma dbt y haga clic en el icono para seleccionarlo.
5. Escriba un Nombre de tarea.
6. Utilice el menú desplegable de conexión a la plataforma dbt para seleccionar la conexión creada anteriormente.
7. Use el menú desplegable trabajo de la plataforma dbt para seleccionar el trabajo de la plataforma dbt que desea organizar.
8. Haga clic en Guardar tarea.
9. (Opcional) Haga clic en Ejecutar ahora para probar manualmente el trabajo.

Establecer una programación o un desencadenador

Puede configurar trabajos para que se desencadenen automáticamente según una programación basada en el tiempo o la llegada de nuevos datos. Para obtener más información sobre las opciones disponibles, consulte Automatización de trabajos con programaciones y desencadenadores.

Monitoreo de procesos

Puede supervisar los trabajos de Lakeflow en la interfaz de usuario de Azure Databricks. En el caso de los trabajos de la plataforma dbt, también puede abrir un vínculo que apunte a los detalles de ejecución del trabajo en la plataforma dbt.

Para supervisar una ejecución:

1. Haga clic en Trabajos y canalizaciones en la barra lateral del área de trabajo.

2. (Opcional) Seleccione los filtros Trabajos y Propiedad de mí .

3. Haga clic en el vínculo Nombre del trabajo.

   Aparece la pestaña Ejecuciones , en la que se muestran las vistas de matriz y lista de ejecuciones activas y completadas.

4. Haga clic en el vínculo de la ejecución en la columna Hora de inicio de la vista de lista de ejecuciones. Se abre el estado del trabajo de la plataforma dbt.

5. Haga clic en Ver en dbt para ver los detalles de ejecución del trabajo en la plataforma dbt.