Conexión a StreamSets

StreamSets le ayuda a administrar y supervisar el flujo de datos a lo largo de su ciclo de vida. La integración nativa de StreamSets con Azure Databricks y Delta Lake permite extraer datos de varios orígenes y administrar las canalizaciones fácilmente.

Para ver una demostración general de StreamSets, vea el siguiente vídeo de YouTube (10 minutos).

Estos son los pasos para usar StreamSets con Azure Databricks.

Paso 1: Generación de un token de acceso personal de Databricks

StreamSets se autentica con Azure Databricks mediante un token de acceso personal de Azure Databricks.

Paso 2: Configuración de un clúster para admitir las necesidades de integración

StreamSets escribirá datos en una ruta de acceso de Azure Data Lake Storage y el clúster de integración de Azure Databricks leerá los datos de esa ubicación. Por lo tanto, el clúster de integración requiere acceso seguro a la ruta de acceso de Azure Data Lake Storage.

Acceso seguro a una ruta de acceso de Azure Data Lake Storage

Para proteger el acceso a los datos en Azure Data Lake Storage (ADLS), use una clave de acceso de una cuenta de almacenamiento de Azure (recomendado) o una entidad de servicio de Microsoft Entra ID.

Uso de una clave de acceso de una cuenta de almacenamiento de Azure

Puede configurar una clave de acceso de una cuenta de almacenamiento en el clúster de integración como elemento de configuración de Spark. Asegúrese de que la cuenta de almacenamiento tiene acceso al contenedor de ADLS y al sistema de archivos usados para el almacenamiento provisional de los datos y al contenedor de ADLS y al sistema de archivos donde desea escribir las tablas de Delta Lake. Para configurar el clúster de integración para que use la clave, siga los pasos descritos en Conexión a Azure Data Lake Storage y Blob Storage.

Uso de una entidad de servicio de Microsoft Entra ID

Puede configurar una entidad de servicio en el clúster de integración de Azure Databricks como elemento de la configuración de Spark. Asegúrese de que la entidad de servicio tiene acceso al contenedor de ADLS que se usa para los datos de almacenamiento provisional y al contenedor de ADLS donde desea escribir las tablas Delta. Para configurar el clúster de integración para que use la entidad de servicio, siga los pasos descritos en Acceso a ADLS con entidad de servicio.

Especificación de la configuración de clúster

1. Establezca Modo de clúster en Estándar.

2. Establezca Versión de Databricks Runtime en Runtime 6.3 o posterior.

3. Habilite las escrituras optimizadas y la compactación automática, para ello, agregue las siguientes propiedades a la configuración de Spark:

   spark.databricks.delta.optimizeWrite.enabled true
   spark.databricks.delta.autoCompact.enabled true
   

4. Configure el clúster en función de sus necesidades de escalado e integración.

Para obtener más información sobre la configuración del clúster, consulte referencia de configuración de proceso.

Vea Obtención de los detalles de conexión de un recurso de proceso de Azure Databricks a fin de conocer los pasos para obtener la dirección URL de JDBC y la ruta de acceso HTTP.

Paso 3: Obtener los detalles de conexión de JDBC y ODBC para conectarse a un clúster

Para conectar un clúster de Azure Databricks a StreamSets, necesita las siguientes propiedades de conexión de JDBC/ODBC:

• URL de JDBC
• Ruta de acceso HTTP

Paso 4: Obtener StreamSets para Azure Databricks

Regístrese en StreamSets para Databricks, si aún no tiene una cuenta de StreamSets. Puede empezar de forma gratuita y actualizar cuando esté listo; Consulte Precios de la plataforma StreamSets DataOps.

Paso 5: Aprenda a usar StreamSets para cargar datos en Delta Lake

Comience con una canalización de ejemplo o consulte Carga de datos en Databricks Delta Lake para aprender a crear una canalización que ingiere datos en Delta Lake.

Recursos adicionales

Soporte técnico