Compartir a través de


Configuración de MySQL para la ingesta en Azure Databricks

Importante

El conector mySQL está en versión preliminar pública. Póngase en contacto con el equipo de la cuenta de Azure Databricks para solicitar acceso.

Aprenda a configurar MySQL para la ingesta en Azure Databricks mediante Lakeflow Connect. El conector mySQL usa la replicación de registro binario (binlog) para capturar los cambios de la base de datos MySQL y sincronizarlos incrementalmente con Azure Databricks.

Requisitos

Antes de configurar MySQL para la ingesta, compruebe que el entorno cumple los siguientes requisitos:

  • Versiones de base de datos admitidas:
    • Amazon RDS: 5.7.44 y versiones posteriores (tanto implementaciones independientes como de alta disponibilidad)
    • Amazon Aurora: 5.7.mysql_aurora.2.12.2 y versiones posteriores (para las configuraciones de alta disponibilidad, la compatibilidad solo es de la instancia principal)
    • Amazon Aurora Sin servidor: compatible
    • Servidores flexibles de Azure Database for MySQL: 5.7.44 y versiones posteriores (implementaciones independientes y de alta disponibilidad)
    • MySQL en EC2: 5.7.44 y versiones posteriores
    • GCP Cloud SQL: 5.7.44 y versiones posteriores
  • Configuración de registro binario: se requieren las siguientes configuraciones de servidor:
    • Habilite el registro binario.
    • Establezca el formato binlog en ROW.
    • Establezca la imagen de fila binlog en FULL.
  • Acceso para crear un usuario de MySQL con privilegios de replicación.
  • Conectividad de red desde Azure Databricks a la instancia de MySQL.

Información general sobre las tareas de configuración de origen

Complete las siguientes tareas para configurar MySQL para la ingesta:

  1. Configure los parámetros del servidor MySQL para habilitar el registro binario y establecer el formato correcto.

    Los pasos de configuración varían según el tipo de implementación:

  2. Cree un usuario de MySQL con los privilegios necesarios para la replicación. Consulte Concesión de privilegios de usuario de MySQL.

  3. Configure las redes para permitir que Azure Databricks se conecte a la instancia de MySQL. Esto puede incluir la configuración de reglas de firewall, grupos de seguridad o emparejamiento de red.

    Consulte Configuración del firewall para Azure SQL Database para obtener información sobre las direcciones IP que se van a incluir en la lista de permitidos.

Compatibilidad con réplicas de lectura

El conector MySQL permite la ingestión desde réplicas de lectura en los siguientes tipos de implementación:

  • Amazon RDS for MySQL
  • Base de Datos Azure para MySQL
  • MySQL en EC2

Advertencia

El conector no admite la ingestión de datos desde las réplicas de lectura de Amazon Aurora MySQL. Debe conectarse a la instancia principal de las implementaciones de Aurora.

El uso de una réplica de lectura puede reducir la carga en la base de datos principal. Sin embargo, puede haber un retraso de replicación entre la base de datos principal y la réplica, lo que puede afectar a la actualización de los datos.