Configure o MySQL para ingestão no Azure Databricks

Aprenda a configurar o MySQL para ingestão no Azure Databricks usando o Lakeflow Connect. O conector MySQL utiliza replicação binária de log (binlog) para capturar alterações da sua base de dados MySQL e sincronizá-las incrementalmente com o Azure Databricks.

Requerimentos

Antes de configurar o MySQL para ingestão, verifique se o seu ambiente cumpre os seguintes requisitos:

• Versões de base de dados suportadas:
  • Amazon RDS: 5.7.44 e posteriores (tanto implementações autónomas como HA)
  • Amazon Aurora: 5.7.mysql_aurora.2.12.2 e posteriores (para configurações HA, o suporte é apenas a partir da instância principal)
  • Amazon Aurora Serverless: Suportado
  • Azure Database for MySQL Flexible Servers: 5.7.44 e posteriores (tanto implementações autónomas como HA)
  • MySQL no EC2: 5.7.44 e posteriores
  • GCP Cloud SQL: 5.7.44 e posteriores
• Configuração de registo binário: São necessárias as seguintes configurações de servidor:
  • Ativar o registo binário.
  • Defina o formato binlog para ROW.
  • Defina a imagem da linha binlog para FULL.
• Acesso para criar um utilizador MySQL com privilégios de replicação.
• Conectividade de rede do Azure Databricks para a sua instância MySQL.

Visão geral das tarefas de configuração do código-fonte

Complete as seguintes tarefas para configurar o MySQL para ingestão:

1. Configure os parâmetros do servidor MySQL para permitir o registo binário e defina o formato correto.

   Os passos de configuração variam consoante o tipo de implementação:

   • AWS RDS e Aurora MySQL
   • Base de Dados do Azure para MySQL
   • MySQL no EC2
   • Google Cloud SQL para MySQL

2. Crie um utilizador MySQL com os privilégios necessários para replicação. Veja Conceder privilégios de utilizador MySQL.

3. Configure a rede para permitir que o Azure Databricks se ligue à sua instância MySQL. Isto pode incluir a configuração de regras de firewall, grupos de segurança ou emparelhamento de rede.

   Consulte Configurar definições de firewall para a base de dados SQL do Azure para obter informações sobre os endereços IP que devem ser permitidos.

Suporte a réplicas de leitura

O conector MySQL suporta a ingestão de réplicas de leitura para os seguintes tipos de implementação:

• Amazon RDS para MySQL
• Base de Dados do Azure para MySQL
• MySQL no EC2

Usar uma réplica de leitura pode reduzir a carga na sua base de dados principal. No entanto, pode haver um atraso de replicação entre a base de dados primária e a réplica, o que pode afetar a frescura dos dados.