Compartilhar via

Configurar o MySQL para ingestão no Azure Databricks

Importante

O conector MySQL está em Prévia Pública. Entre em contato com sua equipe de conta do Azure Databricks para solicitar acesso.

Saiba como configurar o MySQL para ingestão no Azure Databricks usando o Lakeflow Connect. O conector MySQL usa a replicação de log binário (binlog) para capturar alterações do banco de dados MySQL e sincroniza-las incrementalmente com o Azure Databricks.

Requirements

Antes de configurar o MySQL para ingestão, verifique se o ambiente atende aos seguintes requisitos:

  • Versões de banco de dados com suporte:
    • Amazon RDS: 5.7.44 e posterior (implantações autônomas e de HA)
    • Amazon Aurora: 5.7.mysql_aurora.2.12.2 e posterior (para configurações de HA, o suporte é somente da instância primária)
    • Amazon Aurora Sem Servidor: Com suporte
    • Servidores flexíveis do Banco de Dados do Azure para MySQL: 5.7.44 e posterior (implantações autônomas e de HA)
    • MySQL no EC2: 5.7.44 e posterior
    • GCP Cloud SQL: 5.7.44 ou versões mais recentes
  • Configuração de log binário: as seguintes configurações de servidor são necessárias:
    • Habilitar o registro em log binário.
    • Defina o formato binlog como ROW.
    • Defina a imagem da linha binlog como FULL.
  • Acesso para criar um usuário do MySQL com privilégios de replicação.
  • Conectividade de rede do Azure Databricks com sua instância do MySQL.

Visão geral das tarefas de configuração de origem

Conclua as seguintes tarefas para configurar o MySQL para ingestão:

  1. Configure os parâmetros do servidor MySQL para habilitar o registro em log binário e definir o formato correto.

    As etapas de configuração variam de acordo com o tipo de implantação:

  2. Crie um usuário do MySQL com os privilégios necessários para replicação. Consulte Conceder privilégios de usuário do MySQL.

  3. Configure a rede para permitir que o Azure Databricks se conecte à instância do MySQL. Isso pode incluir a configuração de regras de firewall, grupos de segurança ou emparelhamento de rede.

    Consulte Definir as configurações de firewall do Banco de Dados SQL do Azure para obter informações sobre endereços IP a permitir.

Suporte à réplica de leitura

O conector MySQL oferece suporte à ingestão de réplicas de leitura para os seguintes tipos de implantação:

  • Amazon RDS para MySQL
  • Banco de Dados do Azure para MySQL
  • MySQL no EC2

Aviso

O conector não suporta a ingestão de dados a partir de réplicas de leitura do Amazon Aurora MySQL. Você deve se conectar à instância primária para implantações do Aurora.

O uso de uma réplica de leitura pode reduzir a carga no banco de dados primário. No entanto, pode haver um atraso de replicação entre o banco de dados primário e a réplica, o que pode afetar a atualização de dados.

  • Last updated on