Adicionar a origem CDC do Banco de Dados SQL do Azure a um fluxo de eventos

1. Na página Conectar, selecione Nova conexão.

   

2. Na seção Configurações de conexão , insira os seguintes valores para seu banco de dados SQL do Azure:

   • Servidor: insira o nome do servidor SQL do Azure no portal do Azure. É desta forma: mysqlservername.database.windows.net.

   • Banco de dados: insira o nome do banco de dados SQL do Azure no portal do Azure.

     

3. Role para baixo e, na secção Credenciais de conexão, siga estas etapas.

   • Em Nome da conexão, insira um nome para a conexão.

   • Em Tipo de autenticação, selecione Básico.

     Nota

     Atualmente, o Fabric Eventstream suporta apenas a autenticação Básica .

   • Digite Nome de usuário e senha para o banco de dados.

4. Selecione Ligar.

   

5. Agora, na página Conectar, selecione Todas as tabelas ou Digite o(s) nome(s) da(s) tabela(s). Se você selecionar o último, especifique tabelas usando uma lista separada por vírgulas de identificadores de tabela completos (schemaName.tableName) ou expressões regulares válidas. Por exemplo:

   • Use dbo.test.* para selecionar todas as tabelas cujos nomes comecem com dbo.test.
   • Use dbo\.(test1|test2) para selecionar dbo.test1 e dbo.test2.

   Você pode misturar ambos os formatos usando vírgulas. O limite total de caracteres para toda a entrada é de 102.400 caracteres.

6. Pode expandir as definições avançadas para aceder a opções de configuração adicionais para a fonte do Azure SQL Database CDC:

   • Modo de tratamento decimal: Define como o conector trata os valores de DECIMAL e NUMERIC nas colunas:
     • Precise: Representa valores usando tipos decimais exatos (por exemplo, Java BigDecimal) para garantir total precisão e precisão na representação de dados.
     • Double: Converte valores em números de vírgula flutuante de precisão dupla. Essa configuração melhora a usabilidade e o desempenho, mas pode resultar em uma perda de precisão.
     • String: Codifica valores como cadeias de caracteres formatadas. Essa configuração facilita o consumo em sistemas a jusante, mas perde informações semânticas sobre o tipo numérico original.
   • Modo snapshot: Especifique os critérios para realizar uma snapshot quando o conector inicia:
     • Initial: O conector executa um snapshot apenas quando não foram registados offsets para o nome lógico do servidor, ou se detetar que um snapshot anterior não foi concluído com sucesso. Após a conclusão do snapshot, o conector começa a transmitir registos de eventos para alterações subsequentes na base de dados.
     • InitialOnly: O conector executa um snapshot apenas quando não foram registados deslocamentos para o nome lógico do servidor. Depois de concluída a fotografia, o conector para. Não faz a transição para streaming para ler os eventos de alteração do binlog.
     • NoData: O conector executa um snapshot que captura apenas o esquema, mas não quaisquer dados da tabela. Define esta opção se não precisares de um snapshot consistente dos dados, mas só precisas das alterações que ocorrem desde o início do conector.
   • Lista de exclusão de colunas: Especifica colunas a excluir dos valores de eventos de mudança usando nomes totalmente qualificados (schemaName.tableName.columnName).
   • Intenção da aplicação da base de dados: Determina o comportamento de roteamento em grupos de disponibilidade SQL Server Always On:
     • ReadWrite: Liga-se à réplica principal. Use isto se a ligação precisar de realizar tanto operações de leitura como de escrita.
     • ReadOnly: Permite o encaminhamento para uma réplica secundária legível para operações de leitura apenas. Use-o para ativar o CDC diretamente nas réplicas. É necessário definir snapshot.isolation.mode para snapshot, que é o único modo de isolamento de transação suportado para réplicas apenas de leitura.
   • Substituição do comando snapshot select: Use esta propriedade se quiser que um snapshot inclua apenas um subconjunto das linhas de uma tabela. Esta propriedade afeta apenas instantâneos. Não se aplica a eventos que o conector lê do log.

7. Selecione Seguinte.

   

8. No ecrã Rever e criar, reveja o resumo e, em seguida, selecione Adicionar.

   

Ingerir dados de alteração de bancos de dados SQL do Azure com registro automático de esquema de tabela via CDC no Eventstream.

1. Na página Conectar, selecione Nova conexão.

   

2. Na seção Configurações de conexão , insira os seguintes valores para seu banco de dados SQL do Azure:

   • Servidor: insira o nome do servidor SQL do Azure no portal do Azure. É desta forma: mysqlservername.database.windows.net.

   • Banco de dados: insira o nome do banco de dados SQL do Azure no portal do Azure.

     

3. Role para baixo e, na secção Credenciais de conexão, siga estas etapas.

   • Em Nome da conexão, insira um nome para a conexão.

   • Em Tipo de autenticação, selecione Básico.

     Nota

     Atualmente, o Fabric Eventstream suporta apenas a autenticação básica.

   • Digite Nome de usuário e senha para o banco de dados.

4. Selecione Ligar.

   

5. Agora, na página Conectar, selecione Todas as tabelas ou Digite o(s) nome(s) da(s) tabela(s). Se você selecionar o último, especifique tabelas usando uma lista separada por vírgulas de identificadores de tabela completos (schemaName.tableName) ou expressões regulares válidas. Por exemplo:

   • Use dbo.test.* para selecionar todas as tabelas cujos nomes comecem com dbo.test.
   • Use dbo\.(test1|test2) para selecionar dbo.test1 e dbo.test2.

   Você pode misturar ambos os formatos usando vírgulas. O limite total de caracteres para toda a entrada é de 102.400 caracteres.

6. Pode expandir as definições avançadas para aceder a opções de configuração adicionais para a fonte do Azure SQL Database CDC:

   • Modo de tratamento decimal: Define como o conector trata os valores de DECIMAL e NUMERIC nas colunas:
     • Precise: Representa valores usando tipos decimais exatos (por exemplo, Java BigDecimal) para garantir total precisão e precisão na representação de dados.
     • Double: Converte valores em números de vírgula flutuante de precisão dupla. Essa configuração melhora a usabilidade e o desempenho, mas pode resultar em uma perda de precisão.
     • String: Codifica valores como cadeias de caracteres formatadas. Essa configuração facilita o consumo em sistemas a jusante, mas perde informações semânticas sobre o tipo numérico original.
   • Modo snapshot: Especifique os critérios para realizar uma snapshot quando o conector inicia:
     • Initial: O conector executa um snapshot apenas quando não foram registados offsets para o nome lógico do servidor, ou se detetar que um snapshot anterior não foi concluído com sucesso. Após a conclusão do snapshot, o conector começa a transmitir registos de eventos para alterações subsequentes na base de dados.
     • InitialOnly: O conector executa um snapshot apenas quando não foram registados deslocamentos para o nome lógico do servidor. Depois de concluída a fotografia, o conector para. Não faz a transição para streaming para ler os eventos de alteração do binlog.
     • NoData: O conector executa um snapshot que captura apenas o esquema, mas não quaisquer dados da tabela. Define esta opção se não precisares de um snapshot consistente dos dados, mas só precisas das alterações que ocorrem desde o início do conector.
   • Lista de exclusão de colunas: Especifica colunas a excluir dos valores de eventos de mudança usando nomes totalmente qualificados (schemaName.tableName.columnName).
   • Intenção da aplicação da base de dados: Determina o comportamento de roteamento em grupos de disponibilidade SQL Server Always On:
     • ReadWrite: Liga-se à réplica principal. Use isto se a ligação precisar de realizar tanto operações de leitura como de escrita.
     • ReadOnly: Permite o encaminhamento para uma réplica secundária legível para operações de leitura apenas. Use-o para ativar o CDC diretamente nas réplicas. É necessário definir snapshot.isolation.mode para snapshot, que é o único modo de isolamento de transação suportado para réplicas apenas de leitura.
   • Substituição do comando snapshot select: Use esta propriedade se quiser que um snapshot inclua apenas um subconjunto das linhas de uma tabela. Esta propriedade afeta apenas instantâneos. Não se aplica a eventos que o conector lê do log.

7. Habilite a associação de esquema de eventos.

8. Em Espaço de trabalho, selecione um espaço de trabalho de malha para o conjunto de esquemas.

9. Para Conjunto de esquemas, + Criar é selecionado por padrão, o que cria um novo conjunto de esquemas. Você pode alterá-lo para selecionar um conjunto de esquemas de eventos existente.

10. Se você selecionou a opção + Criar na etapa anterior, insira um nome para o conjunto de esquemas.

    

11. Na página Rever + conectar, selecione Adicionar.

    

    Para todas as tabelas ou tabelas selecionadas no banco de dados SQL do Azure, o conector descobre automaticamente e cria esquemas e os registra no registro do esquema.

12. Selecione o nó do fluxo de eventos no meio e alterne para a guia Esquemas associados no painel inferior.

    

Conjunto de esquemas

1. Navegue até o espaço de trabalho selecionado na etapa anterior. No exemplo a seguir, é Meu espaço de trabalho.

2. Selecione o conjunto de esquemas que o conector do Banco de Dados SQL do Azure (CDC) criou.

   

3. Você vê os esquemas no conjunto de esquemas conforme mostrado na imagem a seguir.

   

4. Para ver a versão JSON do esquema, alterne para a exibição de esquema JSON .

   

   Não altere esses esquemas descobertos usando este editor, pois ele deixará de estar conforme o esquema de tabelas na fonte Azure SQL Database.

Configurar destinos de fluxo de eventos para usar esquemas

Atualmente, apenas o eventhouse, endpoint personalizado e destinos de stream derivados são suportados para eventstreams com as funcionalidades estendidas ativadas. Esta secção mostra-lhe como adicionar e configurar um destino de casa de eventos quando funcionalidades estendidas (como suporte a esquemas) estão ativadas para o fluxo de eventos.

Configure um esquema para um destino de endpoint personalizado

1. Selecione Transformar eventos ou adicionar destino, e depois selecione CustomEndpoint.

2. No painel Endpoint Personalizado, especifique um nome para o destino.

3. Em Esquema de entrada, selecione o esquema para eventos. Faz uma seleção nesta caixa ao ativar o suporte para esquemas para um stream de eventos.

Para obter etapas detalhadas sobre como configurar um destino de ponto de extremidade personalizado, consulte Adicionar um ponto de extremidade personalizado ou um destino de aplicativo personalizado a um fluxo de eventos.

Configurar esquemas para um destino de eventos

1. Selecione Transformar eventos ou adicionar destino e, em seguida, selecione Casa de eventos.

2. No painel do Eventohouse , configure as seguintes definições relacionadas com o esquema:

   1. Para o esquema de entrada, selecione um ou mais esquemas da lista suspensa.

      

      Nota

      Se selecionou a opção Esquema Dinâmico via cabeçalhos ao configurar uma fonte de Event Hubs, pode ter configurado múltiplos esquemas para a fonte e mapeado-os para várias propriedades e seus valores.

   2. Para o método de criação de tabelas, selecione uma única tabela com todos os esquemas combinados ou tabelas separadas para cada esquema, dependendo das suas necessidades.

      

   3. Em Gravar dados com, selecione uma das seguintes opções:

      • Payload apenas: Inserir os dados extraídos do payload na tabela. Se houver vários esquemas de entrada, os dados serão enviados para várias tabelas.
      • Metadados e carga útil: escreva metadados e dados de carga útil em uma única tabela. Colunas de exemplo incluem source , subject, type, e data.

      

Para passos detalhados na configuração de um destino de casa de eventos, consulte Adicionar um destino de casa de eventos a um fluxo de eventos.