Compartilhar via

Copiar dados do Dataverse para o SQL do Azure

Use o Link do Azure Synapse para conectar seus dados do Microsoft Dataverse ao Azure Synapse Analytics para explorar seus dados e acelerar o tempo de análise. Este artigo mostra como executar pipelines do Azure Synapse ou do Azure Data Factory para copiar dados do Azure Data Lake Storage Gen2 para um Banco de Dados SQL do Azure com o recurso de atualizações incrementais habilitado no Link do Azure Synapse.

Observação

O Link do Azure Synapse para Microsoft Dataverse era conhecido como Exportar para o Data Lake. O serviço foi renomeado em maio de 2021 e continuará a exportar dados para o Azure Data Lake, bem como para o Azure Synapse Analytics. Este modelo é um exemplo de código. Recomendamos que você use esse modelo como orientação para testar a funcionalidade de recuperar dados do Azure Data Lake Storage Gen2 para o Banco de Dados SQL do Azure usando o pipeline fornecido.

Pré-requisitos

  1. Link do Azure Synapse para Dataverse. Este guia pressupõe que você já tenha atendido aos pré-requisitos para criar um Link do Azure Synapse com o Azure Data Lake. Mais informações: Pré-requisitos para um Link do Azure Synapse para Dataverse com o Azure Data Lake
  2. Crie um Azure Synapse workspace ou um Azure Data Factory no mesmo locatário do Microsoft Entra do Power Apps.
  3. Crie um Link do Azure Synapse para o Dataverse com a atualização de pasta incremental habilitada para configurar o intervalo de tempo. Mais informações: consultar e analisar as atualizações incrementais
  4. O provedor Microsoft.EventGrid precisa ser registrado para disparar. Mais informações: portal do Azure. Observação: se você estiver usando esse recurso no Azure Synapse Analytics, verifique se sua assinatura também está registrada no provedor de recursos do Data Factory, caso contrário, você receberá um erro informando que a criação de uma "Assinatura de Evento" falhou.
  5. Crie um banco de dados SQL do Azure com a propriedade Permitir que os serviços e recursos do Azure acessem este servidor habilitada. Mais informações: O que devo saber ao configurar meu PaaS (Banco de Dados SQL do Azure)?
  6. Crie e configure um runtime de integração do Azure. Mais informações: Criar o Azure Integration Runtime – Azure Data Factory &azure Synapse

Importante

Usar esse modelo pode incorrer em custos adicionais. Esses custos estão relacionados ao uso do pipeline de workspace do Azure Data Factory ou do Synapse e são cobrados mensalmente. O custo do uso de pipelines depende principalmente do intervalo de tempo para atualização incremental e dos volumes de dados. Para planejar e gerenciar o custo de uso desse recurso, acesse: Monitorar os custos no nível do pipeline com a análise de custo

É importante levar esses custos adicionais em consideração ao decidir usar esse modelo, pois eles não são opcionais e devem ser pagos para continuar usando esse recurso.

Usar o modelo de solução

  1. Acesse o portal do Azure e abra o workspace do Azure Synapse.
  2. Selecione Integrar>Explorar galeria.
  3. Selecione Copiar dados do Dataverse no SQL do Azure usando o Link do Synapse na galeria de integração.

Configurar o modelo de solução

  1. Crie um serviço vinculado ao Azure Data Lake Storage Gen2, que está conectado ao Dataverse usando o tipo de autenticação apropriado. Para fazer isso, selecione Testar conexão para validar a conectividade e selecioneCriar.

  2. Semelhante às etapas anteriores, crie um serviço vinculado ao Banco de Dados SQL do Azure em que os dados do Dataverse serão sincronizados.

  3. Depois que as Entradas estiverem configuradas, selecione Usar este modelo. Use este modelo

  4. Agora, um gatilho pode ser adicionado para automatizar esse pipeline, para que o pipeline sempre possa processar arquivos quando as atualizações incrementais forem concluídas periodicamente. Vá para Gerenciar>Gatilho e crie um gatilho usando as seguintes propriedades:

    • Nome: insira um nome para o gatilho, como triggerModelJson.
    • Tipo: eventos de armazenamento.
    • Assinatura do Azure: selecione a assinatura que tem o Azure Data Lake Storage Gen2.
    • Nome da conta de armazenamento: selecione o armazenamento que tem dados do Dataverse.
    • Nome do contêiner: selecione o contêiner criado pelo Link do Azure Synapse.
    • O caminho do blob termina com: /model.json
    • Evento: Blob criado.
    • Ignorar blobs vazios: Sim.
    • Gatilho inicial: habilitar o gatilho inicial na criação.

    Criar um gatilho

  5. Selecione Continuar para prosseguir para a próxima tela.

  6. Na próxima tela, o gatilho valida os arquivos correspondentes. Selecione OK para criar o gatilho.

  7. Associe o gatilho a um pipeline. Vá para o pipeline importado anteriormente e selecione Adicionar disparador>Novo/Editar. Crie um gatilho para o pipeline.

  8. Selecione o gatilho na etapa anterior e selecione Continuar para prosseguir para a próxima tela em que o gatilho valida os arquivos correspondentes.

  9. Selecione Continuar para prosseguir para a próxima tela.

  10. Na seção Parâmetro de Execução de Gatilho, insira os parâmetros abaixo e selecione OK.

    • Contêiner: @split(triggerBody().folderPath,'/')[0]
    • Diretório: @split(triggerBody().folderPath,'/')[1]

  11. Depois de associar o gatilho ao pipeline, selecione Validar tudo.

  12. Depois que a validação for bem-sucedida, selecione Publicar Tudo. Selecionar Publicar tudo

  13. Selecione Publicar para publicar todas as alterações.

Adicionar um filtro de assinatura de evento

Para garantir que o gatilho seja acionado somente quando a criação do model.json for concluída, os filtros avançados precisam ser atualizados para a assinatura de eventos do gatilho. Um evento é registrado na conta de armazenamento na primeira vez em que o gatilho é executado.

  1. Quando uma execução de gatilho for concluída, vá para conta de armazenamento >Eventos>Assinaturas de Eventos.

  2. Selecione o evento registrado para o gatilho model.json. Assinatura de evento

  3. Selecione a guia Filtros e, em seguida, selecione Adicionar novo filtro. Adicionar novo filtro

  4. Crie o filtro:

    • Chave: assunto
    • Operador: A cadeia de caracteres não termina com
    • Valor: /blobs/model.json

  5. Remova o parâmetro CopyBlob da matriz data.apiValue .

  6. Selecione Salvar para implantar o filtro adicional. Salvar filtro adicionado

Consulte também

Blog: Anunciando o Link do Azure Synapse para o Dataverse

  • Last updated on