Consultar e analisar as atualizações incrementais com o Azure Synapse Link para Dataverse

Os dados do Microsoft Dataverse (incluindo dados das aplicações de finanças e operações do Dynamics 365) podem ser alterados continuamente através da criação, atualização e eliminação de transações. Com a opção de atualização incremental, pode criar pipelines de dados incrementais que aplicam estas alterações a sistemas e a bases de dados a jusante. O Azure Synapse Link para Dataverse exporta dados incrementais em pastas com carimbo de data/hora que contêm alterações de dados dentro de intervalos de tempo especificados pelo utilizador.

Pode tirar partido da caraterística de atualização incremental para vários cenários:

• Atualize um arquivo de dados ou um armazém de dados a jusante. Talvez seja necessário aplicar alterações dos seus dados do Power Apps e do Dynamics 365 num arquivo de dados a jusante. A atualização incremental é uma capacidade padrão na maioria das ferramentas de transformação de dados, como o Azure Data Factory. No entanto, para que a caraterística de atualização incremental funcione, tem de identificar os registos que foram alterados nas tabelas de origem. A caraterística de atualização incremental fornece dados alterados como um conjunto de ficheiros, de modo a que não precise de detetar alterações ao comparar o antes e o depois de imagens de tabelas.

• Analise alterações em grandes conjuntos de dados. Se precisar de analisar alterações em grandes conjuntos de dados, a caraterística de atualização incremental fornece um fluxo contínuo de dados em pequenos lotes, de modo a que não precise de armazenar todos os dados. Com esta opção, pode descartar dados obsoletos e estagnados para poupar em termos de custos de armazenamento de dados, bem como monitorizar alterações de dados relevantes para um período de tempo especificado pelo utilizador.

O Azure Synapse Link para Dataverse também oferece a opção de exportar e manter uma réplica de tabelas no seu armazenamento do Azure Data Lake (Gen 2). Pode configurar o Azure Synapse Link para exportar dados incrementais, além de exportar uma réplica de tabelas. Cada configuração (conhecida como um "perfil do Synapse Link") pode exportar tabelas ou dados incrementais. Embora possa criar vários perfis, não pode configurar ambas, tabelas e atualizações incrementais, dentro do mesmo perfil.

Pré-requisitos

Este guia assume que já cumpre com os pré-requisitos para criar um Azure Synapse Link. Mais informações: Criar um Azure Synapse Link para Dataverse com o Azure Data Lake

Criar um perfil do Synapse Link para exportar dados incrementais

1. Inicie sessão no Power Apps e selecione o seu ambiente.

2. No painel de navegação esquerdo, selecione Azure Synapse Link. Se o item não estiver no painel lateral, selecione ...Mais e, em seguida, selecione o item pretendido.

3. Na barra de comandos, selecione + Nova ligação.

4. Selecione a Subscrição, Grupo de recursos e Conta de armazenamento. Selecione Seguinte.

5. Não selecione a opção Ligar ao Azure Synapse workspace. Se escolher esta opção, a caraterística de atualização incremental será desativada.

6. Adicione as tabelas que pretende exportar. Se o seu ambiente do Dataverse estiver associado a aplicações de finanças e operações, também poderá selecionar tabelas a partir de aplicações de finanças e operações.

7. Selecione Avançado.

8. Ative Mostrar definições de configuração avançadas e Ativar a Estrutura de Pasta de Atualização Incremental.

9. Introduza o intervalo de tempo (em minutos) para a frequência com que as atualizações incrementais devem ser capturadas e, em seguida, selecione Guardar. 

   

Ver a pasta incremental no Armazenamento do Microsoft Azure

Quando cria um perfil do Synapse Link com dados incrementais, o sistema faz uma cópia inicial de todas as tabelas e a armazena na primeira pasta de atualização incremental. Assim que a cópia inicial é criada, o sistema cria pastas de atualização subsequentes com dados alterados. Se não houver alterações em nenhuma das tabelas selecionadas, não verá pastas de dados incrementais.

Para ver pastas de dados incrementais na conta de armazenamento:

1. Selecione o Azure Synapse Link pretendido e, em seguida, selecione Aceder ao Azure Data Lake na barra de comando.

2. Selecione os Contentores sob Armazenamento de Dados.

3. Selecione dataverse-environmentName-organizationUniqueName. As pastas de atualização incrementais são nomeadas pelo carimbo de data/hora da criação ("aaaa-MM-dd'T'HH:mm:ss.SSSz") em UTC. Observe que a diferença de tempo entre pastas com carimbo de data/hora é o intervalo de tempo especificado por si em Definições Avançadas.

4. Dentro de cada pasta com carimbo de data/hora, existem pastas para cada tabela. Nem todas as tabelas escolhidas podem ter sido alteradas durante o intervalo de tempo e só vê pastas correspondentes a tabelas cujos dados foram alterados.

   

Consumir dados incrementais

Pode copiar dados incrementais para uma Base de Dados SQL do Azure ou um armazém de dados através de ferramentas de integração de dados, como o Azure Data Factory ou pipelines do Azure Synapse Analytics. Fornecemos um pipeline de dados de amostra que pode ser usado para esta finalidade. Para mais informações:Copiar dados do Dataverse para o Azure SQL.

Se for um cliente de aplicações de finanças e operações do Dynamics 365 em transição da caraterística de feeds de alterações, poderá usar Ferramentas de amostra de integração de dados fornecidas no GitHub para atualizar os pipelines de dados existentes usados com a caraterística de feeds de alterações.

Também pode criar o seu próprio pipeline de dados para consumir dados incrementais. No entanto, precisa de considerar as seguintes melhores práticas quando conceber o seu próprio pipeline:

• Consumir dados de pastas com carimbo de data/hora anteriores apenas: desta forma, pode evitar conflitos de leitura/gravação com o serviço Synapse Link, que pode estar a atualizar continuamente os dados na pasta atual. Pode encontrar a pasta atual ao ver o ficheiro Changelog/changelog.info. Este ficheiro é um ficheiro só de leitura que contém uma única linha com o nome da pasta que está atualmente atualizada. Não deve atualizar este ficheiro, pois pode causar instabilidade no sistema.
• Pode ver o ficheiro model.json localizado em cada pasta com carimbo de data e hora para ler metadados, como nomes de colunas, para os dados contidos nas pastas da tabela. Observe que cada ficheiro model.json na pasta localizada em pastas com carimbo de data e hora contém metadados para todas as tabelas, não apenas para as tabelas contidas na pasta com carimbo de data e hora.
• Evite usar outros ficheiros de registo como o ficheiro Synapse.log. Este ficheiro é usado para fins internos e pode não refletir dados precisos.
• Considere eliminar as pastas incrementais obsoletas do seu Azure Data Lake depois de concluir o processamento. No momento, o Synapse Link mantém uma concessão destes ficheiros no Armazenamento Azure para recuperar de quaisquer falhas. O sistema pode libertar a concessão após algum tempo. Só deve eliminar pastas incrementais que tenham mais de 24 horas para evitar quaisquer conflitos com a operação do sistema.
• Não deve modificar nem eliminar a "pasta atual" que é a pasta contida no ficheiro Changelog/changelog.info. Se alterar este ficheiro, o sistema colocará em pausa o processamento de dados.

Veja também

O que é o Azure Synapse Link para Dataverse?