Criar um Link do Azure Synapse para Dataverse com seu Azure Synapse Workspace

Você pode usar o Link do Azure Synapse para conectar dados do Microsoft Dataverse ao Azure Synapse Analytics para explorá-los e acelerar o tempo para obter insights. Este artigo mostra como realizar as seguintes tarefas:

1. Conecte dados do Dataverse ao espaço de trabalho do Azure Synapse Analytics com o serviço do Link do Azure Synapse.
2. Gerencie tabelas do Dataverse incluídas no Link do Azure Synapse.
3. Monitore o Link do Azure Synapse.
4. Desvincule o Link do Azure Synapse.
5. Revincule o Link do Azure Synapse.
6. Exiba dados no Azure Synapse Analytics.

Pré-requisitos

• Dataverse: você deve ter o direito de acesso administrador do sistema no Dataverse. Além disso, as tabelas que você deseja exportar por meio do Link do Azure Synapse devem ter a propriedade Controlar alterações habilitada. Mais Informações: Opções avançadas

Requisitos do Azure Data Lake Storage Gen2

Você deve ter uma conta do Azure Data Lake Storage Gen2 e as seguintes funções:

• Owner
• Colaborador de Dados de Armazenamento de Blobs
• Proprietário de dados do blob de armazenamento

Requisito de função de proprietário: A função Proprietário é necessária porque adicionar a identidade gerenciada do serviço de Link do Azure Synapse à conta de armazenamento é uma operação com privilégios. Essa identidade gerenciada permite que o serviço execute a sincronização do Dataverse para o Synapse. Atualmente, a função Proprietário é necessária e não há suporte para funções personalizadas com privilégios semelhantes para esta etapa.

Privilégios para identidade gerenciada:

• Proprietário e colaborador da conta de armazenamento: só necessário durante a configuração inicial para criar o sistema de arquivos na conta de armazenamento e são atribuídos no nível da conta de armazenamento. Após a instalação, esses privilégios podem ser removidos sem afetar as operações de sincronização.
• Colaborador de dados do blob de armazenamento: necessário para operações de blob normais durante a sincronização regular.
• Proprietário de dados do blob de armazenamento: atualmente necessário para gerenciar dados e permissões de acesso em cenários que envolvam o Azure Data Lake Storage Gen2.

Sua conta de armazenamento deve habilitar o namespace hierárquico para a configuração inicial e a sincronização delta.

Permitir o acesso à chave da conta de armazenamento é necessário apenas para a configuração inicial porque o serviço usa a autorização de Chave Compartilhada para executar operações privilegiadas, como criar o sistema de arquivos e estabelecer o link antes de alternar para autenticação de identidade gerenciada. Após a instalação, o acesso baseado em chave não é mais necessário.

A conta de armazenamento deve ter escopo permitido para operações de cópia definido como De qualquer conta de armazenamento.

• Workspace do Synapse: você deve ter um workspace do Synapse e o acesso da função Administrador do Synapse no Synapse Studio. O workspace do Synapse deve estar na mesma região da sua conta do Azure Data Lake Storage Gen2. A conta de armazenamento deve ser adicionada como um serviço vinculado no Synapse Studio. Para criar um workspace do Synapse, vá para Criar um workspace do Synapse.

Conectar o Dataverse ao workspace do Synapse

1. Entre no Power Apps e selecione o ambiente preferido.

2. No painel de navegação esquerdo, selecione Link do Azure Synapse. Se Link do Azure Synapse não estiver visível no painel lateral, selecione ...Mais e escolha Descobrir tudo. Selecione Link do Azure Synapse na seção Gerenciamento de Dados.

3. Na barra de comandos, selecione + Novo link.

4. Selecione a opção Conectar-se ao seu Azure Synapse workspace.

5. Selecione Assinatura, Grupo de recursos, Nome do workspace e Conta de armazenamento. Garanta que o workspace do Synapse e a conta de armazenamento atendam aos requisitos especificados na seção Pré-requisitos. Selecione Avançar.

   

   Nota

   Como parte da vinculação de um ambiente para um data lake, você concede ao serviço Link do Azure Synapse o acesso à sua conta de armazenamento. Verifique se você seguiu os pré-requisitos de criar e configurar a conta Azure Data Lake Storage e conceder a si mesmo uma função de proprietário na conta de armazenamento. Além disso, você concede ao serviço de fluxo de dados da Power Platform acesso à sua conta de armazenamento. Mais informações: Preparação de dados de autoatendimento com fluxos de dados.

6. Escolha as tabelas que deseja exportar selecionando-as uma a uma ou inserindo uma lista separada por vírgulas de tabelas na caixa de pesquisa e selecione Salvar. Somente tabelas com a propriedade Controlar alterações ativada podem ser exportadas. Mais Informações: Opções avançadas.

   

Você pode seguir as etapas acima para criar um link de um ambiente para vários workspaces do Azure Synapse Analytics e data lakes do Azure em sua assinatura do Azure, adicionando um data lake do Azure como um serviço vinculado em workspace do Synapse. Da mesma forma, você pode criar um link de vários ambientes para o mesmo espaço de trabalho do Azure Synapse Analytics e data lake do Azure, todos no mesmo locatário.

Gerenciar dados da tabela para o workspace do Synapse

Depois de configurar o Link do Azure Synapse, você pode gerenciar as tabelas que são exportadas de duas maneiras:

• No Power Apps (make.powerapps.com), na área Link do Azure Synapse, selecione Gerenciar tabelas na barra de comandos para adicionar ou remover uma ou mais tabelas vinculadas.

• Na área Tabelas do Power Apps Maker Portal, selecione ... ao lado de uma tabela e, em seguida, selecione o data lake vinculado para o qual você deseja exportar os dados da tabela.

  

Monitorar o Link do Azure Synapse

Depois de configurar o Link do Azure Synapse, você poderá monitorar o Link do Azure Synapse na guia Tabelas.

• Haverá uma lista de tabelas que fazem parte do Link do Azure Synapse selecionado.
• Há diferentes estágios pelos quais o status de sincronização circula. NotStarted indica que a tabela está esperando para ser sincronizada. Assim que a sincronização inicial da tabela for Concluída, haverá um estágio de pós-processamento em que as atualizações incrementais não ocorrerão. Isso pode levar algumas horas, dependendo do tamanho dos dados. Conforme as atualizações incrementais começam a ocorrer, a data da última sincronização será atualizada regularmente.
• A coluna Contagem mostra o número de linhas gravadas. Quando Somente acrescentar estiver definido como Não, este será o número total de registros. Quando Somente acrescentar estiver definido como Sim, este será o número total de alterações.
• As colunas Anexar somente e Estratégia de partição mostram o uso de diferentes configurações avançadas.

Desvinculação de um Link do Azure Synapse

1. Selecione o Link do Azure Synapse desejado a ser desvinculado.

2. Selecione Desvincular na barra de comandos.

3. Para excluir o sistema de arquivos do data lake e o banco de dados Synapse, digite o nome do link para confirmar.

4. Selecione Sim e aguarde alguns minutos para que tudo seja desvinculado e excluído.

Revinculação de um Link do Azure Synapse

Se você excluiu o sistema de arquivos ao desvinculá-lo, siga as etapas acima para vincular novamente o workspace do Synapse. Se não excluiu o sistema de arquivos ao desvincular, você deverá limpar os dados para revincular:

1. Navegue no Azure Synapse Analytics.

2. Selecione ... do banco de dados desvinculado e selecione Novo notebook>Notebook vazio.

3. Anexe o notebook a um pool do Apache Spark selecionando um pool no menu suspenso. Se você não tiver um pool do Apache Spark, selecione Gerenciar pools para criar um.

4. Insira o script a seguir, substitua <DATABASE_NAME> pelo nome do banco de dados a ser desvinculado e execute o notebook.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

5. Depois de executar o notebook, atualize a lista de banco de dados no painel esquerdo. Se o banco de dados ainda existir, tente clicar com o botão direito do mouse no banco de dados e selecionar Excluir.

6. Navegue até o Power Apps e vincule novamente o espaço de trabalho do Synapse e o data lake.

Acessar dados quase em tempo real e dados de instantâneo somente leitura

Depois de criar um Link do Azure Synapse, duas versões dos dados de tabela serão sincronizadas no Azure Synapse Analytics e/ou no Azure Data Lake Storage Gen2 na sua assinatura do Azure por padrão para garantir que você possa consumir dados atualizados de forma confiável no lake a qualquer momento:

• Dados quase em tempo real: fornece uma cópia dos dados sincronizados do Dataverse via Link do Azure Synapse de maneira eficiente, detectando quais dados foram alterados desde que foram extraídos inicialmente ou sincronizados pela última vez.
• Dados de instantâneo: fornece uma cópia somente leitura de dados quase em tempo real que é atualizada em intervalos regulares (neste caso, a cada hora). 

1. Selecione o Link do Azure Synapse desejado e, em seguida, selecione Acessar o espaço de trabalho do Azure Synapse Analytics no painel superior.
2. Expanda Bancos de Dados do Lake no painel esquerdo, selecione dataverse-environmentName-organizationUniqueName e, em seguida, expanda Tabelas.

Todas as Tabelas de Dados Quase em Tempo Real estão listadas e disponíveis para análise com a convenção de nomenclatura DataverseTableName. Todas as Tabelas de Dados de Instantâneo estão listadas e disponíveis para análise com a convenção de nomenclatura DataverseTableName_partitioned.

O que vem a seguir?

Depois de usar com sucesso o serviço Link do Azure Synapse para Dataverse, descubra como você pode analisar e consumir seus dados com Hub de Descoberta. Para acessar o Hub de Descoberta, vá até Power Apps>Link do Azure Synapse. Selecione seu serviço vinculado e selecione a guia Hub de Descoberta. Aqui você pode encontrar ferramentas recomendadas e documentação com curadoria para obter o máximo valor de seus dados.

Consulte também

Configurar um Link do Azure Synapse para Dataverse com o Azure Data Lake

Configuração avançada do Link do Azure Synapse para Dataverse

Perguntas frequentes sobre o Link do Azure Synapse

Blog: Anúncio do Link do Azure Synapse para Dataverse