Criar um Azure Synapse Link para Dataverse com o seu Azure Synapse Workspace

Pode usar o Azure Synapse Link para ligar os seus dados do Microsoft Dataverse ao Azure Synapse Analytics para explorar os seus dados e acelerar o tempo até às informações. Este artigo mostra como executar as tarefas seguintes:

1. Ligue os seus dados do Dataverse à sua área de trabalho do Azure Synapse Analytics com o serviço Azure Synapse Link.
2. Gerir tabelas do Dataverse incluídas no Azure Synapse Link.
3. Monitorizar o Azure Synapse Link.
4. Desassociar o Azure Synapse Link.
5. Reassociar o Azure Synapse Link.
6. Ver os seus dados no Azure Synapse Analytics.

Pré-requisitos

• Dataverse: tem de ter o direito de acesso administrador de sistema do Dataverse. Além disso, as tabelas que pretende exportar através do Azure Synapse Link devem ter a propriedade Monitorizar alterações ativada. Mais informações: Opções avançadas

Requisitos do Azure Data Lake Storage Gen2

Você deve ter uma conta do Azure Data Lake Storage Gen2 e as seguintes funções:

• Owner
• Contribuidor de Dados de Blobs de Armazenamento
• Proprietário de Dados de Blobs de Armazenamento

Requisito da função de proprietário: A função Proprietário é necessária porque adicionar a identidade gerenciada do serviço Azure Synapse Link à conta de armazenamento é uma operação privilegiada. Essa identidade gerenciada permite que o serviço execute a sincronização do Dataverse para o Synapse. Atualmente, a função Proprietário é necessária e funções personalizadas com privilégios semelhantes não são suportadas para esta etapa.

Privilégios para identidade gerenciada:

• Proprietário e Colaborador da Conta de Armazenamento: Necessários apenas durante a primeira configuração para criar o sistema de arquivos na conta de armazenamento e são atribuídos na conta de armazenamento. Após a configuração, esses privilégios podem ser removidos sem afetar as operações de sincronização.
• Contribuidor de Dados de Blobs de Armazenamento: obrigatório para operações normais de blobs durante a sincronização regular.
• Proprietário dos dados do Blob de armazenamento: Atualmente necessário para gerenciar dados e permissões de acesso em cenários que envolvem o Azure Data Lake Storage Gen2.

Sua conta de armazenamento deve habilitar o namespace hierárquico para a configuração inicial e a sincronização delta.

Permitir o acesso à chave da conta de armazenamento é necessário apenas para a configuração inicial, pois o serviço usa a autorização de Chave Compartilhada para executar operações privilegiadas, como criar o sistema de arquivos e estabelecer o link antes de alternar para a autenticação de identidade gerenciada. Após a configuração, o acesso baseado em chave não é mais necessário.

A sua conta de armazenamento deve ter a opção âmbito permitido para operações de cópia definida como De qualquer conta de armazenamento.

• Área de trabalho do Synapse: é necessário ter uma área de trabalho do Synapse e o direito de acesso Administrador do Synapse no Synapse Studio. O Espaço de Trabalho do Synapse tem de estar na mesma região que a sua conta do Azure Data Lake Storage Gen2. A conta de armazenamento deve ser adicionada como um serviço ligado dentro do Synapse Studio. Para criar uma área de trabalho do Synapse, aceda a Criar uma área de trabalho do Synapse.

Ligar o Dataverse ao Espaço de Trabalho do Synapse

1. Inicie sessão no Power Apps e selecione o seu ambiente preferido.

2. No painel de navegação esquerdo, selecione Azure Synapse Link. Se o Azure Synapse Link não estiver visível no painel lateral, selecione ...Mais e escolha Descobrir tudo. Selecione Azure Synapse Link na secção Gestão de Dados.

3. Na barra de comandos, selecione + Nova ligação.

4. Selecione a opção Ligar ao seu Azure Synapse workspace.

5. Selecione Subscrição, Grupo de recursos, Nome da área de trabalhoConta de armazenamento. Certifique-se de que a área de trabalho e a conta de armazenamento do Synapse satisfazem os requisitos especificados na secção Pré-Requisitos. Selecione Seguinte.

   

   Nota

   Como parte da associação do ambiente a um Data Lake, concede ao serviço Azure Synapse Link o acesso à sua conta de armazenamento. Certifique-se de que seguiu os pré-requisitos de criação e configuração da conta do Azure Data Lake Storage e que lhe concede uma função de proprietário na conta de armazenamento. Adicionalmente, concede ao serviço Fluxos de dados do Power Platform o acesso à sua conta de armazenamento. Mais informações: Preparação de dados personalizada com fluxos de dados.

6. Escolha as tabelas que pretende exportar selecionando-as uma a uma ou introduzindo uma lista de tabelas separadas por vírgulas na caixa de pesquisa e, em seguida, selecionando Guardar. Apenas as tabelas com a propriedade Monitorizar alterações ativada podem ser exportadas. Mais informações: Opções avançadas.

   

Pode seguir os passos acima para criar uma ligação de um ambiente a várias áreas de trabalho do Azure Synapse Analytics e Azure data lakes na sua subscrição Azure adicionando um Azure data lake como um serviço associado num Espaço de Trabalho do Synapse. Da mesma forma, poderia criar uma ligação de vários ambientes para a mesma área de trabalho do Azure Synapse Analytics e Azure data lake, tudo no mesmo inquilino.

Gerir os dados da tabela para a área de trabalho da Sinapse

Depois de configurar o Azure Synapse Link, pode gerir as tabelas que são exportadas de uma de duas formas:

• Na área do Azure Synapse Link do Power Apps (make.powerapps.com), selecione Gerir tabelas na barra de comando para adicionar ou remover uma ou mais tabelas associadas.

• Na área Tabelas do Power Apps Maker Portal, selecione ... junto a uma tabela e, em seguida, selecione o data lake associado para o qual pretende exportar os dados da tabela.

  

Monitorizar o Azure Synapse Link

Depois de configurar o Azure Synapse Link, pode monitorizar o Azure Synapse Link no separador Tabelas.

• Haverá uma lista de tabelas que fazem parte do Azure Synapse Link selecionado.
• Existem diferentes fases por onde circula o estado de sincronização. NotStarted indica que a tabela está à espera de ser sincronizada. Uma vez Concluída a sincronização inicial da tabela, existe uma fase de pós-processamento onde não serão efetuadas atualizações incrementais. Dependendo do tamanho dos seus dados, poderá demorar algumas horas. À medida que as atualizações incrementais começarem a ocorrer, a data da última sincronização será regularmente atualizada.
• A coluna Contagem mostra o número de linhas escritas. Quando Acrescentar apenas está definido como Não, este é o número total de registos. Quando Acrescentar Apenas está definido como Sim, este é o número total de alterações.
• As colunas de Apenas anexar e Estratégia de partição mostram o uso de diferentes configurações avançadas.

Desassociar um Azure Synapse Link

1. Selecione o Azure Synapse Link pretendido para desassociar.

2. Selecione Desassociar na barra de comandos.

3. Para eliminar tanto o sistema de ficheiros do data lake como a Base de Dados do Synapse, escreva o nome da ligação para confirmar.

4. Selecione Sime aguarde alguns minutos para que tudo seja desassociado e eliminado.

Reassociar um Azure Synapse Link

Se eliminar o sistema de ficheiros ao desvincular, siga os passos acima para voltar a ligar a mesma área de trabalho e o mesmo data lake Synapse. Se não eliminar o sistema de ficheiros ao desvincular, tem de limpar os dados para voltar a vincular:

1. Navegue para o Azure Synapse Analytics.

2. Selecione ... para a base de dados desassociada e selecione Novo bloco de notas>Bloco de notas vazio.

3. Anexe o caderno a um conjunto Apache Spark selecionando um conjunto do menu suspenso. Se não tiver uma piscina Apache Spark, selecione Gerir piscinas para criar uma.

4. Introduza o seguinte script, substitua <DATABASE_NAME> pelo nome da base de dados para desassociar e execute o bloco de notas.

    %%sql
    DROP DATABASE <DATABASE_NAME> CASCADE

5. Depois de executar o caderno, atualize a lista de bases de dados do painel esquerdo. Se a base de dados ainda existir, tente clicar corretamente na base de dados e selecionar Eliminar.

6. Navegue para Power Apps e reassocie o Espaço de Trabalho do Synapse e o data lake.

Aceder a dados quase em tempo real e a dados de instantâneo só de leitura

Depois de criar um Azure Synapse Link, serão sincronizadas duas versões dos dados da tabela no Azure Synapse Analytics e/ou no Azure Data Lake Storage Gen2 na sua subscrição do Azure por predefinição, de forma a garantir que pode consumir dados atualizados com confiança no lake a qualquer momento:

• Dados quase em tempo real: fornece uma cópia dos dados sincronizados a partir do Dataverse através do Azure Synapse Link de uma forma eficiente detetando os dados que foram alterados desde que foram inicialmente extraídos ou sincronizados pela última vez.
• Dados do instantâneo: fornece uma cópia só de leitura de dados quase em tempo real que são atualizados em intervalos regulares (neste caso, a cada hora). 

1. Selecione o Azure Synapse Link pretendido e, em seguida, selecione Aceder à área de trabalho do Azure Synapse Analytics a partir do painel superior.
2. Expanda Bases de dados do Lake a partir do painel esquerdo, selecione dataverse-environmentName-organizationUniqueName e, em seguida, expanda Tabelas.

Todas as Tabelas de Dados Em Quase Tempo Real estão listadas e disponíveis para análise com a convenção de nomenclatura DataverseTableName. Todas as Tabelas de Dados de Instantâneos estão listadas e disponíveis para análise com a convenção de nomenclatura DataverseTableName_partitioned.

O que se segue?

Depois de utilizar com êxito o serviço Azure Synapse Link para Dataverse, saiba como pode analisar e consumir os seus dados com o Hub de Deteção. Para aceder ao Hub de Deteção, aceda ao Power Apps>Azure Synapse Link. Selecione o seu serviço associado e, em seguida, selecione o separador Hub de Deteção. Aqui, encontrará ferramentas recomendadas e documentação organizada que o vão ajudar a tirar o máximo partido dos seus dados.

Consultar também

Configurar o Azure Synapse Link para Dataverse com o Azure Data Lake

Configuração Avançada do Azure Synapse Link para Dataverse

FAQ sobre o Azure Synapse Link

Blogue: A anunciar o Azure Synapse Link para Dataverse