Partilhar via

Ótima atualização para vistas materializadas do lago numa casa de lago

Este artigo descreve os aspetos semânticos a serem considerados ao usar a atualização ideal para vistas de lago materializadas e descreve os modos de atualização disponíveis para vistas de lago materializadas.

Modos de atualização para vistas materializadas do lago

  • Atualização ideal: este modo escolhe automaticamente a melhor estratégia de atualização para obter o máximo desempenho para as vistas materializadas do lago – incremental, completa ou sem atualização.

  • Atualização completa: este modo impõe o recálculo completo para a visualização materializada do lago.

Atualização ideal

A atualização ideal foi projetada para melhorar a eficiência, a velocidade e a economia do gerenciamento de dados na plataforma Microsoft Fabric. Ele seleciona automaticamente a estratégia de atualização mais apropriada para maximizar o desempenho de atualização. As seguintes políticas de atualização são suportadas na atualização ideal:

Política de atualização Description
Atualização incremental Uma atualização incremental processa apenas os dados alterados nas fontes referenciadas na definição de vistas de lago materializadas.
Sem atualização Se a origem permanecer inalterada, ou seja, se nenhuma alteração for detetada nas confirmações delta, o serviço ignorará a atualização. Esse comportamento salva processamento desnecessário.
Atualização completa Uma atualização completa envolve a avaliação de todo o conjunto de dados de fontes dependentes sempre que qualquer modificação é feita na fonte.

Importante

Para que a atualização incremental entre em vigor, é necessário definir a propriedade delta CDF nas fontes referenciadas na definição de vistas de lago materializadas para delta.enableChangeDataFeed=true.

Benefícios da atualização ideal

  • Menor custo: menos computação e armazenamento são usados, especialmente quando as alterações de dados são mínimas e nenhuma atualização ignora a atualização de dados quando nenhuma alteração de confirmação delta é detetada.

  • Eficiência melhorada: ciclos de atualização mais rápidos ajudam-no a fornecer informações mais atualizadas e a acompanhar as rápidas mudanças nos dados.

  • Economia de tempo: apenas os dados alterados são processados, resultando em uma duração de atualização reduzida.

Expressão suportada na atualização ideal para estratégia de atualização incremental

Quando uma exibição de lago materializada é criada usando expressões suportadas, o Fabric pode executar atualizações incrementais. Se expressões sem suporte forem usadas em consultas, uma atualização completa ou nenhuma atualização será executada dependendo da alteração.

A tabela a seguir descreve as expressões suportadas:

Construção SQL Observação
Expressão SELECT Suporta expressões com funções determinísticas (incorporadas). Funções não determinísticas e de janela levam a uma estratégia de atualização completa.
FROM
WHERE Apenas funções incorporadas determinísticas são suportadas.
JUNÇÃO INTERNA
WITH São suportadas expressões de tabelas comuns
UNIÃO TODOS
Restrições de qualidade de dados Apenas funções incorporadas determinísticas são suportadas em restrições.

Observação

Para melhores resultados, desenhe as suas consultas apenas com cláusulas suportadas. Qualquer utilização de padrões não suportados desencadeia automaticamente um recuo para uma estratégia de atualização completa.

Pontos-chave para uma atualização ideal

  • Para otimizar o resultado, use expressões suportadas em suas consultas para que a estratégia de atualização incremental possa ser aplicada.
  • A atualização incremental é suportada para dados somente acréscimo. Se os dados incluírem exclusões ou atualizações, o Fabric executará uma atualização completa.
  • Se definir restrições de qualidade de dados na definição de vista do lago materializada, a atualização incremental respeitará e aplicará essas restrições durante as atualizações.
  • Não se aplicam taxas adicionais especificamente para o uso da atualização ideal. Você é cobrado com base no uso da computação durante as operações de atualização.
  • Em casos como pequenos conjuntos de dados de origem, o Fabric pode escolher a atualização completa em vez da incremental, dado o rendimento de desempenho.

Como ativar o modo de atualização ideal

Por padrão, o modo de atualização ideal está habilitado para a linhagem. Caso contrário, siga os passos abaixo:

  1. Navegue até a opção gerenciar visualização de lago materializado e ative a alternância Optimal refresh.

    Captura de ecrã que mostra o botão para ativar o modo de atualização ideal.

Atualização completa

Uma atualização completa executa o recálculo completo da vista do lago materializada com base nos dados de origem.

Se for necessário reprocessar todos os dados em visões materializadas do lake, pode-se desativar o alternador de atualização ideal para alternar para o modo de atualização completa.

Captura de tela que mostra o botão de alternância para mudar para o modo de atualização completa.

Ou

Para executar uma atualização completa de uma vista materializada do lago, podes usar o seguinte comando:

REFRESH MATERIALIZED LAKE VIEW [workspace.lakehouse.schema].MLV_Identifier FULL

Observação

  • Se o nome do seu espaço de trabalho contém espaços, inclua-o em backticks: `My Workspace`.lakehouse.schema.view_name
  • A atualização de uma vista de lago materializada que usa tabelas não delta como origem inicia uma atualização completa.

Determinar a política de atualização

Para determinar a política de atualização no modo de atualização ideal, você pode consultar a tabela sys_dq_metrics:

SELECT 
    MLVName,
    refreshPolicy 
FROM  
    dbo.sys_dq_metrics 
WHERE
    MLVName = '<materialized_lake_view_name>'
  • Last updated on