Migrar do Azure Data Explorer (ADX) para o Fabric Real-Time intelligence (Eventhouse)

Este artigo mostra como fazer a transição gradual de suas cargas de trabalho de análise do Azure Data Explorer para o Eventhouse in Fabric Real-Time inteligência sem tempo de inatividade. Comece usando o Fabric como a camada de consulta enquanto o ADX continua ingerindo dados para explorar os recursos do Fabric. Quando estiver pronto, migre totalmente movendo o esquema e a ingestão para o Fabric.

Consumir dados ADX na malha

Mantenha o ADX apenas para ingestão e mova a consulta para o Fabric usando um desses dois métodos para usar dados ADX do Fabric sem duplicar dados.

• Atalho do banco de dados de malha (seguidor)

  Crie um atalho de banco de dados para um banco de dados do Azure Data Explorer e faça consultas sem migrar dados para a Malha. Um atalho de banco de dados na carga de trabalho de inteligência de Real-Time de malha é uma referência incorporada em um banco de dados KQL (Kusto Query Language) para um banco de dados de origem no Azure Data Explorer. O comportamento do atalho do banco de dados é semelhante a um banco de dados de seguidores. Ele é somente leitura, sincroniza novos dados com um ligeiro atraso (segundos a minutos) e permite que todos os itens de malha visualizem e consultem dados ADX sem regerá-los.

• Anexar o cluster ADX como uma fonte consultável

  No Fabric, verifique se você tem uma conexão com o cluster ADX. Adicione uma fonte do Azure Data Explorer no conjunto de consultas KQL, que permite que determinados itens do Fabric, como conjunto de consultas e painéis em tempo real, consultem dados ADX. Para obter mais informações, consulte Consultar dados em um conjunto de consultas KQL - Microsoft Fabric.

  Experimente os recursos do Fabric, como geração de consultas assistida por Copilot, Notebooks, Activator e relatórios do Power BI em seus dados ADX. Execute todos os seus painéis e consultas no Fabric enquanto a ingestão continua a acontecer no ADX. Quando estiver pronto para migrar totalmente, siga as próximas etapas.

Etapas de migração de alto nível

Siga estas etapas para migrar do ADX para o Fabric:

1. Criar um novo banco de dados KQL na malha com o esquema ADX
2. Criar uma exibição com o operador union que acessa a tabela no banco de dados KQL e a tabela no banco de dados ADX
3. Redirecionar pontos de extremidade de consulta para o banco de dados KQL no Fabric Eventhouse
4. Alternar a ingestão de dados para o Fabric
5. Desative o cluster ADX

As seções a seguir fornecem detalhes sobre cada etapa.

Criar banco de dados KQL no Fabric com esquema ADX

1. Crie um banco de dados KQL vazio em uma casa de eventos Fabric que eventualmente substitui o banco de dados ADX. Ele deve ter o mesmo esquema de tabelas e funções que seu banco de dados ADX. Para obter instruções, consulte Criar uma casa de eventos e um banco de dados KQL.

2. Replicar o esquema

   Use o Sync Kusto ou exporte o esquema do banco de dados ADX para recriá-lo no banco de dados Fabric KQL. SyncKusto é uma ferramenta dedicada que sincroniza esquemas de banco de dados Kusto (tabelas, funções, etc.) entre ambientes.

   Como alternativa, você pode executar o comando KQL: .show database schema no ADX, que gera um script de todas as definições, funções e políticas de tabela e, em seguida, executar o script gerado no banco de dados KQL na malha.

3. Verificar esquema

   Confirme se todas as tabelas, colunas, tipos de dados e políticas relevantes (retenção, cache, etc.) no banco de dados KQL correspondem aos do banco de dados ADX. Neste ponto, o banco de dados KQL de malha está vazio, mas pronto para receber dados, e você também pode consultar o ADX usando métodos da seção Explorar dados ADX na malha .

Crie visualizações de união para acesso contínuo aos dados

Para evitar qualquer interrupção durante a migração de dados, crie exibições KQL no Fabric que combinem dados do banco de dados ADX antigo e do novo banco de dados KQL de malha. Essa abordagem permite que as consultas retornem um conjunto de dados completo durante a transição:

1. Definir union views

   Para cada tabela, crie uma função armazenada em Malha (com .create function with (view=true)) que una a tabela Malha com a tabela ADX correspondente. Nomeie a função exatamente igual à tabela para substituí-la de forma transparente. Por exemplo, para uma tabela MyTable, crie uma função usando o seguinte comando:

   .create function with (view=true) MyTable() {
       MyTable 
       | union cluster("YourADXCluster").database("YourDatabase").MyTable
   }
   

   Essa exibição retorna a união do local MyTable no banco de dados KQL de malha, que está atualmente vazio ou recebendo novos dados, e a tabela MyTable remota no banco de dados ADX.

   Como o nome do modo de exibição é MyTable, qualquer consulta ou relatório usando esse nome de tabela consulta automaticamente ambas as fontes.

   Malha e ADX podem estar em clusters ou locatários diferentes. Se o comando creation reclamar da referência externa, use a skipvalidation=true opção na criação da função, que às vezes é necessária para funções entre clusters.

2. Testar a vista

   Execute uma consulta de contagem ou exemplo na exibição (por exemplo, MyTable | count) para garantir que ela retorne dados do ADX. O banco de dados Fabric KQL ainda está vazio agora, mas à medida que você migra a ingestão na próxima etapa, a exibição começa a retornar registros antigos e novos.

Redirecionar pontos de extremidade de consulta para o banco de dados KQL no Fabric Eventhouse

Agora atualize suas ferramentas e aplicativos para consultar o novo banco de dados Fabric KQL em vez do banco de dados ADX:

1. Atualizar cadeias de conexão

   Altere aplicativos de análise, consultas KQL ou relatórios do Power BI para usar o ponto de extremidade do banco de dados KQL (URI de consulta), em vez do cluster ADX. As consultas permanecem as mesmas, já que os nomes das tabelas e o KQL não foram alterados, mas agora são executados no Fabric. Devido à exibição de união criada na etapa anterior, os usuários que consultam o banco de dados Fabric KQL ainda obtêm todos os dados históricos do ADX por meio da exibição, além de quaisquer novos dados ingeridos no Fabric.

2. Relatórios de teste e aplicativos

   Certifique-se de que os painéis e scripts estejam obtendo os resultados esperados do banco de dados Fabric KQL. O desempenho pode diferir ligeiramente. A malha pode armazenar em cache alguns dados ADX se você usar um atalho. Esta etapa move efetivamente os pontos de extremidade de consulta para a Malha. A partir daqui, todas as operações de leitura/consulta ocorrem no Fabric.

Alternar a ingestão de dados para o Fabric

Com as consultas agora atendidas pelo Fabric, direcione os fluxos de dados de entrada para o Fabric:

1. Reapontar pipelines de ingestão

   Altere todos os produtores de dados, como dispositivos IoT, trabalhos de extração-transformação-carga (ETL), conexões de Hubs de Eventos e outros que ingeriram anteriormente no banco de dados ADX, para que eles ingerir no banco de dados KQL de malha. Esta etapa pode incluir a alteração de URLs de cluster, autenticação ou atualização de cadeias de conexão no Azure Data Factory, Stream Analytics ou aplicativos personalizados para usar o ponto de extremidade de ingestão de banco de dados KQL ou URI.

2. Verificar novo fluxo de dados

   Verifique se os novos registros estão em tabelas no banco de dados KQL. O banco de dados KQL no Fabric começa a acumular dados. Como você está usando os modos de exibição união, as consultas no Fabric ainda mostram um conjunto de dados unificado. Com o tempo, os dados no ADX tornam-se obsoletos porque nenhum novo dado é ingerido no ADX após essa mudança.

Desative o cluster ADX

Quando tiver certeza de que todos os dados necessários estão disponíveis no Fabric, encerre os recursos antigos do ADX:

1. Remover referências de união

   Altere ou solte as visualizações de união para que as consultas não sejam extraídas do cluster ADX. Por exemplo, atualize a definição de função para MyTable { MyTable } usar apenas dados locais ou descarte a função se a tabela física no Fabric tiver todos os dados. Verifique se suas consultas e painéis funcionam conforme o esperado com dados somente de malha.

2. Arquivar ou transferir dados históricos (se necessário)

   Se ainda houver dados históricos no ADX que não foram movidos (por exemplo, se você não esperou que eles envelhecessem), considere exportar esses dados para o Fabric antes do desligamento. Caso contrário, continue se os dados no ADX estiverem além dos requisitos de retenção.

3. Desativar ADX

   Quando o Fabric serve consultas e ingestão, desligue ou exclua o cluster ADX para economizar custos. Todos os usuários devem se conectar ao Fabric agora.

Resumo

Seguindo as etapas neste artigo, você migra do ADX para o Fabric com o mínimo de interrupção. Você começa movendo a camada de consumo para a Malha, que desbloqueia recursos como Copilot, Power BI, Blocos de Anotações e Ativador e, em seguida, muda gradualmente o back-end para a Malha. Agora, a inteligência em tempo real (Eventhouse) do Fabric lida com a ingestão e consulta de seus dados, e o ADX não está em uso.