Usar um banco de dados de preparo para migração de dados

Essa arquitetura de referência destaca o papel estratégico de um banco de dados de preparo em migrações de dados complexas e em grande escala. Em vez de transferir dados diretamente do sistema de origem para o ambiente de destino, o processo introduz uma camada de preparo intermediária. Os dados são primeiro ingeridos em um banco de dados temporário de preparo de migração, onde passam por transformação e validação. Somente depois que essas etapas forem concluídas, os dados serão carregados no Dataverse. Esse padrão melhora a qualidade dos dados, garante a integridade e reduz a probabilidade de erros durante o processo de migração.

Diagrama da arquitetura

Fluxo de dados

• Extração: Os dados são extraídos de sistemas de origem.
• Fase: Os dados são carregados na base de dados de teste de origem.
• Transformar: os scripts de migração processam e transformam os dados.
• Carregar: os dados transformados são carregados no banco de dados de preparo de destino.
• Validar: os modelos do Excel são usados para validar dados mestres.
• Integrar: as Ferramentas de Migração de Dados carregam os dados no Dataverse e os arquivos no Azure Blob ou no SharePoint.

Components

• Sistema de origem: a fonte de dados original, que pode incluir bancos de dados herdados, sistemas ERP ou aplicativos que não sejam da Microsoft.
• Banco de dados de preparo: um armazenamento de dados temporário e intermediário usado para ingerir, transformar e validar dados antes da migração final. Esta camada separa os sistemas de origem e de destino, permitindo a preparação de dados controlados e auditáveis.
• Processo ETL/ELT: extrair, transformar e carregar (ou extrair, carregar, transformar) pipelines que transferem dados da origem para a base de dados de teste, aplicam regras de negócio e prepara-os para o Dataverse.
• Dados de referência: dados usados para validar e enriquecer dados mestre durante a migração. Por exemplo, modelos de dados mestre do Excel.
• Dataverse: O sistema de destino onde os dados limpos e validados são finalmente carregados para uso em aplicativos da Power Platform.
• Armazenamento de arquivos: armazenamento para dados não estruturados, como anexos e documentos. Por exemplo, Armazenamento de Blob do Azure ou SharePoint.

Detalhes do cenário

Esta arquitetura funciona bem para cenários em que:

• O sistema de origem contém grandes volumes de dados ou estruturas relacionais complexas que requerem transformação antes da ingestão em Dataverse.
• A migração direta não é viável devido a problemas de qualidade de dados, incompatibilidades de esquema ou à necessidade de aplicação de regras de negócios.
• O processo de migração precisa ser auditável, repetível e suportar reversão ou reprocessamento de segmentos de dados específicos.
• A organização requer uma abordagem de migração em fases ou incremental, como durante um projeto de modernização do sistema ou de transição para a nuvem.

Exemplos de casos de uso

• Migração de dados de clientes e transações de um sistema ERP local para Dataverse para uso em Power Apps e Power Automate.
• Consolidação de dados de vários sistemas legados em um ambiente Dataverse unificado.
• Realizar enriquecimento de dados de pré-carregamento, como georreferenciamento de endereços ou mapeamento de códigos legados para novas taxonomias.

Principais benefícios

• Garantia de qualidade de dados: a camada de preparo permite validação e transformação completas antes que os dados cheguem ao ambiente de produção.
• Isolamento de erros: os problemas podem ser identificados e resolvidos no ambiente de preparo sem afetar os sistemas de origem ou de destino.
• Escalabilidade: suporta grandes volumes de dados e lógica de transformação complexa.
• Auditabilidade: Permite o acompanhamento da linhagem de dados e do histórico de transformação.

Considerações

Estas considerações implementam os pilares do Power Platform Well-Architected, um conjunto de princípios orientadores que melhoram a qualidade de uma carga de trabalho. Mais informações em Microsoft Power Platform Well-Architected.

Reliability

• Projete o processo de preparação e migração para ser resiliente a falhas. Implemente a lógica de repetição e o ponto de verificação em pipelines ETL para tratar de erros transitórios.
• Valide a completude e a integridade dos dados antes de carregá-los no Dataverse para evitar migrações parciais ou corrompidas.

Segurança

• Aplique o RBAC (controle de acesso baseado em função) para restringir o acesso ao banco de dados de preparo e às ferramentas de migração.
• Criptografe dados em repouso e em trânsito, especialmente ao manusear dados confidenciais ou pessoais.
• Registre e monitore o acesso ao ambiente de preparo e ao Dataverse para dar suporte aos requisitos de auditoria e conformidade.

Eficiência de desempenho

• Otimize a extração de dados e a lógica de transformação para minimizar o tempo de processamento e o consumo de recursos.
• Use processamento em lote e paralelismo, quando apropriado, para lidar com grandes volumes de dados de forma eficiente.
• Monitore as métricas de desempenho do ambiente de preparo e ajuste os recursos de computação conforme necessário.

Excelência Operacional

• Documente o processo de migração, incluindo mapeamentos de dados, regras de transformação e lógica de validação.
• Implemente scripts automatizados de teste e validação para garantir a repetibilidade e reduzir o erro humano.
• Use ferramentas de orquestração como o Azure Data Factory para gerenciar e monitorar o fluxo de trabalho de migração de ponta a ponta.

Próximo passo

O próximo artigo descreve uma abordagem comprovada para gerenciar migrações em grande escala. Um dos maiores desafios em migrações complexas é rastrear dados carregados, lidar com erros e repetir registros com falha. Como essas migrações podem durar dias ou até semanas, use uma estratégia em fases. Esta estratégia migra apenas dados delta durante a transição final de produção para minimizar a interrupção.