Usar um banco de dados de preparo para migração de dados

Essa arquitetura de referência destaca a função estratégica de um banco de dados de preparo em migrações de dados complexas e em larga escala. Em vez de transferir dados diretamente do sistema de origem para o ambiente de destino, o processo introduz uma camada de preparo intermediária. Os dados são ingeridos pela primeira vez em um banco de dados de preparo de migração temporário, em que passam por transformação e validação. Somente depois que essas etapas forem concluídas, os dados serão carregados no Dataverse. Esse padrão melhora a qualidade dos dados, garante a integridade e reduz a probabilidade de erros durante o processo de migração.

Diagrama de arquitetura

Fluxo de dados

• Extração: os dados são extraídos dos sistemas de origem.
• Estágio: os dados são carregados no banco de dados de estágio de origem.
• Transformação: os scripts de migração processam e transformam os dados.
• Carregamento: os dados transformados são carregados no banco de dados de preparo de destino.
• Validar: os modelos do Excel são usados para validar dados mestres.
• Integração: as Ferramentas de Migração de Dados carregam dados no Dataverse e arquivos no Blob do Azure ou no SharePoint.

Components

• Sistema de origem: a fonte de dados original, que pode incluir bancos de dados herdados, sistemas ERP ou aplicativos não Microsoft.
• Banco de dados de preparo: um armazenamento de dados temporário e intermediário usado para ingerir, transformar e validar dados antes da migração final. Essa camada desassocia os sistemas de origem e de destino, permitindo a preparação de dados controlada e auditável.
• Processo ETL/ELT: pipelines de Extração, Transformação e Carregamento (ou Extração, Carregamento e Transformação) que movem dados da origem para o banco de dados de preparo, aplicam regras de negócios e preparam os dados para o Dataverse.
• Dados de referência: dados usados para validar e enriquecer dados mestres durante a migração. Por exemplo, modelos de dados mestres do Excel.
• Dataverse: o sistema de destino em que os dados limpos e validados são finalmente carregados para uso em aplicativos do Power Platform.
• Armazenamento de arquivos: armazenamento para dados não estruturados, como anexos e documentos. Por exemplo, Armazenamento de Blobs do Azure ou SharePoint.

Detalhes do cenário

Essa arquitetura funciona bem para cenários em que:

• O sistema de origem contém grandes volumes de dados ou estruturas relacionais complexas que exigem transformação antes da ingestão no Dataverse.
• A migração direta não é viável devido a problemas de qualidade de dados, incompatibilidades de esquema ou a necessidade de imposição de regras de negócios.
• O processo de migração precisa ser auditável, repetível e dar suporte à reversão ou ao reprocessamento de segmentos de dados específicos.
• A organização requer uma abordagem de migração em fases ou incremental, como durante um projeto de modernização do sistema ou transição de nuvem.

Exemplos de casos de uso

• Migrando dados de clientes e transações de um sistema ERP local para o Dataverse para uso no Power Apps e no Power Automate.
• Consolidando dados de vários sistemas herdados em um ambiente unificado do Dataverse.
• Executando o enriquecimento de dados de pré-carregamento, como geocodificação de endereços ou mapeamento de códigos herdados em novas taxonomias.

Principais benefícios

• Garantia de qualidade de dados: a camada de preparo permite validação e transformação completas antes que os dados cheguem ao ambiente de produção.
• Isolamento de erros: os problemas podem ser identificados e resolvidos no ambiente de preparo sem afetar os sistemas de origem ou de destino.
• Escalabilidade: dá suporte a grandes volumes de dados e lógica de transformação complexa.
• Capacidade de auditoria: habilita o acompanhamento da linhagem de dados e do histórico de transformação.

Considerações

Essas considerações implementam os pilares do Power Platform Well-Architected, um conjunto de princípios orientadores que melhoram a qualidade de uma carga de trabalho. Saiba mais em Microsoft Power Platform Well-Architected.

Reliability

• Projete o processo de preparo e migração para ser resiliente a falhas. Implementar a lógica de repetição e o ponto de verificação em pipelines ETL para lidar com erros transitórios.
• Valide a completude e a integridade dos dados antes de carregar dados no Dataverse para evitar migrações parciais ou corrompidas.

Segurança

• Aplique o RBAC (controle de acesso baseado em função) para restringir o acesso ao banco de dados de preparo e às ferramentas de migração.
• Criptografar dados em repouso e em trânsito, especialmente ao lidar com dados confidenciais ou pessoais.
• Registre e monitore o acesso ao ambiente de preparo e ao Dataverse para dar suporte aos requisitos de auditoria e conformidade.

Eficiência de desempenho

• Otimize a lógica de extração e transformação de dados para minimizar o tempo de processamento e o consumo de recursos.
• Use o processamento em lote e o paralelismo, quando apropriado, para lidar com grandes volumes de dados com eficiência.
• Monitore as métricas de desempenho do ambiente de preparo e ajuste os recursos de computação conforme necessário.

Excelência operacional

• Documente o processo de migração, incluindo mapeamentos de dados, regras de transformação e lógica de validação.
• Implemente scripts automatizados de teste e validação para garantir a repetição e reduzir o erro humano.
• Use ferramentas de orquestração como o Azure Data Factory para gerenciar e monitorar o fluxo de trabalho de migração de ponta a ponta.

Próxima etapa

O próximo artigo descreve uma abordagem comprovada para gerenciar migrações em larga escala. Um dos maiores desafios em migrações complexas é acompanhar dados carregados, lidar com erros e tentar novamente registros com falha. Como essas migrações podem abranger dias ou até semanas, use uma estratégia em fases. Essa estratégia migra apenas dados delta durante a substituição de produção final para minimizar a interrupção.