Replicar dados de mainframe usando o Precisely Connect

Base de Dados SQL do Azure

Instância Gerida do SQL do Azure

Azure Synapse Analytics

Azure Databricks

Hubs de Eventos do Azure

Este artigo descreve como usar o Precisely Connect para migrar sistemas de mainframe e midrange para o Azure. O Precisely Connect fornece replicação de dados em tempo real de sistemas legados para Azure utilizando tecnologia de captura de dados de alterações (CDC).

Esta solução proporciona consistência de dados entre ambientes mainframe on-premises e serviços cloud Azure, minimizando o impacto no desempenho do sistema de origem. A arquitetura suporta várias fontes de dados mainframe e midrange e replica dados para alvos Azure como Azure SQL Database, Azure Event Hubs e Microsoft Fabric.

Apache®, Spark e o logotipo flame são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.

Arquitetura

Transfira um ficheiro do Visio desta arquitetura.

Workflow

O fluxo de trabalho a seguir corresponde ao diagrama anterior:

Um componente do agente Connect captura logs de alterações usando utilitários nativos de mainframe ou midrange e armazena em cache os logs no armazenamento temporário.
Para sistemas de mainframe, um componente de editor no mainframe gerencia a migração de dados.
Para sistemas de gama intermédia, um componente de ouvinte gere a migração de dados em vez de um editor. O ouvinte reside numa máquina Windows ou Linux.
O editor ou ouvinte move os dados do local para o Azure por meio de uma conexão de segurança aprimorada. O publicador ou ouvinte realiza o commit e o rollback das transações para cada unidade de trabalho, mantendo assim a integridade dos dados transacionados.
O Connect Replicator Engine captura os dados do editor ou ouvinte e os aplica ao destino. Distribui dados para processamento paralelo.
O Event Hubs ingere alterações de dados em tempo real do Precisely Connect para processamento imediato.
Azure Databricks ou Fabric (Apache Spark) processam os dados ingeridos, que depois são armazenados em destinos Azure ou num lakehouse ou armazém (warehouse) Fabric para análise de dados e business intelligence (BI).
O Daemon do Connect Controller autentica a solicitação e estabelece a conexão de soquete entre o editor ou ouvinte e o Replicator Engine.

Componentes

Essa arquitetura usa os seguintes componentes.

Networking e identidade

O Azure ExpressRoute é um serviço de conectividade que estende suas redes locais para a plataforma de nuvem do Azure por meio de uma conexão privada de um provedor de conectividade. Nessa arquitetura, o ExpressRoute fornece uma conexão segura e de alta largura de banda para replicar dados de mainframe para o Azure.
O Gateway de VPN do Azure é um serviço de gateway de rede virtual que permite criar gateways de rede virtual que enviam tráfego criptografado entre uma rede virtual do Azure e um local local pela Internet pública. Nesta arquitetura, pode usar o VPN Gateway como alternativa ao ExpressRoute para ligar sistemas mainframe ao Azure quando uma ligação privada não estiver disponível.
O Microsoft Entra ID é um serviço de gerenciamento de identidade e acesso que pode ser sincronizado com o Ative Directory local. Nessa arquitetura, o Microsoft Entra ID gerencia a autenticação e o controle de acesso para componentes do Precisely Connect que acessam recursos do Azure.

Armazenamento

O Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional gerenciado baseado na edição da comunidade do mecanismo de banco de dados MySQL de código aberto. Nesta arquitetura, o Azure Database for MySQL fornece uma opção de alvo para dados replicados de mainframe.
O Banco de Dados do Azure para PostgreSQL é um serviço de banco de dados relacional gerenciado baseado na edição da comunidade do mecanismo de banco de dados PostgreSQL de código aberto. Nessa arquitetura, o Banco de Dados do Azure para PostgreSQL pode servir como um banco de dados de destino alternativo para replicação de dados de mainframe.
O Banco de Dados SQL do Azure é um mecanismo de banco de dados de plataforma como serviço (PaaS) que faz parte da família SQL do Azure. Foi construído para a nuvem e oferece todos os benefícios de um PaaS gerido e sempre atualizado. O Banco de Dados SQL também fornece recursos automatizados baseados em IA que otimizam o desempenho e a durabilidade. As opções de computação sem servidor e armazenamento Hyperscale dimensionam automaticamente os recursos sob demanda. Nesta arquitetura, as bases de dados SQL servem como bases de dados alvo para receber dados replicados do mainframe via Open Database Connectivity (ODBC) ou ligações nativas às bases de dados.
Azure SQL Managed Instance é um serviço de base de dados na cloud que oferece todos os benefícios de um PaaS gerido e sempre atualizado. A Instância Gerida SQL tem quase total compatibilidade com o mais recente motor de base de dados da edição Enterprise do SQL Server. Ele também fornece uma implementação de rede virtual nativa que aborda preocupações comuns de segurança. Nessa arquitetura, a Instância Gerenciada do SQL pode servir como destino para dados de mainframe que exigem compatibilidade com o SQL Server.
O Armazenamento do Azure é uma solução de armazenamento em nuvem que inclui armazenamento de objetos, ficheiros, discos, filas e tabelas. Os serviços incluem soluções de armazenamento híbrido e ferramentas para transferência, compartilhamento e backup de dados. Nessa arquitetura, o armazenamento fornece armazenamento escalável para dados de mainframe replicados e cache temporário.
O OneLake é o único data lake unificado para o Fabric. Nesta arquitetura, o OneLake serve como armazenamento para a ingestão de dados dos Event Hubs.
O Fabric é uma plataforma de análise que unifica movimentação de dados, processamento de dados, ingestão, transformação, roteamento de eventos em tempo real e criação de relatórios. Nesta arquitetura, o Fabric (lakehouses, armazéns ou base de dados SQL dentro do Fabric) serve como destino de armazenamento relacional para análises e para a camada BI.

Análise e relatórios

O Power BI é um grupo de ferramentas de análise empresarial que pode fornecer informações em toda a sua organização. O Power BI pode ligar-se a centenas de fontes de dados, simplificar a preparação de dados e impulsionar análises não planeadas. Nesta arquitetura, o Power BI fornece capacidades de BI para analisar dados replicados de mainframe. O Power BI está integrado nativamente com o Fabric para análises unificadas.

Monitorização

O Azure Monitor é um serviço de monitorização que fornece uma solução para recolher, analisar e atuar em telemetria a partir de ambientes na cloud e on-premises. Os recursos incluem Application Insights, Azure Monitor Logs, e Log Analytics. Nessa arquitetura, o Azure Monitor fornece monitoramento e observabilidade para o processo de replicação de dados e recursos do Azure.

Integradores de dados

O Azure Databricks é uma plataforma unificada de análise baseada no Spark que se integra com bibliotecas open-source. Ele fornece um espaço de trabalho colaborativo para executar cargas de trabalho de análise. Você pode usar as linguagens Python, Scala, R e SQL para criar pipelines de extração, transformação, carregamento (ETL) e orquestrar trabalhos. Nessa arquitetura, o Azure Databricks processa e transforma os dados de mainframe replicados para consumo pelos serviços da plataforma de dados do Azure.
O Fabric é uma plataforma de análise de IA de ponta a ponta que opera numa plataforma de computação Spark gerida. Nesta arquitetura, o Fabric Spark ingere e transforma dados replicados do mainframe para os tornar prontos para análise e consumo pela plataforma de dados Azure a jusante e pelos serviços Fabric.
Os Hubs de Eventos são um serviço de ingestão de dados em tempo real que pode processar milhões de eventos por segundo. Você pode ingerir dados de várias fontes e usá-los para análises em tempo real. Pode escalar os Centros de Eventos com base no volume de dados. Nessa arquitetura, os Hubs de Eventos ingerem alterações de dados em tempo real do Precisely Connect para processamento e análise imediatos.
O Precisely Connect é uma plataforma de integração de dados que pode integrar dados de várias fontes e fornecer replicação em tempo real para o Azure. Você pode usá-lo para replicar dados sem fazer alterações em seu aplicativo. O Precisamente Connect também pode melhorar o desempenho dos trabalhos ETL. Nessa arquitetura, o Precisely Connect serve como o principal mecanismo de replicação de dados que captura e migra dados de mainframe para o Azure em tempo real.

Detalhes do cenário

Você pode usar várias estratégias para migrar sistemas de mainframe e midrange para o Azure. A migração de dados desempenha um papel fundamental neste processo. Numa arquitetura de nuvem híbrida, deve-se replicar dados entre sistemas mainframe ou intermédios e a plataforma de dados do Azure. Para manter a integridade dos dados, você precisa de replicação em tempo real para aplicativos críticos para os negócios. O Precisely Connect pode ajudá-lo a replicar dados de fontes de mainframe e midrange para a plataforma de dados Azure em tempo real, usando CDC ou processamento em lote.

O Precisely Connect suporta várias fontes de dados mainframe e midrange, incluindo as seguintes fontes:

Db2 z/OS
Db2 para Linux, UNIX e Windows (LUW)
Db2 para i
Sistema de Gestão de Informação IBM (IMS)
Método de Acesso ao Armazenamento Virtual IBM (VSAM)
Ficheiros e coleções de cópia

O Precisely Connect converte os dados em formato consumível que o Event Hubs ingere para processamento imediato. Azure Databricks ou Fabric processam os dados ingeridos para consumo e armazenamento posterior em destinos do Azure. Estes alvos incluem SQL Database, Azure Database para PostgreSQL, Azure Database para MySQL, Azure Data Lake Storage e Fabric lakehouses ou armazéns. O Precisely Connect também suporta escalabilidade com base no volume de dados e nas necessidades do cliente. Ele replica dados sem afetar o desempenho ou sobrecarregar a rede.

Potenciais casos de utilização

Replicação de dados a partir de fontes de dados mainframe e de gama média para a plataforma de dados Azure
Numa arquitetura cloud híbrida, sincronização de dados entre sistemas mainframe ou intermédios e a plataforma de dados Azure
Análise quase em tempo real no Azure, baseada em dados operacionais de sistemas mainframe ou de gama média
Migração de dados de sistemas mainframe ou intermédios para Azure sem afetar aplicações

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Fiabilidade

A confiabilidade ajuda a garantir que seu aplicativo possa cumprir os compromissos que você assume com seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para Confiabilidade.

Use o Azure Monitor e o Application Insights para monitorar sua migração de dados. Configure alertas para gerenciamento proativo.

Otimização de Custos

A Otimização de Custos concentra-se em formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de projeto para Otimização de custos.

A replicação de dados para Azure e o processamento em serviços Azure podem poupar dinheiro em comparação com a manutenção de dados num sistema mainframe.
A ferramenta de gestão de custos no portal Azure oferece uma visão de análise de custos que pode ajudar a analisar os gastos.
Pode usar o Azure Databricks para redimensionar o seu cluster através do autoscaling para otimizar custos. Esta abordagem pode poupar dinheiro em comparação com uma configuração fixa.
O Azure Advisor fornece recomendações para otimizar o desempenho e o gerenciamento de custos.

Use a calculadora de preços do Azure para estimar o custo de implementação dessa solução.

Eficiência de desempenho

A Eficiência de Desempenho refere-se à capacidade da sua carga de trabalho de escalar para atender às demandas dos usuários de forma eficiente. Para obter mais informações, consulte Lista de verificação de revisão de design para Eficiência de desempenho.

O Precisely Connect pode escalar com base no volume de dados e otimizar a replicação dos dados.
O Connect Replicator Engine pode distribuir dados para processamento paralelo. Você pode equilibrar a distribuição com base na ingestão de cargas de trabalho.
O Banco de dados SQL sem servidor pode ser dimensionado automaticamente com base no volume de cargas de trabalho.
Os Hubs de Eventos podem ser dimensionados com base nas unidades de taxa de transferência e no número de partições.

Para obter mais informações, consulte Práticas recomendadas de dimensionamento automático no Azure.

Contribuidores

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.

Autor principal:

Seetharaman Sankaran - Brasil | Arquiteto de Engenharia Sénior

Outros contribuidores:

Gyani Sinha | Engenheiro Sénior de Soluções

Para ver perfis não públicos do LinkedIn, faça login no LinkedIn.

Próximos passos

Feedback

Esta página foi útil?