Compartilhar via

Usar o Qlik para replicar dados de mainframe e midrange para o Azure

Hubs de eventos do Azure
Azure Data Lake
Azure Databricks

Essa solução usa uma instância local do Qlik para replicar fontes de dados locais para o Azure em tempo real.

Observação

Pronuncie "Qlik" como "clique".

Apache® e Apache Kafka® são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. Nenhum endosso do Apache Software Foundation está implícito com o uso dessas marcas.

Arquitetura

Diagrama de uma arquitetura que usa o Qlik para migrar dados para o Azure.

Baixe um arquivo do Visio dessa arquitetura.

Workflow

  1. Agente de host: O agente de host no sistema local captura informações de log de mudanças dos armazenamentos de dados Db2, Information Management System (IMS) e Virtual Storage Access Method (VSAM) e as passa para o servidor de replicação da Qlik.

  2. Servidor de replicação: O software do servidor de replicação Qlik ingere as informações de log de alteração para o fluxo de eventos. Neste exemplo, o Qlik é local, mas você pode implantá-lo em uma máquina virtual no Azure.

  3. Ingestão de fluxo: O eventstream e o eventhouse manipulam o preparo e a preparação de dados.

    • O fluxo de eventos roteia os dados de log de alterações em tempo real do servidor de replicação do Qlik. Ele envia os dados por meio do caminho rápido para o eventhouse para habilitar análise quase em tempo real.
    • O eventhouse atua como o repositório analítico em tempo real e armazena os dados de log de alterações no Fabric para consulta e análise.
    • O OneLake é o data lake unificado para análise histórica e preparação de dados em larga escala para análise avançada por meio do caminho frio. Ele armazena dados de log de alterações selecionados ou replicados a partir do Eventhouse (via disponibilidade do OneLake) ou os incorpora diretamente do fluxo de eventos.

  4. Serviços de dados do Azure: O Azure fornece os seguintes serviços eficientes de armazenamento de dados e serviços de processamento de dados.

    • Serviços de banco de dados relacional:

      • Banco de Dados SQL do Azure
      • Banco de Dados do Azure para PostgreSQL
      • Banco de Dados do Azure para MySQL

      Há muitos fatores a serem considerados ao escolher um serviço de armazenamento de dados. Considere o tipo de carga de trabalho, consultas entre bancos de dados, requisitos de confirmação em duas fases, a capacidade de acessar o sistema de arquivos, a quantidade de dados, a taxa de transferência necessária e a latência.

    • Azure Cosmos DB: O Azure Cosmos DB é um banco de dados NoSQL que fornece resposta rápida, escalabilidade automática e velocidade garantida em qualquer escala.

    • Azure Databricks: O Azure Databricks processa os dados do log de alterações e atualiza os arquivos correspondentes no Azure.

    • Microsoft Fabric: O Fabric é uma solução de análise all-in-one para empresas. Abrange tudo, desde movimentação de dados até ciência de dados, análise em tempo real e inteligência de negócios. Ele fornece um conjunto abrangente de serviços, incluindo data lake, engenharia de dados e integração de dados.

Componentes

Essa arquitetura consiste em vários serviços de nuvem do Azure e é dividida em quatro categorias de recursos: rede e identidade, aplicativo, armazenamento e monitoramento. As seções a seguir descrevem os serviços para cada recurso e suas funções.

Rede

Ao projetar a arquitetura de aplicativos, é crucial priorizar os componentes de rede e identidade para ajudar a garantir a segurança, o desempenho e a capacidade de gerenciamento durante as interações pela Internet pública ou conexões privadas.

  • O Azure ExpressRoute é uma conexão privada dedicada entre sua infraestrutura local e os serviços de nuvem da Microsoft. Nessa arquitetura, ela garante conectividade segura e de alta taxa de transferência com o Azure e o Microsoft 365 e ignora a Internet pública para melhorar a confiabilidade e o desempenho.

Armazenamento e bancos de dados

O Azure e o Fabric fornecem serviços gerenciados que permitem armazenamento em nuvem escalonável e bancos de dados gerenciados para gerenciamento de dados flexível e inteligente.

  • O Azure Databricks é uma plataforma de análise e engenharia de dados baseada em nuvem criada no Apache Spark. Ele pode processar e transformar grandes quantidades de dados. Você pode explorar os dados usando modelos de aprendizado de máquina. Os trabalhos podem ser escritos em R, Python, Java, Scala e Spark SQL. Nessa arquitetura, o Azure Databricks transforma e analisa grandes volumes de dados ingeridos usando modelos de machine learning. Ele também dá suporte ao desenvolvimento em R, Python, Java, Scala e Spark SQL.

  • O OneLake é um data lake lógico unificado que pode atender a uma organização inteira. Assim como o OneDrive, o OneLake inclui todos os locatários do Fabric e fornece um único lugar para todos os dados de análise. Nessa arquitetura, o OneLake serve como a camada de armazenamento persistente para dados de log de alterações processados de sistemas locais.

  • O Azure Cosmos DB é um serviço de banco de dados NoSQL distribuído globalmente. Nessa arquitetura, ela armazena dados não-inconsequenciais migrados de sistemas de mainframe e dá suporte ao acesso de baixa latência entre regiões.

  • O Banco de Dados do Azure para MySQL é um serviço de banco de dados MySQL totalmente gerenciado projetado para escalabilidade e alta disponibilidade. Nessa arquitetura, ela dá suporte a cargas de trabalho relacionais de software livre.

  • O Banco de Dados do Azure para PostgreSQL é um PostgreSQL totalmente gerenciado, inteligente e escalonável que tem conectividade nativa com os serviços do Azure. Nessa arquitetura, ele hospeda dados relacionais que se beneficiam da indexação avançada, análise e compatibilidade com ferramentas de software livre.

  • O SQL do Azure é uma família de serviços de banco de dados SQL baseados em nuvem que dão suporte à migração, modernização e desenvolvimento. Essa família inclui as seguintes ofertas:

    • O SQL do Azure no Edge é um mecanismo SQL leve otimizado para implantações de IoT e de borda. Nessa arquitetura, ela processa e armazena dados próximos a dispositivos em ambientes desconectados ou sensíveis à latência.

    • A Instância Gerenciada de SQL do Azure é uma instância do SQL Server totalmente gerenciada com quase 100% compatibilidade com o SQL Server local. Nessa arquitetura, ele hospeda bancos de dados migrados que se beneficiam do gerenciamento simplificado e da alta disponibilidade interna.

    • O Banco de Dados SQL é um banco de dados relacional totalmente gerenciado otimizado para escalabilidade e desempenho. Nessa arquitetura, ela dá suporte a cargas de trabalho modernizadas com computação elástica e inteligência interna.

    • O SQL Server em Máquinas Virtuais do Azure é uma instância completa do SQL Server que é executada na infraestrutura do Azure. Nessa arquitetura, ela dá suporte a cargas de trabalho herdadas que exigem controle total sobre o sistema operacional e o mecanismo de banco de dados.

Monitorização

As ferramentas de monitoramento fornecem análise de dados abrangente e informações valiosas sobre o desempenho do aplicativo.

  • O Application Insights é um recurso do Azure Monitor que fornece telemetria profunda para desempenho, disponibilidade e uso do aplicativo. Nessa arquitetura, ela monitora o comportamento do aplicativo, detecta anomalias e dá suporte ao rastreamento distribuído para garantir a confiabilidade entre os serviços.

  • O Azure Monitor é uma plataforma abrangente para coletar, analisar e agir sobre telemetria de ambientes locais e do Azure. Nessa arquitetura, ela serve como a camada de observabilidade central, que permite monitoramento e diagnóstico proativos em infraestrutura e aplicativos.

    • O Log Analytics é uma ferramenta de consulta no Azure Monitor que permite uma análise profunda dos dados de log usando uma linguagem de consulta poderosa. Nessa arquitetura, ele dá suporte a diagnósticos, dashboards personalizados e insights operacionais unindo e agregando dados em várias fontes.

Alternativas

  • O diagrama anterior mostra o Qlik instalado no local. Essa abordagem é uma prática recomendada para manter a Qlik próxima das fontes de dados locais. Uma alternativa é instalar o Qlik na nuvem em uma máquina virtual do Azure.

  • O Qlik Data Integration pode fornecer dados diretamente ao Azure Databricks sem passar pelo Kafka ou por um hub de eventos.

  • O Qlik Data Integration não pode replicar dados diretamente para o Azure Cosmos DB, mas você pode integrar o Azure Cosmos DB a um hub de eventos usando a arquitetura de fornecimento de eventos.

Detalhes do cenário

Muitas organizações usam sistemas de mainframe e midrange para executar cargas de trabalho exigentes e críticas. A maioria dos aplicativos usa bancos de dados compartilhados, geralmente em vários sistemas. Nesse ambiente, a modernização para a nuvem significa que os dados locais devem ser fornecidos a aplicativos baseados em nuvem. Portanto, a replicação de dados torna-se uma importante tática de modernização.

A plataforma Qlik Data Integration inclui o Qlik Replicate, que faz a replicação de dados. Ele usa a captura de dados de alteração para replicar armazenamentos de dados locais em tempo real para o Azure. Os dados de mudança podem vir de logs de mudanças do Db2, IMS e VSAM. Essa técnica de replicação elimina cargas em massa de lotes inconvenientes. Essa solução usa uma instância local do Qlik para replicar fontes de dados locais para o Azure em tempo real.

Possíveis casos de uso

Essa solução pode ser apropriada para:

  • Ambientes híbridos que exigem a replicação de alterações de dados de um sistema de mainframe ou midrange para bancos de dados do Azure.

  • Migração de banco de dados online do Db2 para um banco de dados SQL do Azure com pouco tempo de inatividade.

  • Replicação de dados de vários armazenamentos de dados locais para o Azure para consolidação e análise.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework​, um conjunto de princípios orientadores que você pode usar para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Fiabilidade

A confiabilidade ajuda a garantir que seu aplicativo possa cumprir os compromissos que você faz aos seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para confiabilidade.

  • O Qlik Data Integration pode ser configurado em um cluster de alta disponibilidade.

  • Os serviços de banco de dados do Azure dão suporte à redundância de zona. Você pode projetá-los para alternar para um nó secundário durante um período de manutenção ou uma interrupção.

  • O Fabric fornece resiliência regional por meio de zonas de disponibilidade e dá suporte à recuperação entre regiões.

Segurança

A segurança fornece garantias contra ataques deliberados e o uso indevido de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design para segurança.

  • O ExpressRoute fornece uma conexão privada e eficiente com o Azure do local, mas você pode usar uma VPN site a site .

  • Os recursos do Azure podem ser autenticados usando a ID do Microsoft Entra e as permissões são gerenciadas por meio do controle de acesso baseado em função.

  • Os serviços de banco de dados do Azure e o Fabric dão suporte a várias opções de segurança, incluindo os seguintes recursos:

    • Criptografia de dados em repouso

    • Mascaramento de dados dinâmicos

    • Bancos de dados sempre criptografados

  • Para obter mais informações, consulte a documentação de segurança do Azure e a documentação de segurança do Fabric.

Otimização de custos

A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de design para otimização de custos.

Para estimar os custos para sua implementação, use a calculadora de preços do Azure e o avaliador de preços do Fabric.

Excelência operacional

A Excelência operacional abrange os processos de operações que implantam uma aplicação e as mantêm em execução em produção. Para obter mais informações, consulte Lista de verificação de revisão de design para Excelência Operacional.

Você pode combinar os recursos do Application Insights e do Log Analytics para monitorar a integridade dos recursos do Azure. Você pode definir alertas para gerenciar problemas de forma proativa.

O Fabric permite a excelência operacional unificando a governança, a observabilidade e os padrões de engenharia resilientes. Essa unificação ocorre em OneLake, Fabric Data Warehouse, Fabric Data Engineer, Fabric Real-Time Intelligence e outras cargas de trabalho.

Eficiência de desempenho

A Eficiência de Desempenho refere-se à capacidade da carga de trabalho de dimensionar para atender às demandas do usuário com eficiência. Para obter mais informações, consulte Lista de verificação de revisão de design para eficiência de desempenho.

Fabric, Azure Databricks, Data Lake Storage e outros serviços de banco de dados do Azure têm recursos de dimensionamento automático. Para saber mais, confira Dimensionamento automático.

Contribuidores

A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Autores principais:

Outros colaboradores:

Para ver perfis não públicos no LinkedIn, entre no LinkedIn.

Próximas etapas