Partilhar via

Usar a Qlik para replicar dados de mainframe e midrange para o Azure

Hubs de Eventos do Azure
Azure Data Lake
Azure Databricks

Essa solução usa uma instância local da Qlik para replicar fontes de dados locais para o Azure em tempo real.

Observação

Pronuncie "Qlik" como "clique".

Apache® e Apache Kafka® são marcas registadas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou noutros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.

Arquitetura

Diagrama de uma arquitetura que usa a Qlik para migrar dados para o Azure.

Descarregue um ficheiro Visio desta arquitetura.

Workflow

  1. Agente anfitrião: O Host Agent no sistema local captura informações de log de alterações dos armazenamentos de dados DB2, IMS (Information Management System) e VSAM (Virtual Storage Access Method) e as passa para o servidor de replicação Qlik.

  2. Servidor de replicação: O software do servidor de replicação Qlik ingere a informação do registo de alterações para o fluxo de eventos. Neste exemplo, o Qlik é local, mas você pode implantá-lo em uma máquina virtual no Azure.

  3. Ingestão de fluxos: O eventstream e o eventhouse tratam da preparação dos dados.

    • O fluxo de eventos encaminha os dados do registo de alterações em tempo real a partir do servidor de replicação Qlik. Envia os dados pelo caminho quente para a casa de eventos, permitindo análises quase em tempo real.
    • A casa de eventos funciona como armazenamento analítico em tempo real e armazena os dados do registo de alterações no Fabric para consultas e análises.
    • O OneLake é o lago de dados unificado para análise histórica e preparação de dados em grande escala para análises avançadas através do caminho frio. Armazena dados curados ou replicados do registo de alterações do evento (através do acesso ao OneLake) ou ingere diretamente do fluxo de eventos.

  4. Azure data services: O Azure fornece os seguintes serviços eficientes de armazenamento de dados e serviços de processamento de dados.

    • Serviços de banco de dados relacional:

      • Base de Dados SQL do Azure
      • Base de Dados do Azure para PostgreSQL
      • Base de Dados do Azure para MySQL

      Há muitos fatores a considerar ao escolher um serviço de armazenamento de dados. Considere o tipo de carga de trabalho, consultas entre bancos de dados, requisitos de confirmação em duas fases, a capacidade de acessar o sistema de arquivos, a quantidade de dados, a taxa de transferência necessária e a latência.

    • Azure Cosmos DB: O Azure Cosmos DB é um banco de dados NoSQL que fornece resposta rápida, escalabilidade automática e velocidade garantida em qualquer escala.

    • Azure Databricks: O Azure Databricks processa os dados do log de alterações e atualiza os arquivos correspondentes no Azure.

    • Microsoft Fabric: O Fabric é uma solução de análise tudo-em-um para empresas. Ele abrange tudo, desde a movimentação de dados até ciência de dados, análise em tempo real e business intelligence. Ele fornece um conjunto abrangente de serviços, incluindo data lake, engenharia de dados e integração de dados.

Componentes

Essa arquitetura consiste em vários serviços de nuvem do Azure e é dividida em quatro categorias de recursos: rede e identidade, aplicativo, armazenamento e monitoramento. As seções a seguir descrevem os serviços para cada recurso e suas funções.

Rede

Ao projetar a arquitetura de aplicativos, é crucial priorizar componentes de rede e identidade para ajudar a garantir segurança, desempenho e capacidade de gerenciamento durante interações pela Internet pública ou conexões privadas.

  • O Azure ExpressRoute é uma conexão dedicada e privada entre sua infraestrutura local e os serviços de nuvem da Microsoft. Nessa arquitetura, ele garante conectividade segura e de alta taxa de transferência para o Azure e o Microsoft 365 e ignora a Internet pública para melhorar a confiabilidade e o desempenho.

Armazenamento e bases de dados

O Azure e o Fabric fornecem serviços geridos que permitem armazenamento em nuvem escalável e bases de dados geridas para uma gestão de dados flexível e inteligente.

  • O Azure Databricks é uma plataforma de engenharia e análise de dados baseada na nuvem criada no Apache Spark. Ele pode processar e transformar grandes quantidades de dados. Você pode explorar os dados usando modelos de aprendizado de máquina. Os trabalhos podem ser escritos em R, Python, Java, Scala e Spark SQL. Nesta arquitetura, o Azure Databricks transforma e analisa grandes volumes de dados ingeridos utilizando modelos de aprendizagem automática. Também suporta desenvolvimento em R, Python, Java, Scala e Spark SQL.

  • O OneLake é um data lake unificado e lógico que pode servir toda uma organização. Tal como o OneDrive, o OneLake inclui todos os inquilinos Fabric e oferece um único local para todos os dados analíticos. Nesta arquitetura, o OneLake serve como camada persistente de armazenamento para os dados processados do registo de alterações provenientes de sistemas locais.

  • O Azure Cosmos DB é um serviço de banco de dados NoSQL distribuído globalmente. Nessa arquitetura, ele armazena dados não tabulares migrados de sistemas de mainframe e oferece suporte a acesso de baixa latência entre regiões.

  • O Banco de Dados do Azure para MySQL é um serviço de banco de dados MySQL totalmente gerenciado projetado para escalabilidade e alta disponibilidade. Nessa arquitetura, ele suporta cargas de trabalho relacionais de código aberto.

  • O Banco de Dados do Azure para PostgreSQL é um PostgreSQL totalmente gerenciado, inteligente e escalável que tem conectividade nativa com os serviços do Azure. Nessa arquitetura, ele hospeda dados relacionais que se beneficiam de indexação avançada, análise e compatibilidade com ferramentas de código aberto.

  • O Azure SQL é uma família de serviços de banco de dados SQL baseados em nuvem que dão suporte à migração, modernização e desenvolvimento. Esta família inclui as seguintes ofertas:

    • O Azure SQL Edge é um mecanismo SQL leve otimizado para implantações de IoT e de borda. Nessa arquitetura, ele processa e armazena dados próximos a dispositivos em ambientes desconectados ou sensíveis à latência.

    • A Instância Gerenciada do SQL do Azure é uma instância do SQL Server totalmente gerenciada com quase 100% compatibilidade com o SQL Server local. Nessa arquitetura, ele hospeda bancos de dados migrados que se beneficiam de gerenciamento simplificado e alta disponibilidade interna.

    • O Banco de Dados SQL é um banco de dados relacional totalmente gerenciado otimizado para escalabilidade e desempenho. Nessa arquitetura, ele suporta cargas de trabalho modernizadas com computação elástica e inteligência integrada.

    • O SQL Server em Máquinas Virtuais do Azure é uma instância completa do SQL Server que é executada na infraestrutura do Azure. Nessa arquitetura, ele suporta cargas de trabalho herdadas que exigem controle total sobre o sistema operacional e o mecanismo de banco de dados.

Monitorização

As ferramentas de monitoramento fornecem análise de dados abrangente e informações valiosas sobre o desempenho do aplicativo.

  • O Application Insights é um recurso do Azure Monitor que fornece telemetria profunda para desempenho, disponibilidade e uso de aplicativos. Nessa arquitetura, ele monitora o comportamento do aplicativo, deteta anomalias e oferece suporte ao rastreamento distribuído para garantir a confiabilidade entre os serviços.

  • O Azure Monitor é uma plataforma abrangente para coletar, analisar e agir em telemetria do Azure e ambientes locais. Nessa arquitetura, ele serve como a camada central de observabilidade, que permite monitoramento e diagnóstico proativos em toda a infraestrutura e aplicativos.

    • O Log Analytics é uma ferramenta de consulta no Azure Monitor que permite a análise profunda de dados de log usando uma linguagem de consulta poderosa. Nessa arquitetura, ele oferece suporte a diagnósticos, painéis personalizados e insights operacionais unindo e agregando dados em várias fontes.

Alternativas

  • O diagrama anterior mostra o Qlik instalado localmente. Essa abordagem é uma prática recomendada para manter a Qlik próxima às fontes de dados locais. Uma alternativa é instalar o Qlik na nuvem em uma máquina virtual do Azure.

  • O Qlik Data Integration pode entregar dados diretamente ao Azure Databricks sem passar pelo Kafka ou por um hub de eventos.

  • A Qlik Data Integration não pode replicar dados diretamente para o Azure Cosmos DB, mas você pode integrar o Azure Cosmos DB a um hub de eventos usando a arquitetura de fornecimento de eventos.

Detalhes do cenário

Muitas organizações usam mainframe e sistemas midrange para executar cargas de trabalho exigentes e críticas. A maioria dos aplicativos usa bancos de dados compartilhados, geralmente em vários sistemas. Nesse ambiente, a modernização para a nuvem significa que os dados locais devem ser fornecidos para aplicativos baseados em nuvem. Portanto, a replicação de dados torna-se uma importante tática de modernização.

A plataforma Qlik Data Integration inclui o Qlik Replicate, que faz a replicação de dados. Ele usa a captura de dados de alteração para replicar armazenamentos de dados locais em tempo real para o Azure. Os dados de alteração podem vir dos logs de alteração do DB2, IMS e VSAM. Essa técnica de replicação elimina cargas em massa em lote inconvenientes. Essa solução usa uma instância local da Qlik para replicar fontes de dados locais para o Azure em tempo real.

Potenciais casos de utilização

Esta solução pode ser apropriada para:

  • Ambientes híbridos que exigem replicação de alterações de dados de um sistema mainframe ou midrange para bancos de dados do Azure.

  • Migração de banco de dados online do DB2 para um banco de dados SQL do Azure com pouco tempo de inatividade.

  • Replicação de dados de vários armazenamentos de dados locais para o Azure para consolidação e análise.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Fiabilidade

A confiabilidade ajuda a garantir que seu aplicativo possa cumprir os compromissos que você assume com seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para confiabilidade.

  • O Qlik Data Integration pode ser configurado em um cluster de alta disponibilidade.

  • Os serviços de base de dados Azure suportam redundância de zonas. Pode projetá-los para realizar uma transferência automática para um nó secundário durante uma janela de manutenção ou uma falha.

  • O Fabric proporciona resiliência regional através de zonas de disponibilidade e apoia a recuperação entre regiões.

Segurança

A segurança fornece garantias contra ataques deliberados e o uso indevido de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design para segurança.

  • O ExpressRoute fornece uma conexão privada e eficiente com o Azure localmente, mas você pode usar uma VPN site a site .

  • Os recursos do Azure podem ser autenticados usando a ID do Microsoft Entra e as permissões são gerenciadas por meio do controle de acesso baseado em função.

  • Os serviços de base de dados Azure e o Fabric suportam várias opções de segurança, incluindo as seguintes capacidades:

    • Encriptação de dados em repouso

    • Mascaramento dinâmico de dados

    • Bases de dados sempre encriptadas

  • Para mais informações, consulte a documentação de segurança do Azure e a documentação de segurança do Fabric.

Otimização de Custos

A Otimização de Custos concentra-se em formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de design para otimização de custos.

Para estimar custos para a sua implementação, use a calculadora de preços Azure e o estimador de preços Fabric.

Excelência Operacional

A Excelência Operacional abrange os processos operacionais que implantam um aplicativo e o mantêm em execução na produção. Para obter mais informações, consulte Lista de verificação de revisão de design para excelência operacional.

Você pode combinar os recursos do Application Insights e do Log Analytics para monitorar a integridade dos recursos do Azure. Você pode definir alertas para que possa gerenciar problemas proativamente.

O Fabric permite a excelência operacional ao unificar governação, observabilidade e padrões de engenharia resilientes. Esta unificação ocorre em OneLake, Fabric Data Warehouse, Fabric Data Engineer, Fabric Real-Time Intelligence e outras cargas de trabalho.

Eficiência de desempenho

A Eficiência de Desempenho refere-se à capacidade da sua carga de trabalho de escalar para atender às demandas dos usuários de forma eficiente. Para obter mais informações, consulte Lista de verificação de revisão de projeto para eficiência de desempenho.

Fabric, Azure Databricks, Data Lake Storage e outros serviços de base de dados Azure têm capacidades de autoescalonamento. Para obter mais informações, consulte Autoscaling.

Contribuidores

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.

Principais autores:

Outros contribuidores:

Para ver perfis não públicos do LinkedIn, faça login no LinkedIn.

Próximos passos