Partilhar via

Modernize dados de mainframe e midrange

Azure Cosmos DB
Azure Data Lake
Base de Dados SQL do Azure
Instância Gerida do SQL do Azure
Armazenamento do Azure

Apache®, Spark e o logotipo flame são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.

Este artigo descreve um plano de modernização completo para fontes de dados de mainframe e midrange. A modernização ajuda a melhorar a escalabilidade e o desempenho para suas cargas de trabalho de missão crítica.

Architecture

Diagrama de arquitetura que mostra como modernizar sistemas de mainframe e midrange migrando dados para o Azure.

Descarregue um ficheiro Visio desta arquitetura.

Dataflow

O seguinte fluxo de dados corresponde ao diagrama anterior:

  1. Os sistemas de mainframe e midrange armazenam dados nas seguintes fontes de dados.

    • Sistemas de ficheiros:

      • Método de acesso ao armazenamento virtual (VSAM)
      • Arquivos simples
      • Sistema de arquivos de fita linear

    • Bases de dados relacionais:

      • DB2 para z/OS
      • DB2 para IBM i
      • db2 para Linux, UNIX e Windows

    • Bases de dados não relacionais:

      • Sistema de Gestão da Informação (SGI)
      • Adabas
      • Sistema Integrado de Gestão de Base de Dados (IDMS)

  2. O processo de conversão de objetos extrai definições de objeto de objetos de origem. As definições são então convertidas em objetos correspondentes no armazenamento de dados de destino.

    • O Assistente de Migração do SQL Server para DB2 migra esquemas e dados de bancos de dados IBM Db2 para bancos de dados do Azure.

    • O Managed Data Provider for Host Files converte objetos por:

      • Análise de linguagem comum orientada a negócios (COBOL) e layouts de registro do Gerador de Programa de Relatórios, ou copybooks.
      • Mapeando os copybooks para objetos C# que os aplicativos .NET usam.

    • A ferramenta Db2toAzurePostgreSQL migra objetos de banco de dados do DB2 para o Banco de Dados do Azure para PostgreSQL.

    • As ferramentas de parceiros executam a conversão automatizada de objetos em bancos de dados não relacionais, sistemas de arquivos e outros armazenamentos de dados.

  3. Os dados são ingeridos e transformados. Os sistemas mainframe e midrange armazenam seus dados do sistema de arquivos no formato codificado pelo EBCDIC em formatos de arquivo como:

    • Arquivos VSAM indexados.
    • Arquivos GDG não indexados.
    • Arquivos simples.

    COBOL, Programming Language One e copybooks de linguagem assembly definem a estrutura de dados desses arquivos.

    a. O Protocolo de Transferência de Arquivos (FTP) transfere conjuntos de dados de mainframe e sistema de arquivos midrange e seus copybooks correspondentes para o Azure. Esses conjuntos de dados têm layouts únicos e campos descompactados em formato binário.

    b. A conversão de dados é realizada desenvolvendo programas personalizados usando o componente de arquivo host do Host Integration Server ou usando o conector interno para arquivos de host IBM em Aplicativos Lógicos do Azure.

    O conversor Spark Notebook é desenvolvido usando estruturas Spark de código aberto. É compatível com ambientes Spark, como Microsoft Fabric e Azure Databricks.

    c. Os dados do banco de dados relacional são migrados.

    Os sistemas de mainframe e midrange da IBM armazenam dados em bancos de dados relacionais como:

    Os seguintes serviços migram os dados do banco de dados:

    • O Azure Data Factory usa um conector DB2 para extrair e integrar dados dos bancos de dados.
    • O SQL Server Integration Services lida com várias tarefas de extração, transformação e carregamento de dados.
    • O Fabric Data Factory usa o conector IBM Db2 para migrar dados DB2.

    d. Os dados do banco de dados não relacional são migrados.

    Os sistemas de mainframe e midrange da IBM armazenam dados em bancos de dados não relacionais como:

    Os produtos de parceiros integram dados dessas bases de dados.

  4. Ferramentas do Azure como o Azure Data Factory e o AzCopy carregam dados em bancos de dados do Azure e armazenamento de dados do Azure. Você também pode usar soluções de parceiros e soluções de carregamento personalizadas para carregar dados.

  5. O Azure fornece vários serviços de banco de dados, incluindo serviços de banco de dados relacional totalmente gerenciados, como o Banco de Dados SQL do Azure, e opções NoSQL, como o Azure Cosmos DB. Esses serviços são projetados para escalabilidade, flexibilidade e distribuição global.

    O Azure também fornece uma variedade de soluções de armazenamento, incluindo o Armazenamento de Blobs do Azure para dados não estruturados e os Arquivos do Azure para compartilhamentos de arquivos totalmente gerenciados.

  6. Os serviços do Azure usam a camada de dados modernizada para computação, análise, armazenamento e rede.

  7. Os aplicativos cliente também usam a camada de dados modernizada.

Components

Essa arquitetura usa os seguintes componentes.

Armazenamento de dados

Essa arquitetura descreve como migrar dados para armazenamento em nuvem escalável e mais seguro e bancos de dados gerenciados para gerenciamento de dados flexível e inteligente no Azure.

  • O Azure Cosmos DB é um banco de dados NoSQL de vários modelos distribuído globalmente. Nessa arquitetura, o Azure Cosmos DB serve como um destino NoSQL escalável para modernizar bancos de dados de mainframe não relacionais, como IMS e IDMS.

  • O Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional totalmente gerenciado baseado na edição da comunidade do mecanismo de banco de dados MySQL de código aberto. Nessa arquitetura, o Banco de Dados do Azure para MySQL fornece outra opção de destino de banco de dados relacional para dados de mainframe migrados.

  • O Banco de Dados do Azure para PostgreSQL é um serviço de banco de dados relacional totalmente gerenciado baseado na edição da comunidade do mecanismo de banco de dados PostgreSQL de código aberto. Nessa arquitetura, o Banco de Dados do Azure para PostgreSQL fornece um banco de dados de destino alternativo para migração de dados relacionais de mainframe.

  • O Banco de Dados SQL faz parte da família SQL do Azure. Ele foi projetado para a nuvem e oferece todos os benefícios de uma plataforma como serviço (PaaS) totalmente gerenciada e perene. O Banco de Dados SQL também fornece recursos automatizados baseados em IA que otimizam o desempenho e a durabilidade. As opções de computação sem servidor e armazenamento Hyperscale dimensionam automaticamente os recursos sob demanda. Nessa arquitetura, o Banco de dados SQL serve como um banco de dados de destino para dados relacionais migrados de sistemas DB2 de mainframe.

  • A Instância Gerenciada SQL do Azure é um serviço de banco de dados em nuvem que fornece todos os benefícios de um PaaS totalmente gerenciado e perene. A Instância Gerenciada SQL tem compatibilidade quase completa com o mecanismo de banco de dados SQL Server Enterprise Edition mais recente. Ele também fornece uma implementação de rede virtual nativa que aborda preocupações comuns de segurança. Nessa arquitetura, a Instância Gerenciada do SQL serve como destino para dados de mainframe que exigem compatibilidade com o SQL Server e recursos corporativos.

  • O Armazenamento Azure Data Lake é um repositório de armazenamento que contém grandes quantidades de dados em seu formato nativo bruto. Os armazenamentos de data lake são otimizados para dimensionamento para terabytes e petabytes de dados. Os dados normalmente vêm de várias fontes heterogêneas. Pode ser estruturado, semi-estruturado ou não estruturado. Nessa arquitetura, o Data Lake Storage fornece armazenamento escalável para dados convertidos do sistema de arquivos de mainframe e serve como uma área de preparação para a transformação de dados.

  • Microsoft Fabric Lakehouse é uma plataforma de arquitetura de dados para armazenar, gerenciar e analisar dados estruturados e não estruturados em um único local. Nessa arquitetura, o Microsoft Fabric Lakehouse serve como uma plataforma de análise unificada para dados brutos de mainframe e conjuntos de dados processados.

  • O banco de dados SQL no Microsoft Fabric é um banco de dados transacional amigável para desenvolvedores baseado no Banco de dados SQL. Você pode usá-lo para criar seu banco de dados operacional no Fabric. Um banco de dados SQL no Fabric usa o mesmo mecanismo de banco de dados SQL que o Banco de dados SQL. Nessa arquitetura, o banco de dados SQL no Microsoft Fabric fornece uma opção moderna de banco de dados transacional para dados operacionais de mainframe migrados.

Computação

  • O Azure Data Factory é o serviço de integração de dados baseado em nuvem da Microsoft que integra dados em diferentes ambientes de rede usando um tempo de execução de integração (IR), que é uma infraestrutura de computação. O Azure Data Factory copia dados entre armazenamentos de dados na nuvem e armazenamentos de dados em redes locais usando IRs auto-hospedados. Nessa arquitetura, o Azure Data Factory orquestra todo o processo de migração de dados de fontes de mainframe para destinos do Azure.

  • O gateway de dados local é um aplicativo cliente do Windows instalado localmente que serve como uma ponte entre suas fontes de dados locais e serviços no Microsoft Cloud. Nessa arquitetura, o gateway de dados local estabelece conectividade segura entre sistemas de mainframe e serviços do Azure.

  • As Máquinas Virtuais do Azure são uma oferta de infraestrutura como serviço (IaaS) que fornece recursos de computação escaláveis sob demanda. Uma máquina virtual (VM) do Azure fornece a flexibilidade da virtualização, mas elimina as demandas de manutenção do hardware físico. As VMs do Azure oferecem uma variedade de sistemas operacionais, incluindo Windows e Linux. Nessa arquitetura, as Máquinas Virtuais do Azure hospedam ferramentas de migração como o Assistente de Migração do SQL Server para DB2 e aplicativos de conversão personalizados.

Integradores de dados

Essa arquitetura descreve várias ferramentas de migração nativas do Azure que você usa dependendo dos dados de origem do mainframe e do banco de dados de destino.

  • Azure Data Factory é um serviço híbrido de integração de dados. O Azure Data Factory migra dados de fontes do DB2 para destinos de banco de dados do Azure usando conectores nativos. Nessa arquitetura, o Azure Data Factory serve como o principal serviço de integração de dados para orquestrar fluxos de trabalho de migração de dados de mainframe.

  • AzCopy é um utilitário de linha de comando que move blobs ou arquivos para dentro e para fora de contas de armazenamento. Nessa arquitetura, o AzCopy transfere grandes volumes de dados do sistema de arquivos de mainframe para o Armazenamento do Azure durante o processo de migração.

  • O SQL Server Integration Services é uma plataforma para criar soluções de integração e transformação de dados de nível empresarial. Nessa arquitetura, você a usa para orquestrar tarefas de transformação de dados durante a migração de mainframe, como:

    • Copiar ou descarregar ficheiros.
    • Carregamento de armazéns de dados.
    • Limpeza e mineração de dados.
    • Gerenciando objetos e dados do SQL Server.

  • As tecnologias e ferramentas do Host Integration Server podem integrar sistemas, programas, mensagens e dados de host IBM existentes com aplicativos do Azure. O componente cliente de arquivo host fornece flexibilidade para dados que são convertidos de EBCDIC para ASCII. Por exemplo, você pode gerar dados em formato JSON ou XML a partir dos dados convertidos. Nessa arquitetura, o Host Integration Server converte dados de mainframe codificados em EBCDIC para o formato ASCII para consumo do Azure.

  • O Microsoft Fabric é uma plataforma de análise completa e pronta para empresas. Ele unifica a movimentação de dados, o processamento de dados, a ingestão, a transformação, o roteamento de eventos em tempo real e a criação de relatórios. Ele suporta esses recursos usando os seguintes serviços integrados:

    • Engenheiro de dados de malha
    • Fábrica de Dados Fabric
    • Ciência de dados de malha
    • Tecido Real-Time Inteligência
    • Armazém de Dados Fabric
    • Bancos de dados de tecido

Nessa arquitetura, o Fabric fornece uma plataforma de análise abrangente para modernização completa de dados de mainframe e business intelligence.

Outras ferramentas

  • O Assistente de Migração do SQL Server para DB2 automatiza a migração do DB2 para os serviços de banco de dados da Microsoft. Quando essa ferramenta é executada em uma VM, ela converte objetos de banco de dados DB2 em objetos de banco de dados do SQL Server e cria esses objetos no SQL Server. Nessa arquitetura, o Assistente de Migração do SQL Server para DB2 automatiza a conversão de esquemas e objetos de banco de dados DB2 de mainframe para destinos de banco de dados do Azure.

  • O Provedor de Dados para Arquivos Host é um componente do Host Integration Server que usa conexões offline, SNA ou TCP/IP.

    • Com conexões offline, o Provedor de Dados lê e grava registros em um arquivo binário local.
    • Com conexões SNA e TCP/IP, o Provedor de Dados lê e grava registros armazenados em conjuntos de dados remotos z/OS (MAINFRAME IBM Z SERIES) OU ARQUIVOS FÍSICOS I5/OS REMOTOS (SISTEMAS IBM AS/400 e iSeries). Apenas os sistemas i5/OS utilizam TCP/IP.

    Nessa arquitetura, o Provedor de Dados para Arquivos Host permite a conectividade e o acesso a dados entre sistemas de arquivos de mainframe e aplicativos do Azure.

  • Os serviços do Azure fornecem ambientes, ferramentas e processos para desenvolver e dimensionar novos aplicativos na nuvem pública. Nessa arquitetura, os serviços do Azure fornecem a plataforma de nuvem de destino para aplicativos de mainframe modernizados e cargas de trabalho de análise de dados.

Detalhes do cenário

As soluções modernas de armazenamento de dados, como a plataforma de dados do Azure, fornecem melhor escalabilidade e desempenho do que os sistemas de mainframe e midrange. Ao modernizar seus sistemas, você pode aproveitar esses benefícios. No entanto, a atualização da tecnologia, da infraestrutura e das práticas é complexa. O processo envolve uma investigação exaustiva das atividades de negócios e engenharia. O gerenciamento de dados é uma consideração quando você moderniza seus sistemas. Você também precisa examinar a visualização e a integração de dados.

Modernizações bem-sucedidas usam uma estratégia de prioridade aos dados. Ao usar essa abordagem, você se concentra nos dados e não no novo sistema. O gerenciamento de dados não é mais apenas um item na lista de verificação de modernização. Em vez disso, os dados são a peça central. As soluções de dados coordenadas e orientadas para a qualidade substituem as soluções fragmentadas e mal governadas.

Esta solução utiliza componentes da plataforma de dados do Azure numa abordagem data-first. Especificamente, a solução envolve:

  • Conversão de objetos. Converter definições de objeto do armazenamento de dados de origem em objetos correspondentes no armazenamento de dados de destino.

  • Ingestão de dados. Conecte-se ao armazenamento de dados de origem e extraia dados.

  • Transformação de dados. Transforme os dados extraídos em estruturas de armazenamento de dados de destino apropriadas.

  • Armazenamento de dados. Carregue dados do armazenamento de dados de origem para o armazenamento de dados de destino, inicial e continuamente.

Potenciais casos de utilização

As organizações que usam mainframe e sistemas midrange podem se beneficiar dessa solução, especialmente quando desejam:

  • Modernize cargas de trabalho de missão crítica.

  • Adquira business intelligence para melhorar as operações e obter uma vantagem competitiva.

  • Remova os altos custos e a rigidez associados aos armazenamentos de dados de mainframe e midrange.

Considerations

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Segurança

A segurança fornece garantias contra ataques deliberados e o uso indevido de seus valiosos dados e sistemas. Para obter mais informações, consulte Lista de verificação de revisão de design para segurança.

Otimização de Custos

A Otimização de Custos concentra-se em formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de design para otimização de custos.

  • O Assistente de Migração do SQL Server é uma ferramenta gratuita e com suporte que simplifica a migração do banco de dados do DB2 para o SQL Server, o Banco de Dados SQL e a Instância Gerenciada do SQL. O Assistente de Migração do SQL Server automatiza todos os aspetos da migração, incluindo análise de avaliação de migração, conversão de esquema e instrução SQL e migração de dados.

  • A solução baseada no Microsoft Fabric Lakehouse é construída em tecnologias de código aberto (Delta Lake, Apache Spark). Essa abordagem elimina a carga financeira das ferramentas de conversão de licenciamento e fornece uma experiência SaaS unificada para análises.

  • Use a calculadora de preços do Azure para estimar o custo de implementação dessa solução.

Eficiência de desempenho

A Eficiência de Desempenho refere-se à capacidade da sua carga de trabalho de escalar para atender às demandas dos usuários de forma eficiente. Para obter mais informações, consulte Lista de verificação de revisão de projeto para eficiência de desempenho.

  • Os principais pilares da Eficiência de Desempenho são o gerenciamento de desempenho, o planejamento de capacidade, a escalabilidade e a escolha de um padrão de desempenho adequado.

  • Você pode expandir o IR auto-hospedado associando a instância lógica a várias máquinas locais no modo ativo-ativo.

  • Use o Banco de dados SQL para dimensionar dinamicamente seus bancos de dados. A camada Serverless pode dimensionar automaticamente os recursos de computação. Os pools elásticos permitem que os bancos de dados compartilhem recursos em um pool e só podem ser dimensionados manualmente.

Quando você usa o cliente Provedor de Dados para Arquivos Host para converter dados, ative o pool de conexões para reduzir o tempo de inicialização da conexão. Ao usar o Azure Data Factory para extrair dados, ajuste o desempenho da atividade de cópia.

Contributors

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.

Autor principal:

Outros contribuidores:

Para ver perfis não públicos do LinkedIn, faça login no LinkedIn.

Próximos passos

Reveja os Guias de Migração da Base de Dados do Azure. Entre em contato com Azure Data Engineering - Mainframe & Midrange Modernization para obter mais informações.

Consulte os seguintes artigos: