Compartir a través de

Modernización de los datos de sistema central y de rango medio

Azure Cosmos DB
Azure Data Lake
Azure SQL Database
Instancia administrada de Azure SQL
Azure Storage

Apache®, Spark y el logotipo de llama son marcas comerciales registradas o marcas comerciales de Apache Software Foundation en los Estados Unidos y/o en otros países. El uso de estas marcas no implica ninguna aprobación de The Apache Software Foundation.

En este artículo se describe un plan de modernización de un extremo a otro para orígenes de datos de sistema central y de rango medio. La modernización ayuda a mejorar la escalabilidad y el rendimiento de las cargas de trabajo críticas.

Architecture

Diagrama de arquitectura que muestra cómo modernizar los sistemas centrales y de rango medio mediante la migración de datos a Azure.

Descargue un archivo de Visio de esta arquitectura.

Dataflow

El siguiente flujo de datos corresponde al diagrama anterior:

  1. Los sistemas centrales y intermedios almacenan datos en los siguientes orígenes de datos.

    • Sistemas de archivos:

      • Método de acceso al almacenamiento virtual (VSAM)
      • Archivos planos
      • Sistema de archivos de cinta lineal

    • Bases de datos relacionales:

      • Db2 para z/OS
      • Db2 para IBM i
      • Db2 para Linux UNIX y Windows

    • Bases de datos no rerelationales:

      • Sistema de administración de información (IMS)
      • Adabas
      • Sistema integrado de administración de bases de datos (IDMS)

  2. El proceso de conversión de objetos extrae definiciones de objetos de objetos de origen. A continuación, las definiciones se convierten en objetos correspondientes en el almacén de datos de destino.

    • SQL Server Migration Assistant para Db2 migra esquemas y datos de bases de datos de IBM Db2 a bases de datos de Azure.

    • El proveedor de datos administrados para archivos host convierte objetos por:

      • Análisis de los diseños de registros del generador de programas de informes o de lenguaje común orientado a la empresa (COBOL) o copybooks.
      • Asignación de los copybooks a objetos de C# que usan las aplicaciones .NET.

    • La herramienta Db2toAzurePostgreSQL migra objetos de base de datos de Db2 a Azure Database for PostgreSQL.

    • Las herramientas de asociados realizan la conversión automatizada de objetos en bases de datos norelationales, sistemas de archivos y otros almacenes de datos.

  3. Los datos se ingieren y transforman. Los sistemas centrales y intermedios almacenan sus datos del sistema de archivos en formato codificado con EBCDIC en formatos de archivo como:

    • Archivos VSAM indexados.
    • Archivos GDG no indexados.
    • Archivos planos.

    CoBOL, Programming Language One y los copybooks del lenguaje de ensamblado definen la estructura de datos de estos archivos.

    a. El Protocolo de transferencia de archivos (FTP) transfiere conjuntos de datos del sistema de archivos central y de rango medio y sus correspondientes copybooks a Azure. Estos conjuntos de datos tienen diseños únicos y campos desempaquetados en formato binario.

    b. La conversión de datos se realiza mediante el desarrollo de programas personalizados mediante el componente de archivo host de Host Integration Server o mediante el conector integrado para archivos host de IBM en Azure Logic Apps.

    El convertidor de Spark Notebook se desarrolla mediante marcos de Spark de código abierto. Es compatible con entornos de Spark, como Microsoft Fabric y Azure Databricks.

    c. Se migran los datos de la base de datos relacional.

    Los sistemas centrales y de rango medio de IBM almacenan datos en bases de datos relacionales como:

    Los siguientes servicios migran los datos de la base de datos:

    • Azure Data Factory usa un conector db2 para extraer e integrar datos de las bases de datos.
    • SQL Server Integration Services controla varias tareas de extracción, transformación y carga de datos.
    • Fabric Data Factory usa el conector IBM Db2 para migrar datos de Db2.

    d. Se migran los datos de la base de datos no rerelational.

    Los sistemas centrales e intermedios de IBM almacenan datos en bases de datos no rerelaciones como:

    Los productos asociados integran datos de estas bases de datos.

  4. Herramientas de Azure como Azure Data Factory y AzCopy cargan datos en bases de datos de Azure y almacenamiento de datos de Azure. También puede usar soluciones de asociados y soluciones de carga personalizadas para cargar datos.

  5. Azure proporciona varios servicios de base de datos, incluidos servicios de base de datos relacionales totalmente administrados, como Azure SQL Database y opciones NoSQL, como Azure Cosmos DB. Estos servicios están diseñados para escalabilidad, flexibilidad y distribución global.

    Azure también proporciona una variedad de soluciones de almacenamiento, como Azure Blob Storage para datos no estructurados y Azure Files para recursos compartidos de archivos totalmente administrados.

  6. Los servicios de Azure usan el nivel de datos modernizado para la computación, el análisis, el almacenamiento y las redes.

  7. Las aplicaciones cliente también usan el nivel de datos modernizado.

Components

Esta arquitectura usa los siguientes componentes.

Almacenamiento de datos

En esta arquitectura se describe cómo migrar datos a bases de datos en la nube escalables y más seguras para la administración de datos flexible e inteligente en Azure.

  • Azure Cosmos DB es una base de datos NoSQL distribuida globalmente de varios modelos. En esta arquitectura, Azure Cosmos DB sirve como destino NoSQL escalable para modernizar bases de datos centrales no rerelationales como IMS e IDMS.

  • Azure Database for MySQL es un servicio de base de datos relacional totalmente administrado basado en la edición community del motor de base de datos MySQL de código abierto. En esta arquitectura, Azure Database for MySQL proporciona otra opción de destino de base de datos relacional para los datos del sistema central migrados.

  • Azure Database for PostgreSQL es un servicio de base de datos relacional totalmente administrado basado en la edición community del motor de base de datos PostgreSQL de código abierto. En esta arquitectura, Azure Database for PostgreSQL proporciona una base de datos de destino alternativa para la migración de datos relacionales del sistema central.

  • SQL Database forma parte de la familia de Azure SQL. Está diseñado para la nube y proporciona todas las ventajas de una plataforma como servicio (PaaS) totalmente administrada y perenne. SQL Database también proporciona características automatizadas basadas en IA que optimizan el rendimiento y la durabilidad. Las opciones de proceso sin servidor y almacenamiento de Hiperescala escalan automáticamente los recursos a petición. En esta arquitectura, SQL Database actúa como base de datos de destino para migrar datos relacionales desde sistemas db2 del sistema central.

  • Azure SQL Managed Instance es un servicio de base de datos en la nube que proporciona todas las ventajas de un PaaS totalmente administrado y perenne. SQL Managed Instance tiene casi completa compatibilidad con el motor de base de datos sql Server Enterprise Edition más reciente. También proporciona una implementación de red virtual nativa que aborda problemas de seguridad comunes. En esta arquitectura, SQL Managed Instance actúa como destino para los datos del sistema central que requieren compatibilidad de SQL Server y características empresariales.

  • Azure Data Lake Storage es un repositorio de almacenamiento que contiene grandes cantidades de datos en su formato nativo y sin procesar. Los almacenes de Data Lake están optimizados para escalar a terabytes y petabytes de datos. Normalmente, los datos proceden de varios orígenes heterogéneos. Puede ser estructurado, semiestructurado o no estructurado. En esta arquitectura, Data Lake Storage proporciona almacenamiento escalable para los datos convertidos del sistema de archivos del sistema central y sirve como área de almacenamiento provisional para la transformación de datos.

  • Microsoft Fabric Lakehouse es una plataforma de arquitectura de datos para almacenar, administrar y analizar datos estructurados y no estructurados en una sola ubicación. En esta arquitectura, Microsoft Fabric Lakehouse actúa como una plataforma de análisis unificada para los datos sin procesar del sistema central y los conjuntos de datos procesados.

  • SQL Database en Microsoft Fabric es una base de datos transaccional fácil de desarrolladores basada en SQL Database. Puede usarlo para crear la base de datos operativa en Fabric. Una base de datos SQL de Fabric usa el mismo motor de base de datos SQL que SQL Database. En esta arquitectura, SQL Database en Microsoft Fabric proporciona una opción moderna de base de datos transaccional para los datos operativos del sistema central migrado.

Compute

  • Azure Data Factory es el servicio de integración de datos basado en la nube de Microsoft que integra datos en distintos entornos de red mediante un entorno de ejecución de integración (IR), que es una infraestructura de proceso. Azure Data Factory copia datos entre almacenes de datos en la nube y almacenes de datos en redes locales mediante IRs autohospedados. En esta arquitectura, Azure Data Factory organiza todo el proceso de migración de datos de orígenes del sistema central a destinos de Azure.

  • La puerta de enlace de datos local es una aplicación cliente de Windows instalada localmente que actúa como puente entre los orígenes de datos locales y los servicios locales de Microsoft Cloud. En esta arquitectura, la puerta de enlace de datos local establece una conectividad segura entre los sistemas centrales y los servicios de Azure.

  • Azure Virtual Machines es una oferta de infraestructura como servicio (IaaS) que proporciona recursos informáticos escalables a petición. Una máquina virtual (VM) de Azure proporciona la flexibilidad de virtualización, pero elimina las demandas de mantenimiento del hardware físico. Las máquinas virtuales de Azure proporcionan una opción de sistemas operativos, incluidos Windows y Linux. En esta arquitectura, Azure Virtual Machines hospeda herramientas de migración como SQL Server Migration Assistant para Db2 y aplicaciones de conversión personalizadas.

Integradores de datos

En esta arquitectura se describen varias herramientas de migración nativas de Azure que se usan en función de los datos de origen del sistema central y de la base de datos de destino.

  • azure Data Factory es un servicio de integración de datos híbrido. Azure Data Factory migra datos de orígenes de Db2 a destinos de base de datos de Azure mediante conectores nativos. En esta arquitectura, Azure Data Factory actúa como servicio de integración de datos principal para orquestar flujos de trabajo de migración de datos del sistema central.

  • AzCopy es una utilidad de línea de comandos que mueve blobs o archivos a cuentas de almacenamiento y fuera de ellas. En esta arquitectura, AzCopy transfiere grandes volúmenes de datos del sistema de archivos del sistema central a Azure Storage durante el proceso de migración.

  • SQL Server Integration Services es una plataforma para crear soluciones de transformación e integración de datos de nivel empresarial. En esta arquitectura, se usa para organizar las tareas de transformación de datos durante la migración del sistema central, como:

    • Copia o descarga de archivos.
    • Carga de almacenes de datos.
    • Limpieza y minería de datos.
    • Administración de objetos y datos de SQL Server.

  • Las tecnologías y herramientas de Host Integration Server pueden integrar los sistemas host, programas, mensajes y datos existentes de IBM con aplicaciones de Azure. El componente de cliente de archivos de host proporciona flexibilidad para los datos convertidos de EBCDIC a ASCII. Por ejemplo, puede generar datos en formato JSON o XML a partir de los datos convertidos. En esta arquitectura, Host Integration Server convierte los datos del sistema central codificados con EBCDIC en formato ASCII para el consumo de Azure.

  • Microsoft Fabric es una plataforma de análisis integral y lista para la empresa. Unifica el movimiento de datos, el procesamiento de datos, la ingesta, la transformación, el enrutamiento de eventos en tiempo real y la creación de informes. Admite estas funcionalidades mediante los siguientes servicios integrados:

    • Ingeniero de datos de tejido
    • Fábrica de Datos de Fabric
    • Ciencia de datos de Fabric
    • Inteligencia en Tiempo Real de Fabric
    • Almacenamiento de datos de tejido
    • Bases de datos de tejido

En esta arquitectura, Fabric proporciona una plataforma de análisis completa para la modernización de datos del sistema central de un extremo a otro e inteligencia empresarial.

Otras herramientas

  • SQL Server Migration Assistant para Db2 automatiza la migración de Db2 a los servicios de base de datos de Microsoft. Cuando esta herramienta se ejecuta en una máquina virtual, convierte objetos de base de datos db2 en objetos de base de datos de SQL Server y crea esos objetos en SQL Server. En esta arquitectura, SQL Server Migration Assistant para Db2 automatiza la conversión de esquemas y objetos de base de datos db2 del sistema central a destinos de base de datos de Azure.

  • El proveedor de datos para archivos de host es un componente de Host Integration Server que usa conexiones sin conexión, SNA o TCP/IP.

    • Con las conexiones sin conexión, el proveedor de datos lee y escribe registros en un archivo binario local.
    • Con conexiones SNA y TCP/IP, el proveedor de datos lee y escribe registros almacenados en conjuntos de datos remotos z/OS (sistema central de la serie IBM Z) o archivos físicos remotos de i5/OS (SISTEMAS IBM AS/400 e iSeries). Solo los sistemas i5/OS usan TCP/IP.

    En esta arquitectura, el proveedor de datos para archivos host permite la conectividad y el acceso a los datos entre los sistemas de archivos del sistema central y las aplicaciones de Azure.

  • Los servicios de Azure proporcionan entornos, herramientas y procesos para desarrollar y escalar nuevas aplicaciones en la nube pública. En esta arquitectura, los servicios de Azure proporcionan la plataforma en la nube de destino para las aplicaciones de sistema central modernizadas y las cargas de trabajo de análisis de datos.

Detalles del escenario

Las soluciones de almacenamiento de datos modernas, como la plataforma de datos de Azure, proporcionan una mejor escalabilidad y rendimiento que los sistemas centrales y de rango medio. Al modernizar los sistemas, puede aprovechar estas ventajas. Sin embargo, la actualización de la tecnología, la infraestructura y las prácticas es compleja. El proceso implica una investigación exhaustiva de las actividades empresariales y de ingeniería. La administración de datos es una consideración al modernizar los sistemas. También debe examinar la visualización y la integración de datos.

Las modernizacións correctas usan una estrategia de primera vez en los datos. Al usar este enfoque, se centra en los datos en lugar del nuevo sistema. La administración de datos ya no es solo un elemento de la lista de comprobación de modernización. En su lugar, los datos son la pieza central. Las soluciones de datos coordinadas y orientadas a la calidad reemplazan a las fragmentadas, mal reguladas.

Esta solución usa componentes de la plataforma de datos de Azure en un enfoque primero de datos. En concreto, la solución implica:

  • Conversión de objetos. Convierta las definiciones de objeto del almacén de datos de origen en los objetos correspondientes del almacén de datos de destino.

  • Ingesta de datos. Conéctese al almacén de datos de origen y extraiga datos.

  • Transformación de datos. Transforme los datos extraídos en estructuras de almacén de datos de destino adecuadas.

  • Almacenamiento de datos. Cargue datos desde el almacén de datos de origen al almacén de datos de destino, tanto inicial como continuamente.

Casos de uso potenciales

Las organizaciones que usan sistemas centrales y de rango medio pueden beneficiarse de esta solución, especialmente cuando quieren:

  • Modernice las cargas de trabajo críticas.

  • Adquiera inteligencia empresarial para mejorar las operaciones y obtener una ventaja competitiva.

  • Quite los altos costos y la rigidez asociados a los almacenes de datos de sistema central y de rango medio.

Considerations

Estas consideraciones implementan los pilares de Azure Well-Architected Framework, que es un conjunto de principios rectores que puede usar para mejorar la calidad de una carga de trabajo. Para obtener más información, vea Well-Architected Framework.

Security

La seguridad proporciona garantías contra ataques deliberados y el uso indebido de sus valiosos datos y sistemas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para seguridad.

Optimización de costos

La optimización de costos se centra en formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costes.

  • SQL Server Migration Assistant es una herramienta gratuita y compatible que simplifica la migración de bases de datos de Db2 a SQL Server, SQL Database e Instancia administrada de SQL. SQL Server Migration Assistant automatiza todos los aspectos de la migración, incluidos el análisis de evaluación de la migración, la conversión de esquemas y instrucciones SQL y la migración de datos.

  • La solución basada en Microsoft Fabric Lakehouse se basa en tecnologías de código abierto (Delta Lake, Apache Spark). Este enfoque elimina la carga financiera de las herramientas de conversión de licencias y proporciona una experiencia unificada de SaaS para el análisis.

  • Use la calculadora de precios de Azure para estimar el costo de la implementación de esta solución.

Eficiencia del rendimiento

La eficiencia del rendimiento hace referencia a la capacidad de escalado de la carga de trabajo para satisfacer las demandas de los usuarios de forma eficaz. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

  • Los pilares clave de la eficiencia del rendimiento son la administración del rendimiento, el planeamiento de la capacidad, la escalabilidad y la elección de un patrón de rendimiento adecuado.

  • Puede escalar horizontalmente el entorno de ejecución de integración autohospedado asociando la instancia lógica con varias máquinas locales en modo activo-activo.

  • Use SQL Database para escalar dinámicamente las bases de datos. El nivel Sin servidor puede escalar automáticamente los recursos de proceso. Los grupos elásticos permiten que las bases de datos compartan recursos en un grupo y solo se pueden escalar manualmente.

Cuando use el cliente proveedor de datos para archivos de host para convertir datos, active la agrupación de conexiones para reducir el tiempo de inicio de la conexión. Al usar Azure Data Factory para extraer datos, ajuste el rendimiento de la actividad de copia.

Contributors

Microsoft mantiene este artículo. Los colaboradores siguientes escribieron este artículo.

Autor principal:

Otros colaboradores:

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes

Consulte las guías de Azure Database Migration. Póngase en contacto con Azure Data Engineering - Mainframe & Midrange Modernization para obtener más información.

Vea los artículos siguientes: