Compartir a través de

Replicación de datos del sistema central mediante Precisely Connect

Azure SQL Database
Instancia administrada de Azure SQL
Azure Synapse Analytics
Azure Databricks
Azure Event Hubs

En este artículo se describe cómo usar Precisely Connect para migrar sistemas centrales y de rango medio a Azure. Precisamente Connect proporciona replicación de datos en tiempo real desde sistemas heredados a Azure mediante la tecnología de captura de datos modificados (CDC).

Esta solución proporciona coherencia de datos entre entornos de sistema central locales y servicios en la nube de Azure, a la vez que minimiza el efecto en el rendimiento del sistema de origen. La arquitectura admite varios orígenes de datos de sistema central y de rango medio y replica datos en destinos de Azure, como Azure SQL Database, Azure Event Hubs y Microsoft Fabric.

Apache®, Spark y el logotipo de la llama son marcas registradas o marcas comerciales de Apache Software Foundation en los Estados Unidos y otros países. El uso de estas marcas no implica la aprobación de Apache Software Foundation.

Arquitectura

Diagrama que muestra una arquitectura para migrar sistemas centrales y de rango medio a Azure.

Descargue un archivo Visio de esta arquitectura.

Flujo de trabajo

El siguiente flujo de trabajo corresponde al diagrama anterior:

  1. Un componente del agente de Connect captura los registros de cambios mediante las utilidades nativas de sistema central o de rango medio y almacena en caché los registros en el almacenamiento temporal.

  2. En el caso de los sistemas centrales, un componente de publicador en el sistema central administra la migración de datos.

  3. En el caso de los sistemas intermedios, un componente de escucha administra la migración de datos en lugar de un publicador. El escucha reside en una máquina Windows o Linux.

  4. El publicador o el cliente de escucha mueven los datos del entorno local a Azure a través de una conexión con seguridad mejorada. El publicador o el agente de escucha controla la confirmación y reversión de las transacciones para cada unidad de trabajo, que mantiene la integridad de los datos.

  5. El motor de replicador de Connect captura los datos del publicador o del cliente de escucha y los aplica al destino. Distribuye los datos para el procesamiento paralelo.

  6. Event Hubs incorpora cambios de datos en tiempo real de Precisely Connect para su procesamiento inmediato.

  7. Azure Databricks o Fabric (Apache Spark) procesan los datos ingeridos y, a continuación, se almacenan en destinos de Azure o en una instancia de Fabric Lakehouse o un almacén para el análisis de nivel inferior y la inteligencia empresarial (BI).

  8. El demonio del controlador de Connect autentica la solicitud y establece la conexión de socket entre el publicador o el cliente de escucha y el motor del replicador.

Componentes

Esta arquitectura usa los siguientes componentes.

Redes e identidad

  • Azure ExpressRoute es un servicio de conectividad que extiende las redes locales a la plataforma en la nube de Azure a través de una conexión privada desde un proveedor de conectividad. En esta arquitectura, ExpressRoute proporciona una conexión segura y de alto ancho de banda para replicar datos del sistema central en Azure.

  • Azure VPN Gateway es un servicio de puerta de enlace de red virtual que permite crear puertas de enlace de red virtual que envían tráfico cifrado entre una red virtual de Azure y una ubicación local a través de la red pública de Internet. En esta arquitectura, puede usar VPN Gateway como alternativa a ExpressRoute para conectar sistemas centrales a Azure cuando una conexión privada no está disponible.

  • Microsoft Entra ID es un servicio de administración de identidades y acceso que puede sincronizarse con Active Directory local. En esta arquitectura, Microsoft Entra ID administra la autenticación y el control de acceso para componentes de Conexión precisa que acceden a los recursos de Azure.

Almacenamiento

  • Azure Database for MySQL es un servicio de base de datos relacional administrado basado en la edición community del motor de base de datos MySQL de código abierto. En esta arquitectura, Azure Database for MySQL proporciona una opción de destino para los datos replicados del sistema central.

  • Azure Database for PostgreSQL es un servicio de base de datos relacional administrado basado en la edición community del motor de base de datos PostgreSQL de código abierto. En esta arquitectura, Azure Database for PostgreSQL puede servir como una base de datos de destino alternativa para la replicación de datos del sistema central.

  • Azure SQL Database es un motor de base de datos de plataforma como servicio (PaaS) que forma parte de la familia de Azure SQL. Está diseñado para la nube y proporciona todas las ventajas de un PaaS administrado y perenne. SQL Database también proporciona características automatizadas basadas en IA que optimizan el rendimiento y la durabilidad. Las opciones de almacenamiento de hiperescala y proceso sin servidor escalan automáticamente los recursos a petición. En esta arquitectura, SQL Database actúa como base de datos de destino para recibir datos de sistema central replicados a través de open Database Connectivity (ODBC) o conexiones de base de datos nativas.

  • Azure SQL Managed Instance es un servicio de base de datos en la nube que proporciona todas las ventajas de un PaaS administrado y perenne. SQL Managed Instance tiene una compatibilidad casi completa con el motor de base de datos de SQL Server Enterprise Edition más reciente. También proporciona una implementación de red virtual nativa que aborda problemas de seguridad comunes. En esta arquitectura, SQL Managed Instance puede servir como destino para los datos del sistema central que requieren compatibilidad con SQL Server.

  • Azure Storage es una solución de almacenamiento en la nube que incluye el almacenamiento de objetos, archivos, discos, colas y tablas. Entre los servicios se incluyen soluciones y herramientas de almacenamiento híbridas para transferir, compartir y realizar copias de seguridad de los datos. En esta arquitectura, Storage proporciona almacenamiento escalable para los datos replicados del sistema central y el almacenamiento en caché temporal.

  • OneLake es el lago de datos único unificado para Fabric. En esta arquitectura, OneLake actúa como almacenamiento para ingerir datos de Event Hubs.

  • Fabric es una plataforma de análisis que unifica el movimiento de datos, el procesamiento de datos, la ingesta, la transformación, el enrutamiento de eventos en tiempo real y la creación de informes. En esta arquitectura, Fabric (data lakes, almacenes de datos o bases de datos SQL dentro de Fabric) actúa como destino de almacenamiento relacional para el análisis y la capa de BI.

Análisis e informes

  • Power BI es un grupo de herramientas de análisis empresarial que pueden proporcionar información en toda la organización. Power BI puede conectarse a cientos de orígenes de datos, simplificar la preparación de datos e impulsar análisis no planeados. En esta arquitectura, Power BI proporciona funcionalidades de BI para analizar los datos del sistema central replicado. Power BI se integra de forma nativa con Fabric para el análisis unificado.

Supervisión

  • Azure Monitor es un servicio de supervisión que proporciona una solución para recopilar, analizar y actuar sobre la telemetría de entornos locales y en la nube. Entre las características se incluyen Application Insights, los registros de Azure Monitor y Log Analytics. En esta arquitectura, Azure Monitor proporciona supervisión y observabilidad para el proceso de replicación de datos y los recursos de Azure.

Integradores de datos

  • Azure Databricks es una plataforma de análisis unificada basada en Spark que se integra con bibliotecas de código abierto. Proporciona un área de trabajo colaborativa para ejecutar cargas de trabajo de análisis. Puede usar lenguajes Python, Scala, R y SQL para compilar canalizaciones de extracción, transformación, carga (ETL) y orquestar trabajos. En esta arquitectura, Azure Databricks procesa y transforma los datos del sistema central replicados para su consumo por parte de los servicios de la plataforma de datos de Azure.

  • Fabric es una plataforma de análisis con tecnología de inteligencia artificial de un extremo a otro que funciona en una plataforma de proceso de Spark administrada. En esta arquitectura, Fabric Spark ingiere y transforma los datos del sistema central replicados para que estén listos para su consumo por parte de la plataforma de datos de Azure y los servicios de Fabric en los procesos posteriores.

  • Event Hubs es un servicio de ingesta de datos en tiempo real que puede procesar millones de eventos por segundo. Puede ingerir datos de varios orígenes y usarlos para el análisis en tiempo real. Puede escalar Event Hubs en función del volumen de datos. En esta arquitectura, Event Hubs ingiere cambios de datos en tiempo real desde Precisamente Connect para el procesamiento y el análisis inmediatos.

  • Precisamente Connect es una plataforma de integración de datos que puede integrar datos de varios orígenes y proporcionar replicación en tiempo real a Azure. Puede usarlo para replicar datos sin realizar cambios en la aplicación. Precisely Connect también puede mejorar el rendimiento de los trabajos ETL. En esta arquitectura, Precisely Connect actúa como el motor de replicación de datos principal que captura y migra datos del sistema central a Azure en tiempo real.

Detalles del escenario

Puede usar varias estrategias para migrar sistemas centrales y de rango medio a Azure. La migración de datos desempeña un papel clave en este proceso. En una arquitectura de nube híbrida, debe replicar datos entre sistemas centrales o de rango medio y la plataforma de datos de Azure. Para mantener la integridad de los datos, necesita la replicación en tiempo real para las aplicaciones críticas para la empresa. Precisely Connect puede ayudarle a replicar datos de orígenes de datos de sistema central y de rango medio en la plataforma de datos de Azure en tiempo real mediante CDC o mediante la ingesta por lotes.

Precisely Connect admite diversas fuentes de datos de mainframe y de gama media, incluidas las siguientes fuentes:

  • Db2 z/OS
  • Db2 para Linux, UNIX y Windows (LUW)
  • Db2 para i
  • IBM Information Management System (IMS)
  • Método de acceso de almacenamiento virtual de IBM (VSAM)
  • Archivos y libros de copia

Precisamente Connect convierte los datos en formato consumible que Event Hubs ingiere para su procesamiento inmediato. Azure Databricks o Fabric procesa los datos ingeridos para su uso posterior y almacenamiento en objetivos de Azure. Estos destinos incluyen SQL Database, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Data Lake Storage y almacenes o resguardos de Fabric. Precisamente Connect también admite la escalabilidad en función del volumen de datos y los requisitos de los clientes. Replica los datos sin afectar al rendimiento ni a la tensión de la red.

Posibles casos de uso

  • Replicación de datos desde orígenes de datos centrales y intermedios a la plataforma de datos de Azure

  • En una arquitectura de nube híbrida, la sincronización de datos entre sistemas centrales o intermedios y la plataforma de datos de Azure

  • Análisis casi en tiempo real en Azure, en función de los datos operativos de sistemas centrales o intermedios

  • Migración de datos desde sistemas centrales o intermedios a Azure sin afectar a las aplicaciones

Consideraciones

Estas consideraciones implementan los pilares del Azure Well-Architected Framework, que es un conjunto de principios rectores que puede utilizar para mejorar la calidad de una carga de trabajo. Para obtener más información, vea Well-Architected Framework.

Confiabilidad

La confiabilidad ayuda a garantizar que la aplicación pueda cumplir los compromisos que realice para sus clientes. Para obtener más información, vea Lista de comprobación de revisión de diseño para lade confiabilidad.

Use Azure Monitor y Application Insights para supervisar la migración de datos. Establezca alertas para una administración proactiva.

Optimización de costos

La optimización de costos se centra en formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costos.

  • La replicación de datos en Azure y el procesamiento en los servicios de Azure pueden ahorrar dinero en comparación con el mantenimiento de datos en un sistema central.

  • La herramienta de administración de costos de Azure Portal proporciona una vista de análisis de costos que puede ayudarle a analizar los gastos.

  • Puede usar Azure Databricks para cambiar el tamaño del clúster mediante el escalado automático para optimizar los costos. Este enfoque puede ahorrar dinero en comparación con una configuración fija.

  • Azure Advisor proporciona recomendaciones para optimizar el rendimiento y la administración de costos.

Use la calculadora de precios de Azure para estimar el costo de la implementación de esta solución.

Eficiencia del rendimiento

La eficiencia del rendimiento hace referencia a la capacidad de escalado de la carga de trabajo para satisfacer las demandas de los usuarios de forma eficaz. Para obtener más información, vea Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

  • Precisely Connect puede escalar en función del volumen de datos y optimizar la replicación de datos.

  • El motor de replicador de Connect puede distribuir los datos para el procesamiento paralelo. Puede equilibrar la distribución en función de la ingesta de cargas de trabajo.

  • SQL Database sin servidor se puede escalar automáticamente en función del volumen de las cargas de trabajo.

  • Event Hubs se puede escalar en función de las unidades de procesamiento y el número de particiones.

Para más información, consulte los procedimientos recomendados del escalado automático en Azure.

Colaboradores

Microsoft mantiene este artículo. Los colaboradores siguientes escribieron este artículo.

Autor principal:

Otro colaborador:

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes