Freigeben über

Replizieren von Mainframedaten mithilfe von Precisely Connect

Azure SQL-Datenbank
Verwaltete Azure SQL-Instanz
Azure Synapse Analytics
Azure Databricks
Azure Event Hubs

In diesem Artikel wird beschrieben, wie Sie Precisely Connect verwenden, um Mainframe- und Midrangesysteme zu Azure zu migrieren. "Precisely Connect ermöglicht die Echtzeitdatenreplikation von Altsystemen zu Azure mithilfe der CDC-Technologie (Change Data Capture)."

Diese Lösung bietet Datenkonsistenz zwischen lokalen Großrechnerumgebungen und Azure-Clouddiensten und minimiert gleichzeitig die Auswirkung auf die Leistung des Quellsystems. Die Architektur unterstützt verschiedene Mainframe- und Midrange-Datenquellen und repliziert Daten in Azure-Ziele wie Azure SQL-Datenbank, Azure Event Hubs und Microsoft Fabric.

Apache®, Spark und das Flammenlogo sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Die Verwendung dieser Markierungen impliziert kein Endorsement durch die Apache Software Foundation.

Aufbau

Diagramm, das eine Architektur für die Migration von Mainframe- und Midrange-Systemen zu Azure zeigt.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Arbeitsablauf

Der folgende Workflow entspricht dem vorherigen Diagramm:

  1. Eine Connect-Agent-Komponente erfasst Änderungsprotokolle mithilfe nativer Mainframe- oder Midrangehilfsprogramme und speichert die Protokolle im temporären Speicher zwischen.

  2. Bei Mainframesystemen verwaltet eine Herausgeberkomponente auf dem Mainframe die Datenmigration.

  3. Bei Midrange-Systemen verwaltet eine Listener-Komponente die Datenmigration anstelle eines Herausgebers. Der Listener befindet sich auf einem Windows- oder Linux-Computer.

  4. Der Herausgeber oder Listener verschiebt die Daten über eine Verbindung mit erweiterter Sicherheit von dem lokalen Standort in Azure. Der Herausgeber oder Listener handhabt den Commit und das Rollback von Transaktionen für jede Arbeitseinheit, wodurch die Integrität der Daten erhalten bleibt.

  5. Die Connect Replicator-Engine erfasst die Daten vom Herausgeber oder Listener und wendet sie auf das Ziel an. Sie verteilt Daten für die parallele Verarbeitung.

  6. Event Hubs nimmt Echtzeitdatenänderungen von Precisely Connect auf und stellt sie zur sofortigen Verarbeitung bereit.

  7. Azure Databricks oder Fabric (Apache Spark) verarbeiten die erfassten Daten, die dann entweder in Azure-Zielen oder in einem Fabric Lakehouse oder Warenlager für nachgelagerte Analysen und Business Intelligence (BI) gespeichert werden.

  8. Der Connect Controller-Daemon authentifiziert die Anforderung und stellt die Socketverbindung zwischen dem Herausgeber oder Listener und der Replicator-Engine her.

Komponenten

Diese Architektur verwendet die folgenden Komponenten.

Netzwerk und Identität

  • Azure ExpressRoute ist ein Konnektivitätsdienst, der Ihre lokalen Netzwerke über eine private Verbindung von einem Konnektivitätsanbieter auf die Azure-Cloudplattform erweitert. In dieser Architektur bietet ExpressRoute eine sichere, hochbandbreite Verbindung zum Replizieren von Mainframedaten in Azure.

  • Azure VPN Gateway ist ein virtueller Netzwerkgatewaydienst, mit dem Sie virtuelle Netzwerkgateways erstellen können, die verschlüsselten Datenverkehr zwischen einem virtuellen Azure-Netzwerk und einem lokalen Standort über das öffentliche Internet senden. In dieser Architektur können Sie VPN-Gateway als Alternative zu ExpressRoute verwenden, um Großrechnersysteme mit Azure zu verbinden, wenn eine private Verbindung nicht verfügbar ist.

  • Microsoft Entra ID ist ein Identitäts- und Zugriffsverwaltungsdienst, der mit lokalem Active Directory synchronisiert werden kann. In dieser Architektur verwaltet Die Microsoft Entra-ID die Authentifizierungs- und Zugriffssteuerung für Präzises Verbinden von Komponenten, die auf Azure-Ressourcen zugreifen.

Lagerung

  • Azure Database for MySQL ist ein verwalteter relationaler Datenbankdienst, der auf der Community-Edition des Open-Source-MySQL-Datenbankmoduls basiert. In dieser Architektur bietet Azure Database for MySQL eine Zieloption für replizierte Mainframedaten.

  • Azure Database for PostgreSQL ist ein verwalteter relationaler Datenbankdienst, der auf der Community-Edition des Open-Source-PostgreSQL-Datenbankmoduls basiert. In dieser Architektur kann Azure-Datenbank für PostgreSQL als alternative Zieldatenbank für die Mainframedatenreplikation dienen.

  • Azure SQL-Datenbank ist eine Plattform als PaaS-Datenbankmodul, das Teil der Azure SQL-Familie ist. Es ist für die Cloud entwickelt und bietet alle Vorteile eines verwalteten PaaS, das immer aktuell ist. SQL-Datenbank bietet außerdem KI-gestützte, automatisierte Features zur Optimierung der Leistung und Dauerhaftigkeit. Serverloses Computing und Hyperscale-Speicheroptionen skalieren Ressourcen bei Bedarf automatisch. In dieser Architektur dient SQL-Datenbank als Zieldatenbank zum Empfangen replizierter Mainframedaten über Open Database Connectivity (ODBC) oder systemeigene Datenbankverbindungen.

  • Azure SQL Managed Instance ist ein Clouddatenbankdienst, der alle Vorteile eines verwalteten und evergreen PaaS bietet. Sql Managed Instance verfügt über nahezu vollständige Kompatibilität mit dem neuesten SQL Server Enterprise Edition-Datenbankmodul. Er bietet auch eine native Implementierung virtueller Netzwerke, die Lösungen für allgemeine Sicherheitsprobleme bereitstellt. In dieser Architektur kann sql Managed Instance als Ziel für Großrechnerdaten dienen, die SQL Server-Kompatibilität erfordern.

  • Azure Storage ist eine Cloudspeicherlösung, die Objekt-, Datei-, Datenträger-, Warteschlangen- und Tabellenspeicher bietet. Zu den Diensten gehören Hybridspeicherlösungen und Tools für das Übertragen, Freigeben und Sichern von Daten. In dieser Architektur bietet Storage skalierbaren Speicher für replizierte Mainframedaten und temporäres Zwischenspeichern.

  • OneLake ist der einheitliche, einzelne Datensee für Fabric. In dieser Architektur dient OneLake als Speicher zum Aufnehmen von Daten aus Event Hubs.

  • Fabric ist eine Analyseplattform, die Datenbewegungen, Datenverarbeitung, Erfassung, Transformation, Echtzeitereignisrouting und Berichtserstellung vereint. In dieser Architektur dient Fabric (Lakehouses, Warehouses oder SQL Database within Fabric) als relationales Speicherziel für Analysen und die BI-Ebene.

Analysen und Berichte

  • Power BI ist eine Gruppe von Business Analytics-Tools, die Einblicke in Ihre gesamte Organisation liefern können. Power BI kann eine Verbindung mit Hunderten von Datenquellen herstellen, die Datenvorbereitung vereinfachen und ungeplante Analysen fördern. In dieser Architektur bietet Power BI BI-Funktionen zum Analysieren replizierter Mainframe-Daten. Power BI ist nativ in Fabric für einheitliche Analysen integriert.

Überwachung

  • Azure Monitor ist ein Überwachungsdienst, der eine Lösung zum Sammeln, Analysieren und Handeln von Telemetrie aus Cloud- und lokalen Umgebungen bietet. Zu den Features gehören Application Insights, Azure Monitor-Protokolle und Log Analytics. In dieser Architektur bietet Azure Monitor Überwachung und Observability für den Datenreplikationsprozess und Azure-Ressourcen.

Datenintegratoren

  • Azure Databricks ist eine einheitliche Analyseplattform, die auf Spark basiert, die in Open-Source-Bibliotheken integriert wird. Es stellt einen Arbeitsbereich für die Zusammenarbeit für die Ausführung von Analyseworkloads bereit. Sie können Python-, Scala-, R- und SQL-Sprachen zum Erstellen von Extrakt-, Transformations-, Load-, Load-(ETL)-Pipelines und Orchestrierungsaufträgen verwenden. In dieser Architektur verarbeitet und transformiert Azure Databricks die replizierten Mainframedaten für den Verbrauch durch Azure Data Platform Services.

  • Fabric ist eine end-to-End KI-basierte Analyseplattform, die auf einer verwalteten Spark Compute-Plattform arbeitet. In dieser Architektur erfasst und transformiert Fabric Spark replizierte Mainframedaten, um sie für die Nutzung durch nachgeschaltete Azure-Datenplattform und Fabric-Dienste vorzubereiten.

  • Event Hubs ist ein Echtzeitdatenaufnahmedienst, der Millionen von Ereignissen pro Sekunde verarbeiten kann. Sie können Daten aus mehreren Quellen erfassen und für Echtzeitanalysen verwenden. Sie können Event Hubs basierend auf dem Datenvolumen skalieren. In dieser Architektur erfasst Event Hubs Echtzeitdatenänderungen von Precisely Connect für die sofortige Verarbeitung und Analyse.

  • Genau connect ist eine Datenintegrationsplattform, die Daten aus mehreren Quellen integrieren und eine Echtzeitreplikation in Azure bereitstellen kann. Sie können es verwenden, um Daten zu replizieren, ohne Änderungen an Ihrer Anwendung vorzunehmen. Precisely Connect kann auch die Leistung von ETL-Aufträgen verbessern. In dieser Architektur dient Genau Connect als primäres Datenreplikationsmodul, das Großrechnerdaten in Echtzeit zu Azure erfasst und migriert.

Szenariodetails

Sie können verschiedene Strategien anwenden, um Mainframe- und Midrangesysteme zu Azure zu migrieren. Datenmigration spielt in diesem Prozess eine wesentliche Rolle. In einer hybriden Cloudarchitektur müssen Sie Daten zwischen Mainframe- oder Midrange-Systemen und der Azure-Datenplattform replizieren. Um die Integrität der Daten aufrechtzuerhalten, benötigen Sie für unternehmenskritische Anwendungen Echtzeitreplikation. Precisely Connect kann Ihnen helfen, Daten aus Mainframe- und Midrange-Datenquellen entweder in Echtzeit oder mittels Batchaufnahme mithilfe von CDC auf die Azure-Datenplattform zu replizieren.

Precisely Connect unterstützt verschiedene Mainframe- und Midrange-Datenquellen, einschließlich folgender Quellen:

  • Db2 z/OS
  • Db2 für Linux, UNIX und Windows (LUW)
  • Db2 für i
  • IBM Information Management System (IMS)
  • IBM Virtual Storage Access-Methode (VSAM)
  • Dateien und Kopierbücher

Precisely Connect konvertiert die Daten in ein konsumierbares Format, das Event Hubs zur sofortigen Verarbeitung verarbeiten. Azure Databricks oder Fabric verarbeitet die erfassten Daten für Weiterverarbeitung und Speicherung in Azure-Dienste. Zu diesen Zielen gehören SQL-Datenbank, Azure-Datenbank für PostgreSQL, Azure-Datenbank für MySQL, Azure Data Lake Storage und Fabric Lakehouses oder Warehouses. Precisely Connect unterstützt auch die Skalierbarkeit auf Grundlage des Datenvolumens und der Kundenanforderungen. Es repliziert Daten, ohne die Leistung zu beeinträchtigen oder das Netzwerk zu belasten.

Mögliche Anwendungsfälle

  • Datenreplikation von Mainframe- und Midrange-Datenquellen zur Azure-Datenplattform

  • In einer hybriden Cloudarchitektur erfolgt die Datensynchronisation zwischen Großrechner- oder Midrange-Systemen und der Azure-Datenplattform.

  • Nahezu echtzeitbasierte Analysen auf Azure basierend auf Betriebsdaten von Mainframe- oder Midrange-Systemen

  • Migration von Daten von Mainframe- oder Midrange-Systemen zu Azure ohne Auswirkungen auf Anwendungen

Überlegungen

Diese Überlegungen bilden die Säulen des Azure Well-Architected Framework, einer Reihe von Leitprinzipien, die Sie zur Verbesserung der Qualität eines Workloads verwenden können. Weitere Informationen finden Sie unter Well-Architected Framework.

Zuverlässigkeit

Zuverlässigkeit trägt dazu bei, dass Ihre Anwendung die Verpflichtungen erfüllen kann, die Sie für Ihre Kunden vornehmen. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für Zuverlässigkeit.

Verwenden Sie Azure Monitor und Application Insights, um Ihre Datenmigration zu überwachen. Richten Sie Warnungen für die proaktive Verwaltung ein.

Kostenoptimierung

Die Kostenoptimierung konzentriert sich auf Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie unter Prüfliste für die Überprüfung der Kostenoptimierung.

  • Die Datenreplikation in Azure und die Verarbeitung in Azure-Diensten kann im Vergleich zur Verwaltung von Daten in einem Großrechnersystem Geld sparen.

  • Das Kostenverwaltungstool im Azure-Portal bietet eine Kostenanalyseansicht, mit der Sie Ausgaben analysieren können.

  • Sie können Azure Databricks verwenden, um die Größe Ihres Clusters über die automatische Skalierung zu ändern, um Die Kosten zu optimieren. Dieser Ansatz kann Im Vergleich zu einer festen Konfiguration Geld sparen.

  • Azure Advisor bietet Empfehlungen zur Optimierung der Leistungs- und Kostenverwaltung.

Verwenden Sie den Azure-Preisrechner, um die Kosten für die Implementierung dieser Lösung abschätzen zu können.

Leistungseffizienz

Die Leistungseffizienz bezieht sich auf die Fähigkeit Ihrer Workload, die Anforderungen der Benutzer effizient zu erfüllen. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für die Leistungseffizienz.

  • "Precisely Connect kann basierend auf dem Datenvolumen skaliert werden und die Datenreplikation optimieren."

  • Die Connect Replicator-Engine kann Daten für die parallele Verarbeitung verteilen. Sie können die Verteilung basierend auf der Erfassung von Workloads ausgleichen.

  • Die serverlose SQL-Datenbank kann basierend auf dem Volumen der Workloads automatisch skaliert werden.

  • Event Hubs kann basierend auf Durchsatzeinheiten und der Anzahl der Partitionen skaliert werden.

Weitere Informationen finden Sie unter Empfohlene Methoden für die automatische Skalierung in Azure.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautor:

Andere Mitwirkende:

Um nicht-öffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.

Nächste Schritte