Freigeben über

Verwenden von Qlik zum Replizieren von Mainframe- und Midrange-Daten nach Azure

Azure Event Hubs
Azure Data Lake
Azure Databricks

Diese Lösung verwendet eine lokale Instanz von Qlik, um lokale Datenquellen in Echtzeit in Azure zu replizieren.

Hinweis

Sprechen Sie "Qlik" wie "Klick" aus.

Apache® und Apache Kafka® sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Es wird nicht impliziert, dass eine Unterstützung der Apache Software Foundation vorliegt, wenn diese Marken verwendet werden.

Architektur

Diagramm einer Architektur, die Qlik verwendet, um Daten zu Azure zu migrieren.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Arbeitsablauf

  1. Host-Agent: Der Host-Agent auf dem On-Premises-System erfasst Änderungsprotokollinformationen aus den Datenspeichern Db2, Information Management System (IMS) und Virtual Storage Access Method (VSAM) und übergibt sie an den Qlik-Replikationsserver.

  2. Replikationsserver: Die Replication Server-Software von Qlik erfasst die Änderungsprotokollinformationen in den Eventstream. In diesem Beispiel ist Qlik lokal, aber Sie können es auf einem virtuellen Computer in Azure bereitstellen.

  3. Streamaufnahme: Der Eventstream und das Eventhouse behandeln Daten-Staging und -Vorbereitung.

    • Der Eventstream leitet die Echtzeit-Änderungsprotokolldaten vom Replication-Server von Qlik weiter. Sie sendet die Daten über den heißen Pfad an das Eventhouse, um nahezu Echtzeitanalysen zu ermöglichen.
    • Das Eventhouse fungiert als Analysespeicher in Echtzeit und speichert die Änderungsprotokolldaten in Fabric für Abfragen und Analysen.
    • OneLake ist der einheitliche Data Lake für historische Analysen und großflächige Datenvorbereitung für fortgeschrittene Analysen über den kalten Pfad. Es speichert kuratierte oder replizierte Änderungsprotokolldaten aus dem Eventhouse (über die OneLake-Verfügbarkeit) oder empfängt Daten direkt aus dem Eventstream.

  4. Azure-Datendienste: Azure bietet die folgenden effizienten Datenspeicherungsdienste und Datenverarbeitungsdienste.

    • Relationale Datenbankdienste:

      • Azure SQL-Datenbank
      • Azure-Datenbank für PostgreSQL
      • Azure-Datenbank für MySQL

      Es gibt viele Faktoren, die bei der Auswahl eines Datenspeicherdienstes zu berücksichtigen sind. Berücksichtigen Sie die Art der Workload, datenbankübergreifende Abfragen, Anforderungen an zweiphasige Commits, die Möglichkeit des Zugriffs auf das Dateisystem, die Datenmenge, den erforderlichen Durchsatz und die Latenz.

    • Azure Cosmos DB: Azure Cosmos DB ist eine NoSQL-Datenbank, die eine schnelle Reaktion, automatische Skalierbarkeit und garantierte Geschwindigkeit in jedem Maßstab bietet.

    • Azure Databricks: Azure Databricks verarbeitet die Änderungsprotokolldaten und aktualisiert die entsprechenden Dateien in Azure.

    • Microsoft Fabric: Fabric ist eine All-in-One-Analyselösung für Unternehmen. Es deckt alles ab, von Datenbewegungen über Data Science bis hin zu Echtzeitanalysen und Business Intelligence. Es bietet eine umfassende Suite von Services, einschließlich Data Lake, Data Engineering und Datenintegration.

Komponenten

Diese Architektur besteht aus mehreren Azure-Clouddiensten und ist in vier Ressourcenkategorien unterteilt: Netzwerk und Identität, Anwendung, Speicher und Überwachung. In den folgenden Abschnitten werden die Dienste für die einzelnen Ressourcen und ihre Rollen beschrieben.

Vernetzung

Beim Entwerfen der Anwendungsarchitektur ist es wichtig, Netzwerk- und Identitätskomponenten zu priorisieren, um Sicherheit, Leistung und Verwaltbarkeit bei Interaktionen über das öffentliche Internet oder private Verbindungen zu gewährleisten.

  • Azure ExpressRoute ist eine dedizierte private Verbindung zwischen Ihrer lokalen Infrastruktur und Microsoft-Clouddiensten. In dieser Architektur wird eine sichere, hohe Durchsatzkonnektivität mit Azure und Microsoft 365 sichergestellt und das öffentliche Internet umgehungen, um die Zuverlässigkeit und Leistung zu verbessern.

Speicher und Datenbanken

Azure und Fabric bieten verwaltete Dienste, die skalierbare Cloudspeicherung und verwaltete Datenbanken für flexible und intelligente Datenverwaltung ermöglichen.

  • Azure Databricks ist eine cloudbasierte Datentechnik- und Analyseplattform, die auf Apache Spark basiert. Es kann riesige Datenmengen verarbeiten und transformieren. Sie können die Daten mithilfe von Machine Learning-Modellen untersuchen. Aufträge können in R, Python, Java, Scala und Spark SQL geschrieben werden. In dieser Architektur transformiert und analysiert Azure Databricks große Datenmengen mithilfe von Machine Learning-Modellen. Es unterstützt auch die Entwicklung in R, Python, Java, Scala und Spark SQL.

  • OneLake ist ein einheitlicher, logischer Datensee, der einer gesamten Organisation dienen kann. Wie OneDrive umfasst OneLake alle Fabric-Mandanten und bietet einen einzigen Ort für alle Analysedaten. In dieser Architektur dient OneLake als persistente Speicherebene für verarbeitete Änderungsprotokolldaten aus lokalen Systemen.

  • Azure Cosmos DB ist ein global verteilter NoSQL-Datenbankdienst. In dieser Architektur werden nichttabellenbezogene Daten gespeichert, die von Mainframesystemen migriert werden, und der Zugriff auf niedrige Latenzen über Regionen hinweg unterstützt.

  • Azure Database for MySQL ist ein vollständig verwalteter MySQL-Datenbankdienst, der für Skalierbarkeit und hohe Verfügbarkeit konzipiert ist. In dieser Architektur unterstützt sie relationale Open-Source-Workloads.

  • Azure Database for PostgreSQL ist ein vollständig verwaltetes, intelligentes und skalierbares PostgreSQL-System, das über native Konnektivität mit Azure-Diensten verfügt. In dieser Architektur werden relationale Daten gehostet, die von erweiterten Indizierungs-, Analyse- und Kompatibilitätsfunktionen mit Open-Source-Tools profitieren.

  • Azure SQL ist eine Familie cloudbasierter SQL-Datenbankdienste, die Migration, Modernisierung und Entwicklung unterstützen. Diese Familie umfasst die folgenden Angebote:

    • Azure SQL Edge ist ein einfaches SQL-Modul, das für IoT- und Edgebereitstellungen optimiert ist. In dieser Architektur verarbeitet und speichert sie Daten in getrennten oder latenzempfindlichen Umgebungen in der Nähe von Geräten.

    • Azure SQL Managed Instance ist eine vollständig verwaltete SQL Server-Instanz mit nahezu 100% Kompatibilität mit lokalem SQL Server. In dieser Architektur werden migrierte Datenbanken gehostet, die von der vereinfachten Verwaltung und der integrierten Hochverfügbarkeit profitieren.

    • SQL-Datenbank ist eine vollständig verwaltete relationale Datenbank, die für Skalierbarkeit und Leistung optimiert ist. In dieser Architektur unterstützt es modernisierte Workloads mit elastischer Berechnung und integrierter Intelligenz.

    • SQL Server auf virtuellen Azure-Computern ist eine sql Server-Instanz mit vollem Funktionsumfang, die in der Azure-Infrastruktur ausgeführt wird. In dieser Architektur unterstützt es legacy-Workloads, die volle Kontrolle über das Betriebssystem und das Datenbankmodul erfordern.

Überwachung

Monitoring-Tools bieten eine umfassende Datenanalyse und wertvolle Einblicke in die Anwendungsleistung.

  • Application Insights ist ein Feature von Azure Monitor, das umfassende Telemetrie für Anwendungsleistung, Verfügbarkeit und Nutzung bietet. In dieser Architektur überwacht sie das Anwendungsverhalten, erkennt Anomalien und unterstützt die verteilte Ablaufverfolgung, um zuverlässigkeitsübergreifend sicherzustellen.

  • Azure Monitor ist eine umfassende Plattform zum Sammeln, Analysieren und Handeln von Telemetrie aus Azure und lokalen Umgebungen. In dieser Architektur dient sie als zentrale Observability-Ebene, die proaktive Überwachung und Diagnose über Infrastruktur und Anwendungen hinweg ermöglicht.

    • Log Analytics ist ein Abfragetool in Azure Monitor, das eine umfassende Analyse von Protokolldaten mithilfe einer leistungsfähigen Abfragesprache ermöglicht. In dieser Architektur werden Diagnosen, benutzerdefinierte Dashboards und operative Einblicke unterstützt, indem Daten über mehrere Quellen hinweg verknüpft und aggregiert werden.

Alternativen

  • Das obige Diagramm zeigt die lokale Installation von Qlik. Dieser Ansatz ist eine empfohlene Best Practice, um Qlik in der Nähe der lokalen Datenquellen zu halten. Eine Alternative besteht darin, Qlik in der Cloud auf einer virtuellen Azure-Maschine zu installieren.

  • Qlik Data Integration kann Daten direkt an Azure Databricks übermitteln, ohne Kafka oder einen Event Hub zu durchlaufen.

  • Qlik Data Integration kann Daten nicht direkt in Azure Cosmos DB replizieren, aber Sie können Azure Cosmos DB mithilfe der Event-Sourcing-Architektur in einen Event Hub integrieren.

Szenariodetails

Viele Unternehmen verwenden Mainframe- und Midrange-Systeme, um anspruchsvolle und kritische Workloads auszuführen. Die meisten Anwendungen verwenden gemeinsam genutzte Datenbanken, oft über mehrere Systeme hinweg. In dieser Umgebung bedeutet die Modernisierung in die Cloud, dass lokale Daten für cloudbasierte Anwendungen bereitgestellt werden müssen. Daher wird die Datenreplikation zu einer wichtigen Modernisierungstaktik.

Die Qlik Data Integration-Plattform umfasst Qlik Replicate, das die Datenreplikation durchführt. Es verwendet Change Data Capture, um lokale Datenspeicher in Echtzeit in Azure zu replizieren. Die Änderungsdaten können aus Db2-, IMS- und VSAM-Änderungsprotokollen stammen. Diese Replikationstechnik eliminiert unbequeme Batch-Massenladevorgänge. Diese Lösung verwendet eine lokale Instanz von Qlik, um lokale Datenquellen in Echtzeit in Azure zu replizieren.

Potenzielle Anwendungsfälle

Diese Lösung könnte geeignet sein für:

  • Hybridumgebungen, die die Replikation von Datenänderungen von einem Mainframe- oder Midrange-System in Azure-Datenbanken erfordern.

  • Online-Datenbankmigration von Db2 zu einer Azure SQL-Datenbank mit geringen Ausfallzeiten.

  • Datenreplikation aus verschiedenen lokalen Datenspeichern in Azure zur Konsolidierung und Analyse.

Überlegungen

Diese Überlegungen bilden die Säulen des Azure Well-Architected Framework, einer Reihe von Leitprinzipien, die Sie zur Verbesserung der Qualität eines Workloads verwenden können. Weitere Informationen finden Sie unter Well-Architected Framework.

Zuverlässigkeit

Zuverlässigkeit trägt dazu bei, dass Ihre Anwendung die Verpflichtungen erfüllen kann, die Sie für Ihre Kunden vornehmen. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Zuverlässigkeit.

  • Qlik Data Integration kann in einem High-Availability-Cluster konfiguriert werden.

  • Die Azure-Datenbankdienste unterstützen Zonenredundanz. Sie können sie so entwerfen, dass sie während eines Wartungsfensters oder eines Ausfalls auf einen sekundären Knoten umschalten.

  • Fabric bietet regionale Resilienz über Verfügbarkeitszonen und unterstützt die regionsübergreifende Wiederherstellung.

Sicherheit

Sicherheit bietet Sicherheitsmaßnahmen gegen bewusste Angriffe und den Missbrauch Ihrer wertvollen Daten und Systeme. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Sicherheit.

  • ExpressRoute bietet eine private und effiziente Verbindung mit Azure aus der lokalen Umgebung, aber Sie können stattdessen ein Site-to-Site-VPN verwenden.

  • Azure-Ressourcen können mithilfe der Microsoft Entra ID authentifiziert werden, und Berechtigungen werden über die rollenbasierte Zugriffssteuerung verwaltet.

  • Azure-Datenbankdienste und Fabric unterstützen verschiedene Sicherheitsoptionen, einschließlich der folgenden Funktionen:

    • Datenverschlüsselung ruhender Daten

    • Dynamische Datenmaskierung

    • Immer verschlüsselte Datenbanken

  • Weitere Informationen finden Sie in der Azure-Sicherheitsdokumentation und in der Fabric-Sicherheitsdokumentation.

Kostenoptimierung

Die Kostenoptimierung konzentriert sich auf Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Kostenoptimierung.

Verwenden Sie den Azure-Preisrechner und die Fabric-Preisschätzung, um die Kosten für Ihre Implementierung zu schätzen.

Operative Exzellenz

„Optimaler Betrieb“ deckt die Betriebsprozesse ab, die für die Bereitstellung einer Anwendung und deren Ausführung in der Produktion sorgen. Weitere Informationen finden Sie unter Checkliste für die Designüberprüfung zur betrieblichen Exzellenz.

Sie können Application Insights- und Log Analytics-Features kombinieren, um die Integrität von Azure-Ressourcen zu überwachen. Sie können Warnungen festlegen, um Probleme proaktiv zu verwalten.

Fabric ermöglicht operative Exzellenz durch Vereinheitlichen von Governance, Observability und resilienten Engineering-Mustern. Diese Vereinheitlichung erfolgt in OneLake, Fabric Data Warehouse, Fabric Data Engineer, Fabric Real-Time Intelligence und anderen Workloads.

Leistungseffizienz

Die Leistungseffizienz bezieht sich auf die Fähigkeit Ihrer Workload, die Anforderungen der Benutzer effizient zu erfüllen. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Leistungseffizienz.

Fabric, Azure Databricks, Data Lake Storage und andere Azure-Datenbankdienste verfügen über automatische Skalierungsfunktionen. Weitere Informationen finden Sie unter Automatische Skalierung.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautoren:

Andere Mitwirkende:

Um nichtöffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.

Nächste Schritte