Udostępnij przez

Używanie Qlik do replikowania danych mainframe i midrange na platformę Azure

Azure Event Hubs
Azure Data Lake
Azure Databricks

To rozwiązanie używa lokalnego wystąpienia Qlik do replikowania lokalnych źródeł danych na platformę Azure w czasie rzeczywistym.

Uwaga / Notatka

Wymowę "Qlik" jak "kliknięcie".

Apache® i Apache Kafka® są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie oznacza autoryzacji przez Fundację Apache Software.

Architektura

Diagram architektury, która używa Qlik do migrowania danych na platformę Azure.

Pobierz plik programu Visio tej architektury.

Workflow

  1. Agent hosta: Agent hosta w systemie lokalnym przechwytuje informacje z dziennika zmian z magazynów danych Db2, Information Management System (IMS) i Virtual Storage Access Method (VSAM) i przekazuje je do serwera replikacji Qlik.

  2. Serwer replikacji: Oprogramowanie serwera replikacji Qlik pozyskuje informacje dziennika zmian do strumienia zdarzeń. W tym przykładzie Qlik jest lokalny, ale można go wdrożyć na maszynie wirtualnej na platformie Azure.

  3. Pochłanianie strumieniowe: Strumień zdarzeń i magazyn zdarzeń obsługują etapowanie i przygotowywanie danych.

    • Strumień zdarzeń przekazuje dane dziennika zmian w czasie rzeczywistym z serwera replikacji Qlik. Wysyła dane za pośrednictwem gorącej ścieżki do centrum zdarzeń, aby umożliwić analizę niemal w czasie rzeczywistym.
    • Magazyn zdarzeń działa jako analityczny magazyn danych w czasie rzeczywistym i przechowuje dane dziennika zmian w platformie Fabric na potrzeby wykonywania zapytań i analiz.
    • OneLake to ujednolicony zbiornik danych do analizy historycznej i przygotowywania danych na dużą skalę do zaawansowanej analizy zimną ścieżką. Przechowuje wyselekcjonowane lub replikowane dane dziennika zmian z magazynu zdarzeń (za pośrednictwem dostępności usługi OneLake) lub pobiera bezpośrednio ze strumienia zdarzeń.

  4. Usługi danych platformy Azure: Platforma Azure udostępnia następujące wydajne usługi magazynu danych i usługi przetwarzania danych.

    • Usługi relacyjnych baz danych:

      • Azure SQL Database
      • Azure Database for PostgreSQL
      • Azure Database for MySQL

      Istnieje wiele czynników, które należy wziąć pod uwagę przy wyborze usługi przechowywania danych. Należy wziąć pod uwagę typ obciążenia, zapytania obejmujące wiele baz danych, wymagania dotyczące zatwierdzania dwufazowego, możliwość uzyskania dostępu do systemu plików, ilość danych, wymaganą przepływność i opóźnienie.

    • Azure Cosmos DB: Azure Cosmos DB to baza danych NoSQL, która zapewnia szybką odpowiedź, automatyczną skalowalność i gwarantowaną szybkość w dowolnej skali.

    • Usługa Azure Databricks: Usługa Azure Databricks przetwarza dane dziennika zmian i aktualizuje odpowiednie pliki na platformie Azure.

    • Microsoft Fabric: Fabric to rozwiązanie analityczne wszystko-w-jednym dla firm. Obejmuje wszystko, od przenoszenia danych po naukę o danych, analizę w czasie rzeczywistym i analizę biznesową. Zapewnia kompleksowy pakiet usług, w tym jezioro danych, inżynierię danych i integrację danych.

Komponenty

Ta architektura składa się z kilku usług w chmurze platformy Azure i jest podzielona na cztery kategorie zasobów: sieć i tożsamość, aplikacja, magazyn i monitorowanie. W poniższych sekcjach opisano usługi dla każdego zasobu i ich role.

Sieć

Podczas projektowania architektury aplikacji kluczowe znaczenie ma priorytetyzacja składników sieci i tożsamości, aby zapewnić bezpieczeństwo, wydajność i łatwość zarządzania podczas interakcji za pośrednictwem publicznego Internetu lub połączeń prywatnych.

  • Usługa Azure ExpressRoute to dedykowane, prywatne połączenie między infrastrukturą lokalną a usługami w chmurze firmy Microsoft. W tej architekturze zapewnia bezpieczną łączność o wysokiej przepływności z platformą Azure i platformą Microsoft 365 oraz pomija publiczny Internet w celu zwiększenia niezawodności i wydajności.

Pamięć masowa i bazy danych

Platforma Azure i sieć szkieletowa udostępniają usługi zarządzane, które umożliwiają skalowalny magazyn w chmurze i zarządzane bazy danych na potrzeby elastycznego i inteligentnego zarządzania danymi.

  • Azure Databricks to oparta na chmurze platforma inżynierii danych i analizy oparta na platformie Apache Spark. Może przetwarzać i przekształcać ogromne ilości danych. Dane można eksplorować przy użyciu modeli uczenia maszynowego. Zadania można pisać w językach R, Python, Java, Scala i Spark SQL. W tej architekturze usługa Azure Databricks przekształca i analizuje duże ilości pozyskanych danych przy użyciu modeli uczenia maszynowego. Obsługuje również programowanie w języku R, Python, Java, Scala i Spark SQL.

  • OneLake to ujednolicone , logiczne magazyny danych, które mogą obsługiwać całą organizację. Podobnie jak OneDrive, OneLake obejmuje wszystkie dzierżawy Fabric i udostępnia jedno miejsce dla wszystkich danych analitycznych. W tej architekturze usługa OneLake pełni rolę trwałej warstwy magazynowania dla przetworzonych danych dziennika zmian z systemów lokalnych.

  • Azure Cosmos DB to globalnie rozproszona usługa bazy danych NoSQL. W tej architekturze przechowuje dane nietabularne migrowane z systemów mainframe i obsługuje dostęp o małych opóźnieniach w różnych regionach.

  • Azure Database for MySQL to w pełni zarządzana usługa bazy danych MySQL przeznaczona do skalowalności i wysokiej dostępności. W tej architekturze obsługuje obciążenia relacyjne typu open source.

  • Azure Database for PostgreSQL to w pełni zarządzana, inteligentna i skalowalna baza danych PostgreSQL, która ma natywną łączność z usługami platformy Azure. W tej architekturze hostuje dane relacyjne, które mogą czerpać korzyści z zaawansowanego indeksowania, analizy i zgodności z narzędziami typu open source.

  • Azure SQL to rodzina usług baz danych SQL opartych na chmurze, które obsługują migrację, modernizację i programowanie. Ta rodzina obejmuje następujące oferty:

    • Usługa Azure SQL Edge to lekki aparat SQL zoptymalizowany pod kątem wdrożeń IoT i edge. W tej architekturze przetwarza i przechowuje dane w pobliżu urządzeń w środowiskach odłączonych lub wrażliwych na opóźnienia.

    • Usługa Azure SQL Managed Instance to w pełni zarządzane wystąpienie programu SQL Server z niemal 100% zgodności z lokalnym programem SQL Server. W tej architekturze hostuje migrowane bazy danych, które korzystają z uproszczonego zarządzania i wbudowanej wysokiej dostępności.

    • Sql Database to w pełni zarządzana relacyjna baza danych zoptymalizowana pod kątem skalowalności i wydajności. W tej architekturze obsługuje zmodernizowane obciążenia z elastycznymi obliczeniami i wbudowaną analizą.

    • Program SQL Server w usłudze Azure Virtual Machines to w pełni funkcjonalne wystąpienie programu SQL Server, które działa w infrastrukturze platformy Azure. W tej architekturze obsługuje starsze obciążenia, które wymagają pełnej kontroli nad systemem operacyjnym i aparatem bazy danych.

Nadzorowanie

Narzędzia do monitorowania zapewniają kompleksową analizę danych i cenny wgląd w wydajność aplikacji.

  • Application Insights to funkcja usługi Azure Monitor, która zapewnia głębokie dane telemetryczne dotyczące wydajności, dostępności i użycia aplikacji. W tej architekturze monitoruje zachowanie aplikacji, wykrywa anomalie i obsługuje śledzenie rozproszone w celu zapewnienia niezawodności między usługami.

  • Usługa Azure Monitor to kompleksowa platforma do zbierania, analizowania i działania na podstawie danych telemetrycznych z platformy Azure i środowisk lokalnych. W tej architekturze pełni rolę centralnej warstwy obserwacji, która umożliwia proaktywne monitorowanie i diagnostykę między infrastrukturą i aplikacjami.

    • Log Analytics to narzędzie do wykonywania zapytań w usłudze Azure Monitor, które umożliwia głęboką analizę danych dziennika przy użyciu zaawansowanego języka zapytań. W tej architekturze obsługuje diagnostykę, niestandardowe pulpity nawigacyjne i szczegółowe informacje operacyjne przez dołączanie i agregowanie danych w wielu źródłach.

Alternatywy

  • Powyższy diagram przedstawia Qlik zainstalowany lokalnie. Takie podejście jest zalecanym najlepszym rozwiązaniem, aby utrzymać Qlik blisko lokalnych źródeł danych. Alternatywą jest zainstalowanie Qlik w chmurze na maszynie wirtualnej Azure.

  • Qlik Data Integration może dostarczać dane bezpośrednio do usługi Azure Databricks bez konieczności korzystania z platformy Kafka lub centrum zdarzeń.

  • Qlik Data Integration nie może replikować danych bezpośrednio do usługi Azure Cosmos DB, ale można zintegrować usługę Azure Cosmos DB z centrum zdarzeń przy użyciu architektury określania źródła zdarzeń.

Szczegóły scenariusza

Wiele organizacji korzysta z systemów mainframe i midrange do uruchamiania wymagających i krytycznych obciążeń. Większość aplikacji korzysta z udostępnionych baz danych, często w wielu systemach. W tym środowisku modernizacja do chmury oznacza, że dane lokalne muszą być dostarczane do aplikacji opartych na chmurze. W związku z tym replikacja danych staje się ważną taktyką modernizacji.

Platforma Qlik Data Integration zawiera Qlik Replicate, który wykonuje replikację danych. Używa przechwytywania zmian danych do replikowania lokalnych magazynów danych w czasie rzeczywistym na platformę Azure. Dane o zmianach mogą pochodzić z dzienników zmian Db2, IMS i VSAM. Ta technika replikacji eliminuje niewygodne zbiorcze ładowanie partii. To rozwiązanie używa lokalnego wystąpienia Qlik do replikowania lokalnych źródeł danych na platformę Azure w czasie rzeczywistym.

Potencjalne przypadki użycia

To rozwiązanie może być odpowiednie dla:

  • Środowiska hybrydowe, które wymagają replikacji zmian danych z systemu mainframe lub midrange do baz danych platformy Azure.

  • Migracja bazy danych online z bazy danych Db2 do bazy danych Azure SQL z niewielkimi przestojami.

  • Replikacja danych z różnych lokalnych magazynów danych na platformę Azure w celu konsolidacji i analizy.

Rozważania

Te zagadnienia obejmują implementację filarów platformy Azure Well-Architected Framework, która jest zestawem wytycznych, których można użyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Well-Architected Framework.

Niezawodność

Niezawodność pomaga zapewnić, że aplikacja może spełnić zobowiązania podjęte przez klientów. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca niezawodności.

  • Qlik Data Integration można skonfigurować w klastrze high-availability.

  • Usługi bazy danych platformy Azure obsługują nadmiarowość strefową. Można zaprojektować je tak, aby przełączyły się w tryb failover do węzła pomocniczego podczas okna obsługi lub awarii.

  • Platforma zapewnia odporność regionalną poprzez strefy dostępności i umożliwia odzyskiwanie danych między regionami.

Zabezpieczenia

Zabezpieczenia zapewniają ochronę przed celowymi atakami i nieprawidłowym użyciem cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca zabezpieczeń.

  • Usługa ExpressRoute zapewnia prywatne i wydajne połączenie z platformą Azure ze środowiska lokalnego, ale zamiast tego można użyć sieci VPN typu lokacja-lokacja .

  • Zasoby platformy Azure można uwierzytelniać przy użyciu identyfikatora Microsoft Entra, a uprawnienia są zarządzane za pomocą kontroli dostępu opartej na rolach.

  • Usługi bazy danych platformy Azure i sieć szkieletowa obsługują różne opcje zabezpieczeń, w tym następujące możliwości:

    • Szyfrowanie danych w spoczynku

    • Dynamiczne maskowanie danych

    • Zawsze zaszyfrowane bazy danych

  • Aby uzyskać więcej informacji, zobacz dokumentację zabezpieczeń platformy Azure i dokumentację zabezpieczeń sieci szkieletowej.

Optymalizacja kosztów

Optymalizacja kosztów koncentruje się na sposobach zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca optymalizacji kosztów.

Aby oszacować koszty implementacji, użyj kalkulatora cen platformy Azure i narzędzia do szacowania cen usługi Fabric.

Doskonałość operacyjna

Doskonałość operacyjna obejmuje procesy operacyjne, które wdrażają aplikację i działają w środowisku produkcyjnym. Aby uzyskać więcej informacji, zobacz Lista kontrolna projektu dotycząca doskonałości operacyjnej.

Możesz połączyć funkcje usługi Application Insights i Log Analytics, aby monitorować kondycję zasobów platformy Azure. Możesz ustawić alerty, aby móc proaktywnie zarządzać problemami.

Platforma umożliwia doskonałość operacyjną przez ujednolicenie zarządzania, obserwowalności i odpornych wzorców inżynieryjnych. To zjednoczenie występuje w środowiskach OneLake, Fabric Data Warehouse, Fabric Data Engineer, Fabric Real-Time Intelligence i innych obciążeniach roboczych.

Efektywność operacyjna

Wydajność odnosi się do możliwości skalowania obciążenia w celu efektywnego zaspokojenia wymagań użytkowników. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu pod kątem wydajności.

Usługa Fabric, Azure Databricks, Data Lake Storage i inne usługi bazy danych platformy Azure mają funkcje skalowania automatycznego. Aby uzyskać więcej informacji, zobacz Autoskalowanie.

Współautorzy

Firma Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.

Główni autorzy:

Inni współautorzy:

Aby wyświetlić niepubliczne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Dalsze kroki