Replikowanie danych mainframe przy użyciu funkcji Precyzyjne łączenie

W tym artykule opisano sposób migrowania systemów mainframe i midrange na platformę Azure przy użyciu narzędzia Precisely Connect. Precisely Connect zapewnia replikację danych w czasie rzeczywistym ze starszych systemów na platformę Azure przy użyciu technologii Change Data Capture (CDC).

To rozwiązanie zapewnia spójność danych między lokalnymi środowiskami mainframe i usługami w chmurze platformy Azure, jednocześnie minimalizując wpływ na wydajność systemu źródłowego. Architektura obsługuje różne źródła danych mainframe i midrange oraz replikuje dane do obiektów docelowych platformy Azure, takich jak Azure SQL Database, Azure Event Hubs i Microsoft Fabric.

Apache®, Spark i logo płomienia są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Użycie tych znaków nie jest dorozumiane przez fundację Apache Software Foundation.

Architektura

Pobierz plik programu Visio z tą architekturą.

Workflow

Poniższy przepływ pracy odpowiada poprzedniemu diagramowi:

1. Składnik Connect agent przechwytuje dzienniki zmian przy użyciu programów mainframe lub midrange natywnych i buforuje dzienniki w magazynie tymczasowym.

2. W przypadku systemów mainframe składnik wydawcy na komputerze mainframe zarządza migracją danych.

3. W przypadku systemów średnich składnik odbiornika zarządza migracją danych zamiast wydawcy. Odbiornik znajduje się na komputerze z systemem Windows lub Linux.

4. Wydawca lub odbiornik przenosi dane ze środowiska lokalnego na platformę Azure za pośrednictwem połączenia z rozszerzonymi zabezpieczeniami. Wydawca lub słuchacz obsługuje zatwierdzanie i wycofywanie transakcji dla każdej operacji, co utrzymuje integralność danych.

5. Aparat replikatora połączeń przechwytuje dane z wydawcy lub odbiornika i stosuje je do obiektu docelowego. Dystrybuuje dane do przetwarzania równoległego.

6. Usługa Event Hubs pozyska zmiany danych w czasie rzeczywistym z funkcji Precisely Connect w celu natychmiastowego przetwarzania.

7. Usługa Azure Databricks lub Fabric (Apache Spark) przetwarza pozyskane dane, a następnie jest przechowywana w obiektach docelowych platformy Azure lub w usłudze Fabric lakehouse lub magazynie na potrzeby analizy podrzędnej i analizy biznesowej (BI).

8. Demon kontrolera połączenia uwierzytelnia żądanie i ustanawia połączenie gniazda między wydawcą lub odbiornikiem a aparatem replikatora.

Składniki

Ta architektura używa następujących składników.

Sieć i tożsamość

• Azure ExpressRoute to usługa łączności, która rozszerza sieci lokalne na platformę w chmurze platformy Azure za pośrednictwem połączenia prywatnego od dostawcy łączności. W tej architekturze usługa ExpressRoute zapewnia bezpieczne połączenie o wysokiej przepustowości na potrzeby replikowania danych mainframe na platformę Azure.

• Azure VPN Gateway to usługa bramy sieci wirtualnej, która umożliwia tworzenie bram sieci wirtualnej, które wysyłają zaszyfrowany ruch między siecią wirtualną platformy Azure a lokalizacją lokalną za pośrednictwem publicznego Internetu. W tej architekturze możesz użyć usługi VPN Gateway jako alternatywy dla usługi ExpressRoute, aby połączyć systemy mainframe z platformą Azure, gdy połączenie prywatne nie jest dostępne.

• Microsoft Entra ID to usługa zarządzania tożsamościami i dostępem, która może synchronizować się z lokalną usługą Active Directory. W tej architekturze usługa Microsoft Entra ID zarządza uwierzytelnianiem i kontrolą dostępu do składników, które uzyskują dostęp do zasobów platformy Azure.

Magazyn

• Azure Database for MySQL to zarządzana usługa relacyjnej bazy danych oparta na wersji community aparatu bazy danych MySQL typu open source. W tej architekturze usługa Azure Database for MySQL udostępnia opcję docelową dla replikowanych danych mainframe.

• Azure Database for PostgreSQL to zarządzana usługa relacyjnej bazy danych oparta na wersji community aparatu bazy danych PostgreSQL typu open source. W tej architekturze usługa Azure Database for PostgreSQL może służyć jako alternatywna docelowa baza danych na potrzeby replikacji danych mainframe.

• Azure SQL Database to aparat bazy danych typu platforma jako usługa (PaaS), który jest częścią rodziny azure SQL. Jest stworzona dla chmury i zapewnia wszystkie korzyści zarządzanego i aktualizowanego na bieżąco PaaS. Usługa SQL Database udostępnia również zautomatyzowane funkcje oparte na sztucznej inteligencji, które optymalizują wydajność i trwałość. Opcje magazynu bezserwerowego i magazynu w warstwie Hiperskala są automatycznie skalowane na żądanie. W tej architekturze usługa SQL Database służy jako docelowa baza danych do odbierania replikowanych danych mainframe za pośrednictwem połączeń Open Database Connectivity (ODBC) lub natywnych połączeń bazy danych.

• Azure SQL Managed Instance to usługa bazy danych w chmurze, która zapewnia wszystkie korzyści zarządzanej i zawsze aktualnej platformy jako usługi (PaaS). Zarządzane wystąpienie SQL ma niemal pełną zgodność z najnowszym silnikiem bazy danych SQL Server Enterprise. Zapewnia również natywną implementację sieci wirtualnej, która rozwiązuje typowe problemy z zabezpieczeniami. W tej architekturze usługa SQL Managed Instance może służyć jako element docelowy dla danych mainframe, które wymagają zgodności z programem SQL Server.

• Azure Storage to rozwiązanie magazynu w chmurze, które obejmuje obiekt, plik, dysk, kolejkę i magazyn tabel. Usługi obejmują hybrydowe rozwiązania magazynu i narzędzia do przesyłania, udostępniania i tworzenia kopii zapasowych danych. W tej architekturze usługa Storage zapewnia skalowalny magazyn na potrzeby replikowanych danych mainframe i tymczasowego buforowania.

• OneLake to zunifikowane, pojedyncze jezioro danych dla Fabric. W tej architekturze usługa OneLake służy jako magazyn do pozyskiwania danych z usługi Event Hubs.

• Fabric to platforma analityczna, która integruje przenoszenie danych, przetwarzanie danych, pozyskiwanie danych, transformację danych, trasowanie zdarzeń w czasie rzeczywistym i generowanie raportów. W tej architekturze Fabric (lakehouses, warehouses lub SQL Database w ramach Fabric) pełni rolę miejsca docelowego magazynu relacyjnego na potrzeby analizy i warstwy BI.

Analiza i raportowanie

• Power BI to grupa narzędzi do analizy biznesowej, które mogą dostarczać szczegółowe informacje w całej organizacji. Usługa Power BI może łączyć się z setkami źródeł danych, upraszczać przygotowywanie danych i prowadzić nieplanowaną analizę. W tej architekturze usługa Power BI zapewnia możliwości analizy biznesowej na potrzeby analizowania replikowanych danych mainframe. Usługa Power BI jest natywnie zintegrowana z usługą Fabric na potrzeby ujednoliconej analizy.

Monitorowanie

• Azure Monitor to usługa monitorowania, która udostępnia rozwiązanie do zbierania, analizowania i działania na telemetrii ze środowisk chmurowych i lokalnych. Funkcje obejmują usługę Application Insights, dzienniki usługi Azure Monitor i usługę Log Analytics. W tej architekturze usługa Azure Monitor zapewnia monitorowanie i obserwowanie procesu replikacji danych i zasobów platformy Azure.

Integratorzy danych

• Azure Databricks to ujednolicona platforma analityczna oparta na platformie Spark, która integruje się z bibliotekami open source. Udostępnia ona obszar roboczy do współpracy na potrzeby uruchamiania obciążeń analitycznych. Języki Python, Scala, R i SQL umożliwiają tworzenie potoków wyodrębniania, przekształcania, ładowania (ETL) i organizowania zadań. W tej architekturze usługa Azure Databricks przetwarza i przekształca replikowane dane mainframe do użycia przez usługi platformy danych Platformy danych Azure.

• Fabric to kompleksowa platforma analityczna oparta na sztucznej inteligencji, działająca na zarządzanej platformie obliczeniowej Spark. W tej architekturze platforma Fabric Spark pozyskuje i przekształca zreplikowane dane mainframe, aby przygotować je do użycia przez podrzędną platformę danych Azure i usługi Fabric.

• Event Hubs to usługa pozyskiwania danych w czasie rzeczywistym, która może przetwarzać miliony zdarzeń na sekundę. Dane można pozyskiwać z wielu źródeł i używać ich do analizy w czasie rzeczywistym. Usługę Event Hubs można skalować na podstawie ilości danych. W tej architekturze usługa Event Hubs pozyska zmiany danych w czasie rzeczywistym z funkcji Precisely Connect w celu natychmiastowego przetwarzania i analizy.

• Dokładnie połącz to platforma integracji danych, która może integrować dane z wielu źródeł i zapewniać replikację w czasie rzeczywistym na platformę Azure. Można jej używać do replikowania danych bez wprowadzania zmian w aplikacji. Precisely Connect może również poprawić wydajność zadań ETL. W tej architekturze funkcja Precisely Connect służy jako podstawowy aparat replikacji danych, który przechwytuje i migruje dane mainframe na platformę Azure w czasie rzeczywistym.

Szczegóły scenariusza

Za pomocą różnych strategii można migrować systemy mainframe i midrange na platformę Azure. Migracja danych odgrywa kluczową rolę w tym procesie. W architekturze chmury hybrydowej należy replikować dane między systemami mainframe lub midrange i platformą danych platformy Azure. Aby zachować integralność danych, potrzebna jest replikacja w czasie rzeczywistym dla aplikacji krytycznych dla działania firmy. Precisely Connect może pomóc replikować dane ze źródeł danych mainframe i midrange do platformy danych Azure w czasie rzeczywistym przy użyciu CDC lub wsadowego pozyskiwania danych.

Precisely Connect wspiera różne źródła danych mainframe i midrange, w tym następujące źródła:

• Db2 z/OS
• Db2 dla systemów Linux, UNIX i Windows (LUW)
• Db2 for i
• IBM Information Management System (IMS)
• IBM Virtual Storage Access Method (VSAM)
• Pliki i elementy do kopiowania

Precisely Connect konwertuje dane na format konsumpcyjny, przechwytywany przez usługę Event Hubs do natychmiastowego przetwarzania. Azure Databricks lub Fabric przetwarza pozyskane dane do dalszego wykorzystania i przechowywania w zasobach Azure. Te cele obejmują usługi SQL Database, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Data Lake Storage oraz konstrukcje typu lakehouse lub magazyn danych. Precisely Connect również obsługuje skalowalność na podstawie wolumenu danych i wymagań klientów. Replikuje dane bez wpływu na wydajność lub obciążenie sieci.

Potencjalne przypadki użycia

• Replikacja danych ze źródeł danych mainframe i średniej klasy do platformy danych Azure

• W architekturze chmury hybrydowej synchronizacja danych między systemami mainframe lub midrange a platformą danych Azure

• Analiza niemal w czasie rzeczywistym na platformie Azure oparta na danych operacyjnych z systemów mainframe lub midrange

• Migracja danych z systemów mainframe lub midrange na platformę Azure bez wpływu na aplikacje

Kwestie wymagające rozważenia

Te zagadnienia implementują filary platformy Azure Well-Architected Framework, która jest zestawem wytycznych, których można użyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Well-Architected Framework.

Niezawodność

Niezawodność pomaga zapewnić, że aplikacja może spełnić zobowiązania podjęte przez klientów. Aby uzyskać więcej informacji, zobacz Design review checklist for Reliability(Lista kontrolna dotycząca niezawodności).

Monitorowanie migracji danych przy użyciu usług Azure Monitor i Application Insights . Konfigurowanie alertów na potrzeby proaktywnego zarządzania.

Optymalizacja kosztów

Optymalizacja kosztów koncentruje się na sposobach zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dlaoptymalizacji kosztów.

• Replikacja danych na platformę Azure i przetwarzanie w usługach platformy Azure może zaoszczędzić pieniądze w porównaniu z utrzymywaniem danych w systemie mainframe.

• Narzędzie do zarządzania kosztami w witrynie Azure Portal udostępnia widok analizy kosztów, który może pomóc w analizie wydatków.

• Aby zoptymalizować koszty, możesz użyć usługi Azure Databricks do zmiany rozmiaru klastra za pomocą skalowania automatycznego. Takie podejście może zaoszczędzić pieniądze w porównaniu z stałą konfiguracją.

• Usługa Azure Advisor udostępnia zalecenia dotyczące optymalizacji wydajności i zarządzania kosztami.

Skorzystaj z kalkulatora cen platformy Azure, aby oszacować koszt wdrożenia tego rozwiązania.

Wydajność

Wydajność odnosi się do możliwości skalowania obciążenia w celu efektywnego zaspokojenia wymagań użytkowników. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu pod kątem wydajności.

• Precisely Connect można skalować w zależności od ilości danych i optymalizować replikację danych.

• Aparat replikatora połączeń może dystrybuować dane na potrzeby przetwarzania równoległego. Dystrybucję można równoważyć na podstawie pozyskiwania obciążeń.

• Bezserwerowa baza danych SQL Database może być skalowana automatycznie na podstawie liczby obciążeń.

• Usługa Event Hubs może być skalowana na podstawie jednostek przepływności i liczby partycji.

Aby uzyskać więcej informacji, zobacz Autoskalowanie najlepszych rozwiązań na platformie Azure.

Współautorzy

Firma Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.

Główny autor:

• Seetharaman Sankaran | Starszy architekt inżynierów

Inny współautor:

• Gyani Sinha | Starszy inżynier rozwiązań

Aby wyświetlić niepubliczne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki

• CDC z Precisely Connect
• Co to jest usługa Azure ExpressRoute?
• Co to jest usługa VPN Gateway?
• Co to jest usługa SQL Database?
• Skontaktuj się z zespołem inżynierów inżynierii modernizacji danych mainframe w firmie Microsoft.

Powiązane zasoby

• Modernizowanie danych komputera mainframe i średniej ramki
• Ponowne inżynieryj aplikacje wsadowe mainframe na platformie Azure
• Replikowanie i synchronizowanie danych mainframe z platformą Azure
• Replikacja i synchronizacja plików mainframe na platformie Azure