Udostępnij przez

Modernizowanie danych komputera mainframe i średniej ramki

Azure Cosmos DB
Azure Data Lake
Azure SQL Database
Wystąpienie zarządzane Azure SQL
Azure Storage

Apache®, Spark i logo płomienia są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stanach Zjednoczonych i/lub innych krajach. Użycie tych znaków nie oznacza autoryzacji przez Fundację Apache Software.

W tym artykule opisano kompleksowe plany modernizacji dla źródeł danych mainframe i midrange. Modernizacja pomaga zwiększyć skalowalność i wydajność obciążeń o znaczeniu krytycznym.

Architecture

Diagram architektury przedstawiający sposób modernizacji systemów mainframe i midrange przez migrowanie danych na platformę Azure.

Pobierz plik programu Visio tej architektury.

Dataflow

Poniższy przepływ danych odpowiada poprzedniemu diagramowi:

  1. Systemy Mainframe i midrange przechowują dane w następujących źródłach danych.

    • Systemy plików:

      • Metoda dostępu do magazynu wirtualnego (VSAM)
      • Pliki proste
      • Liniowy system plików taśm

    • Relacyjne bazy danych:

      • Db2 dla z/OS
      • Db2 for IBM i
      • Db2 for Linux UNIX i Windows

    • Nierelacyjne bazy danych:

      • System zarządzania informacjami (IMS)
      • Adabas
      • Zintegrowany system zarządzania bazami danych (IDMS)

  2. Proces konwersji obiektów wyodrębnia definicje obiektów z obiektów źródłowych. Definicje są następnie konwertowane na odpowiednie obiekty w docelowym magazynie danych.

    • Program SQL Server Migration Assistant dla bazy danych Db2 migruje schematy i dane z baz danych IBM Db2 do baz danych platformy Azure.

    • Zarządzany dostawca danych dla plików hosta konwertuje obiekty według:

      • Analizowanie typowego języka zorientowanego na działalność biznesową (COBOL) i układów rekordów generatora programów raportów lub podręczników.
      • Mapowanie elementów copybook na obiekty języka C# używane przez aplikacje platformy .NET.

    • Narzędzie Db2toAzurePostgreSQL migruje obiekty bazy danych z bazy danych Db2 do usługi Azure Database for PostgreSQL.

    • Narzędzia partnerskie wykonują automatyczną konwersję obiektów na nierelacyjnych bazach danych, systemach plików i innych magazynach danych.

  3. Dane są pozyskiwane i przekształcane. Systemy Mainframe i midrange przechowują dane systemu plików w formacie zakodowanym w formacie EBCDIC w formatach plików, takich jak:

    • Indeksowane pliki VSAM .
    • Nieindeksowane pliki GDG .
    • Pliki proste.

    COBOL, Programming Language One i elementy copybook języka zestawów definiują strukturę danych tych plików.

    a. Protokół FTP (File Transfer Protocol) przesyła zestawy danych systemu plików mainframe i midrange oraz odpowiadające im elementy copybook na platformę Azure. Te zestawy danych mają pojedyncze układy i rozpakowane pola w formacie binarnym.

    b. Konwersja danych jest realizowana przez opracowanie programów niestandardowych przy użyciu składnika pliku hosta serwera integracji hosta lub wbudowanego łącznika dla plików hosta IBM w usłudze Azure Logic Apps.

    Konwerter notesów Spark jest opracowywany przy użyciu platform Spark typu open source. Jest ona zgodna ze środowiskami Spark, takimi jak Microsoft Fabric i Azure Databricks.

    c. Migrowane są dane relacyjnej bazy danych.

    Systemy mainframe i midrange firmy IBM przechowują dane w relacyjnych bazach danych, takich jak:

    Następujące usługi przeprowadzają migrację danych bazy danych:

    • Usługa Azure Data Factory używa łącznika Db2 do wyodrębniania i integrowania danych z baz danych.
    • Usługi SQL Server Integration Services obsługują różne zadania wyodrębniania, przekształcania i ładowania danych.
    • Usługa Fabric Data Factory używa łącznika IBM Db2 do migrowania danych db2.

    d. Migrowane są nierelacyjne dane bazy danych.

    Systemy mainframe i midrange firmy IBM przechowują dane w nierelacyjnych bazach danych, takich jak:

    Produkty partnerskie integrują dane z tych baz danych.

  4. Narzędzia platformy Azure, takie jak Azure Data Factory i AzCopy , ładują dane do baz danych platformy Azure i usługi Azure Data Storage. Możesz również użyć rozwiązań partnerskich i niestandardowych rozwiązań ładowania w celu załadowania danych.

  5. Platforma Azure udostępnia różne usługi bazy danych, w tym w pełni zarządzane usługi relacyjnych baz danych, takie jak Azure SQL Database i NoSQL, takie jak Azure Cosmos DB. Te usługi są przeznaczone do skalowalności, elastyczności i dystrybucji globalnej.

    Platforma Azure udostępnia również szereg rozwiązań magazynu, w tym usługę Azure Blob Storage dla danych bez struktury i usługę Azure Files dla w pełni zarządzanych udziałów plików.

  6. Usługi platformy Azure używają zmodernizowanej warstwy danych do przetwarzania, analizy, magazynu i sieci.

  7. Aplikacje klienckie używają również zmodernizowanej warstwy danych.

Components

Ta architektura używa następujących składników.

Magazyn danych

W tej architekturze opisano sposób migrowania danych do skalowalnego, bezpieczniejszego magazynu w chmurze i zarządzanych baz danych na potrzeby elastycznego, inteligentnego zarządzania danymi na platformie Azure.

  • Azure Cosmos DB to globalnie rozproszona wielomodelowa baza danych NoSQL. W tej architekturze usługa Azure Cosmos DB służy jako skalowalny cel NoSQL do modernizacji nierelacyjnych baz danych mainframe, takich jak IMS i IDMS.

  • Azure Database for MySQL to w pełni zarządzana usługa relacyjnej bazy danych oparta na wersji community aparatu bazy danych MySQL typu open source. W tej architekturze usługa Azure Database for MySQL udostępnia kolejną opcję docelową relacyjnej bazy danych dla migrowanych danych mainframe.

  • Azure Database for PostgreSQL to w pełni zarządzana usługa relacyjnej bazy danych oparta na wersji community aparatu bazy danych PostgreSQL typu open source. W tej architekturze usługa Azure Database for PostgreSQL udostępnia alternatywną docelową bazę danych na potrzeby migracji danych relacyjnych mainframe.

  • Usługa SQL Database jest częścią rodziny usługi Azure SQL. Jest ona przeznaczona dla chmury i zapewnia wszystkie korzyści z w pełni zarządzanej i zawszegreen platformy jako usługi (PaaS). Usługa SQL Database udostępnia również zautomatyzowane funkcje oparte na sztucznej inteligencji, które optymalizują wydajność i trwałość. Opcje magazynu bezserwerowego i magazynu w warstwie Hiperskala są automatycznie skalowane na żądanie. W tej architekturze usługa SQL Database służy jako docelowa baza danych do migrowania danych relacyjnych z systemów mainframe Db2.

  • Azure SQL Managed Instance to usługa bazy danych w chmurze, która zapewnia wszystkie korzyści z w pełni zarządzanego i evergreen PaaS. Wystąpienie zarządzane SQL ma niemal pełną zgodność z najnowszym aparatem bazy danych programu SQL Server Enterprise. Zapewnia również natywną implementację sieci wirtualnej, która rozwiązuje typowe problemy z zabezpieczeniami. W tej architekturze usługa SQL Managed Instance służy jako element docelowy dla danych mainframe, które wymagają zgodności z programem SQL Server i funkcji przedsiębiorstwa.

  • Azure Data Lake Storage to repozytorium magazynu, które przechowuje duże ilości danych w natywnym, nieprzetworzonym formacie. Magazyny data lake są zoptymalizowane pod kątem skalowania do terabajtów i petabajtów danych. Dane zazwyczaj pochodzą z wielu heterogenicznych źródeł. Może być ustrukturyzowana, częściowo ustrukturyzowana lub nieustrukturyzowana. W tej architekturze usługa Data Lake Storage zapewnia skalowalny magazyn dla przekonwertowanych danych systemu plików mainframe i służy jako obszar przejściowy do przekształcania danych.

  • microsoft Fabric Lakehouse to platforma architektury danych do przechowywania i analizowania ustrukturyzowanych i nieustrukturyzowanych danych oraz zarządzania nimi w jednej lokalizacji. W tej architekturze usługa Microsoft Fabric Lakehouse pełni rolę ujednoliconej platformy analitycznej zarówno dla nieprzetworzonych danych mainframe, jak i przetworzonych zestawów danych.

  • Baza danych SQL w usłudze Microsoft Fabric to przyjazna dla deweloperów transakcyjna baza danych oparta na usłudze SQL Database. Można jej użyć do utworzenia operacyjnej bazy danych w usłudze Fabric. Baza danych SQL w sieci szkieletowej używa tego samego aparatu bazy danych SQL co usługa SQL Database. W tej architekturze baza danych SQL w usłudze Microsoft Fabric udostępnia nowoczesną transakcyjną opcję migracji danych operacyjnych mainframe.

Compute

  • Azure Data Factory to oparta na chmurze usługa integracji danych firmy Microsoft, która integruje dane w różnych środowiskach sieciowych przy użyciu środowiska Integration Runtime (IR), czyli infrastruktury obliczeniowej. Usługa Azure Data Factory kopiuje dane między magazynami danych w chmurze i magazynami danych w sieciach lokalnych przy użyciu własnych adresów IP. W tej architekturze usługa Azure Data Factory organizuje cały proces migracji danych ze źródeł mainframe do obiektów docelowych platformy Azure.

  • Lokalna brama danych to lokalnie zainstalowana aplikacja kliencka systemu Windows, która służy jako most między lokalnymi lokalnymi źródłami danych i usługami w chmurze firmy Microsoft. W tej architekturze lokalna brama danych ustanawia bezpieczną łączność między systemami mainframe i usługami platformy Azure.

  • Azure Virtual Machines to oferta infrastruktury jako usługi (IaaS), która zapewnia skalowalne zasoby obliczeniowe na żądanie. Maszyna wirtualna platformy Azure zapewnia elastyczność wirtualizacji, ale eliminuje wymagania konserwacyjne sprzętu fizycznego. Maszyny wirtualne platformy Azure oferują wybór systemów operacyjnych, w tym systemów Windows i Linux. W tej architekturze narzędzia migracji hostów usługi Azure Virtual Machines, takie jak SQL Server Migration Assistant dla bazy danych Db2 i niestandardowe aplikacje konwersji.

Integratorzy danych

Ta architektura przedstawia różne narzędzia migracji natywne dla platformy Azure, które są używane w zależności od danych źródła mainframe i docelowej bazy danych.

  • azure Data Factory to usługa integracji danych hybrydowych. Usługa Azure Data Factory migruje dane ze źródeł Db2 do obiektów docelowych bazy danych platformy Azure przy użyciu łączników natywnych. W tej architekturze usługa Azure Data Factory służy jako podstawowa usługa integracji danych do organizowania przepływów pracy migracji danych mainframe.

  • AzCopy to narzędzie wiersza polecenia, które przenosi obiekty blob lub pliki do i z kont magazynu. W tej architekturze narzędzie AzCopy przesyła duże ilości danych systemu plików mainframe do usługi Azure Storage podczas procesu migracji.

  • SQL Server Integration Services to platforma do tworzenia rozwiązań do integracji i przekształcania danych na poziomie przedsiębiorstwa. W tej architekturze służy ona do organizowania zadań przekształcania danych podczas migracji komputera mainframe, takich jak:

    • Kopiowanie lub pobieranie plików.
    • Ładowanie magazynów danych.
    • Czyszczenie i wyszukiwania danych.
    • Zarządzanie obiektami i danymi programu SQL Server.

  • Technologie i narzędzia serwera integracji hostów mogą integrować istniejące systemy hostów, programy, komunikaty i dane firmy IBM z aplikacjami platformy Azure. Składnik klienta pliku hosta zapewnia elastyczność danych przekonwertowanych z EBCDIC na ASCII. Możesz na przykład wygenerować dane w formacie JSON lub XML na podstawie przekonwertowanych danych. W tej architekturze serwer integracji hostów konwertuje dane mainframe zakodowane w formacie EBCDIC na format ASCII na potrzeby użycia platformy Azure.

  • Microsoft Fabric to gotowa do użycia platforma do analizy w przedsiębiorstwie. Łączy przenoszenie danych, przetwarzanie danych, pozyskiwanie, przekształcanie, routing zdarzeń w czasie rzeczywistym i tworzenie raportów. Obsługuje te możliwości przy użyciu następujących zintegrowanych usług:

    • Inżynier danych sieci szkieletowej
    • Fabryka danych Fabric
    • Nauka o danych na platformie Fabric
    • Analiza Real-Time sieci szkieletowej
    • Hurtownia danych Fabric
    • Bazy danych sieci szkieletowej

W tej architekturze sieć Szkieletowa udostępnia kompleksową platformę analizy na potrzeby kompleksowej modernizacji danych mainframe i analizy biznesowej.

Inne narzędzia

  • Program SQL Server Migration Assistant dla bazy danych Db2 automatyzuje migrację z bazy danych Db2 do usług baz danych firmy Microsoft. Gdy to narzędzie działa na maszynie wirtualnej, konwertuje obiekty bazy danych Db2 na obiekty bazy danych programu SQL Server i tworzy te obiekty w programie SQL Server. W tej architekturze program SQL Server Migration Assistant dla bazy danych Db2 automatyzuje konwersję schematów i obiektów bazy danych mainframe Db2 na obiekty docelowe bazy danych platformy Azure.

  • Dostawca danych dla plików hosta jest składnikiem serwera integracji hosta , który używa połączeń offline, SNA lub TCP/IP.

    • W przypadku połączeń w trybie offline dostawca danych odczytuje i zapisuje rekordy w lokalnym pliku binarnym.
    • W przypadku połączeń SNA i TCP/IP dostawca danych odczytuje i zapisuje rekordy przechowywane w zdalnych zestawach danych z/OS (mainframe serii IBM Z) lub zdalnych plikach fizycznych i5/OS (IBM AS/400 i iSeries). Tylko systemy i5/OS używają protokołu TCP/IP.

    W tej architekturze dostawca danych dla plików hosta umożliwia łączność i dostęp do danych między systemami plików mainframe i aplikacjami platformy Azure.

  • Usługi platformy Azure udostępniają środowiska, narzędzia i procesy do tworzenia i skalowania nowych aplikacji w chmurze publicznej. W tej architekturze usługi platformy Azure zapewniają docelową platformę w chmurze na potrzeby zmodernizowanych aplikacji mainframe i obciążeń analizy danych.

Szczegóły scenariusza

Nowoczesne rozwiązania magazynu danych, takie jak platforma danych platformy Azure, zapewniają lepszą skalowalność i wydajność niż systemy mainframe i średnie. Modernizując systemy, możesz skorzystać z tych korzyści. Jednak aktualizowanie technologii, infrastruktury i praktyk jest złożone. Proces obejmuje wyczerpujące badanie działań biznesowych i inżynieryjnych. Zarządzanie danymi jest jednym z zagadnień podczas modernizacji systemów. Należy również przyjrzeć się wizualizacji danych i integracji.

Pomyślne modernizacje korzystają ze strategii opartej na danych. W przypadku korzystania z tego podejścia skupisz się na danych, a nie na nowym systemie. Zarządzanie danymi nie jest już tylko elementem listy kontrolnej modernizacji. Zamiast tego dane są centralnym elementem. Skoordynowane, zorientowane na jakość rozwiązania danych zastępują pofragmentowane, słabo zarządzane.

To rozwiązanie korzysta ze składników platformy danych platformy Azure w podejściu bazującym na danych. W szczególności rozwiązanie obejmuje:

  • Konwersja obiektu. Przekonwertuj definicje obiektów ze źródłowego magazynu danych na odpowiednie obiekty w docelowym magazynie danych.

  • Pozyskiwanie danych. Połącz się ze źródłowym magazynem danych i wyodrębnij dane.

  • Przekształcanie danych. Przekształć wyodrębnione dane w odpowiednie struktury docelowego magazynu danych.

  • Magazyn danych. Załaduj dane ze źródłowego magazynu danych do docelowego magazynu danych, zarówno początkowo, jak i stale.

Potencjalne przypadki użycia

Organizacje korzystające z systemów mainframe i midrange mogą korzystać z tego rozwiązania, zwłaszcza gdy chcą:

  • Modernizowanie obciążeń o krytycznym znaczeniu.

  • Uzyskaj analizę biznesową, aby poprawić operacje i uzyskać przewagę konkurencyjną.

  • Usuń wysokie koszty i sztywność, które są skojarzone z magazynami danych mainframe i midrange.

Considerations

Te zagadnienia obejmują implementację filarów platformy Azure Well-Architected Framework, która jest zestawem wytycznych, których można użyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Well-Architected Framework.

Zabezpieczenia

Zabezpieczenia zapewniają ochronę przed celowymi atakami i nieprawidłowym użyciem cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca zabezpieczeń.

Optymalizacja kosztów

Optymalizacja kosztów koncentruje się na sposobach zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca optymalizacji kosztów.

  • Sql Server Migration Assistant to bezpłatne, obsługiwane narzędzie, które upraszcza migrację bazy danych z bazy danych db2 do programu SQL Server, usługi SQL Database i wystąpienia zarządzanego SQL. Program SQL Server Migration Assistant automatyzuje wszystkie aspekty migracji, w tym analizę oceny migracji, konwersję schematu i instrukcji SQL oraz migrację danych.

  • Rozwiązanie oparte na usłudze Microsoft Fabric Lakehouse jest oparte na technologiach open source (Delta Lake, Apache Spark). Takie podejście eliminuje obciążenie finansowe narzędzi konwersji licencjonowania i zapewnia ujednolicone środowisko SaaS do analizy.

  • Skorzystaj z kalkulatora cen platformy Azure, aby oszacować koszt wdrożenia tego rozwiązania.

Efektywność operacyjna

Wydajność odnosi się do możliwości skalowania obciążenia w celu efektywnego zaspokojenia wymagań użytkowników. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu pod kątem wydajności.

  • Kluczowymi filarami wydajności są zarządzanie wydajnością, planowanie pojemności, skalowalność i wybór odpowiedniego wzorca wydajności.

  • Własne środowisko IR można skalować w poziomie , kojarząc wystąpienie logiczne z wieloma maszynami lokalnymi w trybie aktywny-aktywny.

  • Dynamiczne skalowanie baz danych przy użyciu usługi SQL Database. Warstwa Bezserwerowa może automatycznie skalować zasoby obliczeniowe. Pule elastyczne umożliwiają bazom danych udostępnianie zasobów w puli i można je skalować tylko ręcznie.

W przypadku konwertowania danych przy użyciu klienta dostawcy danych dla plików hosta włącz buforowanie połączeń , aby skrócić czas uruchamiania połączenia. W przypadku wyodrębniania danych przy użyciu usługi Azure Data Factory dostrajanie wydajności działania kopiowania.

Contributors

Firma Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.

Główny autor:

Inni współautorzy:

Aby wyświetlić niepubliczne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Dalsze kroki

Zapoznaj się z przewodnikami po migracji usługi Azure Database. Aby uzyskać więcej informacji, skontaktuj się z inżynierem danych platformy Azure — mainframe i modernizacją midrange .

Odwiedź następujące artykuły: