Réplication et synchronisation de fichiers mainframe sur Azure

Lorsque vous migrez une application mainframe ou midrange locale vers Azure, le transfert de données est un facteur clé. Plusieurs scénarios de modernisation vous obligent à répliquer rapidement des fichiers vers Azure ou à maintenir la synchronisation entre les fichiers locaux et les fichiers Azure.

Cet article décrit plusieurs façons de transférer des fichiers vers Azure, de convertir et de transformer des données de fichier, et de stocker les données locales et dans Azure.

Architecture

Téléchargez un fichier Visio de cette architecture.

Flux de données

Le flux de données suivant correspond au diagramme d’architecture :

1. Transférer des fichiers vers Azure :

   • Le moyen le plus simple de transférer des fichiers locaux vers Azure consiste à utiliser ftp (File Transfer Protocol). Vous pouvez héberger un serveur FTP sur une machine virtuelle Azure. Un langage de contrôle des travaux (JCL) FTP simple envoie des fichiers à Azure en format binaire, ce qui est essentiel à la préservation du calcul du mainframe et du milieu de gamme, ainsi qu’aux types de données binaires. Vous pouvez stocker les fichiers transmis dans des disques locaux, dans le stockage de fichiers de machine virtuelle Azure ou dans le Stockage Blob Azure.

   • Vous pouvez également charger des fichiers locaux vers le Stockage Blob à l’aide d’outils, tels que AzCopy.

   • Le connecteur FTP Azure Data Factory ou SFTP (Secure File Transfer Protocol) peut être utilisé pour transférer des données du système mainframe vers le stockage Blob. Cette méthode nécessite une machine virtuelle intermédiaire sur laquelle un runtime d’intégration auto-hébergé est installé.

   • Vous pouvez également trouver des outils non-Microsoft sur la Place de marché Azure pour transférer des fichiers à partir de mainframes vers Azure.

2. Orchestrez, convertissez et transformez vos données :

   • Azure ne peut pas lire les fichiers de pages de codes Extended Binary Coded Decimal Interchange Code (EBCDIC) IBM sur les disques de machines virtuelles Azure ou dans Stockage Blob. Pour rendre ces fichiers compatibles avec Azure, Host Integration Server (HIS) les convertit du format EBCDIC au format ASCII (American Standard Code for Information Interchange).

     Les copybooks définissent la structure de données des fichiers COBOL, PL/I et langage assembleur. HIS convertit ces fichiers au format ASCII en fonction des layouts du copybook.

   • La conversion des données de fichier mainframe peut être obtenue à l’aide du connecteur Azure Logic Apps pour les fichiers hôtes IBM.

   • Avant de transférer des données vers des magasins de données Azure, vous devrez peut-être transformer les données ou les utiliser pour l’analytique. Azure Data Factory peut gérer ces activités ETL (extract-transform-load-load-transform) et stocker les données directement dans Azure Data Lake Storage. Vous pouvez également utiliser le magasin Fabric Data Factory et OneLake.

   • Pour les intégrations big data, Azure Databricks, ainsi que Microsoft Fabric, peuvent effectuer toutes les activités de transformation rapidement et efficacement à l’aide du moteur Apache Spark pour les calculs en mémoire.

3. Stocker vos données :

   Vous pouvez stocker les données transférées dans l’un des différents modes de stockage Azure persistants disponibles, en fonction de vos exigences.

   • Si l’analytique n’est pas nécessaire, Azure Data Factory peut stocker des données directement dans un large éventail d’options de stockage, telles que Data Lake Storage, Stockage Blob et Microsoft Fabric OneLake.

   • Azure héberge différentes bases de données qui répondent à différents besoins :

     • Les bases de données relationnelles incluent la famille SQL Server et les bases de données open source comme PostgreSQL et MySQL.

     • Les bases de données non relationnelles incluent Azure Cosmos DB, qui est une base de données NoSQL distribuée à l’échelle mondiale, rapide et multimodèle.

   Passez en revue l’analytique et l’aide à la décision. Microsoft Fabric est une solution d’analytique en un seul qui couvre tout, du déplacement des données à la science des données, à l’analytique en temps réel et à l’intelligence décisionnelle. Il offre une suite de services, y compris le lac de données, l’ingénierie des données et l’intégration des données, tous en un seul endroit.

Composants

Cette architecture utilise les composants suivants.

Mise en réseau

Une passerelle de données locale est un logiciel de pont qui connecte des sources de données locales aux services cloud. Dans cette architecture, elle permet la communication entre les systèmes mainframe et les services Azure pour le transfert et l’intégration de fichiers. Vous pouvez installer la passerelle sur une machine virtuelle locale dédiée.

Intégration et transformation des données

Cette architecture décrit différents outils de migration natifs Azure que vous pouvez utiliser en fonction de vos données sources mainframe et de votre base de données cible.

• Le fournisseur de données pour les fichiers hôtes est un composant de HIS qui convertit les fichiers de pages de codes EBCDIC en ASCII. Le fournisseur peut lire et écrire des enregistrements hors connexion dans un fichier binaire local. Il peut également utiliser l’architecture réseau des systèmes (SNA) ou le protocole TCP/IP (Transmission Control Protocol) pour lire et écrire des enregistrements dans des jeux de données mainframe IBM z/OS distants ou des fichiers physiques i5/OS. Les connecteurs HIS sont disponibles pour BizTalk et Logic Apps. Dans cette architecture, le fournisseur de données pour les fichiers hôtes permet l’accès au niveau des fichiers et la transformation des jeux de données IBM z/OS et i5/OS pour la migration vers Azure.

• Azure Data Factory est un service d’intégration de données hybride que vous pouvez utiliser pour créer, planifier et orchestrer des workflows ETL et ELT. Dans cette architecture, Azure Data Factory transfère les fichiers mainframe au stockage Blob via FTP et gère les pipelines de transformation.

• Azure Databricks est une plateforme d’analyse basée sur Apache Spark et optimisée pour Azure. Dans cette architecture, elle enrichit et met en corrélation les données mainframe entrantes avec d’autres jeux de données pour l’analytique et la transformation avancées.

• Microsoft Fabric est une plateforme de données intelligente avec une suite de services cloud et d’outils pour chaque phase de cycle de vie des données, notamment l’ingestion, la préparation, le stockage, l’analyse et la visualisation. Dans cette architecture, Fabric permet aux organisations d’étudier le déplacement des données, d’expérimenter avec la science des données et d’effectuer des analyses en temps réel et de l’intelligence décisionnelle sur les données mainframe transformées.

• Logic Apps est un service cloud que vous pouvez utiliser pour automatiser les workflows et intégrer des applications, des données et des services dans différents environnements. Dans cette architecture, il utilise le connecteur IBM Host File pour interagir avec les systèmes mainframe et automatiser l’analyse et la transformation de fichiers.

Bases de données

Cette architecture décrit le processus de migration des données de fichier mainframe vers le stockage cloud et les bases de données gérées dans Azure. Il inclut la conversion des métadonnées de fichier mainframe pour qu’elles correspondent au schéma cible dans Azure.

• Azure SQL Database est un service de base de données cloud relationnel et évolutif. SQL Database est persistant et toujours up-to-date, avec des fonctionnalités basées sur l’IA et automatisées qui optimisent les performances et la durabilité. Le calcul serverless et les options de stockage hyperscale mettent automatiquement à l’échelle les ressources à la demande. Dans cette architecture, SQL Database stocke les données mainframe transformées et prend en charge la haute disponibilité. Il prend également en charge l’efficacité des coûts via Azure Hybrid Benefit , car vous pouvez utiliser vos licences SQL Server locales existantes sur le cloud sans coût supplémentaire.

• Azure SQL Managed Instance est une offre PaaS (Platform as a Service) qui fournit une compatibilité complète de SQL Server avec l’infrastructure managée. Dans cette architecture, elle modernise les applications héritées en hébergeant des données mainframe migrées avec des modifications de code minimales.

• SQL Server sur des machines virtuelles Azure est une solution IaaS (Infrastructure as a Service) qui élève et déplace les charges de travail SQL Server vers Azure, qui combine la flexibilité et la connectivité hybride d’Azure avec les performances, la sécurité et l’analytique SQL Server. Dans cette architecture, elle fournit un contrôle sur les configurations SQL Server pour l’hébergement de données dérivées de mainframe.

• Azure Database pour PostgreSQL est un service de base de données relationnelle open source managé. Dans cette architecture, elle sert de cible pour les données mainframe migrées qui nécessitent la compatibilité PostgreSQL.

• Azure Database pour MySQL est un service de base de données MySQL managé. Dans cette architecture, elle prend en charge les charges de travail qui nécessitent un stockage MySQL pour les données mainframe transformées.

• Azure Cosmos DB est un service de base de données NoSQL distribué à l’échelle mondiale qui inclut une prise en charge multimodèle. Dans cette architecture, elle stocke des applications évolutives hautes performances basées sur des données mainframe transformées.

Autres magasins de données

• Le stockage Blob est une solution de stockage d’objets basée sur le cloud qui stocke de grandes quantités de données non structurées, telles que du texte ou des données binaires. Vous pouvez accéder à ces données à partir de n’importe où via HTTP ou HTTPS. Vous pouvez utiliser Stockage Blob pour exposer des données publiquement ou pour stocker des données d’applications de façon privée. Dans cette architecture, elle stocke les fichiers binaires et texte transférés à partir de systèmes mainframe et sert de zone intermédiaire pour la transformation.

• Data Lake Storage est un référentiel de stockage qui stocke de grandes quantités de données dans leur format natif et brut. Data Lake Storage permet d'échelonner les charges de travail analytiques de big data avec des téraoctets et des pétaoctets de données. Les données proviennent généralement de plusieurs sources hétérogènes et peuvent être structurées, semi-structurées ou non structurées. Dans cette architecture, elle stocke les données mainframe brutes et transformées au format natif pour le traitement par les services d’analyse.

• OneLake dans Microsoft Fabric est un lac de données logique unique et unifié. Dans cette architecture, elle sert de destination de stockage pour les pipelines Fabric Data Factory. Il fournit un emplacement centralisé pour stocker les données mainframe transformées pour les charges de travail d’analytique et de décisionnel.

Détails du scénario

La conversion de fichiers mainframe à partir d’un format encodé en EBCDIC en format ASCII est nécessaire pour migrer des données à partir de systèmes mainframe vers le stockage et les bases de données cloud Azure. Les applications mainframe génèrent et gèrent de grandes quantités de données quotidiennement. Ces données doivent être converties avec précision pour une utilisation dans d’autres plateformes.

À mesure que votre organisation effectue la transition des données du système de fichiers mainframe, vous devez transformer les métadonnées de fichier en schémas natifs cloud. Et développez une stratégie de migration qui inclut des techniques de conversion de fichiers efficaces.

Cas d’usage potentiels

La réplication et la synchronisation des fichiers locaux sont essentielles pour différents cas d’usage :

• Dépendances en aval ou en amont, comme lorsque les applications qui s’exécutent sur un mainframe et les applications qui s’exécutent sur Azure doivent échanger des données via des fichiers

• Tests parallèles des applications réhébergées ou ré-conçues sur Azure avec des applications locales

• Applications locales étroitement couplées sur des systèmes qui ne peuvent pas être immédiatement corrigées ou modernisées

Contributeurs

Microsoft gère cet article. Les contributeurs suivants ont écrit cet article.

Principaux auteurs :

• Nithish Aruldoss | Architecte Ingénierie
• Ashish Khandelwal | Directeur principal de l’architecture d’ingénierie

Autres contributeurs :

• Gyani Sinha | Architecte de solution cloud senior

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes

• Pour plus d’informations, contactez l’équipe Microsoft SQL Data Engineering.
• Guides de migration de base de données Azure

Ressources associées

• Répliquer et synchroniser des données de mainframe dans Azure
• Moderniser les données mainframe et midrange
• Migration mainframe Unisys avec Avanade Automated Migration Technology