Azure でのメインフレーム ファイル レプリケーションと同期
ソリューションのアイデア
この記事ではソリューションのアイデアについて説明します。 クラウド アーキテクトはこのガイダンスを使用すると、このアーキテクチャの一般的な実装の主要コンポーネントを視覚化しやすくなります。 ワークロードの特定の要件に適合する、適切に設計されたソリューションを設計するための出発点として、この記事を使用してください。
オンプレミスのメインフレームまたはミッドレンジ アプリケーションを Azure に移行する場合、データ転送が重要な考慮事項です。 いくつかの最新化シナリオでは、ファイルを Azure に迅速にレプリケートするか、オンプレミスのファイルと Azure ファイル間の同期を維持する必要があります。
この記事では、Azure へのファイルの転送、ファイル データの変換と変換、オンプレミスと Azure へのデータの格納を行ういくつかの方法について説明します。
アーキテクチャ
このアーキテクチャの Visio ファイルをダウンロードします。
データフロー
次のデータフローはアーキテクチャ図に対応しています。
Azure にファイルを移動する:
オンプレミスのファイルを Azure に転送する最も簡単な方法は、 ファイル転送プロトコル (FTP) を使用することです。 Azure 仮想マシン (VM) で FTP サーバーをホストできます。 単純な FTP ジョブ制御言語 (JCL) により、ファイルがバイナリ形式で Azure に送信されます。これは、メインフレームとミッドレンジの計算およびバイナリ データ型を維持するために不可欠です。 送信されたファイルは、オンプレミスのディスク、Azure VM ファイル ストレージ、または Azure Blob Storage に格納できます。
AzCopy などのツールを使用して、オンプレミスのファイルを Blob Storage にアップロードすることもできます。
Azure Data Factory FTP または Secure File Transfer Protocol (SFTP) コネクタを使用して、メインフレーム システムから Blob Storage にデータを転送できます。 この方法では、セルフホステッド統合ランタイムがインストールされている中間 VM が必要です。
また、メインフレームから Azure にファイルを転送する Microsoft 以外のツールを Azure Marketplace で見つけることもできます。
次のようにしてデータの調整、変換、変更を行います。
Azure では、Azure VM ディスクまたは Blob Storage で IBM の拡張 2 進化 10 進交換コード (EBCDIC) コード ページ ファイルを読み取ることができません。 これらのファイルを Azure と互換させるため、Host Integration Server (HIS) が、これらのファイルを EBCDIC から 情報交換用米国標準コード (ASCII) 形式に変換します。
コピーブックに、COBOL、PL/I、アセンブリ言語ファイルのデータ構造が定義されています。 HIS により、これらのファイルは、コピーブック レイアウトに基づいて ASCII に変換されます。
メインフレーム ファイルのデータ変換は、IBM ホスト ファイル用の Azure Logic Apps コネクタを使用して実現できます。
Azure データ ストアにデータを転送する前に、データを変換するか、分析に使用することが必要になる場合があります。 Azure Data Factory では、これらの抽出-変換-読み込み (ETL) および抽出-読み込み変換 (ELT) アクティビティを管理し、データを Azure Data Lake Storage に直接格納できます。 または、Fabric Data Factory と OneLake ストアを使用することもできます。
ビッグ データ統合の場合、Azure Databricks と Microsoft Fabric は、メモリ内計算に Apache Spark エンジンを使用することで、すべての変換アクティビティを迅速かつ効果的に実行できます。
次のようにしてデータを保管します。
移動したデータは、要件に応じて、いくつかの使用可能な永続 Azure ストレージ モードの 1 つに格納できます。
分析が必要ない場合、Azure Data Factory では、Data Lake Storage、Blob Storage、Microsoft Fabric OneLake など、さまざまなストレージ オプションにデータを直接格納できます。
Azure は、さまざまな ニーズに対応するさまざまなデータベースをホストします。
リレーショナル データベースには、SQL Server ファミリと PostgreSQL や MySQL などのオープンソース データベースが含まれます。
非リレーショナル データベースには、高速でマルチモデルのグローバル分散 NoSQL データベースである Azure Cosmos DB が含まれます。
分析とビジネス インテリジェンスを確認します。 Microsoft Fabric は、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンスまで、あらゆるものをカバーするオールインワンの分析ソリューションです。 データ レイク、データ エンジニアリング、データ統合など、一連のサービスをすべて 1 か所で提供します。
コンポーネント
このアーキテクチャでは、次のコンポーネントを使用します。
ネットワーク
オンプレミス データ ゲートウェイは、オンプレミスのデータ ソースをクラウド サービスに接続するブリッジ ソフトウェアです。 このアーキテクチャでは、メインフレーム システムと Azure サービス間の通信を可能にして、ファイル転送と統合を実現します。 このゲートウェイは専用のオンプレミス VM にインストールします。
データの取り込みと変換
このアーキテクチャでは、メインフレームのソース データとターゲット データベースに基づいて使用できるさまざまな Azure ネイティブ移行ツールの概要を示します。
Data Provider for Host Files は、EBCDIC コード ページ ファイルを ASCII に変換する HIS のコンポーネントです。 プロバイダーは、ローカル バイナリ ファイルでオフラインでレコードの読み取りと書き込みを行うことができます。 または、システム ネットワーク アーキテクチャ (SNA) または伝送制御プロトコル/インターネット プロトコル (TCP/IP) を使用して、リモート IBM z/OS メインフレーム データセットまたは i5/OS 物理ファイルのレコードの読み取りと書き込みを行うことができます。 HIS コネクタは、 BizTalk および Logic Apps で使用できます。 このアーキテクチャでは、データ プロバイダー for Host Files を使用すると、Azure への移行のために、IBM z/OS データセットと i5/OS データセットのファイル レベルのアクセスと変換が可能になります。
Azure Data Factory は、ETL ワークフローと ELT ワークフローの作成、スケジュール設定、調整に使用できるハイブリッド データ統合サービスです。 このアーキテクチャでは、Azure Data Factory は FTP 経由でメインフレーム ファイルを Blob Storage に転送し、変換パイプラインを管理します。
Azure Databricks は、Azure に最適化された Apache Spark ベースの分析プラットフォームです。 このアーキテクチャでは、高度な分析と変換のために、受信メインフレーム データを強化し、他のデータセットと関連付けます。
Microsoft Fabric はインテリジェントなデータ プラットフォームであり、インジェスト、準備、ストレージ、分析、視覚化など、あらゆるデータ ライフ サイクルステージに対応する一連のクラウド サービスとツールを備えています。 このアーキテクチャでは、Fabric を使用すると、組織はデータ移動の調査、データ サイエンスの実験、変換されたメインフレーム データに対するリアルタイム分析とビジネス インテリジェンスの実行を行うことができます。
Logic Apps はクラウドベースのサービスであり、ワークフローを自動化し、さまざまな環境でアプリケーション、データ、サービスを統合するために使用できます。 このアーキテクチャでは、IBM Host File コネクタを使用してメインフレーム システムと対話し、ファイルの解析と変換を自動化します。
データベース
このアーキテクチャでは、メインフレーム ファイル データを Azure のクラウド ストレージとマネージド データベースに移行するプロセスの概要を説明します。 これには、Azure のターゲット スキーマと一致するようにメインフレーム ファイルメタデータを変換することが含まれます。
Azure SQL Database は、スケーラブルなリレーショナル クラウド データベース サービスです。 SQL Database は常に常に最新 up-toであり、パフォーマンスと持続性を最適化する AI を利用した自動化された機能を備えています。 サーバーレス コンピューティングとハイパースケール ストレージ オプションにより、リソースが必要に応じて自動的にスケーリングされます。 このアーキテクチャでは、SQL Database は変換されたメインフレーム データを格納し、高可用性をサポートします。 また、追加コストなしでクラウド上の既存のオンプレミス SQL Server ライセンスを使用できるため、 Azure ハイブリッド特典 によるコスト効率もサポートされます。
Azure SQL Managed Instance は、マネージド インフラストラクチャとの完全な SQL Server 互換性を提供するサービスとしてのプラットフォーム (PaaS) オファリングです。 このアーキテクチャでは、移行されたメインフレーム データを最小限のコード変更でホストすることで、レガシ アプリケーションを最新化します。
Azure Virtual Machines 上の SQL Server は、SQL Server ワークロードを Azure にリフトアンドシフトするサービスとしてのインフラストラクチャ (IaaS) ソリューションであり、Azure の柔軟性とハイブリッド接続と SQL Server のパフォーマンス、セキュリティ、および分析を組み合わせたものです。 このアーキテクチャでは、メインフレームから派生したデータをホストするための SQL Server 構成を制御できます。
Azure Database for PostgreSQL は、マネージド オープンソースのリレーショナル データベース サービスです。 このアーキテクチャでは、PostgreSQL の互換性を必要とする移行されたメインフレーム データのターゲットとして機能します。
Azure Database for MySQL は、マネージド MySQL データベース サービスです。 このアーキテクチャでは、変換されたメインフレーム データに MySQL ベースのストレージを必要とするワークロードをサポートします。
Azure Cosmos DB は、複数モデルのサポートを含む、グローバルに分散された NoSQL データベース サービスです。 このアーキテクチャでは、変換されたメインフレーム データに基づいて構築された、高パフォーマンスでスケーラブルなアプリケーションを格納します。
その他のデータ ストア
Blob Storage は、テキストやバイナリ データなど、大量の非構造化データを格納するクラウドベースのオブジェクト ストレージ ソリューションです。 このデータには、HTTP または HTTPS を介してどこからでもアクセスできます。 Blob Storage を使用すると、データを一般に公開することも、アプリケーション データを公開せずに格納することもできます。 このアーキテクチャでは、メインフレーム システムから転送されたバイナリ ファイルとテキスト ファイルを格納し、変換のステージング領域として機能します。
Data Lake Storage は、大量のデータを未加工のネイティブ形式で保持するストレージ リポジトリです。 Data Lake Storage は、テラバイト単位およびペタバイト単位のデータを含むビッグ データ分析ワークロードにおけるスケーリングを提供します。 通常、データは複数の異種ソースから取得され、構造化、半構造化、または非構造化にすることができます。 このアーキテクチャでは、生のメインフレーム データと変換されたメインフレーム データをネイティブ形式で格納し、分析サービスによる処理を行います。
Microsoft Fabric の OneLake は、単一の統合された論理データ レイクです。 このアーキテクチャでは、Fabric Data Factory パイプラインのストレージ先として機能します。 分析およびビジネス インテリジェンス ワークロード用に変換されたメインフレーム データを格納するための一元的な場所が提供されます。
シナリオの詳細
メインフレーム システムから Azure クラウド ストレージおよびデータベースにデータを移行するには、メインフレーム ファイルを EBCDIC でエンコードされた形式から ASCII 形式に変換する必要があります。 メインフレーム アプリケーションは、毎日大量のデータを生成して処理します。 このデータは、他のプラットフォームで使用するために正確に変換する必要があります。
組織がメインフレーム のファイル システム データを移行するときは、ファイル メタデータをクラウドネイティブのスケマティックに変換する必要があります。 また、効果的なファイル変換手法を含む移行戦略を開発します。
考えられるユース ケース
オンプレミスのファイルのレプリケーションと同期は、さまざまなユース ケースで不可欠です。
メインフレームで実行されるアプリケーションや Azure で実行されるアプリケーションがファイルを介してデータを交換する必要がある場合など、ダウンストリームまたはアップストリームの依存関係
オンプレミス アプリケーションを使用した Azure での再ホストまたは再設計されたアプリケーションの並列テスト
すぐに修復または最新化できないシステム上の密結合されたオンプレミス アプリケーション
共同作成者
Microsoft では、この記事を保持しています。 次の共同作成者がこの記事を書きました。
プリンシパルの作成者:
- Nithish Aruldoss | エンジニアリング アーキテクト
- Ashish Khandelwal | プリンシパル エンジニアリング アーキテクチャ マネージャー
その他の共同作成者:
- ギアニ・シンハ |シニア クラウド ソリューション アーキテクト
公開されていない LinkedIn プロフィールを見るには、LinkedIn にサインインしてください。
次のステップ
- 詳細については、 Microsoft SQL データ エンジニアリング チームにお問い合わせください。
- Azure データベースの移行ガイド