Precisely Connect を使用してメインフレーム データをレプリケートする

この記事では、Precisely Connect を使用してメインフレームおよびミッドレンジ システムを Azure に移行する方法について説明します。 Precisely Connect では、変更データ キャプチャ (CDC) テクノロジを使用して、レガシ システムから Azure へのリアルタイム のデータ レプリケーションが提供されます。

このソリューションは、ソース システムのパフォーマンスへの影響を最小限に抑えながら、オンプレミスのメインフレーム環境と Azure クラウド サービスの間でデータの整合性を提供します。 このアーキテクチャでは、さまざまなメインフレームとミッドレンジのデータ ソースがサポートされ、Azure SQL Database、Azure Event Hubs、Microsoft Fabric などの Azure ターゲットにデータがレプリケートされます。

Apache®、Spark、および炎のロゴは、Apache Software Foundation の米国およびその他の国における登録商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。

アーキテクチャ

このアーキテクチャの Visio ファイルをダウンロードします。

Workflow

次のワークフローは、上記のダイアグラムに対応しています。

1. Connect エージェント コンポーネントでは、メインフレームまたはミッドレンジのネイティブ ユーティリティを使用して変更ログがキャプチャされ、ログが一時ストレージにキャッシュされます。

2. メインフレーム システムの場合、メインフレーム上のパブリッシャー コンポーネントによってデータ移行が管理されます。

3. ミッドレンジ システムの場合、リスナー コンポーネントはパブリッシャーではなくデータ移行を管理します。 リスナーは、Windows コンピューターまたは Linux マシン上に存在します。

4. パブリッシャーまたはリスナーによって、データはセキュリティが強化された接続を介してオンプレミスから Azure に移動します。 パブリッシャーまたはリスナーは、データの整合性を維持する各作業単位のトランザクションのコミットとロールバックを処理します。

5. Connect Replicator Engine によって、パブリッシャーまたはリスナーからデータがキャプチャされ、ターゲットに適用されます。 データは並列処理のために分散されます。

6. Event Hubs は、即時処理のために Precisely Connect からリアルタイムのデータ変更を取り込みます。

7. Azure Databricks または Fabric (Apache Spark) は、取り込まれたデータを処理し、ダウンストリーム分析とビジネス インテリジェンス (BI) のために Azure ターゲットまたは Fabric Lakehouse またはウェアハウスに格納されます。

8. Connect Controller Daemon では、要求を認証し、パブリッシャーまたはリスナーと Replicator Engine の間のソケット接続を確立します。

コンポーネント

このアーキテクチャでは、次のコンポーネントを使用します。

ネットワークと ID

• Azure ExpressRoute は、接続プロバイダーからのプライベート接続を介してオンプレミス ネットワークを Azure クラウド プラットフォームに拡張する接続サービスです。 このアーキテクチャでは、ExpressRoute は、メインフレーム データを Azure にレプリケートするためのセキュリティで保護された高帯域幅接続を提供します。

• Azure VPN Gateway は、パブリック インターネット経由で Azure 仮想ネットワークとオンプレミスの場所の間で暗号化されたトラフィックを送信する仮想ネットワーク ゲートウェイを作成できる仮想ネットワーク ゲートウェイ サービスです。 このアーキテクチャでは、プライベート接続が利用できない場合にメインフレーム システムを Azure に接続するために、ExpressRoute の代わりに VPN Gateway を使用できます。

• Microsoft Entra ID は、オンプレミスの Active Directory と同期できる ID およびアクセス管理サービスです。 このアーキテクチャでは、Microsoft Entra ID によって、Azure リソースにアクセスする Precisely Connect コンポーネントの認証とアクセス制御が管理されます。

Storage

• Azure Database for MySQL は、オープンソースの MySQL データベース エンジンのコミュニティ エディションに基づくマネージド リレーショナル データベース サービスです。 このアーキテクチャでは、Azure Database for MySQL は、レプリケートされたメインフレーム データのターゲット オプションを提供します。

• Azure Database for PostgreSQL は、オープンソース PostgreSQL データベース エンジンのコミュニティ エディションに基づくマネージド リレーショナル データベース サービスです。 このアーキテクチャでは、Azure Database for PostgreSQL はメインフレーム データ レプリケーションの代替ターゲット データベースとして機能できます。

• Azure SQL Database は、Azure SQL ファミリの一部であるサービスとしてのプラットフォーム (PaaS) データベース エンジンです。 クラウド用に構築され、マネージド PaaS と常緑 PaaS のすべての利点を提供します。 SQL Database は、パフォーマンスと持続性を最適化する、AI を活用した自動機能も備えています。 サーバーレス コンピューティングと ハイパースケール ストレージ オプション により、リソースが必要に応じて自動的にスケーリングされます。 このアーキテクチャでは、SQL Database は、Open Database Connectivity (ODBC) またはネイティブ データベース接続を介してレプリケートされたメインフレーム データを受信するためのターゲット データベースとして機能します。

• Azure SQL Managed Instance は、マネージド PaaS と常緑 PaaS のすべての利点を提供するクラウド データベース サービスです。 SQL Managed Instance には、最新の SQL Server Enterprise Edition データベース エンジンとのほぼ完全な互換性があります。 また、一般的なセキュリティの問題に対応するネイティブ仮想ネットワーク実装も提供されます。 このアーキテクチャでは、SQL Managed Instance は、SQL Server の互換性を必要とするメインフレーム データのターゲットとして機能できます。

• Azure Storage は、オブジェクト、ファイル、ディスク、キュー、テーブルのストレージを含むクラウド ストレージ ソリューションです。 サービスには、データの転送、共有、バックアップを行うためのハイブリッド ストレージ ソリューションおよびツールが含まれます。 このアーキテクチャでは、Storage は、レプリケートされたメインフレーム データと一時キャッシュ用のスケーラブルなストレージを提供します。

• OneLake は、Fabric 用の統合された単一データ レイクです。 このアーキテクチャでは、OneLake は Event Hubs からデータを取り込むためのストレージとして機能します。

• Fabric は、データ移動、データ処理、インジェスト、変換、リアルタイム イベント ルーティング、およびレポート作成を統合する分析プラットフォームです。 このアーキテクチャでは、Fabric (Fabric 内のレイクハウス、ウェアハウス、または SQL Database) が、分析と BI レイヤーのリレーショナル ストレージの宛先として機能します。

分析とレポート

• Power BI は、組織全体で分析情報を提供できるビジネス分析ツールのグループです。 Power BI では、何百ものデータ ソースに接続し、データ準備を簡素化し、計画外の分析を推進できます。 このアーキテクチャでは、Power BI は、レプリケートされたメインフレーム データを分析するための BI 機能を提供します。 Power BI は、統合分析のために Fabric とネイティブに統合されています。

監視

• Azure Monitor は、クラウドおよびオンプレミス環境からのテレメトリを収集、分析、および操作するためのソリューションを提供する監視サービスです。 機能には、Application Insights、Azure Monitor ログ、Log Analytics が含まれます。 このアーキテクチャでは、Azure Monitor は、データ レプリケーション プロセスと Azure リソースの監視と監視を提供します。

データ インテグレーター

• Azure Databricks は、オープンソース ライブラリと統合される Spark に基づく統合分析プラットフォームです。 分析ワークロードを実行するためのコラボレーション ワークスペースを提供します。 Python、Scala、R、SQL の言語を使用して、抽出、変換、読み込み (ETL) パイプラインを構築し、ジョブを調整できます。 このアーキテクチャでは、Azure Databricks は、Azure データ プラットフォーム サービスで使用するために、レプリケートされたメインフレーム データを処理および変換します。

• Fabric は、マネージド Spark コンピューティング プラットフォームで動作するエンド ツー エンドの AI を利用した分析プラットフォームです。 このアーキテクチャでは、Fabric Spark はレプリケートされたメインフレーム データを取り込んで変換し、ダウンストリームの Azure データ プラットフォームと Fabric サービスによる分析に対応できるようにします。

• Event Hubs は、1 秒あたり何百万ものイベントを処理できるリアルタイム データ インジェスト サービスです。 複数のソースからデータを取り込み、リアルタイム分析に使用できます。 Event Hubs は、データの量に基づいてスケーリングできます。 このアーキテクチャでは、Event Hubs は、即時の処理と分析のために、Precisely Connect からリアルタイムのデータ変更を取り込みます。

• Precisely Connect は、複数のソースからのデータを統合し、Azure へのリアルタイム レプリケーションを提供できるデータ統合プラットフォームです。 これを使用すると、アプリケーションに変更を加えることなくデータをレプリケートできます。 Precisely Connect を使用すると、ETL ジョブのパフォーマンスを向上させることもできます。 このアーキテクチャでは、Precisely Connect は、メインフレーム データをキャプチャして Azure にリアルタイムで移行するプライマリ データ レプリケーション エンジンとして機能します。

シナリオの詳細

さまざまな戦略を使用して、メインフレームおよびミッドレンジ システムを Azure に移行できます。 このプロセスでは、データ移行が重要な役割を果たします。 ハイブリッド クラウド アーキテクチャでは、メインフレームまたはミッドレンジ システムと Azure データ プラットフォームの間でデータをレプリケートする必要があります。 データの整合性を維持するために、ビジネス クリティカルなアプリケーションのリアルタイム レプリケーションが必要です。 Precisely Connect は、CDC を使用するかバッチ インジェストを使用して、メインフレームとミッドレンジのデータ ソースから Azure データ プラットフォームにリアルタイムでデータをレプリケートするのに役立ちます。

Precisely Connect では、次のソースを含むさまざまなメインフレームおよびミッドレンジ データ ソースがサポートされています。

• Db2 z/OS
• Db2 for Linux、UNIX、および Windows (LUW)
• Db2 for i
• IBM Information Management System (IMS)
• IBM Virtual Storage Access Method (VSAM)
• ファイルとコピーブック

Precisely Connect は、すぐに処理するために Event Hubs が取り込む消費型の形式にデータを変換します。 Azure Databricks または Fabric は、ダウンストリームの消費とストレージのために取り込まれたデータを Azure ターゲットに処理します。 これらのターゲットには、SQL Database、Azure Database for PostgreSQL、Azure Database for MySQL、Azure Data Lake Storage、および Fabric レイクハウスまたはウェアハウスが含まれます。 また、Precisely Connect では、データ量と顧客の要件に基づくスケーラビリティもサポートされます。 パフォーマンスに影響を与えたり、ネットワークに負担をかけたりせずにデータをレプリケートします。

考えられるユース ケース

• メインフレームおよびミッドレンジ データ ソースから Azure データ プラットフォームへのデータ レプリケーション

• ハイブリッド クラウド アーキテクチャでは、メインフレームまたはミッドレンジ システムと Azure データ プラットフォーム間のデータ同期

• メインフレームまたはミッドレンジ システムからの運用データに基づく、Azure でのほぼリアルタイムの分析

• アプリケーションに影響を与えずにメインフレームまたはミッドレンジ システムから Azure にデータを移行する

考慮事項

これらの考慮事項では、Azure Well-Architected Framework の柱を実装します。これは、ワークロードの品質を向上させるために使用できる一連の基本原則です。 詳細については、「 Well-Architected Framework」を参照してください。

[信頼性]

信頼性は、アプリケーションが顧客に対して行ったコミットメントを確実に満たすことができるのに役立ちます。 詳細については、「信頼性設計レビューチェックリスト」を参照してください。

Azure Monitor と Application Insights を使用して、データ移行を監視します。 予防的な管理のためのアラートを設定します。

コストの最適化

コストの最適化では、不要な経費を削減し、運用効率を向上させる方法に重点を置いています。 詳細については、「コストの最適化設計レビューチェックリスト」を参照してください。

• Azure へのデータ レプリケーションと Azure サービスでの処理は、メインフレーム システムでのデータの維持に比べてコストを節約できます。

• Azure portal のコスト管理ツールには、支出の分析に役立つコスト分析ビューが用意されています。

• Azure Databricks を使用して、自動スケーリングを使用してクラスターのサイズを変更し、コストを最適化できます。 この方法では、固定構成と比較してコストを節約できます。

• Azure Advisor からは、パフォーマンスとコスト管理を最適化するための推奨事項が提供されます。

このソリューションの実装コストを見積もるには、Azure 料金計算ツールを使用します。

パフォーマンス効率

パフォーマンス効率とは、ユーザーの要求を効率的に満たすためにスケーリングするワークロードの能力を指します。 詳細については、「パフォーマンス効率設計レビュー チェックリスト」を参照してください。

• Precisely Connect では、データの量に基づいてスケーリングし、データ レプリケーションを最適化できます。

• Connect Replicator Engine では、並列処理のためにデータを分散できます。 ワークロードのインジェストに基づいて分散のバランスを取ることができます。

• SQL Database サーバーレスは、ワークロードの量に基づいて自動的にスケーリングできます。

• Event Hubs は、スループット ユニットとパーティションの数に基づいてスケーリングできます。

詳細については、Azure での自動スケールのベスト プラクティスに関するページを参照してください。

共同作成者

Microsoft では、この記事を保持しています。 次の共同作成者がこの記事を書きました。

プリンシパル作成者:

• Seetharaman Sankaran | シニア エンジニアリング アーキテクト

その他の共同作成者:

• ギアニ・シンハ |シニア ソリューション エンジニア

公開されていない LinkedIn プロフィールを見るには、LinkedIn にサインインしてください。

次のステップ

• CDC with Precisely Connect
• Azure ExpressRoute とは
• VPN ゲートウェイとは
• SQL Database とは
• Microsoft の メインフレーム データモダン化エンジニアリング チームにお問い合わせください。

関連リソース

• メインフレームおよびミッドレンジ データの最新化
• メインフレームのバッチ アプリケーションを Azure でリエンジニアリングする
• メインフレーム データを Azure にレプリケートして同期する
• Azure でのメインフレーム ファイル レプリケーションと同期