Qlik を使用してメインフレームとミッドレンジのデータを Azure にレプリケートする

このソリューションでは、Qlik のオンプレミス インスタンスを使用して、オンプレミスのデータ ソースをリアルタイムで Azure にレプリケートします。

Apache® および Apache Kafka® は、米国およびその他の国における Apache Software Foundation の登録商標または商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。

アーキテクチャ

このアーキテクチャの Visio ファイルをダウンロードします。

Workflow

1. ホスト・エージェント: オンプレミス システム上のホスト エージェントは、Db2、情報管理システム (IMS)、および仮想ストレージ アクセス方法 (VSAM) データ ストアから変更ログ情報をキャプチャし、Qlik レプリケーション サーバーに渡します。

2. レプリケーション サーバー: Qlik レプリケーション サーバー ソフトウェアは、変更ログ情報を eventstream に取り込みます。 この例では、Qlik はオンプレミスですが、Azure の仮想マシンに展開できます。

3. ストリーム インジェスト: eventstream と eventhouse は、データのステージングと準備を処理します。

   • eventstream は 、Qlik レプリケーション サーバーからリアルタイムの変更ログ データをルーティングします。 ホット パスを介してイベントハウスにデータを送信し、ほぼリアルタイムの分析を可能にします。
   • Eventhouse は リアルタイム分析ストアとして機能し、クエリと分析のために変更ログ データを Fabric に格納します。
   • OneLake は、コールド パスを介した高度な分析のための履歴分析と大規模なデータ準備のための統合データ レイクです。 イベントハウスから (OneLake の可用性を通じて) キュレーションまたはレプリケートされた変更ログ データを格納するか、eventstream から直接取り込みます。

4. Azure データ サービス: Azure には、次の効率的なデータ ストレージ サービスとデータ処理サービスが用意されています。

   • リレーショナル・データベース・サービス:

     • Azure SQL Database
     • Azure Database for PostgreSQL
     • Azure Database for MySQL

     データストレージサービスを選択する際には、考慮すべき多くの要素があります。 ワークロードのタイプ、データベース間クエリ、2 フェーズ・コミット要件、ファイル・システムへのアクセス機能、データ量、必要なスループット、およびレイテンシを考慮してください。

   • Azure Cosmos DB: Azure Cosmos DB は、あらゆる規模で迅速な応答、自動スケーラビリティ、保証された速度を提供する NoSQL データベースです。

   • Azure Databricks: Azure Databricks は、変更ログ データを処理し、Azure 上の対応するファイルを更新します。

   • Microsoft Fabric: Fabric は、企業向けのオールインワン分析ソリューションです。 データの移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンスまで、あらゆるものをカバーしています。 データレイク、データエンジニアリング、データ統合など、包括的なサービススイートを提供します。

コンポーネント

このアーキテクチャは、いくつかの Azure クラウド サービスで構成され、ネットワークと ID、アプリケーション、ストレージ、監視の 4 つのリソースカテゴリに分類されます。 次のセクションでは、各リソースのサービスとその役割について説明します。

ネットワーク

アプリケーション アーキテクチャを設計するときは、パブリック インターネットまたはプライベート接続を介した対話中にセキュリティ、パフォーマンス、管理性を確保するために、ネットワークと ID コンポーネントに優先順位を付けることが重要です。

• Azure ExpressRoute は、オンプレミスインフラストラクチャと Microsoft クラウド サービスの間の専用のプライベート接続です。 このアーキテクチャでは、Azure と Microsoft 365 へのセキュリティで保護された高スループットの接続を確保し、パブリック インターネットをバイパスして信頼性とパフォーマンスを向上させます。

ストレージとデータベース

Azure と Fabric は、スケーラブルなクラウド ストレージとマネージド データベースを実現するマネージド サービスを提供し、柔軟でインテリジェントなデータ管理を実現します。

• Azure Databricks は、Apache Spark 上に構築されたクラウドベースのデータ エンジニアリングおよび分析プラットフォームです。 大量のデータを処理および変換できます。 機械学習モデルを使用してデータを探索できます。 ジョブは、R、Python、Java、Scala、Spark SQL で記述できます。 このアーキテクチャでは、Azure Databricks は機械学習モデルを使用して、大量の取り込まれたデータを変換および分析します。 また、R、Python、Java、Scala、Spark SQL での開発もサポートしています。

• OneLake は、組織全体にサービスを提供できる、統合された論理データ レイクです。 OneDrive と同様に、OneLake にはすべての Fabric テナントが含まれており、すべての分析データに対して 1 つの場所が提供されます。 このアーキテクチャでは、OneLake は、オンプレミス システムから処理された変更ログ データの永続的なストレージ 層として機能します。

• Azure Cosmos DB は、グローバルに分散された NoSQL データベース サービスです。 このアーキテクチャでは、メインフレーム システムから移行された表形式以外のデータを格納し、リージョン間の低待機時間アクセスをサポートします。

• Azure Database for MySQL は、スケーラビリティと高可用性を実現するために設計されたフル マネージドの MySQL データベース サービスです。 このアーキテクチャでは、オープンソースのリレーショナル ワークロードがサポートされています。

• Azure Database for PostgreSQL は、Azure サービスとのネイティブ接続を備えた、インテリジェントでスケーラブルなフル マネージドの PostgreSQL です。 このアーキテクチャでは、高度なインデックス作成、分析、およびオープンソース ツールとの互換性からメリットを得られるリレーショナル データをホストします。

• Azure SQL は、移行、最新化、開発をサポートするクラウドベースの SQL データベース サービスのファミリです。 このファミリには、次のオファリングが含まれています。

  • Azure SQL Edge は、IoT とエッジのデプロイ用に最適化された軽量 SQL エンジンです。 このアーキテクチャでは、切断された環境または待機時間の影響を受けやすい環境で、デバイスの近くにデータを処理して格納します。

  • Azure SQL Managed Instance は、オンプレミスの SQL Server との互換性が 100% 近いフル マネージド SQL Server インスタンスです。 このアーキテクチャでは、管理の簡素化と組み込みの高可用性を活用する移行されたデータベースをホストします。

  • SQL Database は、スケーラビリティとパフォーマンスのために最適化されたフル マネージド リレーショナル データベースです。 このアーキテクチャでは、エラスティック コンピューティングと組み込みのインテリジェンスを使用して最新化されたワークロードをサポートします。

  • Azure Virtual Machines 上の SQL Server は、Azure インフラストラクチャ上で実行されるフル機能の SQL Server インスタンスです。 このアーキテクチャでは、オペレーティング システムとデータベース エンジンを完全に制御する必要があるレガシ ワークロードがサポートされています。

モニタリング

監視ツールは、包括的なデータ分析と、アプリケーションのパフォーマンスに関する貴重な洞察を提供します。

• Application Insights は、アプリケーションのパフォーマンス、可用性、使用状況に関する詳細なテレメトリを提供する Azure Monitor の機能です。 このアーキテクチャでは、アプリケーションの動作を監視し、異常を検出し、分散トレースをサポートしてサービス全体の信頼性を確保します。

• Azure Monitor は、Azure およびオンプレミス環境からのテレメトリを収集、分析、および操作するための包括的なプラットフォームです。 このアーキテクチャでは、中央の監視レイヤーとして機能し、インフラストラクチャとアプリケーション全体でプロアクティブな監視と診断を可能にします。

  • Log Analytics は、強力なクエリ言語を使用してログ データを詳細に分析できる Azure Monitor 内のクエリ ツールです。 このアーキテクチャでは、複数のソース間でデータを結合して集計することで、診断、カスタム ダッシュボード、および運用上の分析情報をサポートします。

選択肢

• 上の図は、オンプレミスにインストールされた Qlik を示しています。 このアプローチは、Qlik をオンプレミスのデータ ソースに近づけるために推奨されるベスト プラクティスです。 別の方法として、Qlik をクラウドの Azure 仮想マシンにインストールすることもできます。

• Qlik Data Integration は、Kafka やイベント ハブを経由せずに、Azure Databricks に直接データを配信できます。

• Qlik データ統合 はデータを Azure Cosmos DB に直接レプリケートすることはできませんが、イベント ソーシング アーキテクチャを使用して Azure Cosmos DB をイベント ハブと統合できます。

シナリオの詳細

多くの組織では、メインフレームとミッドレンジのシステムを使用して、要求の厳しい重要なワークロードを実行しています。 ほとんどのアプリケーションは、多くの場合、複数のシステム間で共有データベースを使用します。 この環境では、クラウドへのモダナイゼーションとは、オンプレミスのデータをクラウドベースのアプリケーションに提供する必要があることを意味します。 したがって、データレプリケーションは重要なモダナイゼーション戦略になります。

Qlik データ統合プラットフォームには、データのレプリケーションを行う Qlik Replicate が含まれています。 変更データ キャプチャを使用して、オンプレミスのデータ ストアをリアルタイムで Azure にレプリケートします。 変更データは、Db2、IMS、および VSAM の変更ログから取得できます。 このレプリケーション手法により、不便な一括一括読み込みが排除されます。 このソリューションでは、Qlik のオンプレミス インスタンスを使用して、オンプレミスのデータ ソースをリアルタイムで Azure にレプリケートします。

考えられるユース ケース

このソリューションは、次の場合に適しています。

• メインフレームまたはミッドレンジ システムから Azure データベースへのデータ変更のレプリケーションを必要とするハイブリッド環境。

• Db2 から Azure SQL データベースへのオンライン データベース移行を、ダウンタイムをほとんど伴わずに行うことができます。

• 統合と分析のために、さまざまなオンプレミス データ ストアから Azure へのデータ レプリケーション。

考慮事項

これらの考慮事項では、Azure Well-Architected Framework の柱を実装します。これは、ワークロードの品質を向上させるために使用できる一連の基本原則です。 詳細については、「 Well-Architected Framework」を参照してください。

信頼性

信頼性は、アプリケーションが顧客に対して行ったコミットメントを確実に満たすことができるのに役立ちます。 詳細については、「信頼性の設計レビュー チェックリスト」を参照してください。

• Qlik データ統合 は、高可用性クラスターで構成できます。

• Azure データベース サービスでは、ゾーンの冗長性がサポートされます。 メンテナンス期間中または停止中にセカンダリ ノードにフェールオーバーするように設計できます。

• Fabric は、可用性ゾーンを通じてリージョンの回復性を提供し、リージョン間の復旧をサポートします。

セキュリティ

セキュリティは、意図的な攻撃や貴重なデータとシステムの誤用に対する保証を提供します。 詳細については、「セキュリティの設計レビュー チェックリスト」を参照してください。

• ExpressRoute は、オンプレミスから Azure へのプライベートで効率的な接続を提供しますが、代わりに サイト間 VPN を使用することもできます。

• Azure リソースは Microsoft Entra ID を使用して認証でき、アクセス許可はロールベースのアクセス制御によって管理されます。

• Azure データベース サービスと Fabric では、次の機能を含むさまざまなセキュリティ オプションがサポートされています。

  • 保存データの暗号化

  • 動的データのマスキング

  • 常に暗号化されたデータベース

• 詳細については、 Azure のセキュリティ に関するドキュメント と Fabric のセキュリティ ドキュメントを参照してください。

コストの最適化

コストの最適化では、不要な経費を削減し、運用効率を向上させる方法に重点を置いています。 詳細については、「コスト最適化の設計レビュー チェックリスト」を参照してください。

実装のコストを見積もるために、 Azure 料金計算ツール と Fabric 料金見積もりツールを使用します。

オペレーショナル エクセレンス

オペレーショナル エクセレンスは、アプリケーションをデプロイし、それを運用環境で実行し続ける運用プロセスをカバーします。 詳細については、「オペレーショナル エクセレンスのデザイン レビュー チェック一覧」を参照してください。

Application Insights と Log Analytics の機能を組み合わせて、Azure リソースの正常性を監視できます。 アラートを設定して、問題をプロアクティブに管理できるようにすることができます。

Fabric は、ガバナンス、可観測性、回復性のあるエンジニアリング パターンを統合することで、オペレーショナル エクセレンスを実現します。 この統合は、OneLake、Fabric Data Warehouse、Fabric Data Engineer、Fabric Real-Time Intelligence、およびその他のワークロードで発生します。

パフォーマンス効率

パフォーマンス効率とは、ユーザーの要求を効率的に満たすためにスケーリングするワークロードの能力を指します。 詳細については、「パフォーマンス効率の設計レビュー チェックリスト」を参照してください。

Fabric、Azure Databricks、Data Lake Storage、およびその他の Azure データベース サービスには、自動スケール機能があります。 詳細については、自動スケーリングのページを参照してください。

貢献者達

Microsoft では、この記事を保持しています。 次の共同作成者がこの記事を書きました。

主要な著者:

• Nithish Aruldoss | エンジニアリング アーキテクト
• Ashish Khandelwal | プリンシパル エンジニアリング アーキテクチャ マネージャー

その他の共同作成者:

• ダルメンドラ・ケシャリ |クラウド ソリューション アーキテクト

公開されていない LinkedIn プロフィールを見るには、LinkedIn にサインインしてください。

次のステップ

• Qlik データ統合プラットフォーム
• 新しい Azure 分析イニシアチブを解き放つ (PDF データ シート)
• ExpressRoute とは
• Event Hubs: Apache Kafka をネイティブにサポートするリアルタイム データ ストリーミング プラットフォーム
• ストレージの概要
• Azure SQL Database とは何ですか?
• Azure Cosmos DB
• OpenTelemetry を使用した Application Insights の概要
• Azure Monitor ログの概要
• Azure Monitor のログ クエリ
• お問い合わせ(メール作成選択)

関連リソース

• メインフレームおよびミッドレンジ データの最新化
• Azure でメインフレーム バッチ アプリケーションをリエンジニアリングする
• Azure でのメインフレーム データのレプリケートと同期
• Azure でのメインフレーム ファイルのレプリケーションと同期の