Azure 上的大型主機檔案複寫和同步
解決方案構想
本文說明解決方案概念。 您的雲端架構師可以使用本指南，協助視覺化此架構的一般實作的主要元件。 以本文為起點，設計符合您工作負載具體要求的完善解決方案。
當您將內部部署大型主機或中型應用程式遷移至 Azure 時，數據傳輸是一個關鍵考慮。 數個現代化案例需要您快速復寫檔案至 Azure，或維護內部部署檔案與 Azure 檔案之間的同步處理。
本文說明數種方式可將檔案傳輸至 Azure、轉換和轉換檔案數據，以及將數據儲存在內部部署和 Azure 中。
架構
下載此架構的 Visio 檔案。
資料流程
下列資料流程對應至架構圖：
將檔案傳輸至 Azure：
將檔案在內部部署傳輸至 Azure 的最簡單方式是使用 檔案傳輸通訊協定 （FTP） 。 您可以在 Azure 虛擬機器 （VM） 上裝載 FTP 伺服器。 簡單的 FTP 作業控制語言 （JCL） 會以二進位格式將檔案傳送至 Azure，這對於保留大型主機和中範圍計算和二進位數據類型至關重要。 您可以將傳輸的檔案儲存在內部部署磁碟、Azure VM 檔案記憶體或 Azure Blob 儲存體 中。
您也可以使用 AzCopy 之類的工具，將內部部署檔案上傳至 Blob 記憶體。
Azure Data Factory FTP 或安全文件傳輸通訊協定 （SFTP） 連接器可用來將數據從大型主機系統傳輸到 Blob 記憶體。 此方法需要安裝自我裝載整合運行時間的中繼 VM。
您也可以在 Azure Marketplace 上找到非Microsoft工具，以將檔案從大型主機傳輸到 Azure。
協調、轉換和轉換資料：
Azure 無法讀取 Azure VM 磁碟或 Blob 記憶體中的 IBM 擴充二進位編碼十進位交換碼 （EBCDIC） 代碼頁檔案。 為了讓這些檔案與 Azure 相容，主機整合伺服器 （HIS） 會將這些檔案從 EBCDIC 轉換為美國資訊交換標準代碼 （ASCII） 格式。
Copybook 會定義 COBOL、PL/I 和元件語言檔案的數據結構。 HIS 會根據 copybook 版面配置將這些檔案轉換成 ASCII。
您可以使用適用於 IBM 主機檔案的 Azure Logic Apps 連接器來達成大型主機檔案資料轉換。
將資料傳輸到 Azure 資料存放區之前，您可能需要轉換資料或使用它進行分析。 Azure Data Factory 可以管理這些擷取-轉換-載入 （ETL） 和擷取-載入轉換 （ELT） 活動，並將數據直接儲存在 Azure Data Lake Storage 中。 或者，您可以使用 Fabric Data Factory 和 OneLake 存放區。
針對巨量數據整合，Azure Databricks 以及 Microsoft Fabric 可以使用 Apache Spark 引擎進行記憶體內部計算，快速有效地執行所有轉換活動。
儲存資料：
視您的需求而定，您可以將傳輸的數據儲存在數種可用的永續性 Azure 記憶體模式之一中。
如果不需要分析，Azure Data Factory 可以將資料直接儲存在各種儲存體選項中，例如 Data Lake Storage、Blob 儲存體和 Microsoft Fabric OneLake。
Azure 裝載各種 可因應不同需求的資料庫：
關係資料庫包括 SQL Server 系列和開放原始碼資料庫，例如 PostgreSQL 和 MySQL。
非關係資料庫包括 Azure Cosmos DB，這是快速、多模型、全域散發的 NoSQL 資料庫。
檢閱分析和商業智慧。 Microsoft Fabric 是一種多合一分析解決方案，涵蓋從數據移動到數據科學、實時分析和商業智能的所有內容。 它提供一套服務，包括數據湖、數據工程和數據集成，全部集中在一個地方。
元件
此架構會使用下列元件。
網路
內部部署資料閘道是將內部部署資料來源連線到雲端服務的橋接軟體。 在此架構中，它可讓大型主機系統與 Azure 服務之間進行通訊，以進行檔案傳輸和整合。 您可以在專用的內部部署 VM 上安裝閘道。
資料整合和轉換
此架構概述您可以根據大型主機來源資料和目標資料庫使用的各種 Azure 原生移轉工具。
主機檔案的數據提供者是 HIS 的元件，可將 EBCDIC 程式碼頁檔案轉換成 ASCII。 提供者可以在本機二進位檔中脫機讀取和寫入記錄。 或者，它可以使用系統網路架構（SNA）或傳輸控制通訊協定/因特網通訊協定（TCP/IP）在遠端 IBM z/OS 大型主機數據集或 i5/OS 實體檔案中讀取和寫入記錄。 HIS 連接器適用於 BizTalk 和 Logic Apps。 在此架構中，主機檔案的資料提供者可讓您以檔案層級存取和轉換 IBM z/OS 和 i5/OS 資料集，以移轉至 Azure。
Azure Data Factory 是混合式數據整合服務，可用來建立、排程及協調 ETL 和 ELT 工作流程。 在此架構中，Azure Data Factory 會透過 FTP 將大型主機檔案傳輸至 Blob 儲存體，並管理轉換管線。
Azure Databricks 是針對 Azure 優化的 Apache Spark 分析平臺。 在此架構中，它會擴充傳入的大型主機資料並將其與其他資料集相關聯，以進行進階分析和轉換。
Microsoft Fabric 是一個智慧型資料平台，具有一套適用於每個資料生命週期階段的雲端服務和工具，包括擷取、準備、儲存、分析和視覺化。 在此架構中，Fabric 可讓組織研究資料移動、試驗資料科學，以及對轉換的大型主機資料執行即時分析和商業智慧。
Logic Apps 是雲端式服務，可用來自動化工作流程，並跨不同環境整合應用程式、數據和服務。 在此架構中，它使用 IBM 主機檔案連接器與大型主機系統互動，並自動進行檔案剖析和轉換。
資料庫
此架構概述將大型主機檔案數據遷移至 Azure 中的雲端記憶體和受控資料庫的程式。 它包含轉換大型主機檔案元數據以符合 Azure 中的目標架構。
Azure SQL 資料庫 是可調整的關係型雲端資料庫服務。 SQL Database 是常青的，且一律 up-to-date，且具有 AI 支援的自動化功能，可優化效能和持久性。 無伺服器計算和超大規模資料庫記憶體選項會自動視需要調整資源。 在此架構中，SQL Database 會儲存轉換的大型主機資料，並支援高可用性。 它也透過 Azure Hybrid Benefit 支援成本效益，因為您可以在雲端上使用現有的內部部署 SQL Server 授權，而不需要額外費用。
Azure SQL 受控執行個體 是平臺即服務 （PaaS） 供應項目，可提供與受控基礎結構的完整 SQL Server 相容性。 在此架構中，它透過託管移轉的大型主機資料，以最少的程式碼變更來現代化舊版應用程式。
Azure 虛擬機器上的 SQL Server 是基礎結構即服務 （IaaS） 解決方案，可將 SQL Server 工作負載提升和移至 Azure，將 Azure 的彈性和混合式連線能力與 SQL Server 效能、安全性和分析結合。 在此架構中，它提供對 SQL Server 設定的控制，以裝載大型主機衍生資料。
適用於 PostgreSQL 的 Azure 資料庫 是受控開放原始碼關聯式資料庫服務。 在此架構中，它可作為需要 PostgreSQL 相容性的已移轉大型主機資料的目標。
適用於 MySQL 的 Azure 資料庫 是受控 MySQL 資料庫服務。 在此架構中，它支援需要 MySQL 型儲存來轉換大型主機資料的工作負載。
Azure Cosmos DB 是全域分散式 NoSQL 資料庫服務，包含多模型支援。 在此架構中，它會儲存以轉換的大型主機資料為基礎的高效能、可擴展的應用程式。
其他數據存放區
Blob 記憶體 是雲端式物件記憶體解決方案，可儲存大量的非結構化數據，例如文字或二進位數據。 您可以透過 HTTP 或 HTTPS 從任何地方存取此資料。 您可以使用 Blob 記憶體公開資料，或私下儲存應用程式數據。 在此架構中，它儲存從大型主機系統傳輸的二進位檔和文字檔案，並作為轉換的暫存區域。
Data Lake Storage 是儲存原生原始格式大量數據的記憶體存放庫。 Data Lake Storage 可為巨量數據分析工作負載提供數 TB 和 PB 的數據調整。 數據通常來自多個異質來源，而且可以結構化、半結構化或非結構化。 在此架構中，它會以原生格式儲存原始和轉換的大型主機資料，以供分析服務處理。
Microsoft Fabric 中的 OneLake 是單一、統一的邏輯資料湖。 在此架構中，它可作為 Fabric Data Factory 管線的儲存目的地。 它提供了一個集中位置來儲存轉換後的大型主機資料，以用於分析和商業智慧工作負載。
案例詳細資料
將大型主機檔案從 EBCDIC 編碼格式轉換成 ASCII 格式，是將數據從大型主機系統遷移至 Azure 雲端記憶體和資料庫的必要條件。 大型主機應用程式每天產生及處理大量數據。 此數據必須正確轉換，才能在其他平臺上使用。
當組織轉換大型主機檔系統數據時，您應該將檔案元數據轉換成雲端原生圖解。 並開發包含有效檔案轉換技術的移轉策略。
潛在使用案例
內部部署檔案復寫和同步處理對於各種使用案例而言非常重要：
下游或上游相依性，例如在大型主機上執行的應用程式，以及在 Azure 上執行的應用程式需要透過檔案交換數據
使用內部部署應用程式在 Azure 上平行測試重新裝載或重新設計的應用程式
無法立即補救或現代化之系統上緊密結合的內部部署應用程式
參與者
本文由 Microsoft 維護。 下列參與者撰寫本文。
主要作者：
- Nithish Aruldoss | 工程架構師
- Ashish Khandelwal |首席工程架構管理員
其他貢獻者：
- 加尼·辛哈 |高級雲解決方案架構師
若要查看非公開的 LinkedIn 個人檔案，請登入 LinkedIn。
下一步
- 如需詳細資訊，請連絡 Microsoft SQL 數據工程小組。
- Azure 資料庫移轉指南