使用預備資料庫進行資料移轉

此參考架構強調了預備資料庫在大規模和複雜資料遷移中的策略角色。 該過程不是直接將數據從源系統傳輸到目標環境，而是引入了中間暫存層。 資料首先導入到暫存移轉資料庫中，並進行轉換和驗證。 只有在完成這些步驟後，資料才會載入到 Dataverse 中。 此模式可改善資料品質、確保完整性，並降低移轉過程中出錯的可能性。

架構圖

數據流

• 擷取：資料是從來源系統擷取的。
• 階段：資料會載入至來源暫存資料庫。
• 轉換：移轉指令碼會處理和轉換資料。
• 載入：轉換後的資料會載入至目的地預備資料庫。
• 驗證：Excel 範本用於驗證主資料。
• 整合：資料移轉工具會將資料載入 Dataverse，並將檔案載入 Azure Blob 或 SharePoint。

Components

• 來源系統：原始資料來源，可能包括舊版資料庫、ERP 系統或非 Microsoft 應用程式。
• 預備資料庫：用於在最終移轉之前擷取、轉換和驗證資料的臨時中繼資料存放區。 此層將源系統和目標系統解耦，從而允許受控和可審計的數據準備。
• ETL/ELT 流程：擷取、轉換和載入 （或擷取、載入、轉換） 管線，將資料從來源移至預備資料庫、套用商務規則，並為 Dataverse 做好準備。
• 參考資料：在移轉期間用來驗證和擴充主要資料的資料。 例如，Excel 主資料範本。
• Dataverse：最終載入清理和驗證資料以用於 Power Platform 應用程式的目標系統。
• 文件儲存：非結構化資料（例如附件和文件）的儲存。 例如，Azure Blob 儲存體或 SharePoint。

案例詳細資料

此架構適用於下列案例：

• 來源系統包含大量資料或複雜的關聯式結構，在擷取至 Dataverse 之前需要進行轉換。
• 由於資料品質問題、結構描述不符或需要強制執行商務規則，直接移轉是不可行的。
• 移轉程序必須是可稽核、可重複的，並支援特定資料區段的復原或重新處理。
• 組織需要分階段或累加式移轉方法，例如在系統現代化或雲端轉換專案期間。

範例使用案例

• 將客戶和交易資料從內部部署 ERP 系統移轉至 Dataverse，以便在 Power Apps 和 Power Automate 中使用。
• 將來自多個舊版系統的資料合併到統一的 Dataverse 環境中。
• 執行預先載入資料擴充，例如地理編碼地址或將舊版程式碼對應至新的分類法。

主要優點

• 資料品質保證：暫存層可以在資料到達生產環境之前進行徹底的驗證和轉換。
• 錯誤隔離：可以在預備環境中識別和解決問題，而不會影響來源或目標系統。
• 可擴展性：支援大量資料和複雜的轉換邏輯。
• 可審計性： 能夠追蹤數據沿襲和轉換歷史。

考慮事項

這些考慮會實施 Power Platform Well-Architected 的核心支柱，也就是一組能夠改善工作負載品質的指導原則。 在 Microsoft Power Platform Well-Architected 中深入瞭解。

Reliability

• 設計預備和移轉流程，以具備應對故障的能力。 在 ETL 管道中實作重試邏輯和檢查點，以處理暫時性錯誤。
• 在將資料載入 Dataverse 之前，請先驗證資料的完整性和完整性，以避免部分或損毀的移轉。

安全性

• 套用角色型存取控制 （RBAC） 來限制對預備資料庫和移轉工具的存取。
• 加密儲存中及傳輸中的資料，尤其是在處理敏感或個人資料時。
• 記錄和監控對預備環境和 Dataverse 的存取，以支援稽核和合規性需求。

效能效率

• 優化資料擷取和轉換邏輯，以最大限度地減少處理時間和資源消耗。
• 在適當的情況下使用批次處理和並行處理來有效地處理大量資料。
• 監控預備環境的效能指標，並視需要調整運算資源。

卓越營運

• 記錄移轉程式，包括資料對應、轉換規則和驗證邏輯。
• 實施自動化測試和驗證腳本，以確保可重複性並減少人為錯誤。
• 使用 Azure Data Factory 等協調流程工具來管理和監視端對端移轉工作流程。

後續步驟

下一篇文章概述了管理大規模遷移的經過驗證的方法。 複雜遷移中最大的挑戰之一是追蹤載入的資料、處理錯誤以及重試失敗的記錄。 由於這些移轉可能會持續數天甚至數週，因此請使用分階段策略。 此策略僅在最終生產環境完全移轉期間移轉差異資料，以盡量減少干擾。