共用方式為


Azure 儲存空間移動者規模和效能目標

記憶體移轉服務的效能是任何移轉的重要層面。 在這篇文章中,我們將分享效能測試結果。不過,因為 Azure 儲存 Mover 是一項新服務,您的使用體驗可能會有所不同。

調整目標規模

Azure 儲存體 Mover 已經測試了 5 億個命名空間項目(檔案和資料夾),從支持的來源遷移到 Azure 中 支持的目標

我們如何測試

Azure Storage Mover 是一種混合式雲端服務。 混合式服務具有雲端服務元件,以及服務系統管理員在其公司環境中執行的基礎結構元件。 針對記憶體移動器,該混合式元件是移轉代理程式。 代理程式是在來源記憶體附近的主機上執行的虛擬機。

顯示兩個箭號來說明移轉路徑的圖表。第一個箭號代表從來源或代理程式前往記憶體帳戶的數據,而第二個箭號只代表記憶體行動器資源或服務的管理或控制資訊。

只有代理程式是服務中效能測試的相關部分。 若要省略隱私權和效能考慮,數據會直接從記憶體Mover代理程式移至 Azure 中的目標記憶體。 只有控制和遙測訊息會傳送至雲端服務。

效能基準

這些測試結果是在理想條件下建立的。 它們被作為儲存移動器服務和代理程式可直接影響的元件基準。 此測試不會考慮來源裝置、磁碟和網路連線的差異。 真實世界的效能會有所不同。

從 SMB 掛接移轉至 Azure 檔案共用測試的執行方式如下:

下表說明從SMB掛接到 Azure 檔案共用產生效能測試結果的測試環境特性。

測試編號。 否。 檔案的 總檔案大小 檔案大小 資料夾結構
1 1200 萬 12 GB 每個 1 KB 12 個資料夾,每個資料夾都有 100 個子資料夾,其中包含 10,000 個檔案
2 30 20 GB 1 個資料夾
3 100 萬 100 GB 每個 100 KB 1,000 個資料夾,每個資料夾都有 1,000 個檔案
4 1 4 TB
5 1.17 億 117 GB 每個 1 KB 117 個資料夾,每個資料夾都有 100 個子資料夾,其中包含 10,000 個檔案
6 1 1 TB
7 330 萬 45 GB 每個 13 KB 200,000 個資料夾,每個資料夾都包含 16\17 個檔案
8 5000 萬 1 TB 每個 20 KB 2,940,000 個資料夾,每個資料夾都包含 17 個檔案
9 1 億 2 TB(兆字節) 每個 20 KB 5,880,000 個資料夾,每個資料夾都包含 17 個檔案

SMB 端點上會測試不同的代理程式資源設定:

  1. Minspec:4 個 CPU/8 GB RAM 4 個 虛擬 CPU 核心,每個 2.7 GHz 和 8 GiB 的記憶體(RAM)是 Azure 記憶體行動器代理程式的最低規格。

    測試編號。 執行時間 掃描時間
    6 16 分鐘,42 秒 1.2 秒
    7 55 分鐘,4 秒 1 分鐘,17 秒
    8
    9
  2. 開機規格:8 個 CPU/16 GiB RAM 8 虛擬 CPU 核心,每個 2.7 GHz 和 16 GiB 記憶體(RAM)是 Azure 記憶體行動器代理程式的最低規格。

    結果:標準記憶體帳戶

    測試編號。 執行時間 掃描時間
    1 15 小時,59 分鐘 2 小時, 36 分鐘, 34 秒
    2 1 分鐘,54 秒 3.34 秒
    3 1 小時, 19 分鐘, 27 秒 57.62 秒
    4 1 小時,5 分鐘,57 秒 2.89 秒

    結果:已啟用大型檔案的標準記憶體帳戶

    測試編號。 執行時間 掃描時間
    1 3 小時, 51 分鐘, 31 秒 41 分鐘和 45 秒
    5 25 小時,47 分鐘 23 小時,35 分鐘
    6 11 分鐘,11 秒 0.7 秒
    7 55 分鐘,10 秒 1 分鐘, 3 秒
    8
    9

    結果:進階記憶體帳戶

    測試編號。 執行時間 掃描時間
    1 2 小時, 35 分鐘, 14 秒 24 分鐘,46 秒
    5 23 小時,34 分鐘 21 小時,34 分鐘

請檢閱建議的代理程式資源以瞭解您在代理程式部署文章中的移轉範圍。

移轉效能為何會有所不同

基本上,網路質量和處理檔案、資料夾及其元數據的能力會影響您的移轉速度。

在網路和計算的兩個核心區域中,有數個層面會影響:

  • 移轉案例
    相較於具有內容的目標,複製到空白目標的速度較快。 此行為是因為移轉引擎不僅評估來源,還評估目標來進行複製決策。
  • 命名空間項目計數
    移轉 1 GiB 小型檔案所需的時間比移轉 1 GiB 較大的檔案還要多。
  • 命名空間圖形
    寬資料夾階層比窄目錄結構或深層目錄結構更適合平行處理。 檔案與資料夾的比率也具有影響。
  • 命名空間變換
    在兩次從相同來源到相同目標的複製作業之間,有多少檔案、資料夾和元數據發生變更?
  • 網路
    • 來源和移轉代理程式之間的頻寬和延遲
    • 移轉代理程式與 Azure 中目標之間的頻寬和延遲
  • 移民代理資源
    記憶體數量(RAM)、計算核心數目,甚至是移轉代理程式上可用的本機磁碟容量,可能會對移轉速度產生深遠的影響。 更多計算資源有助於將可用頻寬的使用率優化,尤其是在移轉中需要處理大量較小的檔案時。

例如,傳統移轉需要策略,以將相依於要移轉之記憶體的工作負載停機時間降到最低。 Azure 儲存空間 Mover 支援此策略,稱為收斂式 n 次移轉。

在此策略中,您會從來源複製到目標數次。 在這些複製迭代過程中,來源仍可供工作負載讀取和寫入。 在最終版本調整之前,您會將原始文件下線。 最後一個副本預期會比您製作的第一個副本更快完成,而且所需時間和前一個副本大致相等。 在最後一個復本之後,工作負載會切換至 Azure 中新的目標儲存空間,然後再次可供使用。

在第一次從來源複製到目標的過程中,目標通常是空白的,並且必須將所有源內容移至目標。 因此,第一個復本可能會受到可用網路資源的最大限制。

即將完成移轉時,在您已數次將來源複製到目標之後,在最后一次復本時,只有一些檔案、資料夾和元數據會被修改。 在此上次複製反覆專案中,比較來源和目標中的每個檔案,以查看是否需要更新、需要更多計算資源和較少的網路資源。 複製通常在遷移的後期階段會較受計算資源的限制。 Storage Mover 代理程式的適當配置資源變得越來越重要。

後續步驟

下列文章可協助成功部署 Azure 記憶體 Mover。