你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

选择迁移工具

在本文中,你将了解可联机和脱机迁移数据的各种类型的解决方案。 某些解决方案还提供可重复同步、合并和混合部署功能。 通常,这些工具带来了重叠的技术功能,适用于类似的用例。 本文提供指导,帮助根据您的需求选择合适的迁移工具,并介绍了原生 Azure 工具、合作伙伴及独立软件供应商(ISV)解决方案。

本文讨论每个工具最适合的各种方案。 它还提供了比较和对比这些工具的广泛视角。

联机工具

联机网络传输

通过提供联机网络传输的工具,可通过网络连接或公共 Internet 将数据传输到 Azure。 可以通过多种方式完成此传输,并使用各种工具。

Azure 存储移动程序

Azure 存储移动器是一项完全托管的迁移服务,可帮助你通过网络将 TB 到 PB 级数据迁移到 Azure 存储。 存储移动器是一种混合云服务,由云服务组件和本地迁移代理虚拟机(VM)组成。 存储移动程序用于迁移方案(例如直接迁移)以及定期重复的云迁移

以下列表重点介绍了许多存储移动器的关键方案和功能,这可能使其成为某些用例的建议工具。

  • 由 Azure 中的完全托管、自动化、可复原的工具组成。
  • 单个 Azure 存储移动器资源可以全局管理和协调多个代理,从而洞察单个仪表板中的所有迁移。
  • 适用于相对较小的几 TB 数据量,以及大型 PB 级文件、文件夹和文件共享。 对于一次性数据传输和小于 1 TB 的小数据集,请改用 AzCopy
  • 适用于一次性传输,例如直接迁移或重复的定期同步和传输。
  • 提供一个简单的可靠过程,默认配置已足够。
  • 保留文件元数据。
  • 迁移源和目标包括:
    • 服务器消息块 (SMB) 或网络文件系统 (NFS) 源到 Azure Blob 目标
    • SMB 源到 Azure 文件存储目标
    • S3 源到 Azure Blob 目标
    • “仅元数据”复制功能,其中仅复制文件元数据或结构而不复制文件内容。 例如,进行权限种子设定或执行“模拟”迁移。

可以在 服务概述 文章中详细了解 Azure 存储移动器。 以下文章还有助于利用 Azure 存储移动器进行云迁移:

同步和分层工具

Azure 文件同步

Azure 文件同步支持在几乎零停机的情况下迁移 Windows 文件服务器,并提供混合存储解决方案。 使用 Azure 文件同步,可以在 Azure 文件存储中集中组织的文件共享,同时保持 Windows 文件服务器的灵活性、性能和兼容性。 Azure 文件同步主要是同步和分层工具,而存储移动器的主要功能是作为迁移服务。

选择 Azure 文件同步,以便使用 Azure 文件共享进行传统文件服务器扩展和多站点同步。 此选项包括 Entra ID 集成和双向同步。它还会自动保留新技术文件系统(NTFS)权限和属性。 如果想要保留本地缓存并利用 云分层,或者服务器必须在迁移期间继续提供服务,则这些功能使 Azure 文件同步成为理想的方法。

可以使用任何可用的 Windows Server 协议在本地访问数据,包括 SMB、NFS 和 FTPS。 还可以在世界各地拥有任意数量的缓存。

可以在 迁移概述 文章中找到文件同步支持的所有迁移方案。

在此处详细了解 Azure 文件同步 和各种 迁移方案

Data Box Gateway

Data Box Gateway 是一种云存储解决方案,充当虚拟设备,可在本地基础结构和 Azure 之间实现无缝单向数据传输。 它由本地环境中的 VM 组成,并通过标准协议(如 SMB 或 NFS)连接到 Azure。

网关可高效安全地将数据缓存并上传到 Azure Blob 或文件存储。 Data Box Gateway 是一种长期的、持续性的数据流网关,尤其适用于混合云工作流。

选择 Data Box Gateway,用于单向、大容量数据传输到 Azure,尤其适用于 NFS 数据或持续数据传输。 如果不需要同步数据的多个本地副本,则 Data Box Gateway 也是适当的选择。Data Box Gateway 的主要功能是快速将数据移入 Azure,尤其是用于处理或存档。 它还支持手动同步选项,该选项可使用 Azure 中的内容刷新本地共享。

有关 Azure Data Box 网关的更多详细信息,请参阅 用例 文章。

Azure 数据工厂

使用 Azure 数据工厂(ADF)可以准备和转换来自各种源的数据,包括数据库、数据仓库、Lakehouse 和实时流。 然后,它将此数据引入网络以供进一步使用。 如果需要以下一个或多个特性或功能,ADF 是理想的选择:

  • 自定义工作流
  • 迁移期间的数据转换
  • 复杂或可重复的管道
  • 将大数据工作负荷、数据湖或企业数据仓库(EDW)迁移到 Microsoft Azure

在开始使用 ADF 进行迁移之前,应运行概念验证 (POC),以确保服务满足你的要求,因为其中涉及许多复杂情况。 ADF 迁移指南一文中讨论了多个受支持的方案。

非托管工具

AzCopy

AzCopy 是一个命令行实用工具,可用于向/从存储帐户复制数据,或者在存储帐户之间复制数据。 它非常适合快速、可编写脚本的一次性传输,尤其是对象数据或较小的文件集。 如果需要对传输进行精细控制,或者需要通过脚本实现自动化,AzCopy 是一个不错的选择。 它还可用于在相对较短的时间范围内完成的较小数据传输。

但是,作为非托管工具,它无法自动同步更改或跟踪传输状态。 没有错误处理能力,因此需要手动审查日志并自行重试任何失败的操作。 由于性能限制,AzCopy 可能不适合涉及数十亿对象的大规模迁移,尤其是在列表和扫描方面。

注释

AzCopy 不支持“仅元数据”复制,其中仅复制文件元数据或结构而不复制关联的文件内容。 例如,不支持进行权限种子设定或执行模拟迁移。 相反,对于这些类型的用例,请使用 Storage Mover 。

可以在 AzCopy 入门文章中阅读 有关 AzCopy 的 更多详细信息。

针对专长能力的合作伙伴解决方案

合作伙伴和独立软件供应商 (ISV) 工具

如果需要原生 Azure 工具未涵盖的高级功能,请考虑使用 合作伙伴或 ISV 工具。 这些功能可能包括:

  • 警报。
  • 按单个文件进行处理。
  • 深入评估。
  • 专用的源文件系统。
  • 基于策略的措施。
  • 在尽量减少直接转换的情况下进行增量同步。
  • 支持资源和功能。

查看所提供的建议和功能矩阵部分,以获取更多帮助您选择适当工具的详细信息。

脱机工具

如果要将大量数据传输到 Azure 而不依赖于网络连接,则使用脱机数据传输工具。 这些工具适用于网络带宽受限、昂贵或不可用的情况。 它们允许你以物理方式将数据寄送到 Azure,这可以显著加快迁移过程。

如果要执行一次性脱机大容量数据传输,则可交付的物理设备是理想的选择。 这些用例涉及将数据复制到磁盘或专用设备,并将其传送到上传数据的安全Microsoft设施。 可以购买和寄送自己的磁盘,或者选择订购Microsoft提供的磁盘或设备。 Microsoft提供的脱机传输解决方案包括 Azure Data Box Next-GenData Box Disk

Azure Data Box 和 Data Box 磁盘

基础 Azure Data Box 服务允许将数据脱机迁移到首选的 Azure 存储服务。 选择使用 Azure Data Box 进行迁移有几个关键注意事项。 当通过网络复制数据受到限制、速度过慢、成本过高或无法实现时,Azure Data Box 是一个合理的选择。

由于 Data Box 与其他合作伙伴和 ISV 工具集成良好,因此可以使用称为 脱机数据导入的方法。 使用 Data Box 迁移初始数据集后,可以使用联机工具更快地同步文件更改。

Azure Data Box 支持直接跨区域数据导入,因此数据源可以驻留在与存储帐户完全不同的区域中。 例如,此功能允许将驻留在英国的数据迁移到美国的新目标。 此功能有助于管理涉及许多地理位置的大型迁移,同时避免区域间网络费用的成本。

以下示例突出显示了 Azure Data Box 可能是正确的选择的常见用例:

  • 使用 Azure Migrate 迁移计算基础结构时
    通过使用脱机模式迁移非结构化数据,可以缩短时间、成本和网络带宽利用率。 此并行执行可以加速整个迁移过程,并减少网络上的负载。

  • 执行初始数据种子设定时
    最初可以使用 Azure Data Box 迁移大型数据集,然后切换到联机传输工具以同步最近的更改或增量

  • 从 Azure 存储导出数据时
    如果云数据存储在 Azure 上,则可以使用 Data Box 脱机传输将其导出并恢复本地。

  • 传输大量数据时
    Data Box 可以处理每个设备的数十到数百 TB,多个设备可以并行使用。 对于连接受限或单次大规模迁移的远程站点尤其有用。

  • 迁移用例包括:
    • 从源 SMB/NFS 到 Azure Blob、文件存储或 Azure Data Lake Storage (ADLS)
    • 将本地部署的 VM 磁盘转换为托管磁盘
    • 将数据直接移动到一个或多个特定访问层: 存档

可以在 Microsoft学习文档中找到有关 Azure Data Box 功能的更多详细信息。

Azure 导入/导出

Azure 导入/导出服务用于通过将磁盘驱动器寄送到 Azure 数据中心,安全地将大量数据导入 Azure Blob 存储和 Azure 文件。 此服务还可用于将数据从 Azure Blob 存储传输到磁盘驱动器并寄送到本地站点。 可以提供自己的磁盘驱动器或由Microsoft提供的磁盘驱动器。

可以在 服务概述 文章中详细了解 Azure 导入/导出。

其他杂项工具

图形界面

如果偶尔传输一些文件,并且不需要自动传输数据传输,则可以在 Azure 门户中选择图形界面工具,例如 Azure 存储资源管理器基于 Web 的浏览工具

脚本传输或编程传输

可以直接使用Microsoft的优化软件工具或调用 Azure REST API 或软件开发工具包(SDK)。 可用的可脚本工具包括 AzCopy、Azure PowerShell 和 Azure CLI。 对于编程接口,可以使用其中一个 SDK 并在 .NET、Java、Python、Node/JS、C++、Go、PHP 或 Ruby 之间进行选择。

建议和功能矩阵

为数据迁移选择适当的工具对于无缝、高效且可靠的传输至关重要。 根据文件共享迁移或服务到服务传输等方案定制方法有助于优化进程,同时降低风险和中断。 查看关键方案,并为用例选择最合适的首选迁移工具。

尽管可以逐个使用替代方法,但下表提供了针对常见方案最首选工具的定制指南。 它们还包括更详细的功能和受支持的功能,使你能够比较、对比,并为下一步的数据迁移过程做出明智的决策。

迁移工具

规划数据迁移到 Azure 时,请务必根据特定需求、数据量和迁移复杂性选择合适的工具。 在完成工具选择之前,请始终确保阅读并全面了解其相应的功能。

下表为关键迁移工具提供了源和基于目标的可支持性矩阵。 提供的表使用以下图标来指示支持级别:

图标 Description
完全支持
🟦 部分支持
尚不支持

Microsoft工具

重要

每个Microsoft提供的迁移工具都提供各种功能。 没有单个工具支持每个源和目标组合或网络协议。

只有 Azure Data Box 支持将脱机数据传输到 Azure 存储。 所有其他工具都是联机解决方案。

Tool 提供的存储评估 来源 源协议 Azure blob;ADLS Azure 文件 Azure NetApp 文件 Azure 磁盘
Azure 存储移动程序 SMB/NFS 服务器共享;NAS 设备 SMB 2.x、3.x 🟦 1 🟦 2
Azure 存储移动程序 NAS 设备;文件共享 NFS 3.x、4.x 🟦 1
Azure 存储移动程序 AWS S3 S3
Azure Data Box SMB/NFS 服务器共享;NAS 设备 - 🟦 2 🟦 3 🟦 4
Data Box Gateway 当地;本地装载;SMB 2.x、3.x;NFS v3、v4.1 - 🟦 2  ❌
Azure 文件同步 Windows 文件服务器 SMB 🟦 2
Azure 数据工厂 本地部署的 Data Lake; HDFS; AWS S3 - 🟦 5
Azure Migrate 🟦 虚拟机管理程序; 虚拟机磁盘 -

HNS 已启用 1
2 仅 SMB
3 需要两个步骤:首先使用 Data Box 迁移到 Azure 文件,然后将 Azure 文件迁移到 ANF
4 可以将页 blob 迁移到最大支持大小为 8 TB 的托管磁盘;不支持 PV2 和超级磁盘
需要 5 个多云连接器
6 Azure Blob 和文件服务仅分别支持 NFS v3 和 v4.1;请考虑相应的应用程序和用户功能,以及迁移后的可访问性。

ISV 合作伙伴工具

重要

每个 ISV 合作伙伴提供的迁移工具都提供各种功能。 没有单个工具支持每个源和目标组合或网络协议。

只有磁带方舟支持将脱机数据传输到 Azure 存储。 所有其他工具都是联机解决方案。

Tool 提供的存储评估 来源 源协议 SAN 数据源 NAS 源 Azure blob;ADLS Azure 文件 Azure NetApp 文件 Azure 磁盘 E-SAN 托管 Lustre 由合作伙伴管理
Komprise 🟦 NAS 设备;云文件存储;S3 SMB;NFS 3p1
Atempo 🟦 NAS 设备; S3; PFS; Swift SMB;NFS 🟦 2 3p1
数据动态 🟦 NAS 设备;S3 SMB;NFS 3p1
Cirrus 数据 🟦 存储区域网络;AWS;虚拟机管理程序 - 3p1
Cirata Hadoop、符合 POSIX 规范的 FS - 3p
磁带方舟 磁带、磁盘和其他脱机媒体 - 3p

1 SMP 的一部分。
2 不支持 ADLS。

其他命令行非托管工具

重要

非托管命令行工具(如 AzCopy、Robocopy、Rsync 和 DistCP)提供了各种功能。 扫描数百万个文件、跟踪文件更改、计算数据总大小、错误检测和处理,以及运行多个同时复制作业可能会带来极端挑战。

下表中的命令行工具都无法脱机数据传输,也不提供存储评估。 这些工具都不支持企业 NAS 或 SAN 作为源,也不支持 Azure E-SAN 或托管 Lustre 作为目标。

Tool 来源 源协议 Azure blob;ADLS Azure 文件 Azure NetApp 文件 Azure 磁盘 托管
AzCopy Azure; 当地; 本地装载; AWS S3,Glacier; GCP SMB; S3 🟦 1 非托管
Robocopy 本地;本地挂载;SMB SMB 🟦 1 非托管
Rsync;fpsync 当地;本地装载;NFS NFS 🟦 1 非托管
DistCP Hadoop - 非托管