从 Azure 数据工厂迁移到 Microsoft Fabric 中的数据工厂

本指南适用于 Azure 数据工厂和 Synapse Gen2 管道创建者。 本文介绍如何在 Microsoft Fabric 中现代化管道并将其迁移到数据工厂。

概述

Microsoft Fabric 是一个统一的平台,用于自助服务和 IT 托管的企业数据。 它支持适用于各种规模的组织的可缩放、安全且可访问的解决方案。

Fabric 中的数据工厂提供高级特性和功能,使数据集成开发人员能够在 Fabric 中整合其解决方案。 本指南解答了有关迁移到 Fabric 管道的常见问题,包括:

  • Fabric 管道中有哪些功能?
  • 结构管道与 Azure 数据工厂有何不同?
  • 如何迁移现有管道?

注释

迁移的决定取决于你的特定要求。 请仔细评估这些优势,以便做出明智的选择。 目前,没有计划弃用 Azure 数据工厂或 Synapse Gen2 进行数据引入。 但是,Fabric 管道是企业数据引入的重点。

企业和自助服务数据集成

Fabric 通过将资源组合在一起,简化了发现、协作和管理。 中心 IT 团队可以在集成自助服务工具的同时作数据移动和转换服务。 主要功能包括:

  • 用于通信的 Office 365 和 Teams 活动。
  • 无缝 Power BI 模型刷新。
  • 用于数据世系和监视的治理工具。
  • 具有 Copilot 的生成 AI,用于智能管道创建和错误解决。

此共享平台简化了工作流,帮助组织高效地缩放其数据解决方案。

织物容量

Fabric 的分布式体系结构可有效处理高负载、峰值和并发。 更大的结构容量 SKU 提供更好的性能和吞吐量。

功能比较

下面是 Azure 数据工厂和 Fabric 数据工厂中的功能的比较:

功能 / 特征 Azure 数据工厂 Fabric 数据工厂
管道活动
用于发送消息和支持协作的 Office 365Teams 活动
Power BI 语义模型数据流 Gen2 的连接,以便进行一致的数据刷新
验证 以确保管道仅在满足条件或超时后运行 1
执行 SQL Server Integration Services (SSIS) 包进行数据集成 已计划的
数据转换
使用映射数据流通过 Apache Spark 群集进行视觉数据转换 2
数据流 Gen2 中使用 Power Query 通过 Fabric 计算引擎进行视觉数据转换
连接性
支持所有数据工厂数据源 正在进行3
可伸缩性
用于无缝管道执行的计划运行
单个管道的多个运行 已计划
非重叠时间窗口的翻转窗口触发器 已计划
事件触发器以基于事件自动执行管道运行 4
人工智能
用于生成智能管道的数据工厂的 Copilot 和错误建议
内容管理
用于了解管道依赖项的数据世系视图
用于管理内容生命周期的部署管道
平台可伸缩性和复原能力
用于提高规模和性能的高级容量
区域和组织数据驻留需求的多地理位置支持
安全性
用于无缝集成的虚拟网络(VNet)连接
用于安全访问本地数据的本地数据网关
用于简化网络安全规则更新的 Azure 服务标记
治理
提升高质量项目的内容认可
Microsoft Purview 集成 来管理和管理项目
Microsoft Purview 信息保护 敏感度标签Microsoft Defender for Cloud Apps 集成,以防止数据丢失
监视和诊断日志记录
用于监视和故障排除的日志管道执行事件 已计划的
用于跟踪 Fabric 项的监视中心
用于监视容量的 Microsoft Fabric 容量指标应用
审核日志 以跟踪跨 Fabric 和 Microsoft 365 的用户活动

1 使用 Get 元数据UntilIf 条件 活动来检索验证活动的等效元数据。

2 使用调用远程管道函数执行映射数据流活动。 请参阅 “调用管道”活动

3 有关支持的连接器,请参阅 管道支持

4 使用 Fabric 事件流和 Reflex 触发执行运行事件。 请参阅 管道事件触发器

注意事项

在迁移到 Fabric 管道之前,需要考虑一些其他注意事项。

许可

构造管道至少需要Microsoft Fabric(免费)许可证才能在高级容量工作区中进行创作。 在 Fabric 许可证中了解详细信息。

路线图

有关更新和计划的功能,请参阅 Microsoft Fabric 发布计划文档

规划 ADF 到构造数据工厂的迁移