本指南适用于 Azure 数据工厂和 Synapse Gen2 管道创建者。 本文介绍如何在 Microsoft Fabric 中现代化管道并将其迁移到数据工厂。
概述
Microsoft Fabric 是一个统一的平台,用于自助服务和 IT 托管的企业数据。 它支持适用于各种规模的组织的可缩放、安全且可访问的解决方案。
Fabric 中的数据工厂提供高级特性和功能,使数据集成开发人员能够在 Fabric 中整合其解决方案。 本指南解答了有关迁移到 Fabric 管道的常见问题,包括:
- Fabric 管道中有哪些功能?
- 结构管道与 Azure 数据工厂有何不同?
- 如何迁移现有管道?
注释
迁移的决定取决于你的特定要求。 请仔细评估这些优势,以便做出明智的选择。 目前,没有计划弃用 Azure 数据工厂或 Synapse Gen2 进行数据引入。 但是,Fabric 管道是企业数据引入的重点。
企业和自助服务数据集成
Fabric 通过将资源组合在一起,简化了发现、协作和管理。 中心 IT 团队可以在集成自助服务工具的同时作数据移动和转换服务。 主要功能包括:
- 用于通信的 Office 365 和 Teams 活动。
- 无缝 Power BI 模型刷新。
- 用于数据世系和监视的治理工具。
- 具有 Copilot 的生成 AI,用于智能管道创建和错误解决。
此共享平台简化了工作流,帮助组织高效地缩放其数据解决方案。
织物容量
Fabric 的分布式体系结构可有效处理高负载、峰值和并发。 更大的结构容量 SKU 提供更好的性能和吞吐量。
功能比较
下面是 Azure 数据工厂和 Fabric 数据工厂中的功能的比较:
| 功能 / 特征 | Azure 数据工厂 | Fabric 数据工厂 |
|---|---|---|
| 管道活动 | ||
| 用于发送消息和支持协作的 Office 365 和 Teams 活动 | 否 | 是 |
| 与 Power BI 语义模型 和 数据流 Gen2 的连接,以便进行一致的数据刷新 | 否 | 是 |
| 验证 以确保管道仅在满足条件或超时后运行 | 是 | 是1 |
| 执行 SQL Server Integration Services (SSIS) 包进行数据集成 | 是 | 已计划的 |
| 数据转换 | ||
| 使用映射数据流通过 Apache Spark 群集进行视觉数据转换 | 是 | 否2 |
| 在数据流 Gen2 中使用 Power Query 通过 Fabric 计算引擎进行视觉数据转换 | 否 | 是 |
| 连接性 | ||
| 支持所有数据工厂数据源 | 是 | 正在进行3 |
| 可伸缩性 | ||
| 用于无缝管道执行的计划运行 | 是 | 是 |
| 单个管道的多个运行 | 是 | 已计划 |
| 非重叠时间窗口的翻转窗口触发器 | 是 | 已计划 |
| 事件触发器以基于事件自动执行管道运行 | 是 | 是4 |
| 人工智能 | ||
| 用于生成智能管道的数据工厂的 Copilot 和错误建议 | 否 | 是 |
| 内容管理 | ||
| 用于了解管道依赖项的数据世系视图 | 否 | 是 |
| 用于管理内容生命周期的部署管道 | 否 | 是 |
| 平台可伸缩性和复原能力 | ||
| 用于提高规模和性能的高级容量 | 否 | 是 |
| 区域和组织数据驻留需求的多地理位置支持 | 是 | 是 |
| 安全性 | ||
| 用于无缝集成的虚拟网络(VNet)连接 | 否 | 是 |
| 用于安全访问本地数据的本地数据网关 | 否 | 是 |
| 用于简化网络安全规则更新的 Azure 服务标记 | 是 | 是 |
| 治理 | ||
| 提升高质量项目的内容认可 | 否 | 是 |
| Microsoft Purview 集成 来管理和管理项目 | 是 | 是 |
| Microsoft Purview 信息保护 敏感度标签 和 Microsoft Defender for Cloud Apps 集成,以防止数据丢失 | 否 | 是 |
| 监视和诊断日志记录 | ||
| 用于监视和故障排除的日志管道执行事件 | 是 | 已计划的 |
| 用于跟踪 Fabric 项的监视中心 | 否 | 是 |
| 用于监视容量的 Microsoft Fabric 容量指标应用 | 否 | 是 |
| 审核日志 以跟踪跨 Fabric 和 Microsoft 365 的用户活动 | 否 | 是 |
1 使用 Get 元数据、 Until 和 If 条件 活动来检索验证活动的等效元数据。
2 使用调用远程管道函数执行映射数据流活动。 请参阅 “调用管道”活动。
3 有关支持的连接器,请参阅 管道支持。
4 使用 Fabric 事件流和 Reflex 触发执行运行事件。 请参阅 管道事件触发器。
注意事项
在迁移到 Fabric 管道之前,需要考虑一些其他注意事项。
许可
构造管道至少需要Microsoft Fabric(免费)许可证才能在高级容量工作区中进行创作。 在 Fabric 许可证中了解详细信息。
路线图
有关更新和计划的功能,请参阅 Microsoft Fabric 发布计划文档。