在事件流中添加和管理事件源

创建 Microsoft Fabric 事件流后,可以将其连接到各种数据源和目标。

事件流不仅允许流式传输来自Microsoft源的数据。 它还支持通过新的消息传送连接器从第三方平台(如 Google Cloud 和 Amazon Kinesis)引入。 这种扩展的功能提供外部数据流与 Fabric 的无缝集成。 此集成提供更大的灵活性,使你能够从多个源获取实时见解。

在本文中,你将了解可添加到事件流的事件源。

先决条件

  • 在具有贡献者或更高级别权限的 Fabric 容量许可证模式或试用许可证模式下访问工作区。
  • 特定于以下源特定文章中记录的每个源的先决条件。

支持的源

具有增强功能的 Fabric 事件流支持以下源。 每篇文章都提供了添加特定源的详细信息和说明。

来源 说明
Azure 数据资源管理器(预览版) 如果有 Azure 数据资源管理器数据库和表,则可以使用事件流将数据从表引入到 Microsoft Fabric 中。
Azure 事件中心 如果有 Azure 事件中心,则可以使用事件流将事件中心数据引入 Fabric。
Azure 事件网格(预览版) 如果有 Azure 事件网格命名空间,则可以使用事件流将 MQTT 或非 MQTT 事件数据引入 Fabric。
Azure 服务总线(预览版) 可以使用事件流将数据从 Azure 服务总线队列或主题订阅引入 Fabric。
Azure IoT 中心 如果有 Azure IoT 中心,则可以使用事件流将 IoT 数据引入 Fabric。
自定义终结点(即标准功能的自定义应用) 自定义终结点功能允许应用程序或 Kafka 客户端使用连接字符串连接到事件流。 此连接允许将流式处理数据顺利引入到事件流中。
Azure IoT 操作 配置 Azure IoT 操作,以使用事件流自定义终结点将实时数据直接发送到 Fabric 实时智能。 此功能支持Microsoft Entra ID 或 SASL 身份验证。
示例数据 可以选择 自行车黄色出租车股票市场公共汽车S&P 500 公司股票语义模型日志 作为示例数据源,以在设置事件流时测试数据引入。
实时天气(预览版) 可以将实时天气源添加到事件流,以流式传输来自不同位置的实时天气数据。
Azure SQL 数据库变更数据捕获 (CDC) 可以使用 Azure SQL 数据库 CDC 源连接器捕获 Azure SQL 数据库中当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。
PostgreSQL 数据库 CDC 可以使用 PostgreSQL CDC 源连接器捕获 PostgreSQL 数据库中当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。
HTTP (预览版) 可以使用 HTTP 连接器通过标准 HTTP 请求将数据从外部平台流式传输到事件流。 它还提供具有自动填充标头和参数的预定义公共数据馈送,因此无需复杂的设置即可快速启动。
MongoDB CDC (预览版) MongoDB CDC 源连接器用于 Fabric 事件流,它从 MongoDB 捕获数据的初始快照。 可以指定要监视的数据库集合,事件流将实时跟踪并记录这些集合中的文档变更。
MySQL 数据库 CDC 可以使用 MySQL 数据库 CDC 源连接器捕获 Azure Database for MySQL 数据库中当前数据的快照。 你可以指定要监视的表,事件流将记录对表进行的任何未来的行级更改。
Azure Cosmos DB CDC 可以使用 Azure Cosmos DB CDC 源连接器为 Fabric 事件流捕获 Azure Cosmos DB 数据库当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。
SQL Server 虚拟机数据库 (VM DB) 上的 CDC 可以使用适用于 Fabric 事件流的 SQL Server on VM DB CDC 源连接器来捕获 VM 上 SQL Server 数据库中当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。
Azure SQL 托管实例 CDC 可以使用适用于 Fabric 事件的 Azure SQL 托管实例 CDC 源连接器来捕获 SQL 托管实例数据库中当前数据的快照。 然后,连接器将监视并记录对此数据进行的任何未来的行级别更改。
Fabric 工作区项事件 Fabric 工作区项事件是对 Fabric 工作区进行更改时发生的离散 Fabric 事件。 这些更改包括创建、更新或删除 Fabric 项。 使用 Fabric 事件流,可以捕获这些 Fabric 工作区事件,对其进行转换,并将其路由到 Fabric 中的各种目标,以便进一步分析。
Fabric OneLake 事件 可以使用 OneLake 事件订阅 OneLake 中文件和文件夹的更改,然后实时响应这些更改。 使用 Fabric 事件流,可以捕获这些 OneLake 事件、转换事件并将其路由到 Fabric 中的各种目标,以便进一步分析。 在 Fabric 事件流中无缝集成 OneLake 事件可让你更灵活地监视和分析 OneLake 中的活动。
构造作业事件 可以使用作业事件订阅 Fabric 运行作业时生成的更改。 例如,可以在刷新语义模型、运行计划管道或运行笔记本时对更改做出反应。 其中每个活动都可以生成相应的作业,这反过来又生成一组相应的作业事件。 使用 Fabric 事件流,可以捕获这些作业事件、转换这些事件,并将其路由到 Fabric 中的各种目标,以便进一步分析。 这种在 Fabric 事件流中无缝集成作业事件可让你更灵活地监视和分析作业中的活动。
Fabric 容量概述事件(预览版) 面向网络架构的容量概述事件提供关于您容量的总结性信息。 可以使用这些事件通过 Fabric 激活器创建与容量运行状况相关的警报。 还可以将这些事件存储在事件库中,以便进行精细分析或历史分析。
Azure Blob 存储事件 当客户端创建、替换或删除 Blob 时,将触发 Azure Blob 存储事件。 可以使用连接器将 Blob 存储事件链接到实时中心的 Fabric 事件。 你可以将这些事件转换为连续数据流,并在将其路由到 Fabric 中的各种目标之前对其进行转换。
Google Cloud Pub/Sub Google Pub/Sub 是一种消息传递服务,可用于发布和订阅事件流。 你可以将 Google Pub/Sub 作为源添加到事件流,以捕获、转换实时事件并将其路由到 Fabric 中的各种目标。
Amazon Kinesis 数据流 Amazon Kinesis 数据流是一种可大规模缩放、高度持久的数据引入和处理服务,已针对流式处理数据进行了优化。 通过将 Amazon Kinesis 数据流作为事件流中的源集成,可以在将实时数据流路由到 Fabric 中的多个目标之前对其进行无缝处理。
适用于 Apache Kafka 的 Confluent Cloud Confluent Cloud for Apache Kafka 是一个流式处理平台,它通过使用 Apache Kafka 提供强大的数据流和处理功能。 通过将 Confluent Cloud for Apache Kafka 集成到您的事件流中作为源,可以无缝处理实时数据流,然后将其路由到 Fabric 的多个目标。
Apache Kafka(预览版) Apache Kafka 是一个开源分布式平台,用于构建可缩放的实时数据系统。 通过将 Apache Kafka 作为事件流中的源集成,可以无缝地从 Apache Kafka 引入实时事件,并在将事件路由到 Fabric 中的多个目标之前对其进行处理。
Amazon MSK Kafka Amazon MSK Kafka 是一种完全托管的 Kafka 服务,可简化设置、缩放和管理。 通过将 Amazon MSK Kafka 作为事件流中的源集成,可以无缝地将 MSK Kafka 中的实时事件引入并处理它们,然后再将它们路由到 Fabric 中的多个目标。 
MQTT (预览版) 可以使用 Fabric 事件流连接到 MQTT 中转站。 MQTT 中转站中的消息可以引入到 Fabric 事件流中,并路由到 Fabric 中的各种目标。 
Cribl(预览版) 可以将 Cribl 连接到 Eventstream,并将数据路由到 Fabric 中的各种目标。 
Solace PubSub+ (预览版) 可以使用 Fabric 事件流连接到 Solace PubSub+。 来自 Solace PubSub+ 的消息可以引入到 Fabric 事件流中,并路由到 Fabric 中的各种目标。 

注意

仅当使用以下类型时,事件流最多可以支持 11 个组合的源和目标:

  • 源:自定义终结点。
  • 目标:使用直接引入的自定义终结点和事件库。

上述列表中未包含的任何源或目标以及未追加到默认流的目标不会计入此限制。