暂停和恢复数据流

注意

创建事件流时,默认情况下会启用增强功能。 如果你有通过标准功能创建的事件流,这些事件流将继续工作。 你仍然可以像往常一样编辑和使用它们。 建议创建新的事件流来替换标准事件流,以便可以利用增强的事件流的其他功能和优势。

Eventstream 中的“暂停”和“恢复”(即“停用”和“激活”)功能可让你完全控制数据流,使你能够暂停来自 Eventstream 中不同源和目标的数据流。 然后可以无缝从暂停时间或自定义时间恢复数据流,确保不会丢失任何数据。

  • 激活/停用全部:使用菜单栏上的“激活全部”和“停用全部”选项快速暂停和继续传入和传出 Eventstream 的所有数据流量。
  • 激活/停用切换开关按钮:每个节点都有一个切换开关按钮,可用于激活(即恢复)或停用(即暂停)在所选源和目标之间进行流式传输的数据。

下表概述了不同节点状态的说明:

节点状态 说明
活动 数据源当前处于活动状态,且数据正在流入或流出 Eventstream。
未激活 数据源当前处于非活动状态,且没有数据流入或流出 Eventstream。
加载 数据源正在打开或关闭。
错误 数据源目前因错误而暂停。
警告 数据源正常运行,但存在一些问题。尽管如此,数据流量仍在传输。

使用开关切换来激活或停用节点

对于支持暂停和继续功能的节点,可以使用切换开关轻松管理其数据流。 找到所需的节点并打开或关闭开关以激活(即恢复)或停用(即暂停)数据流量。 当前不支持暂停和恢复功能的节点没有切换开关。

下表描述了可用的简历选项:

恢复选项 说明
上次停止流式处理时 从上次停止流式处理的位置恢复
现在 从当前时间恢复
自定义时间 从自定义时间恢复

屏幕截图显示了节点上的开关切换和详细信息。

注意

配置 Eventstream 时,源、转换逻辑和目标通常一起添加。 默认情况下,发布 Eventstream 时,用于数据引入和数据路由的后端服务分别以 Now 开头。 但是,数据引入可能比数据路由更快地开始,导致某些数据在完全初始化路由之前引入到 Eventstream 中。 因此,此数据可能不会路由到目标。

常见示例是数据库 CDC 源,其中某些初始快照数据可能保留在 Eventstream 中,而不会路由到目标。

若要缓解此问题,请执行以下步骤:

  1. 配置 Eventhouse(引入前的事件处理)或 Lakehouse 目标时,在添加数据源后取消选中 “激活引入”。

    添加数据源后不选中“激活引入”的 KQL 数据库的屏幕截图。

  2. 在发布 Eventstream 后手动激活引入。

  3. 使用 自定义时间 选项选择较早的时间戳,确保正确处理和路由初始数据。

    恢复 KQL 数据库的屏幕截图。

下面是支持暂停和恢复功能的节点以及可用恢复选项的详细表:

Node 类型 支持暂停和恢复 恢复选项
Azure 数据资源管理器数据库(预览版) 来源 - 上次停止流式处理时
Azure 事件中心 来源 - 上次停止流式处理时
- 现在
- 自定义时间
Azure 事件网格命名空间(预览版) 来源
Azure 服务总线(预览版) 来源 - 上次停止流式处理时
Azure IoT 中心 来源 - 上次停止流式处理时
- 现在
- 自定义时间
示例数据 来源 - 现在
实时天气(预览版) 来源 - 上次停止流式处理时
Azure SQL 数据库 CDC 来源 - 上次停止流式处理时
PostgreSQL 数据库 CDC 来源 - 上次停止流式处理时
MongoDB CDC (预览版) 来源 - 上次停止流式处理时
HTTP (预览版) 来源 - 上次停止流式处理时
MySQL 数据库 CDC 来源 - 上次停止流式处理时
Azure Cosmos DB CDC 来源 - 上次停止流式处理时
VM DB CDC 上的 SQL Server 来源 - 上次停止流式处理时
Azure SQL 托管实例 CDC 来源 - 上次停止流式处理时
Google Cloud Pub/Sub 来源 - 上次停止流式处理时
Amazon Kinesis 数据流 来源 - 上次停止流式处理时
Confluent Kafka 来源 - 上次停止流式处理时
Apache Kafka (预览版) 来源 - 上次停止流式处理时
Amazon MSK Kafka 来源 - 上次停止流式处理时
自定义终结点(即标准功能类型的自定义应用) 来源
Fabric 工作区事件源 来源
Fabric OneLake 活动 来源
Fabric 作业事件 来源
结构容量概述事件(预览版) 来源
Azure Blob 存储 来源
MQTT (预览版) 来源 - 上次停止流式处理时
Cribl(预览版) 来源
Solace PubSub+ (预览版) 来源 - 上次停止流式处理时
Lakehouse 目标 - 上次停止流式处理时
- 现在
- 自定义时间
Eventhouse(引入前处理事件) 目标 - 上次停止流式处理时
- 现在
- 自定义时间
自定义终结点(即标准功能类型的自定义应用) 目标
Eventhouse(直接引入) 目标
Fabric 激活器(预览版) 目标 - 上次停止流式处理时
- 现在
- 自定义时间
派生流 目标 - 上次停止流式处理时
- 现在
- 自定义时间