可以使用 Microsoft Fabric 事件流功能监视流式处理事件数据、引入状态和引入性能。 本文介绍如何使用指标监视事件流状态并检查日志、错误和数据见解。
事件流具有两种类型的监视体验: 数据见解 和 运行时日志。 一个或两个视图都可用,具体取决于所选的源或目标。
先决条件
- 具有查看者或更高权限的工作区访问权限,其中的工作区包含您的事件流项。
- 添加到事件流的 Azure 事件中心源或数据湖目标。
数据见解
“数据见解”选项卡显示在主编辑器的下窗格中。 该选项卡提供可用于监视事件流、源和目标的状态和性能的指标。 不同的源和目标具有不同的指标。
在主编辑器画布上选择节点时,该特定节点的指标将显示在 “数据见解 ”选项卡上。
事件流节点的数据洞察
以下指标显示“数据见解”选项卡上的事件流节点:
| 指标 | 计价单位 | 说明 |
|---|---|---|
| IncomingMessages | 计数 | 在指定时间段内发送到事件流的事件或消息数。 |
| OutgoingMessages | 计数 | 在指定时间段内从事件流发送的事件或消息数。 |
| IncomingBytes | 字节 | 在指定时间段内事件中心的传入的字节数。 |
| OutgoingBytes | 字节 | 在指定时间段内事件中心的传出的字节数。 |
若要查看事件流的数据见解,请执行以下操作:
在主编辑器画布上,选择事件流节点。
在下窗格中,选择 “数据见解 ”选项卡。
如果数据位于事件流中,将显示指标图表。
在选项卡右侧,选中要显示的指标旁边的复选框。
Azure 事件中心、Azure IoT 中心、Lakehouse、Eventhouse、派生流和 Fabric 活动器节点的数据洞察
以下指标在 Azure 事件中心、Azure IoT 中心、lakehouse、eventhouse(引入模式前的事件处理)、派生流和 Fabric 激活器节点的“数据见解”选项卡上提供:
| 指标 | 计价单位 | 说明 |
|---|---|---|
| 输入事件 | 计数 | 事件流引擎从事件流(在 lakehouse、eventhouse、派生流或 Fabric 激活器目标中)或事件源(在 Azure 事件中心或 Azure IoT 中心源中)提取的事件数据项数。 |
| 输入事件字节数 | 字节 | 事件流处理引擎从事件流(在数据湖仓、事件仓库、派生流或架构激活器目标中)或事件源(在 Azure 事件中心或 Azure IoT 中心源中)获取的事件数据量。 |
| 输出事件数 | 计数 | 事件流引擎发送的事件数据项数,这些数据项可以发送到 lakehouse、eventhouse、派生流或 Fabric 激活器等目标,或从事件源(如 Azure 事件中心或 Azure IoT Hub)中获取。 |
| 积压的输入事件数 | 计数 | 事件流引擎中积压的输入事件数。 |
| 运行时错误 | 计数 | 与事件处理相关的错误总数。 |
| 数据转换错误数 | 计数 | 无法转换为预期输出架构的输出事件的数量。 |
| 反序列化错误 | 计数 | 在事件流引擎中无法反序列化的输入事件数。 |
| 水印延迟 | Second | 此源或目标的所有输出的所有分区之间的最大水印延迟。 计算方法为挂钟时间减去最大水印。 |
若要查看 Azure 事件中心、Azure IoT Hub、lakehouse、eventhouse (引入模式前的事件处理)、派生流或 Fabric 激活器的数据洞察:
在主编辑器画布上,选择 Azure 事件中心、Azure IoT 中心、lakehouse、eventhouse、派生流或 Fabric 激活器节点。
在下窗格中,选择 “数据见解 ”选项卡。
如果数据位于事件中心、IoT 中心、lakehouse、eventhouse、派生流或 Fabric 激活器内,则将显示指标图表。
在选项卡右侧,选中要显示的指标旁边的复选框。
流式连接器的源节点数据洞察
流连接器源节点包括以下来源:
- Amazon Kinesis 数据流
- Amazon MSK Kafka
- Apache Kafka
- Azure Cosmos DB CDC
- Azure 数据资源管理器
- Azure 服务总线
- Azure SQL 数据库变更数据捕获 (CDC)
- Azure SQL 托管实例 CDC
- Confluent Cloud Kafka
- Google Cloud Pub/Sub
- HTTP
- MongoDB CDC
- MQTT
- MySQL 数据库 CDC
- PostgreSQL 数据库 CDC
- 实时天气
- Solace PubSub+
- 虚拟机(VM)上的 SQL Server 数据库
流式处理连接器源节点的“数据见解”选项卡上提供了以下指标:
| 指标 | 计价单位 | 说明 |
|---|---|---|
| 源传出事件 | 计数 | 从转换(如果有)中发送的记录数,以及写入工作节点中指定源连接器的任务事件流的数量(自任务上次重启以来)。 |
| 源传入事件 | 计数 | 在应用转换之前,由属于工作者中命名源连接器的任务生成或轮询的记录数(自上次重启任务以来)。 |
| 记录的连接器错误 | 计数 | 为这些连接器任务记录的错误数。 |
| 连接器处理错误 | 计数 | 这些连接器任务中的记录处理错误数。 |
| 连接器处理失败 | 计数 | 这些连接器任务中的记录处理失败次数,包括重试失败。 |
| 跳过的连接器事件 | 计数 | 由于这些连接器任务中的错误而跳过的记录数。 |
若要查看流式处理连接器源的数据见解,请执行以下操作:
选择 使用外部源,然后选择流连接器源。
配置并发布流式处理连接器源。
在实时视图中的下窗格上,选择 “数据见解 ”选项卡。
如果数据位于流连接器源中,指标图表将会出现。
在选项卡右侧,选中要显示的指标旁边的复选框。
运行时日志
使用 “运行时日志 ”选项卡检查事件流引擎中发生的详细日志。 运行时日志具有三个严重性级别:警告、错误和信息。
若要查看 Azure 事件中心、Azure IoT 中心、流式连接器源、Lakehouse、Eventhouse(引入前的事件处理模式)或 Fabric 激活器的运行时日志:
在主编辑器画布上,选择节点。
在下窗格中,选择 “运行时日志 ”选项卡。
如果数据位于 Azure 事件中心、Azure IoT 中心、流连接器源、lakehouse、eventhouse 或 Fabric 激活器内,则将显示日志。
使用 “按关键字筛选 ”选项搜索日志,或者通过更改严重性或类型来筛选列表。
若要查看最新的日志,请选择“刷新”。