监视事件流的状态和性能

可以使用 Microsoft Fabric 事件流功能监视流式处理事件数据、引入状态和引入性能。 本文介绍如何使用指标监视事件流状态并检查日志、错误和数据见解。

事件流具有两种类型的监视体验: 数据见解运行时日志。 一个或两个视图都可用,具体取决于所选的源或目标。

先决条件

  • 具有查看者或更高权限的工作区访问权限,其中的工作区包含您的事件流项。
  • 添加到事件流的 Azure 事件中心源或数据湖目标。

数据见解

“数据见解”选项卡显示在主编辑器的下窗格中。 该选项卡提供可用于监视事件流、源和目标的状态和性能的指标。 不同的源和目标具有不同的指标。

在主编辑器画布上选择节点时,该特定节点的指标将显示在 “数据见解 ”选项卡上。

事件流节点的数据洞察

以下指标显示“数据见解”选项卡上的事件流节点:

指标 计价单位 说明
IncomingMessages 计数 在指定时间段内发送到事件流的事件或消息数。
OutgoingMessages 计数 在指定时间段内从事件流发送的事件或消息数。
IncomingBytes 字节 在指定时间段内事件中心的传入的字节数。
OutgoingBytes 字节 在指定时间段内事件中心的传出的字节数。

若要查看事件流的数据见解,请执行以下操作:

  1. 在主编辑器画布上,选择事件流节点。

  2. 在下窗格中,选择 “数据见解 ”选项卡。

    如果数据位于事件流中,将显示指标图表。

  3. 在选项卡右侧,选中要显示的指标旁边的复选框。

显示事件流指标的屏幕截图。

Azure 事件中心、Azure IoT 中心、Lakehouse、Eventhouse、派生流和 Fabric 活动器节点的数据洞察

以下指标在 Azure 事件中心、Azure IoT 中心、lakehouse、eventhouse(引入模式前的事件处理)、派生流和 Fabric 激活器节点的“数据见解”选项卡上提供:

指标 计价单位 说明
输入事件 计数 事件流引擎从事件流(在 lakehouse、eventhouse、派生流或 Fabric 激活器目标中)或事件源(在 Azure 事件中心或 Azure IoT 中心源中)提取的事件数据项数。
输入事件字节数 字节 事件流处理引擎从事件流(在数据湖仓、事件仓库、派生流或架构激活器目标中)或事件源(在 Azure 事件中心或 Azure IoT 中心源中)获取的事件数据量。
输出事件数 计数 事件流引擎发送的事件数据项数,这些数据项可以发送到 lakehouse、eventhouse、派生流或 Fabric 激活器等目标,或从事件源(如 Azure 事件中心或 Azure IoT Hub)中获取。
积压的输入事件数 计数 事件流引擎中积压的输入事件数。
运行时错误 计数 与事件处理相关的错误总数。
数据转换错误数 计数 无法转换为预期输出架构的输出事件的数量。
反序列化错误 计数 在事件流引擎中无法反序列化的输入事件数。
水印延迟 Second 此源或目标的所有输出的所有分区之间的最大水印延迟。 计算方法为挂钟时间减去最大水印。

若要查看 Azure 事件中心、Azure IoT Hub、lakehouse、eventhouse (引入模式前的事件处理)、派生流或 Fabric 激活器的数据洞察:

  1. 在主编辑器画布上,选择 Azure 事件中心、Azure IoT 中心、lakehouse、eventhouse、派生流或 Fabric 激活器节点。

  2. 在下窗格中,选择 “数据见解 ”选项卡。

    如果数据位于事件中心、IoT 中心、lakehouse、eventhouse、派生流或 Fabric 激活器内,则将显示指标图表。

  3. 在选项卡右侧,选中要显示的指标旁边的复选框。

显示源指标和目标指标的屏幕截图。

流式连接器的源节点数据洞察

流连接器源节点包括以下来源:

  • Amazon Kinesis 数据流
  • Amazon MSK Kafka
  • Apache Kafka
  • Azure Cosmos DB CDC
  • Azure 数据资源管理器
  • Azure 服务总线
  • Azure SQL 数据库变更数据捕获 (CDC)
  • Azure SQL 托管实例 CDC
  • Confluent Cloud Kafka
  • Google Cloud Pub/Sub
  • HTTP
  • MongoDB CDC
  • MQTT
  • MySQL 数据库 CDC
  • PostgreSQL 数据库 CDC
  • 实时天气
  • Solace PubSub+
  • 虚拟机(VM)上的 SQL Server 数据库

流式处理连接器源节点的“数据见解”选项卡上提供了以下指标

指标 计价单位 说明
源传出事件 计数 从转换(如果有)中发送的记录数,以及写入工作节点中指定源连接器的任务事件流的数量(自任务上次重启以来)。
源传入事件 计数 在应用转换之前,由属于工作者中命名源连接器的任务生成或轮询的记录数(自上次重启任务以来)。
记录的连接器错误 计数 为这些连接器任务记录的错误数。
连接器处理错误 计数 这些连接器任务中的记录处理错误数。
连接器处理失败 计数 这些连接器任务中的记录处理失败次数,包括重试失败。
跳过的连接器事件 计数 由于这些连接器任务中的错误而跳过的记录数。

若要查看流式处理连接器源的数据见解,请执行以下操作:

  1. 选择 使用外部源,然后选择流连接器源。

  2. 配置并发布流式处理连接器源。

  3. 在实时视图中的下窗格上,选择 “数据见解 ”选项卡。

    如果数据位于流连接器源中,指标图表将会出现。

  4. 在选项卡右侧,选中要显示的指标旁边的复选框。

显示连接器源指标的屏幕截图。

运行时日志

使用 “运行时日志 ”选项卡检查事件流引擎中发生的详细日志。 运行时日志具有三个严重性级别:警告、错误和信息。

若要查看 Azure 事件中心、Azure IoT 中心、流式连接器源、Lakehouse、Eventhouse(引入前的事件处理模式)或 Fabric 激活器的运行时日志:

  1. 在主编辑器画布上,选择节点。

  2. 在下窗格中,选择 “运行时日志 ”选项卡。

    如果数据位于 Azure 事件中心、Azure IoT 中心、流连接器源、lakehouse、eventhouse 或 Fabric 激活器内,则将显示日志。

  3. 使用 “按关键字筛选 ”选项搜索日志,或者通过更改严重性或类型来筛选列表。

  4. 若要查看最新的日志,请选择“刷新”。

显示源和目标运行时日志的屏幕截图。