将 Azure 事件中心源添加到事件流

本文介绍如何将 Azure 事件中心源添加到 Microsoft Fabric 事件流。

先决条件

  • 在具有贡献者或更高级别权限的 Fabric 容量许可证模式或试用许可证模式下访问工作区。
  • 获取事件中心访问密钥的适当权限。 如果事件中心位于受保护的网络中, 请使用托管专用终结点连接到它。 否则,请确保事件中心可公开访问,且不在防火墙后面。
  • 如果没有事件流,请创建一个事件流

打开向导以选择数据源

如果尚未将任何源添加到事件流,请选择 “使用外部源 ”磁贴。

显示选择用于外部源的磁贴的屏幕截图。

如果要将源添加到已发布的事件流,请切换到 “编辑 ”模式。 在功能区上,选择 “添加源>外部源”。

显示用于添加外部源的选择的屏幕截图。

“选择数据源 ”页上,搜索 Azure 事件中心。 在 Azure 事件中心 磁贴上,选择“ 连接”。

显示选择 Azure 事件中心作为向导中获取事件的源类型的屏幕截图。

配置 Azure 事件中心连接器

  1. “配置连接设置” 页上,确认为功能级别选择了 “基本 ”,然后选择“ 新建连接”。

    显示用于配置连接设置的页面的屏幕截图,其中突出显示了新连接的链接。

    如果事件中心存在现有连接,请选择该现有连接。 然后,继续执行以下步骤来配置数据格式。

    显示与 Azure 事件中心之间存在现有连接的“连接”页的屏幕截图。

  2. 在“连接设置”部分中,执行以下步骤:

    1. 输入事件中心命名空间的名称。
    2. 输入事件中心的名称。

    显示指定了事件中心命名空间和事件中心的连接设置的屏幕截图。

  3. “连接凭据 ”部分中,执行以下步骤:

    1. 对于“连接名称”,输入到事件中心的连接的名称。
    2. 对于“身份验证种类”,确认已选择“共享访问密钥”。
    3. 对于“共享访问密钥名称”,输入共享访问密钥的名称。 有关获取访问密钥的说明,请参阅 获取 Azure 事件中心连接字符串
    4. 对于“共享访问密钥”,输入共享访问密钥的值。
    5. 选择 连接

    显示 Azure 事件中心连接器输入凭据的屏幕截图。

  4. 对于 使用者组,输入使用者组的名称。 事件中心的默认使用者组 $Default

  5. 对于 数据格式,请选择要从 Azure 事件中心获取的传入实时事件的数据格式。 可以从 JSON、Avro 和 CSV(带有标头)数据格式中进行选择。

    显示输入使用者组和数据格式的区域的屏幕截图。

  6. 在右侧的 “源详细信息 ”窗格中,选择源名称旁边的铅笔图标,然后输入源的名称。 此步骤是可选的。

    显示源详细信息窗格上源名称的铅笔图标的屏幕截图。

  7. 选择页面底部的“下一步”。

    显示页面上用于配置连接设置的“下一步”按钮的屏幕截图。

  8. “审阅 + 连接 ”页上,查看设置,然后选择“ 添加”。

    显示用于查看设置和创建 Azure 事件中心连接器的页面的屏幕截图。

  1. 在“ 配置连接设置” 页上,对于 “选择功能级别”,选择 “扩展功能”。

    显示用于配置连接设置的页面的屏幕截图,其中选择了扩展功能的选项。

    如果事件中心存在现有连接,请选择该现有连接。 然后,继续执行以下步骤来配置数据格式。

  2. 在“连接设置”部分中,执行以下步骤:

    1. 输入事件中心命名空间的名称。

    2. 输入事件中心的名称。

      显示事件中心命名空间和指定事件中心的连接设置的屏幕截图。

  3. “连接凭据 ”部分中,执行以下步骤:

    1. 对于“连接名称”,输入到事件中心的连接的名称。

    2. 对于“身份验证种类”,确认已选择“共享访问密钥”。

    3. 对于“共享访问密钥名称”,输入共享访问密钥的名称。 有关获取访问密钥的说明,请参阅 获取 Azure 事件中心连接字符串

    4. 对于“共享访问密钥”,输入共享访问密钥的值。

    5. 选择 连接

      显示事件中心连接器输入凭据的屏幕截图。

  4. 对于 使用者组,输入使用者组的名称。 事件中心的默认使用者组 $Default

    显示输入扩展功能的使用者组的区域的屏幕截图。

  5. 在右侧的 “源详细信息 ”窗格中,选择源名称旁边的铅笔图标,然后输入源的名称。 此步骤是可选的。

    显示源详细信息窗格中源名称的铅笔图标的屏幕截图,其中选择了扩展功能的选项。

  6. 选择页面底部的“下一步”。

  7. “架构处理 ”页上,必须提供规则来处理从所选事件中心接收的事件,以便事件流可以正确应用它们。 映射规则取决于事件建模方式。

    如果你有一个管理所有事件的架构,请选择 “固定架构”。

    如果有多个表示各种传入事件的架构,则可以定义匹配规则来应用架构。 若要选择此模式,请 通过标头选项选择“动态架构 ”。 然后,使用标头/值对来指定规则以选择每个架构。 标头是自定义的 Kafka 标头属性,是事件元数据的一部分。 该值是该属性的预期值。

    显示架构处理页面的屏幕截图,其中选择了扩展功能的选项。

  8. 选择架构,方法是选择“ 添加更多架构” 下拉菜单,然后从事件架构注册表中选择一个或多个现有架构。 如果没有可供选择的架构,可以从此视图中创建新架构。 若要了解如何定义新的事件架构,请参阅 在架构集中创建和管理事件架构

    显示添加架构的区域的屏幕截图,其中选择了固定架构选项。

    如果选择了“ 从事件架构注册表 中选择”选项,将显示 “关联事件架构 ”窗格。 根据架构匹配模式从注册表中选择一个或多个架构,然后选择窗格底部的“ 选择 ”。

    显示用于关联事件架构的窗格的屏幕截图。

  9. 如果选择了 “固定架构 ”选项,则无需提供更多规则来匹配架构。 可以继续执行下一步。

    如果 通过标头选项选择了动态架构 ,请指定 Kafka 标头属性和映射到架构的预期值。 添加更多架构并指定不同的标头属性和/或不同的值以映射到这些架构。

    注意

    定义映射规则时,标头的每个值 必须 是唯一的。 如果尝试重复使用架构,则会看到一条警告消息,指示可能会中断现有流。 只要映射规则相同,就可以重复使用架构。 如果此限制影响你的使用,请联系Microsoft代表分享你的反馈。 我们正在积极努力消除此限制。

    显示映射到架构的属性和值的屏幕截图。

  10. 映射所有预期事件的架构后,选择“架构处理”页底部的“下一步”。

    显示用于架构处理的页面上的“下一步”按钮的屏幕截图。

  11. “查看 + 连接 ”页上,查看设置,然后选择“ 连接”。

    显示启用扩展功能时用于查看设置和创建 Azure 事件中心连接器的页面的屏幕截图。

  12. “审阅 + 连接”页上,选择“添加”。

    显示用于在成功创建资源后查看设置和创建连接器的页面的屏幕截图。

注意

仅当使用以下类型时,事件流最多可以支持 11 个组合的源和目标:

  • 源:自定义终结点。
  • 目标:使用直接引入的自定义终结点和事件库。

上述列表中未包含的任何源或目标以及未追加到默认流的目标不会计入此限制。

查看更新的事件流

  1. 确认事件中心源已添加到“ 编辑 ”模式下画布上的事件流。 选择 “刷新 ”以在事件中心显示数据的预览。 若要实现新添加的事件中心,请选择功能区上的 “发布 ”。

    显示编辑器的屏幕截图,其中选择了“发布”按钮。

  2. 事件中心可用于 实时 视图中进行可视化。 选择关系图中的 “事件中心 ”磁贴,打开类似于以下示例的窗格。

    显示实时视图中编辑器的屏幕截图。

查看更新的事件流

  1. 确认在编辑模式下,已将 Event Hubs 源添加到画布上的事件流中。 选择 “刷新 ”以在事件中心显示数据的预览。 若要实现新添加的事件中心,请选择功能区上的 “发布 ”。

    显示编辑器中“发布”按钮的屏幕截图。

  2. 事件中心可在实时视图中可视化。 选择关系图中的 “事件中心 ”磁贴,打开类似于以下示例的窗格。

    显示实时视图中的编辑器的屏幕截图。

配置事件流目标以使用架构

目前,只有启用了扩展功能的事件流支持 eventhouse、自定义终结点和派生流目标。 本部分介绍如何在为事件流启用扩展功能(如架构支持)时添加和配置 eventhouse 目标。

为自定义终结点目标配置架构

  1. 选择 “转换事件”或“添加目标”,然后选择 “CustomEndpoint”。

  2. “自定义终结点 ”窗格中,指定目标的名称。

  3. 对于 输入架构,请选择事件的架构。 启用事件流的架构支持时,将在此框中做出选择。

显示用于配置自定义终结点的窗格的屏幕截图。

有关配置自定义终结点目标的详细步骤,请参阅 向事件流添加自定义终结点或自定义应用目标

为 eventhouse 目标配置架构

  1. 选择 “转换事件”或“添加目标”,然后选择“ Eventhouse”。

  2. Eventhouse 窗格中,配置以下与架构相关的设置:

    1. 对于 输入架构,请从下拉列表中选择一个或多个架构。

      显示已选择输入架构的 eventhouse 配置窗格的屏幕截图。

      注意

      如果在配置事件中心源时 通过标头选项选择了动态架构 ,则可能已为源配置了多个架构,并将其映射到各种属性及其值。

    2. 对于 表创建方法,请选择 一个表,其中包含每个架构的所有架构组合单独表,具体取决于你的要求。

      显示包含表创建方法的 eventhouse 配置窗格的屏幕截图。

    3. 对于 写入数据,请选择以下选项之一:

      • 仅有效负载:将提取的有效负载数据写入表。 如果有多个输入架构,则会将数据发送到多个表。
      • 元数据和有效负载:将元数据和有效负载数据写入单个表。 示例列包括sourcesubjecttypedata

      显示事件屋配置窗格的屏幕截图,其中包含用于写入数据的选项。

有关配置 eventhouse 目标的详细步骤,请参阅 向事件流添加事件屋目标