使用 Azure Data Lake Storage Gen1 从事件中心捕获数据

了解如何使用 Azure Data Lake Storage Gen1 捕获 Azure 事件中心接收的数据。

先决条件

向事件中心分配权限

在本部分中,将在要从事件中心捕获数据的帐户中创建一个文件夹。 还可以向事件中心分配权限,以便它可以将数据写入 Data Lake Storage Gen1 帐户。

  1. 打开要从事件中心捕获数据的 Data Lake Storage Gen1 帐户,然后单击 数据资源管理器

    Data Lake Storage Gen1 数据资源管理器

  2. 单击“ 新建文件夹” ,然后输入要在其中捕获数据的文件夹的名称。

    在 Data Lake Storage Gen1 中创建新文件夹

  3. 在 Data Lake Storage Gen1 的根目录中分配权限。

    a。 单击 “数据资源管理器”,选择 Data Lake Storage Gen1 帐户的根目录,然后单击“ Access”。

    数据资源管理器的屏幕截图,其中显示了帐户的根目录和“访问”选项。

    b. 在 “访问”下,单击“ 添加”,单击 “选择用户或组”,然后搜索 Microsoft.EventHubs

    “访问”页的屏幕截图,其中显示了“添加”选项、“选择用户或组”选项,以及“Microsoft Event Hubs”选项。

    单击“选择”。

    c. 在 “分配权限”下,单击“ 选择权限”。 将权限设置为执行。 将“添加到”设置为“此文件夹和所有子文件夹”。 将设置为一个访问权限条目和一个默认权限条目

    重要

    创建新文件夹层次结构以捕获 Azure 事件中心接收的数据时,这是一种简单的方法,可确保访问目标文件夹。 但是,向具有许多子文件和文件夹的顶级文件夹的所有子级添加权限可能需要很长时间。 如果您的根文件夹包含大量的文件和文件夹,可能会更快地在路径中的每个文件夹中单独为目标文件夹添加执行权限Microsoft.EventHubs

    “分配权限”部分的屏幕截图,其中标注了“选择权限”选项。“选择权限”部分紧邻其旁并标注了“执行”选项、“添加到”选项和“添加为”选项。

    单击“确定”。

  4. 请为您希望捕获数据的 Data Lake Storage Gen1 帐户下的文件夹分配权限。

    a。 单击 “数据资源管理器”,选择 Data Lake Storage Gen1 帐户中的文件夹,然后单击“ Access”。

    数据探查器界面的屏幕截图,其中包括帐户中的文件夹和突出显示的“访问”选项。

    b. 在 “访问”下,单击“ 添加”,单击 “选择用户或组”,然后搜索 Microsoft.EventHubs

    “数据资源管理器访问”页的屏幕截图,其中显示了“添加”选项、“选择用户或组”选项,以及“Microsoft 事件中心”选项。

    单击“选择”。

    c. 在 “分配权限”下,单击“ 选择权限”。 将权限设置为读取、写入和执行。“添加到”设置为“此文件夹和所有子文件夹”。 最后,将添加为访问权限条目和默认权限条目

    “分配权限”部分的屏幕截图,突出显示“选择权限”选项。“选择权限”部分在旁边,包括“读取”、“写入”和“执行”选项,还有“添加到”选项和“添加为”选项。

    单击“确定”。

配置事件中心以将数据捕获到 Data Lake Storage Gen1

在本部分中,将在事件中心命名空间中创建事件中心。 还将事件中心配置为将数据捕获并保存到 Azure Data Lake Storage Gen1 帐户。 本部分假定已创建事件中心命名空间。

  1. 在事件中心命名空间的“ 概述 ”窗格中,单击“ + 事件中心”。

    “概述”窗格的屏幕截图,其中显示了“事件中心”选项。

  2. 提供以下值以配置事件中心以将数据捕获到 Data Lake Storage Gen1。

    “创建事件中心”对话框的屏幕截图,其中显示了“名称”文本框、“捕获”选项、“捕获提供程序”选项、“选择 Data Lake Store”选项和“Data Lake Path”选项。

    a。 提供事件中心的名称。

    b. 对于本教程,请将 分区计数消息保留 设置为默认值。

    c. 将“捕获”设置为“开启”。 设置 时间窗口 (捕获的频率)和 大小窗口 (要捕获的数据大小)。

    d. 对于 捕获提供程序,请选择 Azure Data Lake Store ,然后选择之前创建的 Data Lake Storage Gen1 帐户。 对于 Data Lake Path,输入在 Data Lake Storage Gen1 帐户中创建的文件夹的名称。 您只需提供文件夹的相对路径。

    e。 将 示例捕获文件名格式 保留为默认值。 此选项控制在捕获文件夹下创建的文件夹结构。

    f. 单击 “创建”

测试设置

现在,可以通过将数据发送到 Azure 事件中心来测试解决方案。 按照“ 将事件发送到 Azure 事件中心”中的说明进行作。 开始发送数据后,会看到使用指定的文件夹结构在 Data Lake Storage Gen1 中反映的数据。 例如,在 Data Lake Storage Gen1 帐户中看到文件夹结构,如以下屏幕截图所示。

Data Lake Storage Gen1 中的 EventHub 数据示例

注释

即使没有传入事件中心的消息,事件中心也会将仅包含标头的空文件写入 Data Lake Storage Gen1 帐户。 这些文件以创建事件中心时提供的相同时间间隔写入。

分析 Data Lake Storage Gen1 中的数据

数据进入 Data Lake Storage Gen1 后,可以运行分析任务来处理和分析数据。 请参阅 USQL Avro 示例 ,了解如何使用 Azure Data Lake Analytics 执行此作。

另请参阅