了解如何使用 Azure Data Lake Storage Gen1 捕获 Azure 事件中心接收的数据。
先决条件
Azure 订阅。 请参阅获取 Azure 免费试用版。
Azure Data Lake Storage Gen1 帐户。 有关如何创建一个的说明,请参阅 Azure Data Lake Storage Gen1 入门。
事件中心命名空间。 有关说明,请参阅 创建事件中心命名空间。 确保 Data Lake Storage Gen1 帐户和事件中心命名空间位于同一 Azure 订阅中。
向事件中心分配权限
在本部分中,将在要从事件中心捕获数据的帐户中创建一个文件夹。 还可以向事件中心分配权限,以便它可以将数据写入 Data Lake Storage Gen1 帐户。
打开要从事件中心捕获数据的 Data Lake Storage Gen1 帐户,然后单击 数据资源管理器。
单击“ 新建文件夹” ,然后输入要在其中捕获数据的文件夹的名称。
在 Data Lake Storage Gen1 的根目录中分配权限。
a。 单击 “数据资源管理器”,选择 Data Lake Storage Gen1 帐户的根目录,然后单击“ Access”。
b. 在 “访问”下,单击“ 添加”,单击 “选择用户或组”,然后搜索
Microsoft.EventHubs。
单击“选择”。
c. 在 “分配权限”下,单击“ 选择权限”。 将权限设置为执行。 将“添加到”设置为“此文件夹和所有子文件夹”。 将设置为一个访问权限条目和一个默认权限条目。
重要
创建新文件夹层次结构以捕获 Azure 事件中心接收的数据时,这是一种简单的方法,可确保访问目标文件夹。 但是,向具有许多子文件和文件夹的顶级文件夹的所有子级添加权限可能需要很长时间。 如果您的根文件夹包含大量的文件和文件夹,可能会更快地在路径中的每个文件夹中单独为目标文件夹添加执行权限
Microsoft.EventHubs。
单击“确定”。
请为您希望捕获数据的 Data Lake Storage Gen1 帐户下的文件夹分配权限。
a。 单击 “数据资源管理器”,选择 Data Lake Storage Gen1 帐户中的文件夹,然后单击“ Access”。
b. 在 “访问”下,单击“ 添加”,单击 “选择用户或组”,然后搜索
Microsoft.EventHubs。
单击“选择”。
c. 在 “分配权限”下,单击“ 选择权限”。 将权限设置为读取、写入和执行。 将“添加到”设置为“此文件夹和所有子文件夹”。 最后,将添加为访问权限条目和默认权限条目。
单击“确定”。
配置事件中心以将数据捕获到 Data Lake Storage Gen1
在本部分中,将在事件中心命名空间中创建事件中心。 还将事件中心配置为将数据捕获并保存到 Azure Data Lake Storage Gen1 帐户。 本部分假定已创建事件中心命名空间。
在事件中心命名空间的“ 概述 ”窗格中,单击“ + 事件中心”。
提供以下值以配置事件中心以将数据捕获到 Data Lake Storage Gen1。
a。 提供事件中心的名称。
b. 对于本教程,请将 分区计数 和 消息保留 设置为默认值。
c. 将“捕获”设置为“开启”。 设置 时间窗口 (捕获的频率)和 大小窗口 (要捕获的数据大小)。
d. 对于 捕获提供程序,请选择 Azure Data Lake Store ,然后选择之前创建的 Data Lake Storage Gen1 帐户。 对于 Data Lake Path,输入在 Data Lake Storage Gen1 帐户中创建的文件夹的名称。 您只需提供文件夹的相对路径。
e。 将 示例捕获文件名格式 保留为默认值。 此选项控制在捕获文件夹下创建的文件夹结构。
f. 单击 “创建” 。
测试设置
现在,可以通过将数据发送到 Azure 事件中心来测试解决方案。 按照“ 将事件发送到 Azure 事件中心”中的说明进行作。 开始发送数据后,会看到使用指定的文件夹结构在 Data Lake Storage Gen1 中反映的数据。 例如,在 Data Lake Storage Gen1 帐户中看到文件夹结构,如以下屏幕截图所示。
注释
即使没有传入事件中心的消息,事件中心也会将仅包含标头的空文件写入 Data Lake Storage Gen1 帐户。 这些文件以创建事件中心时提供的相同时间间隔写入。
分析 Data Lake Storage Gen1 中的数据
数据进入 Data Lake Storage Gen1 后,可以运行分析任务来处理和分析数据。 请参阅 USQL Avro 示例 ,了解如何使用 Azure Data Lake Analytics 执行此作。