在管道中使用数据流

在本教程中，你将生成一个管道，用于将 OData 从 Northwind 源移动到 Lakehouse 目标，并在管道完成后发送电子邮件通知。

先决条件

若要开始，必须满足以下先决条件：

• 确保具有非默认“我的工作区”的已启用 Microsoft Fabric 的工作区。

创建湖屋

首先，需要创建一个湖屋。 湖屋是已针对分析进行优化的数据湖。 在本教程中，将创建一个用作数据流目标的湖屋。

1. 转到已启用 Fabric 的工作区。

   

2. 在创建菜单中选择“湖屋”。

   

3. 输入湖屋的名称。

4. 选择“创建” 。

你已创建湖屋，现在可以设置数据流。

创建数据流

数据流是可在管道中使用的可重用数据转换。 在本教程中，将创建一个数据流，用于从 OData 源获取数据并将其写入湖屋目标。

1. 转到已启用 Fabric 的工作区。

   

2. 在创建菜单中选择“数据流 Gen2”。

   

3. 从 OData 源引入数据。

   1. 选择“获取数据”，然后选择“更多”。

      

   2. 在“选择数据源”中，搜索“OData”，然后选择 OData 连接器。

      

   3. 输入 OData 源的 URL。 对于本教程，请使用 OData 示例服务。

   4. 选择“下一步” 。

   5. 选择要引入的实体。 在本教程中，使用 Orders 实体。

      

   6. 选择“创建” 。

你已从 OData 源引入数据，现在可以设置湖屋目标。

若要将数据引入湖屋目标，请执行以下操作：

1. 选择“添加数据目标”。

2. 选择“湖屋”。

   

3. 配置要用于连接到湖屋的连接。 可以使用默认设置。

4. 选择“下一步” 。

5. 导航到在其中创建了湖屋的工作区。

6. 选择在前面的步骤中创建的湖屋。

   

7. 确认表名称。

8. 选择“下一步” 。

9. 确认更新方法，然后选择“保存设置”。

   

10. 发布数据流。

    重要

    在工作区中创建第一个 Dataflow Gen2 时，将会预配湖屋和仓库项及其相关的 SQL 分析终结点和语义模型。 这些项由工作区中的所有数据流共享，并且是运行 Dataflow Gen2 所必需的，不应将其删除，但不会由用户直接使用。 这些项是 Dataflow Gen2 的实现详细信息。 这些项在工作区中不可见，但在其他体验（例如 Notebook、SQL 终结点、湖屋和仓库 体验）中可能是可访问的。 可以通过名称中的前缀来识别项。 项的前缀为“DataflowsStaging”。

现在，已将数据引入 Lakehouse 目标，接下来可以设置管道。

创建管道

管道是可用于自动处理数据处理的工作流。 在本教程中，将创建一个管道，用于运行在上一过程中创建的数据流 Gen2。

1. 导航回工作区概述页，然后在“创建”菜单中选择 “管道 ”。

   

2. 提供管道 的名称 。

3. 选择“数据流”活动。

   

4. 在“设置”下的“数据流”下拉列表中选择在上一过程中创建的数据流。

   

5. 添加 Office 365 Outlook 操作。

   

6. 配置 Office 365 Outlook 操作以发送电子邮件通知。

   1. 使用 Office 365 帐户进行身份验证。

   2. 选择要向其发送通知的电子邮件地址。

   3. 输入电子邮件的主题。

   4. 输入电子邮件的正文。

      

运行并调度流水线

在本部分中，将运行并计划管道。 此计划允许按计划运行管道。

1. 转到你的工作区。

2. 打开在上一过程中创建的管道的下拉菜单，然后选择“ 计划”。

   

3. 在“计划运行”中，选择“打开”。

   

4. 提供用于运行管道的时间表。

   1. 重复，例如，每天或每分钟。
   2. 选择“每日”时，还可以选择“时间”。
   3. 在特定日期开始。
   4. 在特定日期结束。
   5. 选择“时区”。

5. 选择“应用”，以应用更改。

你已经创建了一个按计划运行的管道，刷新湖仓中的数据，并向你发送电子邮件通知。 可以通过转到 “监视中心”来检查管道的状态。 还可以通过转到 “管道 ”并选择下拉菜单中的 “运行历史记录 ”选项卡来检查管道的状态。

相关内容

此示例演示如何将管道中的数据流与 Microsoft Fabric 中的数据工厂配合使用。 你已了解如何执行以下操作：

接下来，请继续了解有关监视管道运行的详细信息。