从 Azure Blob 存储复制到湖屋

在本教程中,你将生成一个管道,用于将 CSV 文件从 Azure Blob 存储源的输入文件夹移动到 Lakehouse 目标。

先决条件

若要开始,必须满足以下先决条件:

  • 确保你具有已启用 Project Microsoft Fabric 的工作区:创建工作区

  • 选择“立即试用!”按钮,为复制准备 Azure Blob 存储数据源。 为此 Azure Blob 存储创建新的资源组,然后选择“评审 + 创建”>“创建”。

    项目详细信息屏幕的屏幕截图。

    然后,创建一个Azure Blob 存储,并且 moviesDB2.csv 会上传到已创建的 Azure Blob 存储的输入文件夹。

    显示新存储在文件中出现位置的屏幕截图。

创建管道

  1. 在 app.powerbi.com 页上切换到“数据工厂”。

  2. 为此演示创建新工作区。

    工作区屏幕的屏幕截图。

  3. 选择“ 新建”,然后选择“ 管道”。

    “新建”菜单的屏幕截图。

使用复制助手复制数据

在此会话中,你将使用以下步骤开始生成管道。 这些步骤使用复制助手将 CSV 文件从Azure Blob 存储的输入文件夹复制到湖屋目标。

步骤 1:开始使用复制助手

  1. 选择画布上的“复制数据助手”,以打开“复制助手”工具以开始使用。 或者从功能区上“活动”选项卡下的“复制数据”下拉列表中选择“使用复制助手”。

    两个用于选择复制助手的选项的屏幕截图。

步骤 2:配置源

  1. 在选择筛选器中键入 blob,选择“Azure Blob”,然后选择“下一步”。

    显示在何处选择 Azure Blob 存储作为数据源的屏幕截图。

  2. 通过选择“连接”下拉列表下的“创建新连接”,提供帐户名或 URL 并创建与数据源的连接。

    显示如何选择新连接的屏幕截图。

    1. 使用指定的存储帐户选择“创建新连接”后,只需填写“身份验证类型”。 在此演示中,我们将选择“帐户密钥”,但你可以根据自己的喜好选择其他身份验证类型

      显示复制数据助手的“连接到数据源”屏幕的屏幕截图。

    2. 成功创建连接后,只需选择“下一步”即可连接到数据源。

  3. 选择要预览的源配置中的文件 moviesDB2.csv,然后选择“下一步”。

    显示如何选择数据源的屏幕截图。

步骤 3:配置目标

  1. 选择“湖屋”。

    显示选择了“湖屋”的“选择数据目标”对话框的屏幕截图。

  2. 提供新 Lakehouse 的名称。 然后选择“创建并连接”。

    显示选择了新湖屋选项的“选择数据目标”对话框的屏幕截图。

  3. 配置源数据并将其映射到目标;然后选择“下一步”以完成目标配置。

    显示复制数据助手中填入了表名称 MoviesDB 的“连接到数据目标”对话框的屏幕截图。

步骤 4:查看和创建复制活动

  1. 在前面的步骤中查看复制活动设置,然后选择“保存 + 运行”以完成。 或者,如果需要,可以返回到上述步骤,在工具中编辑设置。

    “复制数据助手”对话框中显示“评审 + 创建”屏幕的屏幕截图。

  2. 完成后,复制活动将添加到管道画布中。如果保留选中“立即开始数据传输”复选框,则会直接运行。

    显示已完成的复制活动的屏幕截图。

运行和调度流水线

  1. 如果在“审阅 + 创建”页面上没有选中“立即开始数据传输”复选框,请切换到“开始”选项卡,然后选择“运行”。 然后选择“保存并运行”。

    “主页”选项卡上显示复制活动的“运行”按钮的屏幕截图。

    显示复制活动的“保存并运行”对话框的屏幕截图。

  2. 在“输出”选项卡上,选择具有复制活动名称的链接,以监视进度并检查运行结果。

    显示“运行详细信息”按钮的屏幕截图。

  3. 复制数据详细信息”对话框显示运行结果,包括状态、读取和写入的数据量、开始和停止时间以及持续时间。

    显示“复制数据详细信息”对话框的屏幕截图。

  4. 还可以根据需要计划管道以特定频率运行。 以下示例显示了如何将管道安排为每 15 分钟运行一次。

    显示“计划配置”对话框的屏幕截图。

    显示配置为每 15 分钟运行一次的管道的屏幕截图。

此示例中的管道演示如何将数据从 Azure Blob 存储复制到湖屋。 你已了解如何执行以下操作:

  • 创建管道。
  • 使用复制助手复制数据。
  • 运行并调度你的流水线。

接下来,请继续了解有关监视管道运行的详细信息。