Matillion Data Productivity Cloud 是专为云数据库平台(包括 Azure Databricks)而构建的 ETL/ELT 工具。 Matillion Data Productivity Cloud 具有基于浏览器的新式 UI,具有强大的下推 ETL/ELT 功能。
你可以将 Databricks SQL 仓库(以前称为 Databricks SQL 终结点)和 Azure Databricks 群集与 Matillion 集成。
使用 Partner Connect 连接到 Matillion
本部分介绍如何使用 Partner Connect 更轻松地将 Azure Databricks 工作区中的现有 SQL 仓库或群集连接到 Matillion。
要求
请参阅使用合作伙伴连接的要求。
连接步骤
若要使用 Partner Connect 连接到 Matillion,请按照本部分中的步骤操作。
在边栏中,单击
市场。在“Partner Connect 集成”中,单击“查看全部”。
单击 “Matillion Data Productivity Cloud ”磁贴。
选择 Matillion 要写入的 Azure Databricks 目录,然后单击“ 下一步”。
选择要与 Matillion 一起使用的现有 Databricks SQL 仓库。 此计算资源用于执行你的管道。
选择 Matillion 用于创建和管理数据管道的架构。 单击 添加。
单击 “下一步” 。
查看连接信息,然后单击“ 下一步”。
查看并接受使用合作伙伴连接的条款和条件,然后单击“ 连接到 Matillion Data Productivity Cloud”。
Matillion Data Productivity Cloud 页面正在加载。 完成屏幕上的说明,以创建 14 天试用帐户或登录到现有的 Matillion 帐户。
Matillion 可能需要几分钟时间才能创建必要的基础结构,并安全地连接到 Azure Databricks 环境。
Matillion 完成设置过程后,设计器将加载。
注意
如果你不在设计器页上,请返回到 Azure Databricks 并再次登录到 Matillion。
开始了解 Matillion
设置完成后,将进入设计器,可在其中开始生成数据管道。 管道 是数据生产力云设计、组织和执行工作流的方式。
若要确保 Azure Databricks 工作区已连接到 Matillion,请检查以下内容:
- 一个默认项目,其 Azure Databricks 徽标位于左上角。
- 你的环境是使用 Azure Databricks 术语命名的。
- 如果在左上角单击“ 架构 ”,则会打开一个面板,并在 Azure Databricks 中显示所选架构以及任何表和视图。
浏览架构的内容,确认 Matillion 已成功连接到 Databricks 工作区。
检查是否已连接到 Azure Databricks 后,开始在 Matillion 上创建管道:
- 创建第一个业务流程管道,将数据从源移动到 Azure Databricks。
- 创建第一个转换管道,以塑造、清理和准备已直接存在于 Azure Databricks 中的数据。
- 使用可视化设计器使用 拖放画布界面生成数据工作流。
后续步骤
在 Matillion 网站上浏览以下一个或多个资源: