本文介绍用于部署和管理 Azure Databricks 帐户与工作区的网络配置。
注释
无服务器工作负荷连接到客户资源时,Azure Databricks 对网络成本收费。 请参阅 了解 Databricks 无服务器网络成本。
Azure Databricks 体系结构概述
Azure Databricks 在控制平面和计算平面上运行。
- 控制平面包括 Azure Databricks 在 Azure Databricks 帐户中管理的后端服务。 该 Web 应用程序位于控制平面中。
-
计算平面是处理数据的位置。 根据所使用的计算,存在两种类型的计算平面。
- 对于经典 Azure Databricks 计算,计算资源位于 Azure 订阅中称为经典计算平面的部分中。 这是指 Azure 订阅及其资源中的网络。 经典计算平面资源位于工作区所在的区域中。
- 对于无服务器计算,无服务器计算资源在 Azure Databricks 帐户的无服务器计算平面中运行。 无服务器计算平面资源与工作区的经典计算平面位于同一云区域中。 需要在创建工作区时选择此区域。
若要详细了解经典计算和无服务器计算,请参阅 “计算”。 有关其他体系结构信息,请参阅 高级体系结构。
安全网络连接
默认情况下,Azure Databricks 会提供安全的网络环境,但如果组织具有其他需求,则可以在下图所示的不同网络连接之间配置网络连接功能。
- 用户和应用程序到 Azure Databricks:可以配置用于控制访问的功能,并在用户与其 Azure Databricks 工作区之间提供专用连接。 请参阅用户到 Azure Databricks 网络。
- 控制平面和经典计算平面:经典计算资源(例如群集)部署在 Azure 订阅中并连接到控制平面。 可以使用经典网络连接功能在自己的虚拟网络中部署经典计算平面资源,并启用从群集到控制平面的专用连接。 请参阅经典计算平面网络。
- 无服务器计算平面和存储:可以配置从无服务器计算到存储的专用连接。 请参阅无服务器计算平面网络。
可以配置 Azure 存储网络功能,例如用于保护经典计算平面与 Azure 资源之间的连接的专用终结点。 请参阅 授予 Azure Databricks 工作区访问 Azure Data Lake Storage 权限 和 Lakehouse 联合的网络建议。
还可以为工作区存储帐户启用防火墙支持,以限制从授权网络和连接进行的对该帐户的访问。 请参阅为工作区存储帐户启用防火墙支持。
控制平面与无服务器计算平面之间的连接始终通过 Azure 网络主干而不是公共 Internet。
开始
了解 Databricks 网络体系结构并探索关键概念。
| 主题 | Description |
|---|---|
| Databricks 体系结构概述 | 了解构成 Databricks 网络基础的控制平面和计算平面体系结构。 |
| Azure 专用链接 | 使用 Azure 专用链接在网络与 Databricks 之间建立专用连接,以提高安全性。 |
| 了解数据传输和连接成本 | 了解数据传输定价并优化网络连接功能的成本。 |
Connectivity
配置安全网络连接,以便对工作区的入站访问和从计算资源的出站连接。
| 主题 | Description |
|---|---|
| 前端网络 | 为通过 Web 界面和 API 连接到 Databricks 工作区的用户配置网络访问控制。 |
| 前端专用链接 | 使用 Azure 专用链接启用从企业网络到 Databricks 工作区的专用连接。 |
| 无服务器计算平面网络 | 配置无服务器计算资源与数据源和服务之间的安全网络访问。 |
| 与 Azure 资源的专用连接 | 建立从无服务器计算到 Azure 存储、SQL 数据库和其他 Azure 服务的专用连接。 |
| 与 VNet 中的资源的专用连接 | 使用专用终结点将无服务器计算连接到自己的 VNet 中运行的资源。 |
| 管理专用终结点规则 | 为无服务器计算连接配置和管理专用终结点规则。 |
| 经典计算平面网络 | 了解虚拟网络中部署的经典计算资源的网络选项。 |
| 在 VNet 中部署 Azure Databricks | 在自己的 Azure VNet 中托管 Databricks 群集,以增强网络控制(VNet 注入)。 |
| 对等虚拟网络 | 将 Databricks VNet 连接到 Azure 订阅中的其他 VNet,以访问其他资源。 |
| 将工作区连接到本地网络 | 使用 VPN 或 Azure ExpressRoute 将企业网络扩展到 Databricks。 |
| 后端专用链接 | 在经典计算资源和 Databricks 控制平面之间建立专用连接。 |
| 用户定义的路由设置 | 配置用户定义的路由(UDR),以控制来自 Databricks 群集的流量流。 |
| 更新工作区网络配置 | 修改现有工作区的网络配置。 |
| 安全群集连接 | 启用从群集到控制平面的仅限出站连接,且没有打开的入站端口。 |
网络安全
实施安全控制来限制和监视网络访问。
| 主题 | Description |
|---|---|
| 什么是无服务器出口控件? | 限制来自无服务器计算资源的出站网络连接,以防止数据外泄并强制实施符合性。 |
| 管理无服务器出口控制的网络策略 | 创建和管理用于定义允许从无服务器计算的出口连接的网络策略。 |
| IP 访问列表概述 | 了解如何使用 IP 访问列表来控制哪些 IP 地址可以访问 Databricks 工作区。 |
| 工作区的 IP 访问列表 | 配置工作区级 IP 访问控制以限制来自已批准的网络的访问。 |
| 帐户控制台的 IP 访问列表 | 设置跨多个工作区应用的帐户级 IP 限制,以便进行集中式安全管理。 |
| 配置用于存储访问的服务终结点策略 | 使用 Azure 服务终结点来保护 Databricks 和 Azure 存储帐户之间的连接。 |
| 为工作区存储帐户启用防火墙支持 | 配置 Azure 存储防火墙规则以允许从 Databricks 经典计算资源进行访问。 |
| 为无服务器计算访问配置 Azure 存储防火墙 | 使用稳定的服务标记为无服务器计算连接配置 Azure 存储防火墙规则。 |
| 域名防火墙规则 | 配置基于域的防火墙规则,以允许 Databricks 服务通过网络安全控制。 |
| 防火墙支持的 ARM 模板 | 使用 Azure 资源管理器模板自动配置工作区存储帐户的防火墙配置。 |