你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
在单区域设置中,数据管理登陆区域、数据登陆区域和所有相关服务都在同一区域中建立。 此外,所有登陆区域都驻留在同一连接中心订阅中。 此订阅托管共享网络资源,例如 Azure 防火墙、Azure ExpressRoute 网关、虚拟专用网络网关、中心虚拟网络或 Azure 虚拟 WAN 中心。
根据 Azure 网络服务的功能,建议使用网格化网络体系结构。 在两者之间建立虚拟网络对等连接:
- 连接中心和数据管理区域。
- 连接中心和每个数据登陆区域。
- 数据管理区域和每个数据登陆区域。
- 每个数据落地区域。
本文介绍云规模分析的每个网络体系结构选项的优缺点。
本文的第一部分重点介绍单区域模式,其中数据管理区域和所有数据登陆区域托管在同一区域中。
每个设计模式都使用以下条件进行评估:
- 成本
- 用户访问管理
- 服务管理
- Bandwidth
- 延迟
每个设计选项都根据以下跨数据登陆区域用例进行分析。
注意
数据登陆区域 B 中托管的虚拟机 (VM) B 从数据登陆区域 A 中托管的存储帐户 A 加载数据集。然后,VM B 处理该数据集并将其存储在存储帐户 B 中,该帐户托管在数据登陆区域 B 中。
重要
本文和网络部分的其他文章概述了共享数据的跨业务部门。 但是,这可能不是你的初始策略,你可能需要首先从更基础的级别开始。
设计网络,以便最终可以在数据域之间实现建议的设置。 确保将数据管理着陆区直接与治理着陆区连接。
网格网络体系结构(建议)
采用云规模分析时,请使用网络网格体系结构。 为了实施网络网格架构,除了租户中现有的中心辐射型网络设计设置外,还需要执行两项任务:
- 在所有数据登陆区虚拟网络之间添加虚拟网络对等连接。
- 在您的数据管理着陆区与所有数据着陆区之间添加虚拟网络对等互联。
在以下体系结构中,从存储帐户 A 加载的数据通过两个数据着陆区虚拟网络之间设置的虚拟网络对等连接(2)进行传输。 VM B (3) 和 (4) 加载并处理数据,然后通过本地专用终结点 (5) 将其发送到存储帐户 B 中。
在此方案中,数据不会通过连接中心传递。 它位于由数据管理着陆区和一个或多个数据着陆区组成的数据平台中。
网格网络体系结构中的用户访问管理
在网格化网络体系结构设计中,数据应用程序团队只需执行两项作即可创建新服务,包括专用终结点:
- 对数据登陆区域中的专用资源组的写入权限
- 加入对其指定子网的访问权限
在此设计中,数据应用程序团队可以自行部署专用终结点。 如果他们具有将专用终结点连接到给定分支网络中的子网所需的访问权限,可以无需额外支持设置必要的网络连接。
摘要:![]()
![]()
加号图标指示每个方案的优缺点。
网格网络体系结构中的服务管理
网状网络体系结构设计没有像 NVA 这样的单一故障点,也不会限制吞吐量。 数据集不会通过连接中心发送,因此,只要不需要横向扩展该 NVA,中心 Azure 平台团队的开销就更少。
此设计意味着中心 Azure 平台团队无法再检查和记录在数据登陆区域之间发送的所有流量。 但是,云规模数据分析是一个跨多个订阅的统一平台。 此功能允许缩放并克服平台级限制。
在将所有资源托管在单个订阅中后,Azure 中心平台团队也不再检查中央连接枢纽中的所有数据。 仍可以使用网络安全组(NSG)流日志捕获网络日志。 可以使用特定于服务的诊断设置来合并和存储其他应用程序级和服务级别日志。
可以使用 诊断设置的 Azure 策略定义大规模捕获所有这些日志。
此设计还允许创建基于专用 DNS 区域的 Azure 本机域名系统(DNS)解决方案。 可以通过 专用 DNS 组的 Azure 策略定义自动执行 DNS A 记录生命周期。
摘要:![]()
![]()
网格型网络体系结构成本
注意
当您在对等互连网络中访问专用终结点时,只需为专用终结点本身付费,而无需为虚拟网络对等互连付费。
在这种网络设计中,只需支付以下费用:
您的专用终结点,每小时。
通过专用终结点发送的入口和出口流量,以加载原始数据集(1)并存储已处理的数据集(6)。
虚拟网络对等互连不收费(2),这就是为什么此选项的成本最低。
摘要:![]()
![]()
网格网络体系结构中的带宽和延迟
此设计没有已知的带宽或延迟限制,因为 NVA 不会限制其跨数据登陆区域数据交换的吞吐量。 此设计仅受数据中心光纤电缆的速度的限制。
摘要:![]()
![]()
网格型网络体系结构摘要
如果你计划采用云规模分析,我们建议你使用网格网络设计。 网格网络以最低成本提供最大带宽和低延迟,而不会影响用户访问管理或 DNS 层。
如果需要在数据平台中强制实施其他网络策略,请使用 NSG 而不是中央 NVA。
传统中心辐射型体系结构(不建议)
中心辐射型网络体系结构设计是许多企业使用的常见选择。 在此设计中,网络传递功能是在连接枢纽中建立的,用于从 VM B 访问存储帐户 A 中的数据。数据遍历两个虚拟网络对等连接(2)和(5),以及一个托管在连接枢纽中的 NVA(3)和(4)。 VM (6) 加载数据并将其存储回存储帐户 B (8)。
传统中心辐射型体系结构中的用户访问管理
在传统的枢纽辐射式设计中,数据应用程序团队只需完成两项任务即可创建新服务,包括专用终结点:
- 对数据登陆区域中的资源组的写入权限
- 加入对其指定子网的访问权限
在此设计中,数据应用程序团队可以自行部署专用终结点。 如果他们具有将专用终结点连接到给定分支网络中的子网所需的访问权限,可以无需额外支持设置必要的网络连接。
摘要:![]()
![]()
传统中心辐射型体系结构中的服务管理
此网络设计是众所周知的,与大多数组织的现有网络设置一致。 这种熟悉性使设计易于解释和实现。 还可以将集中式 Azure 本机 DNS 解决方案与专用 DNS 区域配合使用,在 Azure 租户内提供 FQDN 解析。 可以使用专用 DNS 区域通过 Azure 策略自动执行 DNS A 记录生命周期。
此设计的另一个好处是,通过中心 NVA 路由流量,因此可以记录和检查从一个节点发送到另一个节点的网络流量。
此设计的一个缺点是,中心 Azure 平台团队必须手动管理路由表。 此要求有助于确保节点之间的可传递性,从而实现跨多个数据着陆区的数据资产共享。 路由管理可能会随着时间推移变得复杂且容易出错,因此必须从头开始考虑它。
此网络配置的另一个缺点是中央 NVA 的设置方式。 NVA 充当单一故障点,如果发生故障,可能会导致数据平台内严重停机。 随着数据平台中数据集规模的扩大,以及跨数据区域用例的增多,通过中心 NVA 传输的流量也随之增加。
随着时间的推移,这种情况可能会导致通过中央实例发送千兆字节甚至 TB 的数据。 由于现有 NVA 的带宽通常限制为仅一位数或两位数千兆字节吞吐量,因此中心 NVA 可能会成为严重限制数据登陆区域之间的流量流的瓶颈,并限制数据资产可共享性。
避免此问题的唯一方法是跨多个实例横向扩展中心 NVA,这对此设计具有重大成本影响。
摘要:
传统的中心辐射式架构成本
注意
当您在对等互连网络中访问专用终结点时,只需为专用终结点本身付费,而无需为虚拟网络对等互连付费。
对于此网络,你的存储帐户的专用终结点按小时收费。 还对通过专用终结点发送的入口和出口流量收费,以加载原始数据集(1),并存储已处理的数据集(8)。
您的客户将为一次虚拟网络对等连接(5)的流入和流出流量支付费用。 第一个虚拟网络对等互连不收费(2)。
这种网络设计(3)和(4)会产生较高的中央 NVA 成本。 必须根据需求购买额外的许可证并横向扩展中央 NVA,或者像 Azure 防火墙费用一样,按每 GB(千兆字节)计算处理费用。
摘要:![]()
![]()
传统中心辐射型体系结构中的带宽和延迟
这种网络设计具有严重的带宽限制。 随着平台的增长,中央 NVA 成为一个重要的瓶颈,限制了跨数据降落区的用例及数据集共享。 它还可以在一段时间内创建数据集的多个副本。
这种设计也会严重影响延迟,这在实时分析方案中变得尤为重要。
摘要:![]()
![]()
传统中心辐射型体系结构摘要
此中心辐射型网络设计具有访问管理和一些服务管理优势。 但由于服务管理和带宽和延迟的严重限制,我们不建议将此网络设计用于跨数据登陆区域用例。
专用终结点投影体系结构(不建议)
另一个设计选项是跨所有登陆区域投影专用终结点。 在此设计中,存储帐户 A 的专用终结点在每个登陆区域中创建。 因此,数据登陆区域 A 中的第一个专用终结点连接到数据登陆区域 A 中的虚拟网络,第二个专用终结点连接到数据登陆区域 B 中的虚拟网络。此配置对每个登陆区域重复,以便它们都具有自己的专用连接。
相同的设置适用于存储帐户 B,并可能适用于数据登陆区域中的其他服务。 如果将数据登陆区域数定义为 n,则至少有 n 个专用终结点用于数据登陆区域中的所有存储帐户和潜在的其他服务。 这种情况会导致专用终结点数呈指数级增长。
由于特定服务(如存储帐户 A)的所有专用终结点具有相同的 FQDN(例如storageaccounta.privatelink.blob.core.windows.net),此情况会在 DNS 层面产生挑战,而这些挑战是私有 DNS 区域无法解决的。 你需要一个自定义 DNS 解决方案,该解决方案可以根据请求者的源或 IP 地址解析 DNS 名称。 此设置允许 VM A 连接到连接到数据登陆区域 A 中的虚拟网络的专用终结点,并使 VM B 连接到连接到数据登陆区域 B 中虚拟网络的专用终结点。可以使用基于 Windows Server 的设置实现此连接。 相比之下,可以通过 Azure Monitor 活动日志和 Azure Functions 的组合自动执行 DNS A 记录生命周期。
在此设置中,可以通过本地专用终结点(1)访问数据集,将存储帐户 A 中的原始数据集加载到 VM B 中。 加载和处理数据集(2)和(3)后,可以通过直接访问本地专用终结点(4)将其存储在存储帐户 B 中。 在此方案中,数据不得通过任何虚拟网络对等连接。
专用终结点投影体系结构中的用户访问管理
这种设计的用户访问管理方法类似于网格网络体系结构的用户访问管理。 在此设计中,可以要求其他数据登陆区域具有访问权限,以创建专用终结点,不仅在指定的数据登陆区域和虚拟网络中,而且在其他数据登陆区域及其各自的虚拟网络中。 由于此方法,数据应用程序团队需要三项作才能自行创建新服务:
对指定数据登陆区域中的资源组的写入访问权限
加入对其指定子网的访问权限
访问所有其他数据登陆区域中的资源组和子网,以创建各自的本地专用终结点
此网络设计会增加访问管理层的复杂性,因为数据应用程序团队需要所有数据登陆区域中的权限。 设计也可能令人困惑,并导致一段时间内基于角色的访问控制不一致。
如果数据登陆区域团队和数据应用程序团队未获得必要的访问权限,则可能会出现问题,类似于 传统中心辐射体系结构中的问题。
摘要:
专用终结点投影体系结构中的服务管理
此网络设计类似于 网格网络体系结构 设计,但它的优势在于不依赖 NVA,这可以成为单一故障点或限制吞吐量。
它还通过无需通过连接中心发送数据集来减少中央 Azure 平台团队的管理开销,因为无需扩展 NVA。 此更改意味着中心 Azure 平台团队无法再检查和记录在数据登陆区域之间发送的所有流量。 然而,云规模分析是一个一致的平台,跨越多个订阅。 此功能允许缩放并克服平台级限制。
在单个订阅中托管所有资源的情况下,流量不会在中央连接中心进行检查。 你仍然可以使用 NSG 流日志捕获网络日志,并且可以使用特定于服务的诊断设置来合并和存储其他应用程序和服务级别日志。 可以使用 Azure 策略大规模捕获所有这些日志。 但是,由于所需专用终结点的指数增加,数据平台所需的网络地址空间会增加,这并非最佳。
对此网络体系结构的主要担忧是其 DNS 挑战。 不能以专用 DNS 区域的形式使用 Azure 本机解决方案,因此此体系结构需要一个非Microsoft解决方案,该解决方案可以根据请求者的源或 IP 地址解析 FQDN。 此外,还必须开发和维护工具和工作流来自动执行专用 DNS A 记录,这大大增加了与 Azure 策略驱动解决方案相比的管理开销。
可以使用专用 DNS 区域创建分布式 DNS 基础结构,但此基础结构会创建 DNS 岛。 尝试访问租户中其他登陆区域中托管的专用链接服务时,DNS 岛可能会导致问题。 因此,这种设计不是可行的选择。
摘要:![]()
![]()
专用终结点投影体系结构成本
注意
当你在对等互连网络内跨网络访问专用终结点时,你只需为专用终结点本身付费,并不为虚拟网络的对等互连付费。
在此网络设计中,每小时仅对专用终结点和通过这些专用终结点发送的入口和出口流量收费,以加载原始数据集(1)并存储已处理的数据集(4)。 但是,由于数据平台的专用终结点数量呈指数增长,因此可能会产生额外的成本。 由于按小时收费,额外费用的金额很大程度上取决于创建的专用终结点数量。
摘要:
专用终结点投影体系结构中的带宽和延迟
此设计没有已知的带宽和延迟限制,因为它没有 NVA 来限制跨数据登陆区域数据交换的吞吐量。 此设计仅受数据中心光纤电缆的速度的限制。
摘要:![]()
![]()
专用终结点投影体系结构概述
此网络体系结构中专用终结点的指数增长可能导致你无法跟踪哪些专用终结点用于哪些用途和位置。 还受访问管理问题和 DNS 层复杂性的限制。 由于这些问题,我们不建议将此网络设计用于跨数据登陆区域用例。
连接中心体系结构中的专用终结点(不建议)
另一个网络选项是在连接中心托管专用终结点,并将其连接到中心虚拟网络。 在此解决方案中,将为企业虚拟网络上的每个服务托管单个专用终结点。 由于大多数公司现有的中心辐射型网络体系结构,并且连接中心在此解决方案中托管专用终结点,因此不需要传递性。 连接中心和数据着陆区之间的虚拟网络对等互连可实现直接网络访问。
数据遍历连接中心和数据登陆区域之间的单个虚拟网络对等互连,以加载存储在 VM B 中的存储帐户 A 中的数据集。在加载和处理数据集(3)和(4)之后,它会再次遍历同一虚拟网络对等互连(5),然后最后通过连接到中心虚拟网络(6)的专用终结点将存储在存储帐户 B 中。
连接中心体系结构中的用户访问管理
在此网络设计中,数据着陆区团队和数据应用程序团队需要两个条件来将私有端点连接到枢纽虚拟网络:
- 向连接中心订阅中的资源组写入权限
- 将权限加入中心虚拟网络
连接中心是为组织的 Azure 平台团队指定的,专用于托管组织的必要和共享网络基础结构。 此基础结构包括防火墙、网关和网络管理工具。 此网络选项使设计不一致,因为它不遵循企业规模登陆区域基本原则中的访问管理原则。 因此,大多数 Azure 平台团队不太可能批准此设计选项。
摘要:![]()
![]()
连接中心体系结构中的服务管理
此设计类似于 网格网络体系结构 ,但没有 NVA 可用作单一故障点或限制吞吐量。 它还通过不通过连接中心发送数据集来减少中央 Azure 平台团队的管理开销,因为无需横向扩展虚拟设备。 此设计意味着中心 Azure 平台团队无法再检查和记录在数据登陆区域之间发送的所有流量。 然而,云规模分析是一个跨多个订阅的一体化平台,这使得系统能够扩展并克服平台级限制。
在单个订阅中托管所有资源的情况下,流量不会在中央连接中心进行检查。 你仍然可以使用 NSG 流日志捕获网络日志,并且可以使用特定于服务的诊断设置来合并和存储其他应用程序和服务级别日志。 可以使用 Azure 策略大规模捕获所有这些日志。
此设计还允许你创建基于专用 DNS 区域的 Azure 本机 DNS 解决方案,并通过 Azure 策略自动执行 DNS A 记录生命周期。
摘要:![]()
![]()
连接中心体系结构成本
注意
当你在对等互连网络内跨网络访问专用终结点时,你只需为专用终结点本身付费,并不为虚拟网络的对等互连付费。
在此网络设计中,你只需按小时支付专用终结点的费用,以及通过这些专用终结点发送的入口和出口流量,以加载原始数据集(1)并存储已处理的数据集(6)。
摘要:![]()
![]()
连接中心体系结构中的带宽和延迟
此设计没有已知的带宽和延迟限制,因为它没有 NVA 来限制跨数据登陆区域数据交换的吞吐量。 此设计仅受数据中心光纤电缆的速度的限制。
摘要:![]()
![]()
连接中心体系结构概述中的专用终结点
此网络体系结构设计具有多种优势,但其访问管理不一致使其逊色。 因此,我们不建议使用此设计选择。
单区域数据落地区连接结语
从所有已审查的网络体系结构选项及其优点和缺点中, 网格化网络体系结构 是最合适的。 它为吞吐量、成本和管理提供了显著优势。 这些优势使其成为部署云规模分析的首选。 对等连接辐射虚拟网络并不常见,这会导致跨域和跨业务部门共享数据集时出现问题。
云规模分析是跨多个订阅的一致解决方案。 在单个订阅设置中,网络流量等于网状网络架构中的流量。 用户可能会达到平台的 订阅级别限制和配额,云规模分析会尝试阻止这些限制和配额。