Azure Databricks 的体系结构最佳做法

了解服务限制和配额： Azure Databricks 服务限制通过计算群集、工作区容量、存储吞吐量和网络带宽限制，直接影响工作负荷的稳定性。 必须主动将这些配额纳入架构设计，以防止意外的服务中断，包括 1000 节点群集限制、工作区群集最大值限制和区域容量限制，这些限制可能导致高峰需求期间的扩展操作暂停。

通过故障模式分析预测潜在故障： 系统 故障模式分析 可识别潜在的系统故障，并建立相应的缓解策略，以保持分布式计算复原能力。

常见的故障方案及其经过验证的缓解方法包括：

这些缓解策略利用本机 Azure Databricks 功能，包括自动重启、自动缩放、Delta Lake 一致性保证和 Unity 目录安全功能来实现容错。

设计以支持跨关键层的冗余： 冗余是一个关键策略，必须应用于关键体系结构层，以保持工作负荷连续性。

例如，使用各种实例类型、利用群集池和实现自动节点替换策略，跨可用性区域分配群集。 同样，可靠网络设计可防范连接故障，这些故障可能会中断控制平面可访问性、数据访问和与依赖项的通信。 使用冗余网络路径、不同的专用终结点配置、DNS 故障转移机制和 VNet 注入可以帮助实现网络复原能力。 即使是元数据复原能力对于在服务中断期间保持合规性和数据可访问性非常重要，因为治理失败可能会停止数据访问并损害合规性要求。

为了提高可用性，请考虑使用多区域 Azure Databricks 部署来实现地理冗余，防止区域性中断，并确保在扩展服务中断期间保持业务连续性。 多区域设置也是灾难恢复的可行解决方案。

实现缩放策略： 使用自动缩放来处理需求波动，同时保持性能稳定。 计划在高峰需求期间，因添加资源和区域容量限制而可能出现的延迟，并在速度与群集启动延迟的影响之间进行平衡。

采用无服务器计算来提高可靠性： 无服务器计算选项通过将基础结构管理转移到Microsoft，提供自动缩放、内置容错和一致的可用性，从而降低作复杂性并提高可靠性，而无需群集生命周期管理开销。

实现全面的运行状况监视和警报：在所有 Azure Databricks 组件中进行全面监视，可在发生可用性影响之前进行主动问题检测和快速响应，包括工作区运行状况、群集状态、作业执行模式和数据管道性能以及自动升级工作流。

使用 Delta Lake 可靠性功能保护数据： Delta Lake 通过 ACID 事务、自动版本管理、时间穿梭功能和模式强制提供必要的数据保护，以防止损坏并实现数据恢复。

配置作业可靠性和重试机制： 作业可靠性配置通过智能重试策略、超时管理和故障处理机制建立弹性数据处理，这些机制区分暂时性问题和永久性错误。

生成数据管道复原能力和容错能力： 数据管道复原解决了分布式数据处理的关键可靠性挑战，其中故障可以在整个互连的数据系统中级联并中断业务分析工作流。

高级复原策略利用 Lakeflow 声明性管道、结构化流检查点、自动加载程序已获救的数据功能和 Lakeflow 声明性管道质量约束，在基础结构中断期间提供自动错误处理、数据质量强制和正常降级。

建立备份和灾难恢复过程： 有效的 灾难恢复 需要使恢复时间目标与业务需求保持一致，同时为工作区元数据、笔记本存储库、作业定义、群集配置和集成数据存储系统建立自动化备份过程。

如果使用次要区域进行恢复，请注意工作区元数据同步、代码存储库复制以及与依赖 Azure 服务的协调集成，以保持跨地理边界的作连续性。

实施可靠性测试和混乱工程： 系统的可靠性测试以验证故障恢复机制能否在真实条件下正常运作，并结合混乱工程原则，在影响生产环境之前识别出复原能力差距。

查看安全基线：Azure Databricks 安全基线提供过程指南和资源，用于实现Microsoft云安全基准中指定的安全建议。

集成安全开发生命周期（SLC）： 为源代码和 MLflow 模型安全验证实现安全代码扫描，以在开发生命周期早期识别漏洞。

使用基础结构即代码 （IaC） 验证来强制实施 Azure Databricks 资源的安全配置。

此外，通过实现安全的源代码管理、在开发工作流中安全地管理凭据，并将自动化安全测试集成到用于数据处理和机器学习模型部署的 CI/CD 管道中来保护开发环境。

提供集中式治理： 通过 Databricks 管道为数据源添加可跟踪性和审核。 Unity 目录提供集中式元数据目录，支持跨工作区的数据发现和世系跟踪，并采用精细的访问控制和验证。

Unity 目录可以与外部数据源集成。

引入有意的资源分段： 在不同的范围内使用单独的工作区和订阅实施分段。 将生产、开发和沙盒环境分开，以限制潜在安全违规的影响范围。

通过按照敏感度和功能进行分段：将敏感数据工作负载隔离在专用工作区中，实施更严格的访问控制，并在沙盒环境中进行探索性工作，该环境具有有限的权限，并且没有生产数据访问权限。

实现安全网络访问： Azure Databricks 的数据平面资源（如 Spark 群集和 VM）通过 vNet 注入部署到 Azure 虚拟网络（VNet）。 这些资源将部署到该 VNet 中的子网中。 因此，由 Databricks 平台管理的控制平面独立于数据平面，防止未经授权的访问。 控制平面与数据平面安全通信，以管理工作负荷，而所有数据处理仍保留在网络中。

vNet 注入通过 Azure 专用网络功能提供对配置、路由和安全性的完全控制。 例如，可以使用 Azure 专用链接来保护与控制平面的连接，而无需使用公共 Internet。 可以使用网络安全组（NSG）来控制子网之间的出口和入口流量，通过 Azure 防火墙、NAT 网关或网络虚拟设备路由流量，以便进行检查和控制。 如果需要，甚至可以将 VNet 与您本地的网络对等互连。

实现授权和身份验证机制： 考虑跨控件和数据平面的 标识和访问管理 。 Databricks 运行时在作业执行期间强制实施自己的安全功能和访问控制，从而创建分层的安全模型。 Azure Databricks 组件（如 Unity 目录和 Spark 群集）与 Microsoft Entra ID 集成，通过 Azure 的内置 RBAC 策略启用访问管理。 此集成还通过单一登录、多重身份验证和条件访问策略等提供企业身份验证。

请务必了解体系结构依赖于 Databricks 原生安全性的位置，以及它与 Entra ID 相交的位置。 这种双重分层方法可能需要单独的标识管理和维护策略。

加密静态数据： Azure Databricks 与 Azure Key Vault 集成，用于管理加密密钥。 此集成支持客户管理的密钥（CMK），使你能够控制加密密钥的操作，如吊销、审核，以及遵循安全策略。

保护工作负荷机密： 若要运行数据工作流，通常需要存储机密，例如数据库连接字符串、API 密钥和其他敏感信息。 Azure Databricks 原生支持机密作用域，用于将机密存储在可从源代码和作业中安全访问的工作区内。

机密范围与 Azure Key Vault 集成，使你能够集中引用机密和管理机密。 企业团队通常需要 Key Vault 支持的机密范围，以便实施合规性、安全性和策略。

实现安全监视： Azure Databricks 原生支持审核日志记录，使你能够查看工作区中的管理员活动，例如登录尝试、笔记本访问、权限更改。 此外，Unity 目录访问日志跟踪谁访问了哪些数据、时间和方式。

使用 Azure Databricks，可以在 Azure Monitor 中查看这些日志。

安全分析工具（SAT）与 Azure Databricks 工作区完全兼容。

确定成本驱动因素： 理论容量规划往往导致过度预配和浪费的支出，相反，不投资足够的资源是有风险的。

根据工作负荷行为估算成本并寻求优化机会。 运行试点工作负荷、基准群集性能和分析自动缩放行为。 实际使用情况数据有助于调整群集大小、设置缩放规则并分配正确的资源。

为支出设置明确的责任： 使用多个 Azure Databricks 工作区时，跟踪哪些团队或项目负责特定成本非常重要。 这需要使用项目或成本中心信息标记资源（如群集或作业），使用退款模型将基于使用情况的成本分配给团队，以及设置预算控制来监视和限制支出。

选择适当的层： 建议使用用于开发和基本生产工作负荷的标准层;生产工作负荷的高级层，因为它提供安全功能，例如 Unity 目录，这是大多数分析工作负载的核心。

在无服务器计算与 VM 之间进行选择： 对于无服务器，只需为使用的内容付费（基于消耗）。 对于突发工作负荷或按需作业，建议使用无服务器架构，因为它可以自动扩展，并减少运营开销。 无需管理基础结构或为空闲时间付费。

对于可预测的或稳定的使用情况，选择基于 VM 的群集。 这为你提供了更多的控制，但需要作管理和优化以避免过度预配。 如果确定长期使用，请使用预留容量。 Databricks 承诺使用单位（DBCU）是通过预先支付合同获得折扣的一种方式，旨在交换使用承诺。

请确保分析历史趋势和预测未来需求，以做出最佳选择。

优化群集利用率： 无需群集时，通过自动缩放和关闭群集来降低 Azure Databricks 成本。

请评估您的预算是否能支持群集池。 虽然它们可以减少群集启动时间，但它们是空闲资源，即使未使用，也会产生基础结构成本。

使用缩减配置节省开发/测试环境中的成本。 鼓励群集在团队之间共享，以避免创建不必要的资源。 强制实施自动终止策略以取消预配空闲群集。

针对每个工作负荷优化计算： 不同的工作负荷需要不同的计算配置。 某些作业可能需要更高的内存、处理能力，而另一些作业可能运行轻型作业，从而降低成本。 选择正确的群集来完成正确的任务。

将正确的群集分配给每个作业，而不是将所有任务都分配到同一个大型群集。 借助 Azure Databricks，可以定制计算资源以匹配每个工作负荷，从而降低成本并提高性能。

优化存储成本： 存储大量数据可能会变得昂贵。 尝试使用 Delta Lake 功能降低成本。 例如，数据压缩允许将许多小文件合并为更少的大型文件，以减少存储开销并加快查询速度。

努力管理旧数据。 可以使用保留策略删除过时的版本。 此外，可以将较旧的不经常访问的数据移到更便宜的存储层。 如果适用，自动化生命周期策略（如基于时间的删除或分层规则）有助于存档或删除数据，因为它变得不那么有用，使存储保持精简。

不同的存储格式和压缩设置还可以减少使用的空间量。

优化数据处理技术： 在处理大量数据时，会产生与计算、网络和查询相关的成本。 若要降低成本，请使用用于查询优化、数据格式选择和 Delta Lake 和代码优化的策略组合：

• 最小化数据移动。 评估数据处理管道，以减少不必要的数据移动和带宽成本。 实现增量处理以避免重新处理未更改的数据，并使用缓存来存储离计算资源更近的频繁访问的数据。 减少连接器访问或与外部数据源集成时的开销。

• 使用高效的文件格式。 如 Parquet 等格式和如 Zstandard 等 Databricks 原生的压缩算法能够实现更快的读取速度，并由于移动的数据减少而降低了数据成本。

• 提高查询效率。 避免全表扫描以降低计算成本。 而是基于常用的筛选列对 Delta 表进行分区。 使用本机功能减少计算时间。 例如，本机 Spark 功能（如 Catalyst Optimzer 和自适应查询执行）用于在运行时动态优化联接和分区。 Databricks Photon 引擎加速查询执行。

• 在 Azure Databricks 环境中应用代码优化设计模式，例如竞争消费者、基于队列的负载调平和计算资源整合。

监视使用情况： Databricks Unit （DBU） 是基于计算使用情况的抽象计费模型。 Azure Databricks 提供有关群集、运行时小时数和其他组件的使用情况指标的详细信息。 使用该数据进行预算规划和控制成本。

拥有自动支出防护措施： 若要避免过度使用和高效使用资源，请强制实施阻止或规范资源使用的策略。 例如，对可以创建的群集类型进行检查，限制群集大小或其生存期。 此外，设置警报，以便在资源使用量接近允许的预算边界时收到通知。 例如，如果某个作业突然开始使用 10×更多 DBU，脚本可以通知管理员或将其关闭。

利用 Databricks 系统表来跟踪群集使用情况和 DBU 使用情况。 可以查询表以检测成本异常。

收集监视数据： 对于 Azure Databricks 工作负荷，专注于跟踪关键领域，例如群集运行状况、资源使用情况、作业和管道、数据质量和访问活动。 使用这些指标获取见解，以确认系统在预期性能中提供功能。 此外，它们还可用于审核如何访问和使用和强制执行治理的数据和资源。

• 监视群集： 监视 Azure Databricks 群集时，请专注于反映性能和效率的指标。 跟踪总体群集运行状况，并观察跨节点使用 CPU、内存和磁盘等资源的方式。

• 监控作业和管道： 捕获反映执行流程的相关指标。 这包括跟踪作业成功率和失败率，以及运行持续时间。 此外，收集有关如何触发作业以阐明执行上下文的信息。

  使用 Databricks 系统表可以本地化方法俘获作业状态、依赖链和吞吐量。

• 监视数据源连接。 监视与外部系统的集成和依赖项。 这包括捕获数据源连接状态、跟踪 API 依赖项以及观察服务主体身份验证行为。 Unity 目录可用于管理和监视外部位置，帮助识别潜在的访问或配置问题。

• 监视数据质量： 收集用于验证数据完整性和新鲜性的信号。 这包括使用自动加载程序等工具监视架构演变问题，以及实现执行完整性检查、null 值检测和异常识别的规则。 可以使用 Lakeflow 声明性管道在数据处理期间强制实施内置质量约束。

  此外，通过 Unity Catalog 捕获数据血统有助于跟踪数据在系统间的流动和转换方式，确保管道的透明性和问责性。

Azure Databricks 的内置监视工具与 Azure Monitor 集成。

设置自动化和可重复的部署资产： 使用基础结构即代码（IaC）定义和管理 Azure Databricks 资源。

自动预配工作区，包括区域选择、网络和访问控制，以确保环境之间的一致性。 使用群集模板标准化计算配置，降低配置错误的风险并提高成本可预测性。 此外，使用 JSON ARM 模板等格式将作业和管道定义为代码，使其版本控制和可重现。

使用 Databricks 资产捆绑包 通过适当的分支策略和回滚过程对 Git 存储库中的笔记本源代码、作业配置、管道定义和基础结构设置进行版本控制。

自动执行部署： 使用 Azure Databricks 中的 CI/CD 管道自动部署管道、作业配置、群集设置和 Unity 目录资产。 考虑用于版本控制的 Databricks Repos、用于管道自动化的 Azure DevOps 或 GitHub Actions 等工具，以及打包代码和配置的 Databricks 资产捆绑包等工具，而不是手动推送更改。

自动执行例程任务： 常见自动化包括管理群集生命周期（如计划的启动/停止），清理日志，验证管道运行状况。 通过与逻辑应用或 Functions 等 Azure 工具集成，团队可以构建自我修复工作流，以自动响应问题，例如重启失败的作业或缩放群集。 此类自动化是在工作负荷增长的情况下保持可靠、高效的 Azure Databricks 操作的关键。

具有强大的测试做法： 特定于 Azure Databricks 的策略包括笔记本代码的单元测试、数据管道的集成测试、Lakeflow 声明性管道逻辑的验证、Unity 目录的权限测试以及验证基础结构部署。 这些做法有助于尽早发现问题并减少生产事件，

开发运行手册来处理事件：运行手册 提供结构化的分步指南来处理常见的 Azure Databricks 场景。 这些Runbook包括诊断命令、日志位置、升级联系人、恢复程序，并包含估计的解决时间，以实现跨团队一致且快速的事件响应。

开发备份和恢复过程：备份和恢复过程 通过保护工作区配置、分析源代码、作业定义和数据资产来确保业务连续性，以及自动备份计划和跨区域复制，以满足恢复时间和恢复点目标。

实现团队协作和知识管理： 团队协作做法通过共享工作区组织、笔记本协作功能和文档标准优化 Azure Databricks 工作效率，这些标准有助于跨开发团队进行知识转移并减少项目重复。

执行容量规划： 分析工作负荷并监视资源使用情况，以确定工作负荷实际需要的计算和存储量。 使用该见解来正确调整群集大小、优化作业计划并预测存储增长，从而避免预配不足，这会导致资源约束。

为工作负荷特征选择最佳计算配置： 评估无服务器选项，它可以提供更好的自动缩放速度，更快的启动时间。 将它们与传统群集进行比较，以选择最适合的群集。

对于群集，请根据数据量和处理模式优化配置，包括实例类型、大小、缩放设置。 请务必分析实例系列之间针对特定用例的权衡。 例如，评估内存优化实例与计算优化实例、本地 SSD 与标准存储选项，以满足性能要求。

Spark 群集可以运行不同类型的工作负荷，这需要其独特的性能优化。 通常，需要更快的作业执行并避免计算瓶颈。 微调执行程序内存、并行度和垃圾回收等设置，以实现这些目标。

如需有关如何为工作量选择合适服务的更多指导，请参阅选择服务的建议。

确定关键工作负荷的资源分配的优先级： 将工作负荷分开并设置同时运行的优先级。 使用资源池、群集池、隔离模式和作业队列等功能以避免作业之间的干扰。 设置资源配额和计划规则，防止高优先级任务被后台或低优先级进程减慢。

为变量工作负荷配置自动缩放： 通过定义导致群集缩放的缩放触发器、添加或删除节点的速度和资源限制，在 Azure Databricks 中设置自动缩放策略。 这些设置可帮助 Azure Databricks 有效地响应不断变化的工作负荷、优化资源使用情况，并避免在缩放事件期间出现性能问题。

设计高效的数据存储和检索机制： 数据密集型作的性能提升，尤其是对大量数据的性能提升需要仔细规划和优化。

• 以战略方式组织数据。 设计在组织 Delta Lake 表时优化查询性能的数据分区方案。 良好的分区允许分区修剪，其中 Spark 在查询期间仅读取相关数据子集，而不是扫描整个表。

  文件大小调整起着关键作用，文件太小会导致元数据开销过大并降低 Spark 作业速度，而太大的文件可能会导致内存和性能问题。

  将您的数据布局设计与用户或任务通常查询数据的方式保持一致。 否则，完整表扫描可能会造成性能影响。

• 实现有效的缓存： 对热数据集使用缓存并监视缓存命中率，以确保不会不必要的使用内存。 Spark 提供内置缓存机制，而 Azure Databricks 提供 Delta 缓存，通过在跨节点的磁盘级别缓存数据来进一步优化性能。

• 编写高效的查询： 避免不必要的数据扫描、过度洗牌和长时间的执行时间，这都会导致性能效率低下。

  通过适当的索引编制、谓词下推、投影下推技术以及联接优化技术，优化 SQL 查询和 Spark 操作。这些技术利用查询计划分析来提高执行效率。

  Azure Databricks 提供一些内置优化。 Catalyst 优化器重写查询语句以提高效率，而自适应查询执行（AQE）在运行时调整查询计划，以解决数据倾斜问题并改善联接性能。 Delta Lake 功能（如表统计信息、Z 顺序群集和 Bloom 筛选器）进一步减少扫描的数据，从而加快、更具成本效益的查询。

• 选择正确的数据格式和压缩： 选择 Parquet 和智能压缩算法（例如 ZSTD）等格式，以减少存储和加快读取速度，而不会影响性能。

优化网络和 I/O 性能： 选择高性能存储选项（例如高级存储或 SSD 支持的存储），并设计体系结构，通过处理靠近存储位置的数据来最大程度地减少数据移动。

此外，使用高效的数据传输策略，例如批处理写入，并避免不必要的混排，以最大程度地提高吞吐量并减少延迟。

根据工作负荷类型优化作业执行：。 根据特定需求定制优化策略，例如

• 流处理：实时数据管道需要低延迟和高吞吐量性能。 在 Azure Databricks 中，这意味着优化参数，例如触发器间隔、微批大小、水印和检查点。 使用结构化流式处理和 Delta Lake 功能（如架构演变和精确一次）可确保在不同负载下进行一致的处理。
• 机器学习：ML 训练和推理作业通常是计算密集型作业。 可以使用分布式训练、GPU 加速和高效的特征工程管道来提高性能。 Azure Databricks 支持通过 MLflow、Databricks Runtime for ML 进行 ML 性能优化，并与 Horovod 等工具集成。 优化资源配置并应用数据预处理优化可以显著减少训练时间和推理延迟。

使用 Lakeflow 声明性管道可以简化和自动实施这些优化建议。

使用监视系统确定性能瓶颈： 实施 全面的性能监视 ，以便了解作业、群集和查询的执行方式，以确定导致成本上升和降低工作负荷的瓶颈或效率低下。

分析关键指标（例如 CPU 和内存使用率、作业执行时间、查询延迟和群集运行状况）中的异常。 这允许你确定速度放缓，无论它们是由 Spark 配置差、未优化查询还是过度预配的群集引起的。

使用 Spark UI 等内置工具分析查询计划和作业阶段、Azure Monitor 跟踪基础结构级指标以及自定义指标或日志，以获取更深入的见解。 这些工具支持主动优化，使你能够在问题影响用户或关键管道之前解决问题。

进行系统的性能测试： 使用负载测试、压力测试和基准测试来验证执行时间、资源使用情况和系统响应能力。 通过建立性能基线并将自动测试合并到 CI/CD 管道中，可以提前检测速度放缓并衡量任何优化的影响。