初学者池提供了一种快速简便的方法,让你在数秒内即可在 Microsoft Fabric 平台上使用 Spark。 你可以立即使用 Spark 会话,而不是等待 Spark 为你设置节点,这有助于对数据执行更多操作并更快获取见解。
初学者池具有始终处于打开状态且可随时处理请求的 Spark 群集。 它们使用中等大小的节点,并可根据你的工作负载要求进行纵向扩展。 初学者池的默认配置和最大节点限制因购买的 Microsoft Fabric 容量 SKU 而异。
先决条件
要自定义初学者池,需要对工作区具有管理员访问权限。
配置初始池设置
可以指定自动缩放的最大节点数,并为初学者池中的执行程序设置最大限制。 根据配置的最大节点数,系统在作业的计算要求发生变化时动态获取和停用节点,从而有效缩放并提高性能。
要管理与工作区关联的初学者池,请执行以下操作:
转到你的工作区,并选择“工作区设置”。
然后,选择“数据工程/科学”选项以展开菜单。
选择“初学者池”选项。
可以根据购买的容量将初学者池的最大节点配置设置为允许的数字,或者在运行较小的工作负载时将默认的最大节点配置减少到较小的值。
每个Microsoft Fabric SKU容量都有特定的默认配置和启动池节点的最大限制。 更高的容量 SKU 支持更多节点来处理更大的工作负荷,而较小的 SKU 的限制更大。
下表显示了 SKU 提供的配置:
SKU 名称 容量单位 Spark VCore 节点大小 默认最大节点数 最大节点数 F2 2 4 中 1 1 F4 4 8 中 1 1 F8 8 16 中 2 2 F16 16 32 中 3 4 F32 32 64 中 8 8 F64 64 128 中 10 16 (试用容量) 64 128 中 10 16 F128 128 256 中 10 32 F256 256 512 中 10 64 F512 512 1024 中 10 128 F1024 1024 2048 中 10 200 F2048 2048 4096 中 10 200
相关内容
- 有关详细信息,请参阅 Apache Spark 公共文档。
- Microsoft Fabric 中的 Spark 工作区管理设置入门。