แชร์ผ่าน

ขีดจํากัดภาวะพร้อมกันและการจัดคิวใน Apache Spark สําหรับ Microsoft Fabric

นําไปใช้กับ:✅ วิศวกรข้อมูลและวิทยาศาสตร์ข้อมูลใน Microsoft Fabric

Microsoft Fabric ช่วยให้มีการจัดสรรหน่วยการคํานวณผ่านความจุ ซึ่งเป็นชุดทรัพยากรเฉพาะที่พร้อมใช้งานในเวลาที่กําหนด ความจุจะกําหนดความสามารถของทรัพยากรในการดําเนินการกิจกรรมหรือเพื่อสร้างเอาต์พุต รายการต่าง ๆ ใช้ความจุที่แตกต่างกันในบางช่วงเวลา Microsoft Fabric ให้ความจุผ่าน Fabric SKU และการทดลองใช้งาน สําหรับข้อมูลเพิ่มเติม ให้ดู ความจุคืออะไร

เมื่อผู้ใช้สร้างความจุ Microsoft Fabric บน Azure พวกเขาเลือกขนาดความจุตามขนาดปริมาณงานการวิเคราะห์ของพวกเขา ใน Apache Spark ผู้ใช้จะได้รับ Apache Spark VCores สองตัวสําหรับทุกหน่วยความจุที่พวกเขาสํารองไว้เป็นส่วนหนึ่งของ SKU ของพวกเขา

หนึ่งหน่วยความจุ = Spark VCores สองตัว

เมื่อพวกเขาซื้อความจุแล้ว ผู้ดูแลระบบสามารถสร้างพื้นที่ทํางานภายในความจุใน Microsoft Fabric ได้ เครื่อง Spark VCores ที่เกี่ยวข้องกับความจุจะถูกแชร์ระหว่างรายการที่ใช้ Apache Spark ทั้งหมด เช่น สมุดบันทึก ข้อกําหนดงาน Apache Spark และเลคเฮ้าส์ที่สร้างขึ้นในพื้นที่ทํางานเหล่านี้

การควบคุมภาวะพร้อมกันและการจัดคิว

Spark for Fabric บังคับใช้การควบคุมปริมาณและกลไกการเข้าคิวตามแกน ซึ่งผู้ใช้สามารถส่งงานตาม SKU ความจุ Fabric ที่ซื้อได้ กลไกการคิวเป็นคิวตาม FIFO อย่างง่ายซึ่งจะตรวจสอบช่องงานที่มีอยู่และลองงานใหม่โดยอัตโนมัติเมื่อความจุพร้อมใช้งาน

เมื่อผู้ใช้ส่งงานสมุดบันทึกหรือเลคเฮาส์ (เช่น โหลดไปยังตาราง) และความจุมีการใช้งานสูงสุด เนื่องจากงานที่เกิดขึ้นพร้อมกันโดยใช้ Spark VCores ทั้งหมด พวกเขาได้รับข้อผิดพลาดต่อไปนี้เมื่อมีการร้องขอความจุมากเกินไป:

[TooManyRequestsForCapacity] HTTP Response code 430: This Spark job can't be run because you have hit a Spark compute or API rate limit. To run this Spark job, cancel an active Spark job through the Monitoring hub, or choose a larger capacity SKU or try again later.

เมื่อ เปิดใช้งานการเข้าคิว งานสมุดบันทึกที่ถูกทริกเกอร์จาก ไปป์ไลน์ตัวจัดกําหนดการงาน และ ข้อกําหนดงาน Spark จะถูกเพิ่มไปยังคิวและจะลองใหม่โดยอัตโนมัติเมื่อความจุพร้อมใช้งาน

หมายเหตุ

การหมดอายุของคิวถูกตั้งค่าเป็น 24 ชั่วโมง จากเวลาส่งงาน หลังจากช่วงเวลานี้ งานจะถูกลบออกจากคิวและต้องส่งใหม่ด้วยตนเอง

ความจุของผ้ายังเปิดใช้งานด้วย bursting ช่วยให้คุณสามารถบริโภค ได้ถึง 3× จํานวน Spark VCores ที่คุณซื้อ ภาพต่อเนื่องนี้จะช่วยปรับปรุงการทํางานพร้อมกันโดยการอนุญาตให้มีงานมากขึ้นในการทํางานคู่ขนาน

หมายเหตุ

ปัจจัยการระเบิดเพิ่ม Spark VCores ทั้งหมดสําหรับภาวะพร้อมกันและสามารถใช้ประโยชน์จากงานเดียวหากมีการกําหนดค่าพูล Spark ด้วยจํานวนแกนหลักที่สูงกว่า
กล่าวอีกนัยหนึ่ง การกําหนดค่าพูล จะกําหนดแกนสูงสุดที่งานสามารถใช้ได้ ไม่ใช่เพียงแค่การปันส่วน SKU พื้นฐานเท่านั้น

ตัวอย่าง

ถ้าคุณมี F64 SKU ที่มี 384 Max Spark VCores ด้วยปัจจัยการระเบิด:

  • คุณสามารถกําหนดค่าพูลแบบกําหนดเองหรือเริ่มต้นด้วยได้ถึง 384 Spark VCores
  • ถ้าผู้ดูแลระบบพื้นที่ทํางานสร้างกลุ่มดังกล่าว งาน Spark เดียว (เช่น สมุดบันทึก ข้อกําหนดงาน หรืองานของเลคเฮ้าส์) สามารถใช้ 384 VCores ทั้งหมด
  • ตัวอย่าง: กลุ่มที่มี Medium โหนด (8 VCores แต่ละรายการ) และโหนดสูงสุด 48 โหนด = 384 VCores

เคล็ดลับ

หากต้องการเพิ่มประสิทธิภาพของงานให้สูงสุด ให้ยืนยันว่าพูลพื้นที่ทํางานของคุณได้รับการกําหนดค่าด้วยขนาดและจํานวนโหนดที่เพียงพอ

ขีดจํากัด SKU ความจุของ Spark

ความจุผ้า SKU Power BI SKU ที่เทียบเท่า สปาร์ค วีคอร์เรส Max Spark VCores พร้อมปัจจัยต่อเนื่อง ขีดจํากัดคิว
F2 - 4 20 4
F4 - 8 24 4
F8 - 16 48 8
F16 - 32 96 16
F32 - 64 192 32
F64 P1 128 384 64
F128 P2 256 768 128
F256 P3 512 1536 256
F512 P4 1024 3072 512
F1024 - 2048 6144 1024
F2048 - 4096 12288 2048
ความจุรุ่นทดลองใช้ P1 128 128 นา

สิ่งสำคัญ

ตารางใช้ได้เฉพาะกับงาน Spark ที่ทํางานบนความจุ Fabric เท่านั้น ด้วยการเปิดใช้งานการปรับขนาดการเรียกเก็บเงินอัตโนมัติ งาน Spark จะทํางานแยกต่างหากจากความจุ Fabric เพื่อหลีกเลี่ยงการระเบิดหรือทําให้เรียบ Spark VCores ทั้งหมดจะเป็นสองเท่าของหน่วยความจุสูงสุดที่กําหนดในการตั้งค่าการปรับขนาดอัตโนมัติ

ตัวอย่างของการคำนวณ

  • นําเสนอ 128 Spark VCores 128SKU
  • ด้วยปัจจัยการระเบิดที่ 3 จึงรองรับ Spark VCores สูงสุด 384 เครื่อง สําหรับการดําเนินการพร้อมกัน
  • ถ้ามีการกําหนดค่ากลุ่มด้วย 384 VCores เต็มรูปแบบ งานเดียวสามารถใช้ได้ทั้งหมด โดยสมมติว่าไม่มีงานอื่นกําลังใช้กําลังการผลิต
  • ตัวอย่าง: งาน 3 งานที่ใช้ 128 VCores แต่ละรายการสามารถเรียกใช้งานพร้อมกันหรือ 1 งานโดยใช้ 384 VCores ที่สามารถเรียกใช้ได้

หมายเหตุ

งานมีรอบระยะเวลาการหมดอายุของคิว 24 ชั่วโมง หลังจากนั้นงานจะถูกยกเลิก และผู้ใช้ต้องส่งรอบระยะเวลาดังกล่าวอีกครั้งเพื่อดําเนินการ

Spark สําหรับการจํากัดผลลัพธ์ Fabric ไม่ได้บังคับใช้ขีดจํากัดตามงานโดยพลการและการควบคุมจะขึ้นอยู่กับจํานวนแกนที่ได้รับอนุญาตสําหรับ SKU ความจุของผ้าที่ซื้อเท่านั้น การเข้ารับงานตามค่าเริ่มต้นเป็นการควบคุมการเข้าศึกษาในเชิงบวกโดยที่งานจะได้รับเข้าทํางานตามข้อกําหนดหลักขั้นต่ํา เรียนรู้เพิ่มเติม: การรับ สมัครงานและการจัดการ.

ถ้ามีการเลือกตัวเลือกกลุ่มเริ่มต้น (พูลเริ่มต้น) สําหรับพื้นที่ทํางาน ตารางต่อไปนี้แสดงรายการขีดจํากัดงานการเกิดพร้อมกันสูงสุด

เรียนรู้เพิ่มเติม: การกําหนดค่าพูลตัวเริ่มต้น

ผู้ดูแลระบบสามารถกําหนดค่ากลุ่ม Apache Spark ของพวกเขาเพื่อใช้ Spark VCores สูงสุดที่มีอยู่ในความจุ รวมถึงปัจจัยการเผยแพร่ 3× ที่ Fabric เสนอสําหรับการดําเนินการพร้อมกัน ตัวอย่างเช่น ผู้ดูแลระบบพื้นที่ทํางานที่มีความจุ F64 Fabric สามารถกําหนดค่าพูล Spark (Starter Pool หรือ Custom Pool) เพื่อใช้ Spark VCores สูงสุด 384 Spark โดย:

ตั้งค่าโหนดสูงสุดของ Starter Pool เป็น 48 (โดยมีโหนดปานกลาง = 8 VCores แต่ละรายการ) หรือ

การกําหนดค่าพูลแบบกําหนดเองโดยใช้โหนดขนาดใหญ่ (เช่น XXLarge = 64 VCores แต่ละรายการ) ด้วยจํานวนโหนดที่เหมาะสมเพื่อให้ถึงความจุที่ต้องการ

ด้วยการกําหนดค่านี้ งาน Spark หนึ่งงานสามารถใช้ความจุต่อเนื่องทั้งหมดซึ่งเหมาะสําหรับการประมวลผลข้อมูลขนาดใหญ่ที่จัดลําดับความสําคัญประสิทธิภาพ

ใหม่: การควบคุมการเผยแพร่ในระดับงานผ่านผู้ดูแลระบบพอร์ทัลผู้ดูแลระบบตอนนี้สามารถควบคุมการเปิดใช้งานหรือปิดใช้งานการเผยแพร่ระดับงานผ่านการตั้งค่าใหม่ในพอร์ทัลผู้ดูแลระบบ:

นําทางไปยังพอร์ทัลผู้ดูแลระบบ→การตั้งค่าความจุ→แท็บวิศวกรรมข้อมูล/วิทยาศาสตร์

ใช้สวิตช์ "Disable Job-Level Bursting" ใหม่เพื่อป้องกันไม่ให้งาน Spark หนึ่งงานใช้ความจุต่อเนื่องทั้งหมดที่มีอยู่

หมายเหตุ

เมื่อปิดใช้งานการระเบิดระดับงาน กลไก Spark จะบังคับใช้ว่าไม่มีงานเดี่ยวที่สามารถใช้ความจุทั้งหมดที่มีอยู่ (รวมถึงแกนประมวลผลแบบต่อเนื่อง) ได้ ซึ่งทําให้แน่ใจว่าความจุยังคงพร้อมใช้งานสําหรับงานที่เกิดขึ้นพร้อมกัน ปรับปรุงปริมาณงานและภาวะพร้อมกันที่มีผู้ใช้หลายคน

คุณลักษณะนี้มีประโยชน์อย่างยิ่งในสภาพแวดล้อมแบบหลายผู้เช่าหรือภาวะพร้อมกันสูง ซึ่งปริมาณงานจะต้องมีความสมดุลในหลายทีมและไปป์ไลน์ ผู้ดูแลระบบสามารถปรับแต่งการตั้งค่านี้ขึ้นอยู่กับว่าความจุได้รับการปรับให้เหมาะสมสําหรับอัตราความเร็วของงานสูงสุด (เปิดใช้งานอยู่) หรือภาวะพร้อมกันและความยุติธรรมที่สูงขึ้น (ถูกปิดใช้งาน) หรือไม่

ตัวอย่างสถานการณ์ที่เปิดใช้งานแบบต่อเนื่อง (ค่าเริ่มต้น): งานสมุดบันทึกชุดขนาดใหญ่สามารถใช้ Spark VCores ทั้งหมด 384 รายการในความจุ F64 โดยสมมติว่าไม่มีงานอื่นที่กําลังทํางานอยู่

ถูกปิดใช้งาน: งานอาจถึงขีดจํากัดหลักพื้นฐาน (เช่น 128 Spark VCores สําหรับ F64) ช่วยให้สํานักงานใหญ่สําหรับงานอื่น ๆ สามารถเริ่มต้นพร้อมกันได้

เคล็ดลับ

สําหรับทีมที่มีประเภทงานที่หลากหลาย (ETL, ML, Adhoc) การปิดใช้งานการเผยแพร่ระดับงานสามารถช่วยป้องกันการผูกขาดความจุและลดความล่าช้าในการคิวงาน

เนื้อหาที่เกี่ยวข้อง

  • Last updated on