แชร์ผ่าน


การจัดคิวงานใน Apache Spark สําหรับ Microsoft Fabric

นําไปใช้กับ:✅ วิศวกรข้อมูลและวิทยาศาสตร์ข้อมูลใน Microsoft Fabric

Microsoft Fabric สนับสนุนการจัดคิวของงานเบื้องหลังเมื่อคุณถึงขีดจํากัดการคํานวณ Spark ของคุณสําหรับความจุ Fabric ของคุณ ระบบการจัดคิวงานเสนอการลองใหม่โดยอัตโนมัติสําหรับงานที่เพิ่มลงในคิวจนกว่าจะถึงวันหมดอายุของคิว เมื่อผู้ใช้สร้างความจุ Microsoft Fabric บน Azure พวกเขาเลือกขนาดความจุตามขนาดของปริมาณงานการวิเคราะห์ของพวกเขา

หลังจากซื้อความจุแล้ว ผู้ดูแลระบบสามารถสร้างพื้นที่ทํางานภายในความจุใน Microsoft Fabric ได้ งาน Spark ที่ทํางานภายในพื้นที่ทํางานเหล่านี้สามารถใช้แกนประมวลผลสูงสุดที่จัดสรรไว้สําหรับความจุที่กําหนดและเมื่อถึงขีดจํากัดสูงสุดแล้ว งานจะจํากัดหรืออยู่ในคิว

เรียนรู้เพิ่มเติมเกี่ยวกับขีดจํากัดของภาวะพร้อมกันของ Spark ใน Microsoft Fabric

การจัดคิวงานได้รับการสนับสนุนสําหรับงานโน้ตบุ๊กและข้อกําหนดงาน Spark ที่ทริกเกอร์โดยไปป์ไลน์หรือผ่านตัวกําหนดการ ไม่รองรับการจัดคิวสําหรับงานสมุดบันทึกแบบโต้ตอบและงานสมุดบันทึกที่ทริกเกอร์ผ่าน API สาธารณะของสมุดบันทึก

คิวทํางานในลักษณะเข้าก่อนออกก่อน (FIFO) เมื่อมีการเพิ่มงานลงในคิวโดยยึดตามเวลาของการส่งของพวกเขา และจะลองใหม่อย่างต่อเนื่อง และเริ่มต้นการดําเนินการเมื่อเพิ่มความจุ

หมายเหตุ

ไม่รองรับการจัดคิวของงาน Spark เมื่อความจุ Fabric ของคุณอยู่ในสถานะควบคุม งานใหม่ทั้งหมดที่ส่งแล้วจะถูกปฏิเสธ

วิธีการทํางานของการจัดคิวงาน

เมื่อมีการส่งงาน Spark หากความจุ Fabric อยู่ที่ขีดจํากัดการประมวลผลสูงสุดแล้ว จะไม่สามารถดําเนินการงานได้ทันที ในกรณีเช่นนี้ คุณสามารถจัดคิวงานเพื่อดําเนินการได้ ใช้ขั้นตอนต่อไปนี้เพื่อจัดคิวสมุดบันทึกจากไปป์ไลน์:

  1. สร้างรายการ ไปป์ไลน์ ใหม่และ กิจกรรมไปป์ไลน์ ใหม่ภายในรายการเพื่อเรียกใช้สมุดบันทึก

  2. จากกิจกรรมไปป์ไลน์ ให้เปิดแท็บ การตั้งค่า และเลือกสมุดบันทึกที่คุณต้องการจัดคิว และ เรียกใช้ ไปป์ไลน์

    สกรีนช็อตแสดงวิธีการเรียกใช้สมุดบันทึกจากไปป์ไลน์

  3. งานเข้าสู่คิว FIFO นําทางไปยังฮับ การตรวจสอบ และสังเกตว่าสถานะงานเป็น ไม่เริ่มต้น ซึ่งบ่งชี้ว่าได้จัดคิวและกําลังรอความจุ

  4. เมื่องานที่มีอยู่เสร็จสมบูรณ์และเพิ่มทรัพยากรการประมวลผล งานจากคิวจะถูกหยิบขึ้นมา เมื่อการดําเนินการเริ่มต้นขึ้น สถานะจะเปลี่ยนจาก Not Started เป็น In Progress คิวจะหมดอายุหลังจาก 24 ชั่วโมงสําหรับงานทั้งหมดนับจากเวลาที่ได้รับการยอมรับในคิว เมื่อถึงเวลาหมดอายุ จะต้องส่งงานอีกครั้ง

ขนาดคิว

Fabric Spark จะบังคับใช้ขนาดของคิวตามขนาด SKU ของความจุที่แนบมากับพื้นที่ทํางาน ซึ่งมีการควบคุมและกลไกการจัดคิวที่ผู้ใช้สามารถส่งงานตามความจุ Fabric ที่ซื้อ SKU ได้

ส่วนต่อไปนี้แสดงรายการขนาดคิวต่าง ๆ สําหรับปริมาณงาน Spark ที่ยึดตาม Microsoft Fabric ตามความจุ SKU:

ความจุผ้า SKU Power BI SKU ที่เทียบเท่า ขีดจํากัดคิว
F2 - 4
F4 - 4
F8 - 8
F16 - 16
F32 - 32
F64 P1 64
F128 P2 128
F256 P3 256
F512 P4 512
F1024 - 1024
F2048 - 2048
ความจุรุ่นทดลองใช้ P1 NA

หมายเหตุ

ไม่รองรับการจัดคิวสําหรับความจุการทดลองใช้ Fabric ผู้ใช้จะต้องเปลี่ยนเป็น Fabric F หรือ P SKU แบบชําระเงินเพื่อใช้การเข้าคิวสําหรับงาน Spark

เมื่อถึงขีดจํากัดสูงสุดของคิวสําหรับความจุ Fabric งานใหม่ที่ส่งจะถูกจํากัดผลลัพธ์โดยมีข้อผิดพลาด [TooManyRequestsForCapacity] งาน Spark นี้ไม่สามารถเรียกใช้ได้เนื่องจากคุณได้พบการคํานวณ Spark หรือขีดจํากัดอัตรา API เมื่อต้องการเรียกใช้งาน Spark นี้ ให้ยกเลิกงาน Spark ที่ใช้งานอยู่ผ่านฮับการตรวจสอบ เลือก SKU ความจุที่ใหญ่ขึ้น หรือลองอีกครั้งในภายหลัง รหัสสถานะ HTTP: 430 {เรียนรู้เพิ่มเติม} รหัสสถานะ HTTP: 430