รายงานการเรียกเก็บเงินและการใช้งานสําหรับ Apache Spark ใน Microsoft Fabric

นําไปใช้กับ:✅ วิศวกรข้อมูลและวิทยาศาสตร์ข้อมูลใน Microsoft Fabric

บทความนี้อธิบายการใช้ประโยชน์การคํานวณและการรายงานสําหรับ ApacheSpark ซึ่งให้พลังปริมาณงาน Fabric วิศวกรข้อมูล และวิทยาศาสตร์ใน Microsoft Fabric การใช้งานการคํานวณรวมถึงการดําเนินการของเลคเฮ้าส์ เช่น การแสดงตัวอย่างตาราง การโหลดไปยังเดลต้า สมุดบันทึกทํางานจากอินเทอร์เฟซ การเรียกใช้ตามกําหนดเวลา การเรียกใช้ที่ถูกทริกเกอร์โดยขั้นตอนสมุดบันทึกในไปป์ไลน์ และการเรียกใช้ข้อกําหนดงาน Apache Spark

เช่นเดียวกับประสบการณ์อื่น ๆ ใน Microsoft Fabric วิศวกรข้อมูลยังใช้ความจุที่เชื่อมโยงกับพื้นที่ทํางานเพื่อเรียกใช้งานเหล่านี้และค่าใช้จ่ายความจุโดยรวมของคุณจะปรากฏในพอร์ทัล Azure ภายใต้การสมัครใช้งาน Microsoft Cost Management ของคุณ หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Fabric Billing โปรดดู ทําความเข้าใจเกี่ยวกับการเรียกเก็บเงิน Azure ของคุณบนความจุ Fabric

ความจุผ้า

คุณสามารถซื้อความจุ Fabric จาก Azure โดยการระบุโดยใช้การสมัครใช้งาน Azure ขนาดของความจุจะกําหนดจํานวนกําลังการประมวลผลที่พร้อมใช้งาน สําหรับ Apache Spark สําหรับ Fabric ทุก CU ที่ซื้อจะแปลเป็น Apache Spark VCores 2 ตัวอย่างเช่น ถ้าคุณซื้อความจุ Fabric F128 สิ่งนี้แปลเป็น 256 SparkVCores ความจุ Fabric จะถูกแชร์ทั่วทั้งพื้นที่ทํางานที่เพิ่มเข้ามา และที่การคํานวณ Apache Spark ทั้งหมดได้รับอนุญาตให้ใช้ร่วมกันในทุกงานที่ส่งมาจากพื้นที่ทํางานทั้งหมดที่เชื่อมโยงกับความจุ หากต้องการทําความเข้าใจเกี่ยวกับ SKU ที่แตกต่างกัน การจัดสรรแกนและการควบคุมปริมาณบน Spark โปรดดู ขีดจํากัดภาวะพร้อมกันและการจัดคิวใน Apache Spark สําหรับ Microsoft Fabric

การเรียกเก็บเงินปรับขนาดอัตโนมัติสําหรับ Spark

การเรียกเก็บเงินปรับขนาดอัตโนมัติสําหรับ Spark แนะนํารูปแบบการเรียกเก็บเงินแบบชําระค่าบริการแบบเติมเงินที่ยืดหยุ่นสําหรับปริมาณงาน Spark ใน Microsoft Fabric เมื่อเปิดใช้งานโมเดลนี้ งาน Spark จะใช้ทรัพยากรแบบไร้เซิร์ฟเวอร์โดยเฉพาะแทนการใช้การประมวลผลจากความจุ Fabric ตัวเลือกแบบไร้เซิร์ฟเวอร์นี้ช่วยปรับต้นทุนให้เหมาะสมและให้ความสามารถในการปรับขนาดได้โดยไม่ต้องแย่งชิงทรัพยากร

เมื่อเปิดใช้งาน การเรียกเก็บเงินปรับขนาดอัตโนมัติ จะช่วยให้คุณสามารถกําหนดขีดจํากัดหน่วยความจุ (CU) สูงสุด ซึ่งจะควบคุมงบประมาณและการจัดสรรทรัพยากรของคุณ การเรียกเก็บเงินสําหรับงาน Spark จะขึ้นอยู่กับการคํานวณที่ใช้ระหว่างการดําเนินการงานเท่านั้น ต้นทุนต่องาน Spark ยังคงเท่าเดิม (0.5 CU Hour) และคุณจะถูกเรียกเก็บเงินสําหรับรันไทม์ของงานที่ใช้งานอยู่เท่านั้น

ประโยชน์หลักของการเรียกเก็บเงินแบบปรับขนาดอัตโนมัติ:

• ประสิทธิภาพด้านต้นทุน: จ่ายเฉพาะรันไทม์งาน Spark เท่านั้น
• การปรับขนาดอิสระ: ปริมาณงาน Spark ปรับขนาดโดยไม่ขึ้นกับความต้องการปริมาณงานอื่นๆ
• Enterprise-Ready: ผสานรวมกับ Azure Quota Management เพื่อการปรับขนาดที่ยืดหยุ่น

วิธีการทํางานของการเรียกเก็บเงินแบบปรับขนาดอัตโนมัติ:

• งาน Spark ไม่ใช้ CU จากความจุ Fabric อีกต่อไป แต่ใช้ทรัพยากรแบบไร้เซิร์ฟเวอร์แทน
• สามารถตั้งค่าขีดจํากัด CU สูงสุดให้สอดคล้องกับนโยบายงบประมาณหรือการกํากับดูแล เพื่อให้มั่นใจว่าต้นทุนสามารถคาดการณ์ได้
• เมื่อถึงขีดจํากัด CU งาน Spark จะจัดคิว (สําหรับชุดงาน) หรือควบคุม (สําหรับงานแบบโต้ตอบ)
• ไม่มีต้นทุนการประมวลผลที่ไม่ได้ใช้งาน และมีการเรียกเก็บเงินเฉพาะการใช้งานการประมวลผลงานที่ใช้งานอยู่เท่านั้น

สําหรับข้อมูลโดยละเอียดเพิ่มเติม โปรดดู ภาพรวมการเรียกเก็บเงินปรับขนาดอัตโนมัติสําหรับ Spark

การกําหนดค่าการคํานวณ Spark และความจุที่ซื้อ

Apache Spark compute สําหรับ Fabric มีตัวเลือกสองตัวเลือกในการคํานวณการกําหนดค่า

1. กลุ่มเริ่มต้น: กลุ่มค่าเริ่มต้นเหล่านี้เป็นวิธีที่ง่ายและรวดเร็วในการใช้ Spark บนแพลตฟอร์ม Microsoft Fabric ภายในไม่กี่วินาที คุณสามารถใช้เซสชัน Spark ได้ทันที แทนที่จะรอให้ Spark ตั้งค่าโหนดให้คุณ ซึ่งช่วยให้คุณทําสิ่งต่างๆ ได้มากขึ้นด้วยข้อมูลและรับข้อมูลเชิงลึกได้รวดเร็วยิ่งขึ้น เมื่อถึงเวลาสําหรับการเรียกเก็บเงินและปริมาณการใช้ความจุ คุณจะถูกเรียกเก็บเงินเมื่อคุณเริ่มดําเนินการโน้ตบุ๊คหรือข้อกําหนดงาน Spark หรือการทํางานของ lakehouse คุณจะไม่ถูกเรียกเก็บเงินสําหรับเวลาที่คลัสเตอร์ไม่ได้ใช้งานในพูล

   

   ตัวอย่างเช่น ถ้าคุณส่งงานสมุดบันทึกไปยังพูลตัวเริ่มต้น คุณจะถูกเรียกเก็บเงินเฉพาะช่วงเวลาที่เซสชันของสมุดบันทึกทํางานอยู่ เวลาที่เรียกเก็บเงินไม่รวมเวลาที่ไม่ได้ใช้งานหรือเวลาที่ใช้ในการปรับแต่งเซสชันด้วยบริบท Spark เพื่อทําความเข้าใจเพิ่มเติมเกี่ยวกับการกําหนดค่าพูล Starter ที่ยึดตาม Fabric Capacity SKU ที่ซื้อ ไปที่ การกําหนดค่ากลุ่ม Starter โดยยึดตามความจุ Fabric

2. Spark pools: ต่อไปนี้คือกลุ่มแบบกําหนดเอง ที่ซึ่งคุณสามารถปรับแต่งขนาดของทรัพยากรที่คุณต้องการสําหรับงานการวิเคราะห์ข้อมูลของคุณ คุณสามารถตั้งชื่อกลุ่ม Spark ของคุณ และเลือกจํานวนและขนาดโหนด (เครื่องที่ทํางาน) ได้ คุณยังสามารถบอก Spark ถึงวิธีปรับจํานวนโหนดโดยขึ้นอยู่กับว่าคุณมีการทํางานมากน้อยเพียงใด การสร้างสระว่ายน้ํา Spark นั้นฟรี คุณจ่ายเมื่อคุณเรียกใช้งาน Spark บนพูลเท่านั้น จากนั้น Spark จะตั้งค่าโหนดให้คุณ

   • ขนาดและจํานวนของโหนดที่คุณสามารถมีในพูล Spark แบบกําหนดเองของคุณขึ้นอยู่กับความจุ Microsoft Fabric ของคุณ คุณสามารถใช้ Spark VCores เหล่านี้เพื่อสร้างโหนดที่มีขนาดแตกต่างกันสําหรับพูล Spark แบบกําหนดเองของคุณ ตราบใดที่จํานวนรวมของ Spark VCores ไม่เกิน 128
   • สระว่ายน้ํา Spark มีการเรียกเก็บเงินเช่นสระว่ายน้ําเริ่มต้น คุณไม่จ่ายสําหรับพูล Spark แบบกําหนดเองที่คุณสร้างขึ้น เว้นแต่ว่าคุณมีเซสชัน Spark ที่ใช้งานอยู่ ที่สร้างขึ้นสําหรับการเรียกใช้งานสมุดบันทึกหรือข้อกําหนดงาน Spark คุณจะถูกเรียกเก็บเงินสําหรับระยะเวลาการเรียกใช้งานของคุณเท่านั้น คุณจะไม่ถูกเรียกเก็บเงินสําหรับขั้นตอนต่าง ๆ เช่น การสร้างคลัสเตอร์และการจัดสรรหลังจากงานเสร็จสมบูรณ์

   

   ตัวอย่างเช่น ถ้าคุณส่งงานสมุดบันทึกไปยังพูล Spark แบบกําหนดเอง คุณจะถูกเรียกเก็บเงินสําหรับระยะเวลาเมื่อเซสชันทํางานเท่านั้น การเรียกเก็บเงินสําหรับเซสชันสมุดบันทึกนั้นจะหยุดลงเมื่อเซสชัน Spark หยุดหรือหมดอายุ คุณจะไม่ถูกเรียกเก็บเงินสําหรับเวลาที่ใช้ในการรับอินสแตนซ์คลัสเตอร์จากระบบคลาวด์หรือสําหรับเวลาที่ใช้ในการเตรียมใช้งานบริบท Spark เพื่อทําความเข้าใจเพิ่มเติมเกี่ยวกับการกําหนดค่าพูล Spark ที่ยึดตาม Fabric Capacity SKU ที่ซื้อ ไปที่ การกําหนดค่าพูลที่ยึดตามความจุ Fabric

การรายงานการใช้งานของ Spark compute

แอปเมตริกความจุของ Microsoft Fabric ช่วยให้สามารถมองเห็นการใช้งานความจุสําหรับปริมาณงาน Fabric ทั้งหมดในที่เดียว ผู้ดูแลระบบความจุใช้เพื่อตรวจสอบประสิทธิภาพของปริมาณงานและการใช้งานเมื่อเปรียบเทียบกับความจุที่ซื้อ

เมื่อคุณติดตั้งแอปแล้ว ให้เลือกประเภทรายการ สมุดบันทึก,เลคเฮ้าส์,ข้อกําหนดงานของ Spark จากรายการดรอปดาวน์ เลือกรายการ: ใน ตอนนี้คุณสามารถปรับเปลี่ยนแผนภูมิ ริบบอนเมตริกหลายรายการเป็นกรอบเวลาที่ต้องการเพื่อทําความเข้าใจการใช้งานจากหน่วยข้อมูลที่เลือกทั้งหมดเหล่านี้

การดําเนินการที่เกี่ยวข้องกับ Spark ทั้งหมดจะถูกจัดประเภทเป็น การทํางานแบบเบื้องหลัง การใช้ความจุจาก Spark จะแสดงภายใต้สมุดบันทึก ข้อกําหนดงาน Spark หรือเลคเฮ้าส์ และรวมด้วยชื่อการดําเนินการและรายการ ตัวอย่างเช่น: ถ้าคุณเรียกใช้งานสมุดบันทึก คุณสามารถดูการเรียกใช้สมุดบันทึก CUs ที่ใช้โดยสมุดบันทึก (Total Spark VCores/2 เป็น 1 CU ให้ 2 Spark VCores) ระยะเวลาของงานในรายงาน

เมื่อต้องการทําความเข้าใจเพิ่มเติมเกี่ยวกับการรายงานการใช้งานความจุ Spark ดู ตรวจสอบปริมาณการใช้ความจุ Apache Spark

ตัวอย่างการเรียกเก็บเงิน

พิจารณาสถานการณ์ต่อไปนี้

• มีความจุ C1 ที่โฮสต์ Fabric Workspace W1 และพื้นที่ทํางานนี้มี Lakehouse LH1 และ Notebook NB1

  • การทํางานของ Spark ใดๆ ที่สมุดบันทึก (NB1) หรือ lakehouse(LH1) ดําเนินการจะมีรายงานเทียบกับความจุ C1

• ขยายตัวอย่างนี้ไปยังสถานการณ์ที่มีความจุ C2 อื่นซึ่งโฮสต์ Fabric Workspace W2 และสมมติว่าพื้นที่ทํางานนี้มีข้อกําหนดงาน Spark (SJD1) และ Lakehouse (LH2)

  • ถ้าข้อกําหนดงาน Spark (SDJ2) จากพื้นที่ทํางาน (W2) อ่านข้อมูลจาก lakehouse (LH1) การใช้งานจะถูกรายงานเทียบกับความจุ C2 ที่เกี่ยวข้องกับพื้นที่ทํางาน (W2) ที่โฮสต์รายการ
  • ถ้าสมุดบันทึก (NB1) ดําเนินการอ่านจาก Lakehouse(LH2) การใช้ความจุจะถูกรายงานเทียบกับความจุ C1 ซึ่งจะขับเคลื่อนพื้นที่ทํางาน W1 ที่โฮสต์รายการสมุดบันทึก

เมื่อเปิดใช้งานการเรียกเก็บเงินปรับขนาดอัตโนมัติสําหรับ Spark การใช้งานจะถูกรายงานเทียบกับการปรับขนาดอัตโนมัติสําหรับมิเตอร์ CU ความจุของ Spark มิเตอร์แยกต่างหากนี้จะติดตามการใช้งานการประมวลผลโดยตรง และแสดงในส่วน การวิเคราะห์ต้นทุน ของการสมัครใช้งาน Azure ของคุณ ซึ่งช่วยให้ผู้ดูแลระบบสามารถตรวจสอบต้นทุนที่เกี่ยวข้องกับปริมาณงาน Spark โดยเฉพาะโดยใช้การเรียกเก็บเงินปรับขนาดอัตโนมัติ

การติดตามการเรียกเก็บเงินปรับขนาดอัตโนมัติในการวิเคราะห์ต้นทุน Azure:

หลังจากเปิดใช้งานการเรียกเก็บเงินแบบปรับขนาดอัตโนมัติแล้ว ให้ใช้เครื่องมือการจัดการต้นทุนในตัวของ Azure เพื่อติดตามการใช้จ่าย:

1. นําทางไปยัง พอร์ทัล Azure
2. เลือก การสมัครใช้งาน ที่เชื่อมโยงไปยังความจุ Fabric ของคุณ
3. ในหน้าการสมัครใช้งาน ไปที่การวิเคราะห์ค่าใช้จ่าย
4. กรองตามทรัพยากร (ความจุแฟบริค) และใช้มิเตอร์: ปรับขนาดอัตโนมัติสําหรับ CU การใช้ความจุ Spark
5. ดูค่าใช้จ่ายในการคํานวณแบบเรียลไทม์สําหรับปริมาณงาน Spark โดยใช้ Autoscale Billing

เนื้อหาที่เกี่ยวข้อง

• เริ่มต้นใช้งานการตั้งค่าผู้ดูแลระบบ วิศวกรข้อมูล/วิทยาศาสตร์ สําหรับความจุ Fabric ของคุณ
• การตั้งค่าการดูแลระบบพื้นที่ทํางาน Apache Spark ใน Microsoft Fabric
• ภาพรวมการเรียกเก็บเงินอัตโนมัติสําหรับ Spark
• ติดตั้งแอปเมตริกพรีเมียม
• ใช้แอปเมตริกพรีเมียม