หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
ในขณะนี้ Microsoft Fabric สนับสนุนโปรไฟล์ทรัพยากร Spark ที่กําหนดไว้ล่วงหน้า — วิธีง่าย ๆ และมีประสิทธิภาพสําหรับวิศวกรข้อมูลเพื่อปรับการกําหนดค่า Spark ให้เหมาะสมตามความต้องการของปริมาณงาน โปรไฟล์เหล่านี้ช่วยให้ผู้ใช้สามารถปรับใช้แนวทางปฏิบัติที่ดีที่สุดสําหรับการปรับแต่งรูปแบบทั่วไปได้อย่างรวดเร็ว เช่น ปริมาณงานแบบอ่านได้หนัก เขียนหนัก หรือแบบไฮบริดโดยใช้วิธีการแบบ bag-based ของคุณสมบัติ
ไม่ว่าคุณจะใช้ข้อมูลการสตรีมหลายเทราไบต์หรือเรียกใช้คิวรีการวิเคราะห์ประสิทธิภาพสูง โปรไฟล์ทรัพยากรจะให้เส้นทางที่รวดเร็วไปยังประสิทธิภาพการทํางานโดยไม่ต้องปรับแต่ง Spark ด้วยตนเอง
ประโยชน์ของโปรไฟล์ทรัพยากร
- ✅ Performance ตามค่าเริ่มต้น – ใช้การตั้งค่า Spark ที่ปรับให้เหมาะสมกับปริมาณงานออกจากกล่อง
- ✅ ความยืดหยุ่น – เลือกหรือกําหนดโปรไฟล์ตามรูปแบบการนําเข้าและคิวรีของคุณ
- ✅ กําหนดค่า Spark ที่ปรับแต่งแล้ว – หลีกเลี่ยงการปรับแต่งรุ่นทดลองใช้และข้อผิดพลาด และลดค่าใช้จ่ายในการดําเนินงาน
หมายเหตุ
-
พื้นที่ทํางาน Fabric ใหม่ทั้งหมด ตอนนี้เป็นค่าเริ่มต้นสําหรับโปรไฟล์
writeHeavyเพื่อประสิทธิภาพในการนําเข้าที่เหมาะสมที่สุด ซึ่งรวมถึงการกําหนดค่าเริ่มต้นที่ปรับให้เหมาะสมสําหรับ ETL ขนาดใหญ่และเวิร์กโฟลว์ข้อมูลการสตรีม - ถ้ามีการใช้โปรไฟล์ writeHeavy VOrder จะถูกปิดใช้งานตามค่าเริ่มต้นและต้องเปิดใช้งานด้วยตนเอง
โปรไฟล์ทรัพยากรที่พร้อมใช้งาน
โปรไฟล์ต่อไปนี้ได้รับการสนับสนุนใน Microsoft Fabric ในขณะนี้:
| โปรไฟล์ของ | กรณีการใช้งาน | คุณสมบัติการกําหนดค่า |
|---|---|---|
readHeavyForSpark |
ปรับให้เหมาะสมสําหรับปริมาณงาน Spark ที่มีการอ่านบ่อย | spark.fabric.resourceProfile = readHeavyForSpark |
readHeavyForPBI |
ปรับให้เหมาะสมสําหรับคิวรี Power BI บนตาราง Delta | spark.fabric.resourceProfile = readHeavyForPBI |
writeHeavy |
ปรับให้เหมาะสมสําหรับการเขียน & การนําเข้าความถี่สูง | spark.fabric.resourceProfile = writeHeavy |
custom |
การกําหนดค่าที่ผู้ใช้กําหนดเองอย่างสมบูรณ์ | spark.fabric.resourceProfile = custom |
ค่าการตั้งค่าคอนฟิกเริ่มต้นสําหรับแต่ละโพรไฟล์
| โปรไฟล์ทรัพยากร | การกําหนดค่า |
|---|---|
writeHeavy |
{"spark.sql.parquet.vorder.default": "false", "spark.databricks.delta.optimizeWrite.enabled": "null", "spark.databricks.delta.optimizeWrite.binSize": "128", "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true"} |
readHeavyForPBI |
{"spark.sql.parquet.vorder.default": "true", "spark.databricks.delta.optimizeWrite.enabled": "true", "spark.databricks.delta.optimizeWrite.binSize": "1g"} |
readHeavyForSpark |
{"spark.databricks.delta.optimizeWrite.enabled": "true", "spark.databricks.delta.optimizeWrite.partitioned.enabled": "true", "spark.databricks.delta.optimizeWrite.binSize": "128"} |
custom (เช่น fastIngestProfile) |
การตั้งค่าที่ผู้ใช้กําหนดเองทั้งหมด ตัวอย่าง: {"spark.sql.shuffle.partitions": "800", "spark.sql.adaptive.enabled": "true", "spark.serializer": "org.apache.spark.serializer.KryoSerializer"} |
เคล็ดลับ
คุณสามารถตั้งชื่อโปรไฟล์แบบกําหนดเองของคุณด้วยชื่อที่มีความหมายซึ่งแสดงรูปแบบปริมาณงานของคุณ เช่น fastIngestProfile หรือ lowLatencyAnalytics
วิธีการกําหนดค่าโปรไฟล์ทรัพยากร
คุณสามารถกําหนดค่าทรัพยากรโปรไฟล์ใน Microsoft Fabric โดยใช้สองวิธีที่แตกต่างกัน:
1. การกําหนดค่าโปรไฟล์ทรัพยากรโดยใช้สภาพแวดล้อม
คุณสามารถกําหนดโปรไฟล์ทรัพยากร Spark ค่าเริ่มต้นที่ระดับสภาพแวดล้อม ได้ เมื่อนําไปใช้ โปรไฟล์ที่เลือกจะถูกใช้สําหรับงาน Spark ทั้งหมดภายในสภาพแวดล้อมโดยอัตโนมัติเว้นแต่จะถูกแทนที่
กระได:
- นําทางไปยังพื้นที่ทํางาน Fabric
- แก้ไขหรือสร้างสภาพแวดล้อมใหม่
- ภายใต้ Spark Configurationsตั้งค่าคุณสมบัติต่อไปนี้
- spark.fabric.resourceProfile = writeHeavy หรือ readHeavyForPBI หรือ readHeavyForSpark หรือคุณสามารถเลือกชื่อโปรไฟล์ของคุณเองและปรับแต่งด้วยการกําหนดค่าตามความต้องการของคุณ
- คุณสามารถเลือกโปรไฟล์ที่มีอยู่ และยังปรับเปลี่ยนค่าเริ่มต้น เช่น เลือก readHeavyForSpark และเพิ่มการผูกข้อมูลจาก 128 เป็น 256
2. การกําหนดค่าโปรไฟล์ทรัพยากรที่รันไทม์ด้วย spark.conf.set
คุณยังสามารถแทนที่โปรไฟล์ทรัพยากรเริ่มต้นระหว่างการดําเนินการสมุดบันทึกหรือการเรียกใช้งาน Spark ได้โดยใช้:
spark.conf.set("spark.fabric.resourceProfile", "readHeavyForSpark")
วิธีการนี้ให้ความยืดหยุ่นในรันไทม์เพื่อเปลี่ยนลักษณะการทํางานตามตรรกะของงาน กําหนดการ หรือชนิดของปริมาณงาน—อนุญาตให้มีโปรไฟล์ที่แตกต่างกันสําหรับส่วนต่างๆ ของสมุดบันทึก
หมายเหตุ
ถ้ามีการตั้งค่าทั้งการกําหนดค่าสภาพแวดล้อมและรันไทม์ การตั้งค่ารันไทม์จะมีความสําคัญมากขึ้น
จะเกิดอะไรขึ้นตามค่าเริ่มต้น
พื้นที่ทํางานที่สร้างขึ้นใหม่ทั้งหมดใน Microsoft Fabric ค่าเริ่มต้นเป็น writeHeavy โปรไฟล์ ซึ่งทําให้แน่ใจ:
- การจัดการที่มีประสิทธิภาพของไปป์ไลน์การนําเข้าข้อมูล
- ปริมาณงานที่ปรับให้เหมาะสมสําหรับชุดงานและการสตรีมงาน
- ประสิทธิภาพที่ดียิ่งขึ้นสําหรับปริมาณงาน ETL ทั่วไป
ถ้าปริมาณงานของคุณแตกต่างกัน (เช่น คิวรีแบบโต้ตอบ แดชบอร์ดที่ให้บริการ) คุณสามารถอัปเดตการตั้งค่าเริ่มต้นในระดับสภาพแวดล้อมหรือแทนที่แบบไดนามิกในระหว่างการดําเนินการ
⚠️ สําคัญ:
ในพื้นที่ทํางาน Fabric ใหม่ทั้งหมดถูกปิดใช้งานตามค่าเริ่มต้น ()VOrderspark.sql.parquet.vorder.default=false
การกําหนดค่าเริ่มต้นนี้ได้รับการปรับให้เหมาะสําหรับ ปริมาณงานวิศวกรรมข้อมูลที่มีน้ําหนักมาก ซึ่งช่วยให้สามารถทํางานได้อย่างมีประสิทธิภาพมากขึ้นในระหว่างการนําเข้าและการแปลงในระดับมาตราส่วนสําหรับสถานการณ์การอ่าน (เช่น แดชบอร์ด Power BI หรือคิวรี Spark แบบโต้ตอบ) ให้พิจารณาการสลับไปยัง
readHeavyforSparkโปรไฟล์ทรัพยากร หรือ หรือreadHeavyForPBIปรับเปลี่ยนคุณสมบัติโดยการเปิดใช้งานVOrderและปรับปรุงประสิทธิภาพการทํางานของคิวรีจากปริมาณงาน PowerBI และ Datawarehouse
เนื้อหาที่เกี่ยวข้อง
- กลไกการดําเนินการแบบดั้งเดิมของ ใน Microsoft Fabric