แชร์ผ่าน


การทํางานร่วมกันในรูปแบบตาราง Delta Lake

ใน Microsoft Fabric รูปแบบตาราง Delta Lake เป็นมาตรฐานสําหรับการวิเคราะห์ Delta Lake เป็นเลเยอร์ที่เก็บข้อมูลแบบโอเพนซอร์สที่นํา ACID (อะตอม ความสม่ําเสมอ การแยก การแยก ความทนทาน) กับปริมาณงานข้อมูลขนาดใหญ่และการวิเคราะห์

ประสบการณ์การใช้งาน Fabric ทั้งหมดสร้างและใช้ตาราง Delta Lake โดยให้ประสบการณ์ผลิตภัณฑ์แบบครบวงจร ตาราง Delta Lake ที่ผลิตโดยกลไกการคํานวณหนึ่งโปรแกรม เช่น Fabric Data Warehouse หรือ Synapse Spark สามารถใช้ได้โดยเครื่องมืออื่น เช่น Power BI เมื่อคุณนําเข้าข้อมูลลงใน Fabric Fabric จะจัดเก็บเป็นตาราง Delta ตามค่าเริ่มต้น คุณสามารถรวมข้อมูลภายนอกที่มีตาราง Delta Lake ได้อย่างง่ายดายโดยใช้ทางลัด OneLake

คุณลักษณะเดลต้าเลคและประสบการณ์การใช้งาน Fabric

เพื่อให้สามารถทํางานร่วมกันได้ ประสบการณ์ Fabric ทั้งหมดจึงสอดคล้องกับคุณลักษณะ Delta Lake และความสามารถของ Fabric ประสบการณ์บางอย่างสามารถเขียนไปยังตาราง Delta Lake เท่านั้นในขณะที่ประสบการณ์อื่น สามารถอ่านจากตารางดังกล่าวได้

  • ผู้เขียน: คลังข้อมูล กระแสข้อมูล และส่งออกแบบจําลองความหมาย Power BI ไปยัง OneLake
  • ผู้อ่าน: จุดสิ้นสุดการวิเคราะห์ SQL และแบบจําลองความหมายของทะเลสาบโดยตรงของ Power BI
  • ผู้เขียนและผู้อ่าน: รันไทม์ Fabric Spark, กระแสข้อมูล, ไปป์ไลน์ และฐานข้อมูล Kusto Query Language (KQL)

เมทริกซ์ต่อไปนี้แสดงคุณลักษณะ Delta Lake ที่สําคัญและความพร้อมใช้งานของแต่ละประสบการณ์ Fabric

ความสามารถของผ้า การแมปคอลัมน์ เวกเตอร์การลบ การเขียนตามลําดับ V การปรับตารางให้เหมาะสมและการบํารุงรักษา พาร์ ติ ชัน การคลัสเตอร์ของเหลว TIMESTAMP_NTZ เวอร์ชัน Delta reader/writer และคุณลักษณะตารางเริ่มต้น
คลังข้อมูลส่งออก Delta Lake ชื่อ: ใช่
ID: ไม่ใช่
ใช่ ใช่ ใช่ อ่าน: N/A (ไม่สามารถใช้ได้)
เขียน: ไม่ใช่
ไม่ใช่ ไม่ใช่ ผู้อ่าน: 3
ผู้เขียน: 7
เวกเตอร์การลบ
การแมปคอลัมน์ (ชื่อ)
จุดสิ้นสุดการวิเคราะห์ SQL ชื่อ: ใช่
ID: ไม่ใช่
ใช่ N/A (ไม่สามารถใช้ได้) N/A (ไม่สามารถใช้ได้) อ่าน: ใช่
เขียน: N/A (ไม่สามารถใช้ได้)
ใช่ ไม่ใช่ N/A (ไม่สามารถใช้ได้)
สํารวจและแสดงตัวอย่างของเลคเฮ้าส์ ชื่อ: ใช่
ID: ไม่ใช่
ใช่ N/A (ไม่สามารถใช้ได้) ใช่ อ่าน: ใช่
เขียน: N/A (ไม่สามารถใช้ได้)
ใช่ ใช่ N/A (ไม่สามารถใช้ได้)
รันไทม์ Fabric Spark 1.3 ชื่อ: ใช่
ID: ใช่
ใช่ ใช่ ใช่ อ่าน: ใช่
เขียน: ใช่
ใช่ ใช่ ผู้อ่าน: 1
ผู้เขียน: 2
รันไทม์ Fabric Spark 1.2 ชื่อ: ใช่
ID: ใช่
ใช่ ใช่ ใช่ อ่าน: ใช่
เขียน: ใช่
ใช่ อ่านอย่างเดียว ใช่ ผู้อ่าน: 1
ผู้เขียน: 2
รันไทม์ Fabric Spark 1.1 ชื่อ: ใช่
ID: ใช่
ไม่ใช่ ใช่ ใช่ อ่าน: ใช่
เขียน: ใช่
ใช่ อ่านอย่างเดียว ไม่ใช่ ผู้อ่าน: 1
ผู้เขียน: 2
กระแสข้อมูล รุ่น 2 ชื่อ: ใช่
ID: ไม่ใช่
ใช่ ใช่ ไม่ใช่ อ่าน: ใช่
เขียน: ใช่
ใช่ อ่านอย่างเดียว ไม่ใช่ ผู้อ่าน: 1
ผู้เขียน: 2
Pipelines ชื่อ: ไม่ใช่
ID: ไม่ใช่
ไม่ใช่ ใช่ ไม่ใช่ อ่าน: ใช่
เขียน: ใช่ เขียนทับเท่านั้น
ใช่ อ่านอย่างเดียว ไม่ใช่ ผู้อ่าน: 1
ผู้เขียน: 2
แบบจําลองความหมายทะเลสาบโดยตรงของ Power BI ชื่อ: ใช่
ID: ใช่
ใช่ N/A (ไม่สามารถใช้ได้) N/A (ไม่สามารถใช้ได้) อ่าน: ใช่
เขียน: N/A (ไม่สามารถใช้ได้)
ใช่ ไม่ใช่ N/A (ไม่สามารถใช้ได้)
ส่งออกแบบจําลองความหมาย Power BI ไปยัง OneLake ชื่อ: ใช่
ID: ไม่ใช่
N/A (ไม่สามารถใช้ได้) ใช่ ไม่ใช่ อ่าน: N/A (ไม่สามารถใช้ได้)
เขียน: ไม่ใช่
ไม่ใช่ ไม่ใช่ ผู้อ่าน: 2
ผู้เขียน: 5
การแมปคอลัมน์ (ชื่อ)
ฐานข้อมูล KQL ชื่อ: ใช่
ID: ไม่ใช่
ใช่ ไม่ใช่ ไม่มี* อ่าน: ใช่
เขียน: ใช่
ไม่ใช่ ไม่ใช่ ผู้อ่าน: 1
ผู้เขียน: 1
เหตุการณ์สตรีม ชื่อ: ไม่ใช่
ID: ไม่ใช่
ไม่ใช่ ไม่ใช่ ไม่ใช่ อ่าน: N/A (ไม่สามารถใช้ได้)
เขียน: ใช่
ไม่ใช่ ไม่ใช่ ผู้อ่าน: 1
ผู้เขียน: 2

ฐานข้อมูล KQL * มีความสามารถบํารุงรักษาตารางบางอย่างเช่นการเก็บข้อมูล ข้อมูลจะถูกลบออกเมื่อสิ้นสุดระยะเวลาการเก็บรักษาจาก OneLake สําหรับข้อมูลเพิ่มเติม ให้ดู หนึ่งสําเนาแบบลอจิคัล

โน้ต

  • Fabric ไม่เขียนการแมปคอลัมน์ตามค่าเริ่มต้น ยกเว้นที่ระบุไว้ ประสบการณ์ Fabric เริ่มต้นจะสร้างตารางที่เข้ากันได้ทั่วทั้งบริการ ตาราง Delta Lake ที่ผลิตโดยบริการของบุคคลที่สามอาจมีคุณลักษณะตารางที่เข้ากันไม่ได้
  • ประสบการณ์การใช้งานผ้าบางอย่างไม่มีการปรับตารางให้เหมาะสมและความสามารถในการบํารุงรักษา เช่น การกระชับช่องเก็บ V ลําดับเวกเตอร์การลบ (PURGE) และการล้างข้อมูลของไฟล์ที่ไม่อนุมานเก่า (VACUUM) เพื่อให้ตาราง Delta Lake เหมาะสมที่สุดสําหรับการวิเคราะห์ ให้ทําตามเทคนิคในการใช้ คุณลักษณะการบํารุงรักษาตารางเพื่อจัดการตาราง delta ใน Fabric สําหรับตารางที่ส่งการนําเข้าโดยใช้ประสบการณ์เหล่านั้น

ข้อจํากัดปัจจุบัน

ในขณะนี้ Fabric ไม่รองรับคุณลักษณะ Delta Lake เหล่านี้:

  • จุดตรวจสอบ V2 ไม่สามารถใช้ได้อย่างสม่ําเสมอในทุกประสบการณ์การใช้งาน เฉพาะสมุดบันทึก Spark และงาน Spark เท่านั้นที่สามารถอ่านและเขียนไปยังตารางด้วยจุดตรวจสอบ V2 ได้ เลคเฮ้าส์และ SQL Analytics แสดงรายการตารางที่มีไฟล์จุดตรวจสอบ V2 ใน __delta_log โฟลเดอร์อย่างไม่ถูกต้อง
  • Delta Lake 3.x Uniform คุณลักษณะนี้ได้รับการสนับสนุนเฉพาะในการคํานวณ Spark ของ Data Engineering (Notebooks, Spark Jobs) เท่านั้น
  • การเขียนคอลัมน์ข้อมูลประจําตัว (คุณลักษณะ Azure Databricks)
  • ไปป์ไลน์การประกาศ Lakeflow Spark (คุณลักษณะ Azure Databricks)
  • คุณลักษณะ Delta Lake 4.x: ประเภทขยาย การเปรียบเทียบ ชนิดตัวแปร ความมุ่งมั่นเชิงพิกัด

อักขระพิเศษในชื่อตาราง

Microsoft Fabric สนับสนุนอักขระพิเศษเป็นส่วนหนึ่งของชื่อตาราง คุณลักษณะนี้อนุญาตให้ใช้อักขระ Unicode ในการเขียนชื่อตารางในประสบการณ์การใช้งาน Microsoft Fabric

อักขระพิเศษต่อไปนี้จะถูกสงวนไว้หรือไม่เข้ากันกับเทคโนโลยี Microsoft Fabric อย่างน้อยหนึ่งตัว และต้องไม่ใช้เป็นส่วนหนึ่งของชื่อตาราง: " (เครื่องหมายอัญประกาศ), ' (อัญประกาศเดี่ยว), #, %, +, :, ?, ' (แบ็กทิก)