ปลายทางของข้อมูล Gen2 ของกระแสข้อมูลและการตั้งค่าที่มีการจัดการ

หลังจากที่คุณทําความสะอาดและเตรียมข้อมูลของคุณด้วย Dataflow Gen2 คุณจะต้องการบันทึกข้อมูลนั้นไว้ที่ใดที่หนึ่งที่มีประโยชน์ กระแสข้อมูล Gen2 ให้คุณเลือกจากหลายปลายทาง เช่น Azure SQL, Fabric Lakehouse และอื่น ๆ เมื่อคุณเลือกปลายทาง Dataflow Gen2 จะเขียนข้อมูลของคุณไว้ที่นั่น และคุณสามารถใช้เพื่อการวิเคราะห์และการรายงานได้

รายการต่อไปนี้ประกอบด้วยปลายทางข้อมูลที่ได้รับการสนับสนุน:

• ฐานข้อมูล Azure SQL
• Azure Data Explorer (Kusto)
• Azure Datalake Gen2 (พรีวิว)
• โต๊ะผ้าเลคเฮาส์
• ไฟล์ Fabric Lakehouse (พรีวิว)
• คลังสินค้าผ้า
• ฐานข้อมูล Fabric KQL
• ฐานข้อมูล Fabric SQL
• ไฟล์ SharePoint

จุดเริ่มต้น

ทุกคิวรีข้อมูลใน Dataflow Gen2 ของคุณสามารถมีปลายทางของข้อมูลได้ คุณสามารถใช้ปลายทางกับคิวรีแบบตารางเท่านั้น—ฟังก์ชันและรายการไม่ได้รับการสนับสนุน คุณสามารถตั้งค่าปลายทางข้อมูลสําหรับแต่ละคิวรีได้ และคุณสามารถใช้ปลายทางที่แตกต่างกันภายในกระแสข้อมูลเดียวกัน

มีสามวิธีในการตั้งค่าปลายทางข้อมูล:

• ผ่านริบบอนด้านบน

  

• ผ่านการตั้งค่าคิวรี

  

• ผ่านมุมมองไดอะแกรม

  

เชื่อมต่อกับปลายทางของข้อมูล

การเชื่อมต่อกับปลายทางของข้อมูลทํางานเหมือนกับการเชื่อมต่อกับแหล่งข้อมูล คุณสามารถใช้การเชื่อมต่อสําหรับการอ่าน และการเขียนข้อมูลของคุณ ตราบใดที่คุณมีสิทธิ์ที่ถูกต้องบนแหล่งข้อมูล คุณจะต้องสร้างการเชื่อมต่อใหม่หรือเลือกการเชื่อมต่อที่มีอยู่ จากนั้นเลือก ถัดไป

ตั้งค่าปลายทางตามไฟล์

เมื่อคุณเลือกปลายทางตามไฟล์ (ตัวอย่างเช่น SharePoint) คุณจะต้องกําหนดค่าการตั้งค่าบางอย่าง นี่คือสิ่งที่คุณต้องตั้งค่า:

• ชื่อไฟล์: ชื่อของไฟล์ที่สร้างขึ้นในปลายทาง ตามค่าเริ่มต้น ชื่อไฟล์จะตรงกับชื่อคิวรีของคุณ
• รูปแบบไฟล์: รูปแบบของไฟล์ที่สร้างขึ้นในปลายทาง
• ต้นทางของไฟล์: การเข้ารหัสที่ใช้ในการสร้างไฟล์ในปลายทาง โดยค่าเริ่มต้น ระบบจะตั้งค่าเป็น UTF-8
• ตัวคั่นไฟล์: ตัวคั่นที่ใช้ในการสร้างไฟล์ในปลายทาง โดยค่าเริ่มต้น ระบบจะตั้งค่าเป็นเครื่องหมายจุลภาค

สร้างตารางใหม่หรือเลือกตารางที่มีอยู่

เมื่อโหลดลงในปลายทางของข้อมูลของคุณ คุณสามารถสร้างตารางใหม่หรือเลือกตารางที่มีอยู่ได้

สร้างตารางใหม่

เมื่อคุณเลือกที่จะสร้างตารางใหม่ Dataflow Gen2 จะสร้างตารางใหม่ในปลายทางของข้อมูลของคุณในระหว่างการรีเฟรช ถ้าตารางถูกลบในภายหลัง (ถ้าคุณไปยังปลายทางและลบด้วยตนเอง) กระแสข้อมูลจะสร้างตารางขึ้นใหม่ในระหว่างการรีเฟรชครั้งถัดไป

ตามค่าเริ่มต้น ชื่อตารางของคุณจะตรงกับชื่อคิวรีของคุณ ถ้าชื่อตารางของคุณมีอักขระใด ๆ ที่ปลายทางไม่สนับสนุน ชื่อตารางจะปรับเปลี่ยนโดยอัตโนมัติ ตัวอย่างเช่น ปลายทางจํานวนมากไม่สนับสนุนช่องว่างหรืออักขระพิเศษ

ถัดไป คุณต้องเลือกคอนเทนเนอร์ปลายทาง หากคุณเลือกปลายทางข้อมูล Fabric ใดๆ คุณสามารถใช้ตัวนําทางเพื่อเลือกรายการ Fabric ที่คุณต้องการโหลดข้อมูลของคุณ สําหรับปลายทางของ Azure คุณสามารถระบุฐานข้อมูลในระหว่างการสร้างการเชื่อมต่อหรือเลือกฐานข้อมูลจากประสบการณ์การใช้งานตัวนําทางได้

ใช้ตารางที่มีอยู่

หากต้องการเลือกตารางที่มีอยู่ ให้ใช้ตัวสลับที่ด้านบนของตัวนําทาง เมื่อเลือกตารางที่มีอยู่ คุณต้องเลือกทั้งรายการ/ฐานข้อมูล Fabric และตารางโดยใช้ตัวนําทาง

เมื่อคุณใช้ตารางที่มีอยู่ คุณจะไม่สามารถสร้างตารางใหม่ในสถานการณ์ใดๆ ได้ ถ้าคุณลบตารางด้วยตนเองจากปลายทางข้อมูล Dataflow Gen2 จะไม่สร้างตารางใหม่ในการรีเฟรชครั้งถัดไป

ไฟล์หรือตารางเลคเฮาส์

สําหรับ Lakehouse คุณมีตัวเลือกในการสร้างไฟล์หรือตารางในเลคเฮาส์ของคุณ นี่เป็นเอกลักษณ์เฉพาะตัวเนื่องจากจุดหมายปลายทางส่วนใหญ่รองรับเพียงอย่างใดอย่างหนึ่งเท่านั้น วิธีนี้ช่วยให้มีความยืดหยุ่นมากขึ้นในการจัดโครงสร้างข้อมูลในเลคเฮาส์

หากต้องการสลับไปมาระหว่างไฟล์และตาราง คุณสามารถใช้ปุ่มสลับเมื่อเรียกดูเลคเฮาส์ของคุณ

การตั้งค่าที่มีการจัดการสําหรับตารางใหม่

เมื่อคุณกําลังโหลดลงในตารางใหม่ การตั้งค่าอัตโนมัติจะเปิดใช้งานตามค่าเริ่มต้น หากคุณใช้การตั้งค่าอัตโนมัติ Dataflow Gen2 จะจัดการการแมปให้คุณ การตั้งค่าอัตโนมัติมีดังนี้:

• การแทนที่วิธีอัปเดต: ข้อมูลที่จะถูกแทนที่ในการรีเฟรชกระแสข้อมูลทุกครั้ง ข้อมูลใด ๆ ในปลายทางจะถูกลบออก ข้อมูลในปลายทางจะถูกแทนที่ด้วยข้อมูลผลลัพธ์ของกระแสข้อมูล

• การแมปที่มีการจัดการ: การแมปได้รับการจัดการสําหรับคุณ เมื่อคุณต้องการเปลี่ยนแปลงข้อมูล/คิวรีของคุณเพื่อเพิ่มคอลัมน์อื่นหรือเปลี่ยนชนิดข้อมูล การทําแผนที่จะได้รับการปรับโดยอัตโนมัติสําหรับการเปลี่ยนแปลงนี้เมื่อคุณเผยแพร่กระแสข้อมูลของคุณอีกครั้ง คุณไม่จําเป็นต้องเข้าสู่ประสบการณ์ปลายทางข้อมูลทุกครั้งที่คุณทําการเปลี่ยนแปลงกระแสข้อมูลของคุณ ซึ่งจะทําให้การเปลี่ยนแปลงของ Schema ทําได้ง่ายขึ้นเมื่อคุณเผยแพร่กระแสข้อมูลอีกครั้ง

• ทิ้งและสร้างตารางใหม่: เพื่ออนุญาตให้มีการเปลี่ยนแปลงสคีมาเหล่านี้ ตารางจะลดลงและสร้างขึ้นใหม่ในทุกการรีเฟรชกระแสข้อมูล การรีเฟรชกระแสข้อมูลของคุณอาจทําให้เกิดการลบความสัมพันธ์หรือหน่วยวัดที่เพิ่มเข้ามาในตารางของคุณก่อนหน้านี้

การตั้งค่าด้วยตนเอง

โดยการปิดใช้งาน ใช้การตั้งค่าอัตโนมัติ คุณสามารถควบคุมวิธีการโหลดข้อมูลของคุณลงในปลายทางของข้อมูลได้อย่างเต็มที่ คุณสามารถเปลี่ยนแปลงใด ๆ กับการแมปคอลัมน์ได้โดยการเปลี่ยนชนิดแหล่งข้อมูล หรือยกเว้นคอลัมน์ที่คุณไม่ต้องการในปลายทางข้อมูลของคุณ

วิธีการอัปเดต

ปลายทางส่วนใหญ่รองรับทั้งการผนวกและแทนที่เป็นวิธีอัปเดต อย่างไรก็ตาม ฐานข้อมูล Fabric KQL และ Azure Data Explorer ไม่สนับสนุนการแทนที่เป็นวิธีอัปเดต

• แทนที่: ในการรีเฟรชกระแสข้อมูลทุกครั้ง ข้อมูลของคุณจะถูกทิ้งจากปลายทางและแทนที่ด้วยข้อมูลเอาต์พุตของกระแสข้อมูล

• ผนวก: ในการรีเฟรชกระแสข้อมูลทุกครั้ง ข้อมูลเอาต์พุตจากกระแสข้อมูลจะถูกผนวกเข้ากับข้อมูลที่มีอยู่ในตารางปลายทางข้อมูล

ตัวเลือก Schema เมื่อเผยแพร่

ตัวเลือก Schema ในการเผยแพร่จะใช้เฉพาะเมื่อมีการ แทนที่วิธีการอัปเดตเท่านั้น เมื่อคุณผนวกข้อมูล การเปลี่ยนแปลง Schema ไม่สามารถทําได้

• สคีมาแบบไดนามิก: เมื่อเลือกสคีมาแบบไดนามิก คุณจะอนุญาตให้มีการเปลี่ยนแปลงสคีมาในปลายทางข้อมูลเมื่อคุณเผยแพร่กระแสข้อมูลอีกครั้ง เนื่องจากคุณไม่ได้ใช้การแมปที่มีการจัดการ คุณจะยังคงต้องอัปเดตการแมปคอลัมน์ในตัวช่วยสร้างปลายทางกระแสข้อมูลเมื่อคุณทําการเปลี่ยนแปลงใด ๆ กับคิวรีของคุณ เมื่อการรีเฟรชตรวจพบความแตกต่างระหว่างสคีมาปลายทางและสคีมาที่คาดไว้ ตารางจะลดลงและถูกสร้างขึ้นใหม่เพื่อให้สอดคล้องกับสคีมาที่คาดไว้ การรีเฟรชกระแสข้อมูลของคุณอาจทําให้เกิดการลบความสัมพันธ์หรือหน่วยวัดที่เพิ่มเข้ามาในตารางของคุณก่อนหน้านี้

• สคีมาคงที่: เมื่อคุณเลือกสคีมาคงที่ จะไม่สามารถเปลี่ยนแปลงสคีมาได้ เมื่อกระแสข้อมูลได้รับการรีเฟรช เฉพาะแถวในตารางจะถูกวางและแทนที่ด้วยข้อมูลเอาต์พุตจากกระแสข้อมูล ความสัมพันธ์หรือหน่วยวัดใด ๆ บนตารางจะยังคงเหมือนเดิม หากคุณทําการเปลี่ยนแปลงใด ๆ กับคิวรีของคุณในกระแสข้อมูล การเผยแพร่กระแสข้อมูลจะล้มเหลวหากตรวจพบว่า Schema คิวรีไม่ตรงกับสคีมาปลายทางข้อมูล ใช้การตั้งค่านี้เมื่อคุณไม่ได้วางแผนที่จะเปลี่ยนสคีมา และมีความสัมพันธ์หรือหน่วยวัดที่เพิ่มไปยังตารางปลายทางของคุณ

Parameterization

พารามิเตอร์ เป็นคุณลักษณะหลักภายใน Dataflow Gen2 เมื่อสร้างพารามิเตอร์หรือคุณใช้การตั้งค่า อนุญาตเสมอ วิดเจ็ตอินพุตจะพร้อมใช้งานเพื่อกําหนดตารางหรือชื่อไฟล์สําหรับปลายทางของคุณ

สคริปต์ Mashup สําหรับการค้นหาปลายทางข้อมูล

เมื่อใช้คุณลักษณะปลายทางข้อมูล การตั้งค่าที่กําหนดไว้เพื่อโหลดข้อมูลไปยังปลายทางของคุณจะถูกกําหนดไว้ในเอกสาร mashup ของกระแสข้อมูลของคุณ แอปพลิเคชัน Dataflow โดยพื้นฐานจะสร้างสององค์ประกอบ:

• แบบสอบถามที่มีขั้นตอนการนําทางไปยังปลายทางของคุณ เป็นไปตามรูปแบบของชื่อคิวรีเริ่มต้นของคุณที่มีคําต่อท้าย _DataDestination เช่น:

shared #"Orders by Region_DataDestination" = let
  Pattern = Lakehouse.Contents([CreateNavigationProperties = false, EnableFolding = false]),
  Navigation_1 = Pattern{[workspaceId = "cfafbeb1-8037-4d0c-896e-a46fb27ff229"]}[Data],
  Navigation_2 = Navigation_1{[lakehouseId = "b218778-e7a5-4d73-8187-f10824047715"]}[Data],
  TableNavigation = Navigation_2{[Id = "Orders by Region", ItemKind = "Table"]}?[Data]?
in
  TableNavigation;

• เรกคอร์ดแอตทริบิวต์ DataDestinations สําหรับแบบสอบถามที่มีตรรกะที่จะใช้สําหรับวิธีการโหลดข้อมูลไปยังปลายทางของคุณ ระเบียนมีตัวชี้ไปยังแบบสอบถามที่มีขั้นตอนการนําทางไปยังปลายทางของคุณและการตั้งค่าปลายทางโดยรวม เช่น วิธีการปรับปรุง ตัวเลือก Schema และชนิดของเป้าหมายปลายทาง เช่น ตาราง หรือชนิดอื่นๆ เช่น:

[DataDestinations = {[Definition = [Kind = "Reference", QueryName = "Orders by Region_DataDestination", IsNewTarget = true], Settings = [Kind = "Automatic", TypeSettings = [Kind = "Table"]]]}]

สคริปต์ M เหล่านี้ไม่ปรากฏภายในแอปพลิเคชัน Dataflow แต่คุณสามารถเข้าถึงข้อมูลนี้ได้ผ่านทาง:

• Fabric REST API สําหรับคําจํากัดความ GET Dataflow
• เอกสาร Mashup.pq เมื่อใช้การรวม Git

ชนิดแหล่งข้อมูลที่สนับสนุนต่อปลายทาง

เมื่อทํางานกับชนิดข้อมูล เช่น สกุลเงินหรือเปอร์เซ็นต์ เรามักแปลงเป็นทศนิยมที่เทียบเท่ากับปลายทางส่วนใหญ่ อย่างไรก็ตาม เมื่อเชื่อมต่อกับปลายทางเหล่านี้อีกครั้งและตามเส้นทางตารางที่มีอยู่ คุณอาจพบปัญหาในการแมป เช่น สกุลเงินไปยังคอลัมน์ทศนิยม ในกรณีดังกล่าว ลองเปลี่ยนชนิดข้อมูลในตัวแก้ไขเป็นทศนิยม เนื่องจากจะช่วยให้ง่ายต่อการแมปไปยังตารางและคอลัมน์ที่มีอยู่

หัวข้อขั้นสูง

ใช้การจัดเตรียมก่อนการโหลดไปยังปลายทาง

เพื่อปรับปรุงประสิทธิภาพของการประมวลผลคิวรี สามารถใช้การจัดเตรียมภายใน Dataflow Gen2 เพื่อใช้การประมวลผลแบบ Fabric เพื่อดําเนินการคิวรีของคุณ

เมื่อการจัดเตรียมถูกเปิดใช้งานบนคิวรีของคุณ (ลักษณะการทํางานเริ่มต้น) ข้อมูลของคุณจะถูกโหลดลงในตําแหน่งที่ตั้งการจัดเตรียม ซึ่งเป็นเลคเฮ้าส์ภายในที่สามารถเข้าถึงได้โดยกระแสข้อมูลเท่านั้น

การใช้ตําแหน่งการจัดเตรียมสามารถปรับปรุงประสิทธิภาพการทํางานในบางกรณีที่การพับคิวรีไปยังจุดสิ้นสุดการวิเคราะห์ SQL เร็วกว่าการประมวลผลในหน่วยความจํา

เมื่อคุณกําลังโหลดข้อมูลลงใน Lakehouse หรือปลายทางอื่น ๆ ที่ไม่ใช่คลังสินค้า เราปิดใช้งานคุณลักษณะการจัดเตรียมตามค่าเริ่มต้นเพื่อปรับปรุงประสิทธิภาพการทํางาน เมื่อคุณโหลดข้อมูลลงในปลายทางของข้อมูล ข้อมูลจะถูกเขียนโดยตรงไปยังปลายทางของข้อมูลโดยไม่ต้องใช้การจัดเตรียม ถ้าคุณต้องการใช้การจัดเตรียมสําหรับคิวรีของคุณ คุณสามารถเปิดใช้งานอีกครั้งได้

หากต้องการเปิดใช้งานการจัดงาน ให้คลิกขวาที่คิวรีและเปิดใช้งานการแสดงละครโดยเลือกปุ่มเปิดใช้งานการแสดงละคร คิวรีของคุณจะเปลี่ยนเป็นสีน้ําเงิน

การโหลดข้อมูลลงในคลังสินค้า

เมื่อคุณโหลดข้อมูลลงในคลังสินค้า จําเป็นต้องมีการจัดเตรียมก่อนการดําเนินการเขียนไปยังปลายทางของข้อมูล ข้อกําหนดนี้ช่วยปรับปรุงประสิทธิภาพการทํางาน ในปัจจุบัน รองรับเฉพาะการโหลดลงในพื้นที่ทํางานเดียวกันกับกระแสข้อมูลเท่านั้น ตรวจสอบให้แน่ใจว่ามีการเปิดใช้งานการแบ่งระยะสําหรับการสอบถามทั้งหมดที่โหลดลงในคลังสินค้า

เมื่อการจัดเตรียมถูกปิดใช้งาน และคุณเลือกคลังสินค้าเป็นปลายทางเอาท์พุท คุณจะได้รับคําเตือนเพื่อเปิดใช้งานการจัดเตรียมก่อนก่อนที่คุณจะสามารถกําหนดค่าปลายทางของข้อมูลได้

ถ้าคุณมีคลังสินค้าเป็นปลายทางแล้วและพยายามปิดใช้งานการจัดเตรียม คําเตือนจะปรากฏขึ้น คุณสามารถลบคลังสินค้าเป็นปลายทางหรือยกเลิกการดําเนินการจัดเตรียมได้

รองรับ Schema สําหรับฐานข้อมูล Lakehouse, Warehouse และ SQL (พรีวิว)

ฐานข้อมูล Lakehouse, Warehouse และ SQL ใน Microsoft Fabric ทั้งหมดรองรับความสามารถในการสร้าง Schema สําหรับข้อมูลของคุณ ซึ่งหมายความว่าคุณสามารถจัดโครงสร้างข้อมูลของคุณในลักษณะที่ทําให้ง่ายต่อการจัดการและสืบค้น เพื่อให้สามารถเขียนลงในสคีมาในปลายทางเหล่านี้ คุณจําเป็นต้องเปิดใช้งานตัวเลือก นําทางโดยใช้ลําดับชั้นแบบเต็ม ภายใต้ ตัวเลือกขั้นสูง เมื่อคุณตั้งค่าการเชื่อมต่อ ถ้าคุณไม่เปิดใช้งานตัวเลือกนี้ คุณจะไม่สามารถเลือกหรือดู Schema ในปลายทางได้ ข้อจํากัดของการแสดงตัวอย่างสําหรับการเปิดใช้งานการนําทางโดยใช้ลําดับชั้นแบบเต็มคือการคัดลอกอย่างรวดเร็วอาจทํางานไม่ถูกต้อง เมื่อต้องการใช้คุณลักษณะนี้ร่วมกับเกตเวย์ เราต้องการเกตเวย์เวอร์ชัน 3000.290 อย่างน้อย

การดูดฝุ่นปลายทางข้อมูลเลคเฮ้าส์ของคุณ

เมื่อใช้ Lakehouse เป็นปลายทางสําหรับ Dataflow Gen2 ใน Microsoft Fabric สิ่งสําคัญคือต้องดําเนินการบํารุงรักษาอย่างสม่ําเสมอเพื่อให้มีประสิทธิภาพสูงสุดและการจัดการที่เก็บข้อมูลที่มีประสิทธิภาพ งานบํารุงรักษาที่จําเป็นอย่างหนึ่งคือการดูดฝุ่นปลายทางข้อมูลของคุณ กระบวนการนี้ช่วยในการลบไฟล์เก่าที่ไม่ถูกอ้างอิงโดยบันทึกตาราง Delta ซึ่งปรับค่าใช้จ่ายในการจัดเก็บข้อมูลให้เหมาะสมและรักษาความสมบูรณ์ของข้อมูลของคุณ

ทําไมการดูดฝุ่นจึงเป็นสิ่งสําคัญ

1. การเพิ่มประสิทธิภาพพื้นที่จัดเก็บข้อมูล: เมื่อเวลาผ่านไป ตารางเดลต้าจะสะสมไฟล์เก่าที่ไม่จําเป็นอีกต่อไป การดูดฝุ่นช่วยในการล้างไฟล์เหล่านี้ทําให้พื้นที่จัดเก็บข้อมูลเพิ่มขึ้นและลดค่าใช้จ่าย
2. การปรับปรุงประสิทธิภาพ: การลบไฟล์ที่ไม่จําเป็นสามารถเพิ่มประสิทธิภาพการสืบค้นได้โดยการลดจํานวนไฟล์ที่ต้องสแกนระหว่างการดําเนินการอ่าน
3. ความสมบูรณ์ของข้อมูล: การทําให้แน่ใจว่ามีการเก็บรักษาเฉพาะไฟล์ที่เกี่ยวข้องเท่านั้นที่จะช่วยรักษาความสมบูรณ์ของข้อมูลของคุณป้องกันปัญหาที่อาจเกิดขึ้นกับไฟล์ที่ไม่ได้ผูกมัดซึ่งอาจนําไปสู่ความล้มเหลวของตัวอ่านหรือความเสียหายของตาราง

วิธีดูดฝุ่นปลายทางของข้อมูลของคุณ

ในการดูดฝุ่นตาราง Delta ของคุณใน Lakehouse ให้ทําตามขั้นตอนเหล่านี้:

1. นําทางไปยังเลคเฮ้าส์ของคุณ: จากบัญชี Microsoft Fabric ของคุณ ไปที่เลคเฮ้าส์ที่ต้องการ
2. การบํารุงรักษาตารางการเข้าถึง: ที่ Lakehouse explorer คลิกขวาบนตารางที่คุณต้องการรักษาหรือใช้จุดไข่ปลาเพื่อเข้าถึงเมนูตามบริบท
3. เลือกตัวเลือกการบํารุงรักษา: เลือกรายการเมนูการบํารุงรักษาและเลือกตัวเลือกสูญญากาศ
4. เรียกใช้คําสั่งสูญญากาศ: ตั้งค่าเกณฑ์การเก็บข้อมูล (ค่าเริ่มต้นคือเจ็ดวัน) และดําเนินการคําสั่งสูญญากาศโดยการเลือกเรียกใช้ทันที

แนวทางปฏิบัติที่ดีที่สุด

• ระยะเวลาการเก็บรักษา: กําหนดช่วงเวลาการเก็บรักษาอย่างน้อยเจ็ดวันเพื่อให้แน่ใจว่าสแนปช็อตเก่าและไฟล์ที่ไม่ได้คอมมิตจะไม่ถูกลบออกก่อนเวลาอันควร ซึ่งอาจทําให้ผู้อ่านและเขียนตารางพร้อมกันหยุดชะงัก
• การบํารุงรักษาเป็นประจํา: กําหนดเวลาการดูดฝุ่นเป็นประจําซึ่งเป็นส่วนหนึ่งของกิจวัตรการบํารุงรักษาข้อมูลของคุณเพื่อให้ตาราง Delta ของคุณได้รับการปรับให้เหมาะสมและพร้อมสําหรับการวิเคราะห์
• การรีเฟรชแบบเพิ่มหน่วย: หากคุณกําลังใช้การรีเฟรชแบบเพิ่มหน่วย ให้ตรวจสอบให้แน่ใจว่าได้ปิดการดูดฝุ่นแล้ว เนื่องจากอาจรบกวนกระบวนการรีเฟรชแบบเพิ่มหน่วย

ด้วยการรวมการดูดฝุ่นเข้าไปในกลยุทธ์การบํารุงรักษาข้อมูลของคุณ คุณสามารถตรวจสอบให้แน่ใจว่าปลายทางของเลคเฮ้าส์ของคุณยังคงมีประสิทธิภาพ คุ้มค่า และเชื่อถือได้สําหรับการดําเนินการกับกระแสข้อมูลของคุณ

สําหรับข้อมูลรายละเอียดเพิ่มเติมเกี่ยวกับการบํารุงรักษาตารางใน Lakehouse ดูที่ เอกสารการบํารุงรักษาตาราง Delta

Nullable

ในบางกรณีเมื่อคุณมีคอลัมน์ที่สามารถเป็น Null ได้ ระบบจะตรวจพบโดย Power Query ว่าไม่สามารถเป็นค่าว่างได้ และเมื่อเขียนไปยังปลายทางของข้อมูล ชนิดคอลัมน์จะไม่สามารถเป็น Null ได้ ในระหว่างการรีเฟรช ข้อผิดพลาดต่อไปนี้จะเกิดขึ้น:

E104100 Couldn't refresh entity because of an issue with the mashup document MashupException.Error: DataFormat.Error: Error in replacing table's content with new data in a version: #{0}., InnerException: We can't insert null data into a non-nullable column., Underlying error: We can't insert null data into a non-nullable column. Details: Reason = DataFormat.Error;Message = We can't insert null data into a non-nullable column.; Message.Format = we can't insert null data into a non-nullable column.

เมื่อต้องการบังคับให้คอลัมน์สามารถเป็น Null ได้ คุณสามารถลองขั้นตอนต่อไปนี้:

1. ลบตารางจากปลายทางข้อมูล

2. นําปลายทางของข้อมูลออกจากกระแสข้อมูล

3. ไปที่กระแสข้อมูลและอัปเดตชนิดข้อมูลโดยใช้รหัส Power Query ต่อไปนี้:

   Table.TransformColumnTypes(
      #"PREVIOUS STEP", {
         {"COLLUMNNAME1", type nullable text}, 
         {"COLLUMNNAME2", type nullable Int64.Type}
      }
   ) 
   

4. เพิ่มปลายทางของข้อมูล

การแปลงชนิดข้อมูลและการอัปสเกล

ในบางกรณี ชนิดข้อมูลภายในกระแสข้อมูลจะแตกต่างจากชนิดข้อมูลที่ได้รับการสนับสนุนในปลายทางข้อมูล ด้านล่างนี้เป็นการแปลงเริ่มต้นที่เราได้ใส่ไว้เพื่อให้แน่ใจว่าคุณยังคงสามารถรับข้อมูลของคุณในปลายทางข้อมูลได้: