หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
บทความนี้อธิบายความสามารถในการเก็บข้อมูลการเปลี่ยนแปลง (CDC) ในงานคัดลอกและวิธีการใช้งาน
การเปลี่ยนแปลงการเก็บข้อมูล (CDC) ในงานคัดลอกคืออะไร
การเปลี่ยนแปลงการเก็บข้อมูล (CDC) ในงานคัดลอกเป็นความสามารถที่มีประสิทธิภาพใน Fabric Data Factory ที่ช่วยให้การจําลองข้อมูลที่เปลี่ยนแปลงรวมถึงแทรก อัปเดต และลบระเบียนจากต้นทางไปยังปลายทางได้อย่างมีประสิทธิภาพและอัตโนมัติ ซึ่งทําให้มั่นใจได้ว่าข้อมูลปลายทางของคุณจะยังคงทันสมัยอยู่เสมอโดยไม่ต้องใช้ความพยายามด้วยตนเอง ปรับปรุงประสิทธิภาพในการรวมข้อมูลในขณะที่ลดการโหลดในระบบต้นทางของคุณ
ประโยชน์สําคัญของ CDC ในการคัดลอกงาน
- การแทรกแซงด้วยตนเองเป็นศูนย์: รวบรวมการเปลี่ยนแปลงแบบเพิ่มหน่วยโดยอัตโนมัติ (แทรก อัปเดต ลบ) ได้โดยตรงจากแหล่งข้อมูล
- การจําลองแบบอัตโนมัติ: เก็บข้อมูลปลายทางอย่างต่อเนื่องซิงโครไนซ์กับการเปลี่ยนแปลงต้นทาง
- ประสิทธิภาพที่ดีที่สุด: ประมวลผลเฉพาะข้อมูลที่เปลี่ยนแปลง ลดเวลาการประมวลผล และลดโหลดบนแหล่งข้อมูล
- สําเนาแบบเพิ่มหน่วยที่ชาญฉลาดยิ่งขึ้น: ตรวจหาตารางแหล่งข้อมูลที่เปิดใช้งาน CDC โดยอัตโนมัติ และช่วยให้คุณสามารถเลือกสําเนาแบบเพิ่มหน่วยตาม CDC หรือลายน้ําสําหรับแต่ละตาราง
วิธีการทํางาน: สําเนาแบบเพิ่มหน่วยตาม CDC เทียบกับลายน้ํา
- สําเนาแบบเพิ่มหน่วยที่ใช้ CDC: ถ้าฐานข้อมูลต้นฉบับของคุณเปิดใช้งาน CDC งานคัดลอกจะจับภาพและจําลองแบบแทรก ปรับปรุง และลบไปยังปลายทางโดยอัตโนมัติ โดยใช้การเปลี่ยนแปลงที่แน่นอน
- หากไม่ได้เปิดใช้งาน CDC ในฐานข้อมูลต้นทางของคุณ งานคัดลอกจะตรวจพบการเปลี่ยนแปลงโดยการเปรียบเทียบคอลัมน์แบบเพิ่มหน่วย (เช่น ประทับเวลาหรือ ID) กับการทํางานครั้งล่าสุด จากนั้นจะผนวกหรือผสานข้อมูลที่เปลี่ยนแปลงไปยังปลายทางตามการกําหนดค่าของคุณ
ตัวเชื่อมต่อที่รองรับ
ปัจจุบัน งาน CDC ใน Copy รองรับที่เก็บข้อมูลต้นทางและปลายทางต่อไปนี้:
| ตัวเชื่อมต่อ | แหล่งที่มา | ปลายทาง | อ่าน - CDC (ตัวอย่าง) | เขียน - CDC Merge | เขียน - CDC Upsert |
|---|---|---|---|---|---|
| Azure SQL DB | 
|
|
|
|
|
| อินสแตนซ์ที่มีการจัดการของ Azure SQL |
|
|
|
|
|
| โต๊ะเลคเฮ้าส์ผ้า |
|
|
|
|
|
| Google บิ๊กคิวรี |
|
|
|
|
|
| SQL Server ภายในองค์กร |
|
|
|
|
|
| SAP Datasphere ขาออกสําหรับ ADLS Gen2 |
|
|
|
|
|
| SAP Datasphere ขาออกสําหรับ AWS S3 |
|
|
|
|
|
| SAP Datasphere ขาออกสําหรับ Google CloudStorage |
|
|
|
|
|
| Snowflake |
|
|
|
|
|
| ฐานข้อมูล SQL ใน Fabric (ตัวอย่าง) |
|
|
|
|
|
สําหรับ SAP Datasphere Outbound โปรดไปที่ เปลี่ยนการบันทึกข้อมูลจาก SAP ผ่าน SAP Datasphere Outbound ใน งานคัดลอก เพื่อเรียนรู้รายละเอียดเพิ่มเติม
วิธีเริ่มต้นใช้งาน
ทําตามขั้นตอนต่อไปนี้เพื่อสร้างงานคัดลอกใหม่เพื่อนําเข้าข้อมูลจาก Azure SQL DB ผ่าน CDC ไปยัง Azure SQL DB อื่น:
ตรวจสอบให้แน่ใจว่ามีการเปิดใช้งานการเปลี่ยนแปลงการเก็บข้อมูล (CDC) บนฐานข้อมูลและตารางของคุณในที่เก็บแหล่งข้อมูลที่ได้รับการสนับสนุน ในกรณีนี้ คือ Azure SQL DB
Note
- เราขอแนะนําให้คุณเปิดใช้งาน CDC สําหรับตารางทั้งหมดที่กล่าวถึงข้างต้น
- ตรวจสอบให้แน่ใจว่ามีการเปิดใช้งาน supports_net_changes
- คอลัมน์ทั้งหมดในตารางต้นทางจะต้องถูกระบุว่าเป็นคอลัมน์ที่จับภาพไว้เป็นค่าเริ่มต้น
เรียนรู้เพิ่มเติมใน เปิดใช้งานและปิดใช้งานการจับภาพข้อมูลการเปลี่ยนแปลง - SQL Server | SQL Server Microsoft Learn
เลือก + รายการใหม่ เลือกไอคอน คัดลอกงาน ตั้งชื่องานคัดลอกของคุณ แล้วคลิก สร้าง
เลือกที่เก็บข้อมูลเพื่อคัดลอกข้อมูล ในตัวอย่างนี้ เลือก Azure SQL DB
ป้อน เส้นทางเซิร์ฟเวอร์ และข้อมูล ประจําตัว ของคุณเพื่อเชื่อมต่อกับ Azure SQL DB คุณสามารถคัดลอกข้อมูลได้อย่างปลอดภัยภายในสภาพแวดล้อม VNET โดยใช้เกตเวย์ภายในองค์กรหรือเกตเวย์ VNET
คุณควรสามารถมองเห็นตารางแหล่งข้อมูลที่เปิดใช้งาน CDC ได้อย่างชัดเจน เลือก ตารางที่มี CDC เปิดใช้งาน เพื่อคัดลอก
ตารางที่เปิดใช้งาน CDC:
ตารางที่ไม่มีการเปิดใช้งาน CDC:
Note
- ขณะนี้ไม่สามารถตรวจพบตาราง Fabric Lakehouse ได้ว่าเปิดใช้งาน CDF หรือไม่
เลือกร้านค้าปลายทางของคุณ ในตัวอย่างนี้ ให้เลือก Azure SQL DB อื่น
ควรตั้งค่า เมธอด Update เริ่มต้นเป็น ผสาน และคอลัมน์คีย์ที่จําเป็นจะตรงกับคีย์หลักที่กําหนดไว้ในที่เก็บต้นทางตามค่าเริ่มต้น
เลือก สําเนาที่เพิ่มขึ้น และคุณจะเห็นคอลัมน์ส่วนเพิ่มสําหรับแต่ละตารางที่จําเป็นต้องป้อนเพื่อติดตามการเปลี่ยนแปลง
Note
ในตอนแรกงานคัดลอกจะดําเนินการโหลดเต็มรูปแบบ และดําเนินการคัดลอกส่วนเพิ่มในภายหลังในการเรียกใช้ที่ตามมาผ่านทาง CDC
ตรวจสอบสรุปงาน ตั้งค่าตัวเลือกการเรียกใช้ไปตามกําหนดเวลา แล้วคลิก บันทึก + เรียกใช้
Note
โปรดตรวจสอบให้แน่ใจว่าระยะเวลาการเก็บรักษาข้อมูลบันทึก CDC ของคุณนานกว่าช่วงเวลาระหว่างการเรียกใช้ที่กําหนดไว้ มิฉะนั้น ข้อมูลที่เปลี่ยนแปลงโดย CDC อาจสูญหายถ้าไม่ได้รับการประมวลผลภายในระยะเวลาการเก็บข้อมูล
งานคัดลอกของคุณจะเริ่มต้นทันที การเรียกใช้ครั้งแรกจะคัดลอกสแนปช็อตแบบเต็มเริ่มต้น
อัปเดตตารางต้นทางของคุณโดยการแทรก อัปเดต หรือลบแถว
เรียกใช้งาน คัดลอก อีกครั้งเพื่อบันทึกและทําซ้ําการเปลี่ยนแปลงทั้งหมด รวมถึงแถวที่แทรก อัปเดต และถูกลบ ไปยังปลายทาง
ข้อจำกัดที่ทราบ
- เมื่อเลือกทั้งตารางแหล่งข้อมูลที่เปิดใช้งาน CDC และไม่ได้เปิดใช้งาน CDC ในงานคัดลอก จะถือว่าตารางทั้งหมดเป็นสําเนาแบบเพิ่มหน่วยตามลายน้ํา
- ไม่รองรับอินสแตนซ์การจับภาพแบบกําหนดเอง รองรับเฉพาะอินสแตนซ์การจับภาพเริ่มต้นเท่านั้น
- SCD2 ไม่ได้รับการสนับสนุนสําหรับที่เก็บข้อมูลแหล่งข้อมูลที่เปิดใช้งาน CDC
- DDL ยังไม่ได้รับการสนับสนุนในงานคัดลอก
- ไม่ว่าจะเปิดใช้งาน CDF หรือไม่บนตาราง Fabric Lakehouse จะไม่สามารถตรวจพบได้โดยอัตโนมัติ