การวางแผนการย้าย: กลุ่ม SQL เฉพาะของ Azure Synapse Analytics ไปยัง Fabric Data Warehouse

นําไปใช้กับ:✅ Warehouse ใน Microsoft Fabric

บทความนี้แสดงกลยุทธ์ ข้อควรพิจารณา และวิธีการโยกย้ายคลังข้อมูลในพูล SQL เฉพาะของ Azure Synapse Analytics ไปยัง Microsoft Fabric Warehouse

บทนําการโยกย้าย

ในฐานะที่ Microsoft ได้แนะนํา Microsoft Fabric ซึ่งเป็นโซลูชันการวิเคราะห์ SaaS แบบครบวงจรสําหรับองค์กรที่มีชุดบริการที่ครอบคลุม ซึ่งรวมถึง Data Factory, วิศวกรข้อมูล ing, คลังข้อมูล, วิทยาศาสตร์ข้อมูล, ข่าวกรองแบบเรียลไทม์ และ Power BI

บทความนี้มุ่งเน้นไปที่ตัวเลือกสําหรับการโยกย้าย schema (DDL) การย้ายรหัสฐานข้อมูล (DML) และการโยกย้ายข้อมูล Microsoft มีหลายตัวเลือกและที่นี่เรากล่าวถึงแต่ละตัวเลือกโดยละเอียดและให้คําแนะนําเกี่ยวกับตัวเลือกเหล่านี้ที่คุณควรพิจารณาสําหรับสถานการณ์ของคุณ บทความนี้ใช้เกณฑ์มาตรฐานอุตสาหกรรม TPC-DS สําหรับภาพประกอบและการทดสอบประสิทธิภาพ ผลลัพธ์จริงของคุณอาจแตกต่างกันโดยขึ้นอยู่กับปัจจัยหลายอย่าง รวมถึงชนิดของข้อมูล ชนิดข้อมูล ความกว้างของตาราง เวลาแฝงของแหล่งข้อมูล ฯลฯ

เตรียมพร้อมสําหรับการโยกย้าย

วางแผนโครงการการย้ายของคุณอย่างระมัดระวังก่อนที่คุณจะเริ่มต้นใช้งาน และตรวจสอบให้แน่ใจว่า Schema โค้ด และข้อมูลของคุณเข้ากันได้กับ Fabric Warehouse มีข้อจํากัดบางอย่างที่คุณต้องพิจารณา วัดปริมาณงานการปรับโครงสร้างของรายการเข้ากันไม่ได้ ตลอดจนทรัพยากรอื่น ๆ ที่จําเป็นก่อนที่จะส่งการโยกย้ายข้อมูล

เป้าหมายสําคัญอีกประการหนึ่งของการวางแผนคือการปรับการออกแบบของคุณเพื่อให้แน่ใจว่าโซลูชันของคุณใช้ประโยชน์จากประสิทธิภาพการคิวรีสูงที่ Fabric Warehouse ออกแบบมาเพื่อให้เต็มที่ การออกแบบคลังข้อมูลสําหรับมาตราส่วนแนะนํารูปแบบการออกแบบที่ไม่ซ้ํากัน ดังนั้นวิธีดั้งเดิมจึงไม่ได้ดีที่สุดเสมอไป ตรวจสอบ หลักเกณฑ์ด้านประสิทธิภาพการทํางานเนื่องจากแม้ว่าการปรับปรุงการออกแบบบางอย่างจะสามารถดําเนินการได้หลังจากการโยกย้ายข้อมูล แต่การเปลี่ยนแปลงในกระบวนการก่อนหน้านี้จะช่วยคุณประหยัดเวลาและความพยายาม การโยกย้ายจากเทคโนโลยี/สภาพแวดล้อมหนึ่งไปยังอีกเทคโนโลยีหนึ่งเป็นความพยายามที่สําคัญเสมอ

แผนภาพต่อไปนี้แสดงถึงวงจรชีวิตการโยกย้ายที่แสดงเสาหลักที่ประกอบด้วยประเมินและประเมินแผนและออกแบบโยกย้ายการตรวจสอบและควบคุมปรับให้เหมาะสมและปรับโครงสร้างให้ทันสมัยด้วยงานที่เกี่ยวข้องในแต่ละเสาเพื่อวางแผนและเตรียมพร้อมสําหรับการโยกย้ายที่ราบรื่น

Runbook สําหรับการโยกย้าย

พิจารณากิจกรรมต่อไปนี้เป็นคู่มือการวางแผนสําหรับการโยกย้ายของคุณจากพูล SQL เฉพาะ Synapse ไปยัง Fabric Warehouse

1. ประเมินและประเมิน
   1. ระบุวัตถุประสงค์และแรงจูงใจ สร้างผลลัพธ์ที่ชัดเจนตามที่ต้องการ
   2. การค้นพบ การประเมิน และพื้นฐานสถาปัตยกรรมที่มีอยู่
   3. ระบุผู้ถือผลประโยชน์ร่วมและผู้สนับสนุนหลัก
   4. กําหนดขอบเขตของสิ่งที่จะโยกย้าย
      1. เริ่มต้นด้วยขนาดเล็กและเรียบง่าย เตรียมพร้อมสําหรับการโยกย้ายข้อมูลขนาดเล็กหลายรายการ
      2. เริ่มต้นการตรวจสอบและจัดทําเอกสารลําดับขั้นทั้งหมดของกระบวนการ
      3. สร้างสินค้าคงคลังของข้อมูลและกระบวนการสําหรับการโยกย้าย
      4. กําหนดการเปลี่ยนแปลงแบบจําลองข้อมูล (ถ้ามี)
      5. ตั้งค่าพื้นที่ทํางานของผ้า
   5. skillset/preference ของคุณคืออะไร?
      1. ทํางานโดยอัตโนมัติได้ทุกที่ที่เป็นไปได้
      2. ใช้เครื่องมือและคุณลักษณะที่มีอยู่ภายใน Azure เพื่อลดความพยายามในการโยกย้าย
   6. ฝึกอบรมพนักงานก่อนเวลาบนแพลตฟอร์มใหม่
      1. ระบุความต้องการที่เพิ่มขึ้นและสินทรัพย์การฝึกอบรม รวมถึง Microsoft Learn
2. การวางแผนและการออกแบบ
   1. กําหนดสถาปัตยกรรมที่ต้องการ
   2. เลือก วิธีการ/เครื่องมือสําหรับการโยกย้าย เพื่อทํางานต่อไปนี้ให้สําเร็จ:
      1. การแยกข้อมูลจากแหล่งข้อมูล
      2. การแปลง Schema (DDL) รวมถึงเมตาดาต้าสําหรับตารางและมุมมอง
      3. การนําเข้าข้อมูล รวมถึงข้อมูลในอดีต
         1. หากจําเป็น ให้วิศวกรแบบจําลองข้อมูลอีกครั้งโดยใช้ประสิทธิภาพของแพลตฟอร์มใหม่และการปรับขนาด
      4. การโยกย้ายรหัสฐานข้อมูล (DML)
         1. โยกย้ายหรือปรับโครงสร้างขั้นตอนการจัดเก็บและกระบวนการทางธุรกิจใหม่
   3. สินค้าคงคลังและแยกคุณลักษณะการรักษาความปลอดภัยและสิทธิ์ของวัตถุจากแหล่งข้อมูล
   4. ออกแบบและวางแผนเพื่อแทนที่/ปรับเปลี่ยนกระบวนการ ETL/ELT ที่มีอยู่สําหรับการโหลดแบบเพิ่มหน่วย
      1. สร้างกระบวนการ ETL/ELT แบบขนานไปยังสภาพแวดล้อมใหม่
   5. เตรียมแผนการย้ายข้อมูลโดยละเอียด
      1. แมปสถานะปัจจุบันไปยังสถานะใหม่ที่ต้องการ
3. อพยพ
   1. ดําเนินการ Schema ข้อมูล การโยกย้ายโค้ด
      1. การแยกข้อมูลจากแหล่งข้อมูล
      2. การแปลงเค้าร่าง (DDL)
      3. การนําเข้าข้อมูล
      4. การโยกย้ายรหัสฐานข้อมูล (DML)
   2. หากจําเป็น ให้ปรับมาตราส่วนทรัพยากรพูล SQL เฉพาะเพื่อช่วยความเร็วในการโยกย้ายชั่วคราว
   3. ใช้ความปลอดภัยและสิทธิ์
   4. โยกย้ายกระบวนการ ETL/ELT ที่มีอยู่สําหรับการโหลดแบบเพิ่มหน่วย
      1. โยกย้ายหรือปรับโครงสร้างกระบวนการโหลด ETL/ELT แบบเพิ่มหน่วย
      2. ทดสอบและเปรียบเทียบกระบวนการโหลดส่วนเพิ่มแบบขนาน
   5. ปรับแผนการย้ายรายละเอียดข้อมูลตามความจําเป็น
4. การตรวจสอบและกํากับดูแล
   1. เรียกใช้พร้อมกัน เปรียบเทียบกับสภาพแวดล้อมต้นทางของคุณ
      1. ทดสอบแอปพลิเคชัน แพลตฟอร์มข่าวกรองธุรกิจ และเครื่องมือคิวรี
      2. Benchmark และปรับประสิทธิภาพคิวรีให้เหมาะสม
      3. ตรวจสอบและจัดการค่าใช้จ่าย ความปลอดภัย และประสิทธิภาพการทํางาน
   2. มาตรฐานนโยบายการกํากับดูแลและการประเมิน
5. ปรับให้เหมาะสมและปรับให้ทันสมัย
   1. เมื่อธุรกิจมีความสะดวก แอปพลิเคชันการเปลี่ยนแปลงและแพลตฟอร์มการรายงานหลักไปยัง Fabric
      1. ปรับมาตราส่วนทรัพยากรขึ้น/ลงเป็นการเปลี่ยนปริมาณงานจาก Azure Synapse Analytics เป็น Microsoft Fabric
      2. สร้างเทมเพลตที่ทําซ้ําได้จากประสบการณ์สําหรับการโยกย้ายในอนาคต ย้ํา
      3. ระบุโอกาสสําหรับการปรับต้นทุนให้เหมาะสม การรักษาความปลอดภัย ความสามารถในการปรับขนาด และความเป็นเลิศในการดําเนินงาน
      4. ระบุโอกาสในการปรับปรุงอสังหาริมทรัพย์ของคุณให้ทันสมัยด้วย คุณลักษณะ Fabric ล่าสุด

'ลิฟท์และกะ' หรือทันสมัย?

โดยทั่วไปแล้ว มีสถานการณ์การโยกย้ายข้อมูลสองประเภทโดยไม่คํานึงถึงวัตถุประสงค์และขอบเขตของการย้ายที่วางแผนไว้: การยกและเปลี่ยนตามที่เป็น หรือวิธีการแบบเป็นระยะที่รวมการเปลี่ยนแปลงสถาปัตยกรรมและรหัส

ลิฟท์และกะ

ในการโยกย้ายลิฟท์และเลื่อน แบบจําลองข้อมูลที่มีอยู่จะถูกโยกย้ายด้วยการเปลี่ยนแปลงเล็กน้อยไปยัง Fabric Warehouse ใหม่ วิธีการนี้จะลดความเสี่ยงและเวลาการโยกย้ายข้อมูลโดยลดการทํางานใหม่ที่จําเป็นในการตระหนักถึงประโยชน์ของการโยกย้ายข้อมูล

การโยกย้ายแบบยกและเลื่อนนั้นเหมาะสมสําหรับสถานการณ์เหล่านี้:

• คุณมีสภาพแวดล้อมที่มีอยู่ที่มีดาต้ามาร์ทจํานวนน้อยเพื่อโยกย้าย
• คุณมีสภาพแวดล้อมที่มีข้อมูลที่อยู่ในโครงสร้างแบบดาวหรือแบบจําลองแบบจําลองที่ออกแบบมาอย่างดีแล้ว
• คุณอยู่ภายใต้เวลาและค่าใช้จ่ายที่ต้องย้ายไปยัง Fabric Warehouse

โดยสรุป วิธีการนี้ใช้ได้ดีกับปริมาณงานที่ถูกปรับให้เหมาะสมกับสภาพแวดล้อมของพูล SQL Synapse เฉพาะในปัจจุบันของคุณ ดังนั้นจึงไม่จําเป็นต้องมีการเปลี่ยนแปลงที่สําคัญใน Fabric

ปรับให้ทันสมัยด้วยวิธีการแบบเป็นระยะ ๆ ด้วยการเปลี่ยนแปลงทางสถาปัตยกรรม

หากคลังข้อมูลเดิมมีการพัฒนามาเป็นเวลานาน คุณอาจต้องทําวิศวกรใหม่เพื่อรักษาระดับประสิทธิภาพที่จําเป็น

นอกจากนี้คุณอาจต้องการออกแบบสถาปัตยกรรมใหม่เพื่อใช้ประโยชน์จากเครื่องมือและคุณลักษณะใหม่ที่พร้อมใช้งานในพื้นที่ทํางาน Fabric

ความแตกต่างในการออกแบบ: พูล SQL เฉพาะ Synapse และ Fabric Warehouse

พิจารณาความแตกต่างของคลังข้อมูล Azure Synapse และ Microsoft Fabric ต่อไปนี้ เปรียบเทียบกลุ่ม SQL เฉพาะกับ Fabric Warehouse

ข้อควรพิจารณาของตาราง

เมื่อคุณย้ายตารางระหว่างสภาพแวดล้อมที่แตกต่างกัน โดยทั่วไปแล้วเฉพาะข้อมูลดิบและการโยกย้ายเมตาดาต้าจริง องค์ประกอบฐานข้อมูลอื่น ๆ จากระบบต้นทาง เช่น ดัชนี โดยปกติแล้วจะไม่ถูกโยกย้ายเนื่องจากอาจไม่จําเป็นหรือนํามาใช้แตกต่างกันในสภาพแวดล้อมใหม่

การปรับประสิทธิภาพให้เหมาะสมในสภาพแวดล้อมต้นทาง เช่น ดัชนี ระบุตําแหน่งที่คุณอาจเพิ่มการปรับประสิทธิภาพให้เหมาะสมในสภาพแวดล้อมใหม่ แต่ตอนนี้ Fabric จะดูแลคุณโดยอัตโนมัติ

ข้อควรพิจารณาของ T-SQL

มีความแตกต่างของไวยากรณ์ Data Manipation Language (DML) หลายแบบที่ต้องระวัง ดูที่พื้นที่พื้นผิว T-SQL ในคลังข้อมูลผ้า พิจารณาการประเมินโค้ดเมื่อเลือกวิธีการโยกย้ายสําหรับรหัสฐานข้อมูล (DML)

คุณอาจจําเป็นต้องเขียนส่วนต่างๆ ของรหัส T-SQL DML ของคุณใหม่ ทั้งนี้ขึ้นอยู่กับความแตกต่างของพาริตีในช่วงเวลาของการโยกย้าย

ความแตกต่างในการแมปชนิดข้อมูล

มีความแตกต่างของชนิดข้อมูลหลายอย่างใน Fabric Warehouse สําหรับข้อมูลเพิ่มเติม ดูชนิดข้อมูลใน Microsoft Fabric

ตารางต่อไปนี้มีการแมปของชนิดข้อมูลที่ได้รับการสนับสนุนจากพูล SQL เฉพาะ Synapse ไปยัง Fabric Warehouse

* Datetime2 จะไม่จัดเก็บข้อมูลออฟเซตของโซนเวลาพิเศษที่จัดเก็บไว้ เนื่องจากชนิดข้อมูล datetimeoffset ยังไม่ได้รับการสนับสนุนใน Fabric Warehouse ในขณะนี้ ข้อมูลออฟเซตโซนเวลาจะต้องแยกเป็นคอลัมน์แยกต่างหาก

เนื้อหาที่เกี่ยวข้อง

• สร้าง Warehouse ใน Microsoft Fabric
• แนวทางประสิทธิภาพการทํางานของคลังข้อมูลสิ่งทอ
• ความปลอดภัยสําหรับคลังข้อมูลใน Microsoft Fabric
• บล็อก: แมปกลุ่ม SQL เฉพาะ Azure Synapse เพื่อคํานวณคลังข้อมูล Fabric
• ภาพรวมการโยกย้าย Microsoft Fabric