หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
Microsoft Fabric รวมเครื่องมือวิเคราะห์ของ Microsoft ไว้ในแพลตฟอร์ม SaaS เดียว โดยนําเสนอความสามารถที่แข็งแกร่งสําหรับการประสานเวิร์กโฟลว์ การเคลื่อนย้ายข้อมูล การจําลองแบบ และการแปลงตามขนาด Fabric Data Factory สร้างขึ้นบน Azure Data Factory (ADF) ทําให้เป็นตัวเลือกที่เหมาะสําหรับการปรับปรุงโซลูชันการรวมข้อมูลให้ทันสมัย
คู่มือนี้สํารวจกลยุทธ์การโยกย้าย ข้อควรพิจารณา และแนวทางเพื่อช่วยคุณอัปเกรดจาก Azure Data Factory เป็น Fabric Data Factory
ข้อควรพิจารณาก่อนย้ายข้อมูล
ก่อนย้ายข้อมูล ให้ประเมินสิ่งที่จะนํากลับมาใช้ใหม่ แปล หรือออกแบบใหม่ ทําตามขั้นตอนเหล่านี้เพื่อให้แน่ใจว่าการเปลี่ยนผ่านเป็นไปอย่างราบรื่น:
- ระบุรูปแบบการรับรองความถูกต้อง เช่น ข้อมูลประจําตัวที่มีการจัดการหรือการรับรองความถูกต้องตามคีย์
- ตรวจสอบข้อกําหนดของเครือข่าย รวมถึงปลายทางและเกตเวย์ส่วนตัว
- วางแผนการตั้งเวลาและทริกเกอร์ความหมาย และจัดตําแหน่งการตั้งค่าการตรวจสอบและการแจ้งเตือน
- เปรียบเทียบคุณสมบัติ ADF กับคู่ Fabric โดยสังเกตช่องว่าง เช่น SSIS หรือโฟลว์ข้อมูล
- กําหนดเป้าหมายที่ไม่ทํางาน เช่น SLA ปริมาณงาน ขีดจํากัดต้นทุน และความสามารถในการสังเกตการณ์
- สร้างสถานการณ์ทดสอบด้วยชุดข้อมูลตัวอย่างและผลลัพธ์ที่คาดหวังเพื่อเปรียบเทียบการเรียกใช้ ADF และ Fabric อย่างเป็นกลาง
- วางแผนสําหรับการหมุนเวียนข้อมูลลับ แบบแผนการตั้งชื่อ และการจัดหมวดหมู่พื้นที่ทํางาน เพื่อให้การโยกย้ายของคุณปรับปรุง ไม่ใช่แค่ทําซ้ํากลยุทธ์การรวมข้อมูลปัจจุบันของคุณ
แนวทางแบบค่อยเป็นค่อยไปพร้อมการตรวจสอบความถูกต้องและแผนย้อนกลับแบบเคียงข้างกันช่วยลดความเสี่ยงในขณะที่เปิดใช้งานการดําเนินการที่รวดเร็วขึ้นการตรวจสอบแบบรวมศูนย์และการผสานรวมกับ Microsoft Fabric ที่ลึกซึ้งยิ่งขึ้น
สําหรับการโยกย้ายขนาดใหญ่ ให้พิจารณาทํางานร่วมกับคู่ค้า Microsoft ที่ผ่านการรับรองหรือทีมบัญชี Microsoft ของคุณเพื่อขอคําแนะนํา
การเชื่อมต่อ บริการที่เชื่อมโยง และชุดข้อมูล
ใน Azure Data Factory (ADF) บริการและชุดข้อมูลที่เชื่อมโยงจะกําหนดการเชื่อมต่อและโครงสร้างข้อมูล ใน Fabric สิ่งเหล่านี้จะแมปกับ การตั้งค่าการเชื่อมต่อ และ กิจกรรม โดยมุ่งเน้นไปที่การนํากลับมาใช้ใหม่ในระดับพื้นที่ทํางานและข้อมูลประจําตัวที่มีการจัดการ วิธีปรับองค์ประกอบ ADF มีดังนี้
- ตรวจสอบ ความต่อเนื่องของตัวเชื่อมต่อระหว่าง Azure Data Factory และ Fabric เพื่อยืนยันการสนับสนุนแหล่งข้อมูลและซิงก์ของคุณ
- รวมการเชื่อมต่อที่ซ้ําซ้อนเพื่อปรับปรุงการจัดการ
- นําข้อมูลประจําตัวที่มีการจัดการมาใช้เพื่อการรับรองความถูกต้องที่ปลอดภัยและสอดคล้องกัน
- กําหนดมาตรฐานการกําหนดพารามิเตอร์โฟลเดอร์และตารางโดยใช้แบบแผน
conn-sql-warehouse-salesการตั้งชื่อที่ชัดเจน เช่น หรือds-lh-raw-orders.
เพื่อให้มั่นใจถึงความสอดคล้องและความสามารถในการปรับขนาด ให้จัดทําเอกสารแต่ละแหล่งที่มาและปลายทางอย่างครบถ้วนด้วย:
- เจ้า
- ระดับความไว
- ลองการตั้งค่าอีกครั้ง
เอกสารนี้ช่วยสร้างเทมเพลตการดําเนินงานข้ามไปป์ไลน์และปรับปรุงการกํากับดูแล
รันไทม์การรวมและ OPDG เกตเวย์เครือข่ายเสมือน
Azure Data Factory (ADF) ใช้ Integration Runtimes (IR) เพื่อกําหนดทรัพยากรการประมวลผลสําหรับการประมวลผลข้อมูล ซึ่งประกอบด้วย:
- Cloud IR สําหรับการประมวลผลที่โฮสต์โดย Azure
- IR ที่โฮสต์เอง (SHIR) สําหรับแหล่งที่มาในองค์กรหรือเครือข่ายส่วนตัว
- SSIS IR สําหรับบริการรวม SQL Server
- IR ที่เปิดใช้งาน VNet สําหรับการเชื่อมต่อเครือข่ายที่ปลอดภัย
ใน Fabric สิ่งเหล่านี้จะแมปกับการดําเนินการบนคลาวด์เกตเวย์ข้อมูลภายในองค์กร (OPDG) และตัวเลือกเกตเวย์ข้อมูลเครือข่ายเสมือน วิธีวางแผนการย้ายข้อมูลมีดังนี้
- ระบุไปป์ไลน์ที่อาศัย SHIR และวางแผนการแมปเกตเวย์และขนาดปริมาณงาน
- ตรวจสอบความถูกต้องของ DNS, ขาออก, กฎไฟร์วอลล์ และการรับรองความถูกต้องสําหรับตัวเชื่อมต่อแต่ละตัว
- ฝึกซ้อมสถานการณ์การเปลี่ยนระบบเมื่อเกิดข้อผิดพลาดเพื่อให้มั่นใจถึงความน่าเชื่อถือ
- หากเป็นไปได้ ให้ย้ายไปยังปลายทางส่วนตัวหรือเกตเวย์ข้อมูลเครือข่ายเสมือนเพื่อลดความซับซ้อนของการตรวจสอบความปลอดภัยและลดค่าใช้จ่ายในการดําเนินงาน
Fabric ช่วยลดความยุ่งยากในการจัดการการประมวลผลโดยใช้ทรัพยากรบนระบบคลาวด์ภายในความจุ Fabric ของคุณ SSIS IR ไม่มีให้บริการใน Fabric สําหรับการเชื่อมต่อภายในองค์กร ให้ใช้ เกตเวย์ข้อมูลภายในองค์กร (OPDG) สําหรับการเชื่อมต่อเครือข่ายที่ปลอดภัย ให้ใช้เกตเวย์ข้อมูลเครือข่ายเสมือน
เมื่อย้ายข้อมูล:
- ไม่จําเป็นต้องย้าย Azure IR ของเครือข่ายสาธารณะ
- สร้าง SHIR ใหม่เป็น OPDG
- แทนที่ Azure IR ที่เปิดใช้งาน VNet ด้วยเกตเวย์ข้อมูลเครือข่ายเสมือน
ความแตกต่างของกิจกรรมไปป์ไลน์
กิจกรรมหลักทั้งหมดใน Azure Data Factory (ADF) เช่น การคัดลอก การค้นหา กระบวนงานที่เก็บไว้/สคริปต์ SQL เว็บ และโฟลว์การควบคุม มีสิ่งที่เทียบเท่าโดยตรงใน Fabric อย่างไรก็ตาม มีคุณสมบัติ ไวยากรณ์นิพจน์ และขีดจํากัดแตกต่างกันบางประการ เมื่อย้ายข้อมูล ให้ตรวจสอบสิ่งต่อไปนี้:
- นโยบายการลองใหม่และการหมดเวลา
- การตั้งค่าการแบ่งหน้าสําหรับแหล่งข้อมูล REST
- การกําหนดค่าการคัดลอกแบบไบนารีเทียบกับแบบตาราง
- รูปแบบ Foreach และตัวกรอง
- ตัวแปรระบบที่ใช้ในเนื้อหาแบบไดนามิก
ผ้ามักจะมีตัวเลือกดั้งเดิมมากขึ้นสําหรับงานบางอย่าง ตัวอย่างเช่น ใช้สคริปต์ SQL ในคลังสินค้าแทนการเรียกกระบวนงานที่เก็บไว้ทั่วไปเพื่อการสืบเชื้อสายและการตรวจสอบที่ดีขึ้น หากต้องการปรับปรุงการย้ายข้อมูล ให้รวมศูนย์นิพจน์ทั่วไป เช่น เส้นทาง วันที่ และ URI เฉพาะผู้เช่าลงในพารามิเตอร์ไปป์ไลน์ สิ่งนี้ช่วยลดการดริฟท์และเพิ่มความเร็วในการทดสอบ
สําหรับข้อมูลเพิ่มเติม โปรดดู ความต่อเนื่องของกิจกรรมระหว่าง Azure Data Factory และ Fabric
ความแตกต่างของกระแสข้อมูล
โฟลว์ข้อมูลการแม็ป Azure Data Factory (ADF) ไม่ได้แมปกับ Fabric โดยตรง โดยปกติแล้ว คุณจะทําใหม่โดยใช้ตัวเลือกใดตัวเลือกหนึ่งต่อไปนี้แทน:
- กระแสข้อมูล Gen2 สําหรับการแปลงชุดแถวและการแปลงแบบใช้โค้ดน้อยที่มีการควบคุม
- Fabric Warehouse SQL สําหรับงาน ELT ตามชุด เช่น การดําเนินการ MERGE หรือ ELT ที่ใกล้กับข้อมูล
- สมุดบันทึก Spark สําหรับการแปลงขั้นสูง ตรรกะที่ซับซ้อน หรือการประมวลผลขนาดใหญ่
เมื่อย้ายข้อมูล ให้ตรวจสอบความถูกต้องต่อไปนี้:
- ชนิดข้อมูลและการจัดการ Null
- กุญแจตัวแทนและขนาดที่เปลี่ยนไปอย่างช้าๆ
- รูปแบบ ELT ที่สมบูรณ์แบบ เช่น การแสดงละครและ MERGE เพื่อให้แน่ใจว่ามีการฉายซ้ําที่คาดเดาได้
สําหรับสถานการณ์การโยกย้าย โปรดดู โยกย้ายจากกระแสข้อมูล Gen1 ไปยังกระแสข้อมูล Gen2
พารามิเตอร์ส่วนกลางใน Azure Data Factory
Fabric ใช้ ไลบรารีตัวแปร ระดับพื้นที่ทํางานเพื่อกําหนดค่าคงที่รายการ Fabric เมื่อโยกย้ายไปยัง Microsoft Fabric Data Factory สิ่งเหล่านี้ คุณจะต้องแปลงพารามิเตอร์ส่วนกลางของ Azure Data Factory เป็นไลบรารีตัวแปร
สําหรับคําแนะนําการแปลงฉบับเต็ม โปรดดู แปลงพารามิเตอร์ส่วนกลางของ ADF เป็นไลบรารีตัวแปร Fabric
ข้อเสนอคู่ค้า Azure Marketplace
พันธมิตรการโยกย้ายที่เชื่อถือได้ เช่น Bitwise Global มีเครื่องมือที่จะช่วยในการโยกย้ายของคุณ เครื่องมือเหล่านี้สามารถ:
- สแกนสภาพแวดล้อม Azure Data Factory (ADF) ของคุณ
- สร้างสิ่งประดิษฐ์ Fabric เป้าหมาย
- ทําการวิเคราะห์ผลกระทบและการติดตามสายข้อมูล
- สร้างแผนการทดสอบอัตโนมัติ
วิธีแก้ปัญหาเหล่านี้มีประโยชน์อย่างยิ่งหากคุณมี:
- ไปป์ไลน์หลายร้อยท่อ
- ตัวเชื่อมต่อที่หลากหลาย
- ข้อกําหนดการหยุดทํางานที่เข้มงวด
เครื่องมือของพาร์ทเนอร์สร้างมาตรฐานกฎการแมป สร้างรายงานคอนเวอร์ชั่น และเรียกใช้การทดสอบการตรวจสอบความถูกต้องแบบคู่ขนาน วิธีนี้ช่วยให้คุณสามารถเปรียบเทียบจํานวนแถว เช็คซัม และประสิทธิภาพระหว่างสภาพแวดล้อมเก่าและใหม่ของคุณ แม้ว่าคุณจะไม่ได้ใช้คู่ค้าในการย้ายข้อมูลทั้งหมด แต่โมดูลการค้นพบและการประเมินของพวกเขาสามารถช่วยคุณเริ่มต้นการวางแผนภายในและลดความไม่แน่นอนได้
ใช้เครื่องมือ AI
โมเดลภาษาขนาดใหญ่ (LLM) เช่น Microsoft Copilot, ChatGPT และ Claude สามารถเพิ่มความเร็วในการโยกย้ายได้ เครื่องมือเหล่านี้มีประโยชน์สําหรับ:
- การปรับโครงสร้างนิพจน์
- การแปลงไวยากรณ์ Azure Data Factory (ADF) JSON เป็น Fabric
- การเขียนคําสั่ง MERGE
- การสร้างเทมเพลตการเชื่อมต่อ
- การร่างสคริปต์การตรวจสอบความถูกต้อง
คุณยังสามารถใช้เพื่อสร้างเอกสารประกอบ เช่น รันบุ๊ก พจนานุกรมข้อมูล และรายการตรวจสอบการย้ายข้อมูล เพื่อให้มั่นใจว่าวิศวกรและผู้ปฏิบัติงานจะสอดคล้องกัน อย่างไรก็ตาม ให้เก็บเครื่องมือเหล่านี้ ไว้ในวง ไม่ใช่ในความรับผิดชอบ:
- หลีกเลี่ยงการวางข้อมูลที่ละเอียดอ่อนลงในเครื่องมือ AI
- ตรวจสอบความถูกต้องของรายการทั้งหมดในสภาพแวดล้อมการพัฒนา
- ใช้การทดสอบอัตโนมัติ เช่น การนับแถว การเปรียบเทียบสคีมา และการตรวจสอบกฎทางธุรกิจ เพื่อตรวจจับปัญหาที่ละเอียดอ่อน เช่น ประเภทไม่ตรงกันหรือการแยกวิเคราะห์วันที่เฉพาะตําแหน่งที่ตั้ง
สําหรับข้อมูลเพิ่มเติม โปรดดู ใช้ Copilot ใน Data Factory และ AI ใน Microsoft Fabric
เส้นทางการย้ายข้อมูล
เส้นทางการย้ายข้อมูลจะขึ้นอยู่กับเนื้อหา ADF และความเท่าเทียมกันของคุณสมบัติ ตัวเลือกได้แก่:
- การติดตั้งรายการ ADF ในผ้าเพื่อความต่อเนื่อง
- การใช้เครื่องมือแปลง PowerShell สําหรับไปป์ไลน์ที่มีความเท่าเทียมกันสูง
- การปรับแพลตฟอร์มใหม่เพื่อนํารูปแบบผ้าดั้งเดิมมาใช้