หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
สถาปัตยกรรมอ้างอิงนี้เน้นบทบาทเชิงกลยุทธ์ของฐานข้อมูลการกําหนดขั้นในการโยกย้ายข้อมูลขนาดใหญ่และซับซ้อน แทนที่จะถ่ายโอนข้อมูลจากระบบต้นทางไปยังสภาพแวดล้อมเป้าหมายโดยตรง กระบวนการจะแนะนําชั้นการจัดเตรียมขั้นกลาง ข้อมูลจะถูกนําเข้าสู่ฐานข้อมูลการกําหนดระยะการโยกย้ายชั่วคราวซึ่งเข้าสู่การแปลงและการตรวจสอบความถูกต้อง หลังจากเสร็จสิ้นขั้นตอนเหล่านี้แล้ว ข้อมูลจะถูกโหลดลงใน Dataverse รูปแบบนี้ช่วยปรับปรุงคุณภาพข้อมูล ทําให้มั่นใจถึงความสมบูรณ์ และลดโอกาสในการเกิดข้อผิดพลาดในระหว่างกระบวนการโยกย้ายข้อมูล
ไดอะแกรมสถาปัตยกรรม
โฟลว์ข้อมูล
- แยก: ข้อมูลถูกแยกออกจากระบบต้นทาง
- ลําดับขั้น: ข้อมูลถูกโหลดลงในฐานข้อมูลการกําหนดระยะต้นทาง
- แปลง: ย้ายสคริปต์เพื่อประมวลผลและแปลงข้อมูล
- โหลด: โหลดข้อมูลที่แปลงแล้วลงในฐานข้อมูลการกําหนดระยะปลายทาง
- Validate: เทมเพลต Excel จะใช้เพื่อตรวจสอบข้อมูลหลัก
- รวม: เครื่องมือการย้ายข้อมูลจะโหลดข้อมูลลงใน Dataverse และไฟล์ลงใน Azure Blob หรือ SharePoint
คอมโพเนนต์
- ระบบต้นทาง: แหล่งข้อมูลดั้งเดิม ซึ่งอาจรวมถึงฐานข้อมูลดั้งเดิม ระบบ ERP หรือแอปพลิเคชันที่ไม่ใช่ของ Microsoft
- ฐานข้อมูลการแสดงข้อมูล: ที่เก็บข้อมูลชั่วคราว ระดับกลางที่ใช้ในการนําเข้า แปลง และตรวจสอบข้อมูลก่อนการโยกย้ายขั้นสุดท้าย ชั้นนี้แยกส่วนแหล่งที่มาและระบบเป้าหมายซึ่งช่วยให้สามารถควบคุมได้และการเตรียมข้อมูลที่สามารถตรวจสอบได้
- กระบวนการ ETL/ELT: แยก แปลง และโหลด (หรือสกัด โหลด แปลง) ไปป์ไลน์ที่ย้ายข้อมูลจากแหล่งที่มาไปยังฐานข้อมูลการกําหนดขั้น ใช้กฎทางธุรกิจ และเตรียมพร้อมสําหรับ Dataverse
- ข้อมูลอ้างอิง: ข้อมูลที่ใช้เพื่อตรวจสอบและเติมแต่งข้อมูลหลักระหว่างการโยกย้าย ตัวอย่างเช่น เทมเพลตข้อมูลหลัก Excel
- Dataverse: ระบบเป้าหมายซึ่งข้อมูลที่ทําความสะอาดและตรวจสอบแล้วจะถูกโหลดเพื่อใช้งานในแอปพลิเคชัน Power Platform
- ที่เก็บไฟล์: การจัดเก็บข้อมูลที่ไม่มีโครงสร้าง เช่น สิ่งที่แนบมาและเอกสาร ตัวอย่างเช่น ที่เก็บข้อมูล Azure Blob หรือ SharePoint
รายละเอียดสถานการณ์สมมติ
สถาปัตยกรรมนี้ทํางานได้ดีสําหรับสถานการณ์ที่:
- ระบบต้นทางประกอบด้วยข้อมูลจํานวนมากหรือโครงสร้างเชิงสัมพันธ์ที่ซับซ้อนซึ่งจําเป็นต้องมีการแปลงก่อนการนําเข้าไปยัง Dataverse
- การโยกย้ายข้อมูลโดยตรงทําไม่ได้เนื่องจากปัญหาคุณภาพของข้อมูล schema ไม่ตรงกัน หรือความจําเป็นสําหรับการบังคับใช้กฎทางธุรกิจ
- กระบวนการโยกย้ายจะต้องสามารถตรวจสอบได้ ทําซ้ําได้ และสนับสนุนการย้อนกลับหรือการทําซ้ําส่วนข้อมูลเฉพาะ
- องค์กรจําเป็นต้องมีการโยกย้ายแบบเป็นระยะหรือแบบเพิ่มหน่วย เช่น ระหว่างการทําให้ระบบทันสมัยหรือโครงการเปลี่ยนผ่านระบบคลาวด์
กรณีตัวอย่างการใช้
- การย้ายข้อมูลลูกค้าและธุรกรรมจากระบบ ERP ภายในองค์กรไปยัง Dataverse สําหรับใช้ใน Power Apps และ Power Automate
- รวมข้อมูลจากระบบเดิมหลายระบบลงในสภาพแวดล้อม Dataverse แบบรวม
- การดําเนินการเติมแต่งข้อมูลล่วงหน้า เช่น ที่อยู่การกําหนดรหัสพิกัดหรือการแมปรหัสดั้งเดิมไปยังการจัดหมวดหมู่ใหม่
Note
ตัวอย่างนี้ถือว่ามีการดําเนินการวิเคราะห์กระบวนการและการประเมินโซลูชันแล้ว และมีการระบุ Dataverse เป็นปลายทางที่เหมาะสมสําหรับข้อมูล ทีมควรประเมินว่าแอปพลิเคชันของบุคคลแรก เช่น Dynamics 365 Finance and Operations (F&O) สอดคล้องกับความต้องการทางธุรกิจได้ดียิ่งขึ้นก่อนที่จะดําเนินการใช้งานแบบกําหนดเองใน Dataverse
เรียนรู้เพิ่มเติม: คู่มือการใช้งาน Dynamics 365
ประโยชน์สําคัญ
- การประกันคุณภาพข้อมูล: เลเยอร์สเตจช่วยให้สามารถตรวจสอบความถูกต้องและการแปลงข้อมูลโดยละเอียดก่อนที่ข้อมูลจะไปถึงสภาพแวดล้อมการผลิต
- การแยกข้อผิดพลาด: สามารถระบุและแก้ไขปัญหาในสภาพแวดล้อมการจัดเตรียมโดยไม่ส่งผลกระทบต่อระบบต้นทางหรือระบบเป้าหมาย
- ความสามารถในการปรับขนาด: รองรับข้อมูลจํานวนมากและตรรกะการแปลงที่ซับซ้อน
- การตรวจสอบ: ช่วยให้สามารถติดตามสายข้อมูลและประวัติการแปลงข้อมูลได้
ข้อควรพิจารณา
ข้อควรพิจารณาเหล่านี้ใช้เสาหลักของ Power Platform Well-Architected ซึ่งเป็นชุดหลักการชี้นําเพื่อช่วยปรับปรุงคุณภาพของปริมาณงาน เรียนรู้เพิ่มเติมเกี่ยวกับ Microsoft Power Platform Well-Architected
ความน่าเชื่อถือ
- ออกแบบกระบวนการจัดเตรียมและการโยกย้ายเพื่อให้ยืดหยุ่นต่อความล้มเหลว ใช้ตรรกะการลองใหม่และการตรวจสอบในไปป์ไลน์ ETL เพื่อจัดการข้อผิดพลาดชั่วคราว
- ตรวจสอบความสมบูรณ์ของข้อมูลและความถูกต้องก่อนที่จะโหลดข้อมูลลงใน Dataverse เพื่อหลีกเลี่ยงการโยกย้ายบางส่วนหรือเสียหาย
Security
- ใช้การควบคุมการเข้าถึงตามบทบาท (RBAC) เพื่อจํากัดการเข้าถึงฐานข้อมูลการจัดเตรียมและเครื่องมือการโยกย้าย
- เข้ารหัสข้อมูลที่พักและระหว่างการส่งต่อ โดยเฉพาะอย่างยิ่งเมื่อจัดการข้อมูลส่วนบุคคลหรือข้อมูลที่สําคัญ
- บันทึกและตรวจสอบการเข้าถึงสภาพแวดล้อมสเตจจิ้งและ Dataverse เพื่อสนับสนุนข้อกําหนดการตรวจสอบและการปฏิบัติตามกฎระเบียบ
ประสิทธิภาพการทํางาน
- ปรับตรรกะการแยกข้อมูลและการแปลงข้อมูลให้เหมาะสมเพื่อลดเวลาการประมวลผลและการใช้ทรัพยากร
- ใช้การประมวลผลชุดงานและความขนานที่เหมาะสมในการจัดการปริมาณข้อมูลขนาดใหญ่อย่างมีประสิทธิภาพ
- ตรวจสอบเมตริกประสิทธิภาพของสภาพแวดล้อมสเตจจิ้งและปรับทรัพยากรการคํานวณตามความจําเป็น
ความเป็นเลิศด้านการปฏิบัติงาน
- ทําเอกสารกระบวนการโยกย้าย รวมถึงการแมปข้อมูล กฎการแปลงและตรรกะการตรวจสอบ
- ใช้การทดสอบอัตโนมัติและสคริปต์การตรวจสอบความถูกต้องเพื่อให้แน่ใจว่าสามารถทําซ้ําได้และลดข้อผิดพลาดของมนุษย์
- ใช้เครื่องมือการเรียงกลุ่มเช่น Azure Data Factory เพื่อจัดการและตรวจสอบเวิร์กโฟลว์การโยกย้ายแบบ end-to-end
ขั้นตอนถัดไป
บทความถัดไปสรุปวิธีการที่ได้รับการพิสูจน์แล้วสําหรับการจัดการการโยกย้ายข้อมูลขนาดใหญ่ หนึ่งในความท้าทายที่ใหญ่ที่สุดในการโยกย้ายข้อมูลที่ซับซ้อนคือการติดตามข้อมูลที่โหลดการจัดการข้อผิดพลาดและลองบันทึกที่ล้มเหลว เนื่องจากการโยกย้ายข้อมูลเหล่านี้อาจครอบคลุมวันหรือสัปดาห์ ให้ใช้กลยุทธ์แบบเป็นระยะ กลยุทธ์นี้จะย้ายเฉพาะข้อมูลผลต่างระหว่างการเลื่อนระดับการผลิตขั้นสุดท้ายเพื่อลดการหยุดชะงัก