สถาปัตยกรรมโซลูชัน CI/CD และ ALM สําหรับ Dataflow Gen2

Microsoft Fabric มีเครื่องมือสําหรับการรวมอย่างต่อเนื่อง/การปรับใช้อย่างต่อเนื่อง (CI/CD) และการจัดการวงจรชีวิตของแอปพลิเคชัน (ALM) เครื่องมือเหล่านี้ช่วยให้ทีมสร้าง ทดสอบ และปรับใช้โซลูชันข้อมูลด้วยความสอดคล้องและการกํากับดูแล

กระแสข้อมูล Gen2 พร้อมการสนับสนุน CI/CD รวมกระแสข้อมูลเข้ากับไปป์ไลน์การปรับใช้ Fabric การผสานรวมนี้ทําให้ขั้นตอนการสร้าง ทดสอบ และการปรับใช้เป็นไปโดยอัตโนมัติ ให้การส่งมอบกระแสข้อมูลที่ควบคุมเวอร์ชันที่สอดคล้องกัน และปรับปรุงความน่าเชื่อถือโดยการฝัง Dataflow Gen2 ลงในการประสานไปป์ไลน์ของ Fabric

บทความนี้ให้คําแนะนําเกี่ยวกับสถาปัตยกรรมโซลูชันสําหรับกระแสข้อมูลของคุณและรายการ Fabric ที่เกี่ยวข้องโดยคํานึงถึง CI/CD และ ALM คุณสามารถใช้คําแนะนํานี้เพื่อสร้างโซลูชันที่เหมาะกับความต้องการของคุณ บทความนี้มุ่งเน้นไปที่เป้าหมายเฉพาะสองประการ:

• ความสอดคล้อง: รักษาสคริปต์ Mashup ของกระแสข้อมูลของคุณไม่เปลี่ยนแปลงตลอดวงจรชีวิตของแอปพลิเคชันทั้งหมด (หรือขั้นตอนการปรับใช้ในไปป์ไลน์การปรับใช้)
• การกําหนดค่าเฉพาะขั้นตอน: ใช้การอ้างอิงแบบไดนามิกสําหรับแหล่งข้อมูลและปลายทางที่ปรับให้เข้ากับแต่ละขั้นตอน (Dev, Test, Prod)

สถาปัตยกรรมโซลูชัน

สถาปัตยกรรมโซลูชันที่ดีใช้ได้กับ Dataflow Gen2 ของคุณและขยายไปทั่วโซลูชัน Fabric โดยรวมของคุณ

ตารางต่อไปนี้ครอบคลุมสถาปัตยกรรมโซลูชันที่พร้อมใช้งานเมื่อใช้กระแสข้อมูล Gen2:

ประเภท	คำอธิบาย	แผนผัง	Tutorial
กระแสข้อมูลที่มีพารามิเตอร์ Gen2	เมื่อใช้ โหมดพารามิเตอร์สาธารณะ คุณสามารถกําหนดพารามิเตอร์ส่วนประกอบของกระแสข้อมูล เช่น ตรรกะ แหล่งที่มา หรือปลายทาง และส่งผ่านค่ารันไทม์เพื่อปรับกระแสข้อมูลแบบไดนามิกตามขั้นตอนไปป์ไลน์		ลิงค์ไปยังบทช่วยสอน
การอ้างอิงตัวแปรในกระแสข้อมูล Gen2	การใช้ การรวมไลบรารีตัวแปรกับ Dataflow Gen2 คุณสามารถอ้างอิงตัวแปรทั่วทั้งกระแสข้อมูลของคุณได้ ตัวแปรเหล่านี้จะได้รับการประเมินในรันไทม์ตามค่าที่จัดเก็บไว้ในไลบรารี ทําให้สามารถใช้งานแบบไดนามิกที่สอดคล้องกับขั้นตอนไปป์ไลน์		ลิงค์ไปยังบทช่วยสอน

ความแตกต่างที่สําคัญระหว่างสองวิธีนี้คือวิธีการส่งผ่านค่าในรันไทม์ กระแสข้อมูลที่มีพารามิเตอร์ต้องการกระบวนการผ่าน REST API หรือ กิจกรรมกระแสข้อมูลไปป์ไลน์ Fabric เพื่อส่งผ่านค่า การรวมไลบรารีตัวแปรกับ Dataflow Gen2 จําเป็นต้องมีไลบรารีตัวแปรที่ระดับพื้นที่ทํางานและตัวแปรที่ถูกต้องที่อ้างอิงภายในกระแสข้อมูล

ทั้งสองตัวเลือกนั้นถูกต้อง และแต่ละตัวเลือกมีข้อควรพิจารณาและข้อจํากัดของตัวเอง เราขอแนะนําให้ประเมินวิธีการทํางานของเวิร์กโฟลว์ของคุณและวิธีที่เวิร์กโฟลว์นั้นเหมาะสมกับโซลูชัน Fabric โดยรวมของคุณ

ข้อควรพิจารณาทั่วไป

ต่อไปนี้คือสิ่งที่ควรพิจารณาเมื่อเลือกสถาปัตยกรรมโซลูชันโดยคํานึงถึง CI/CD และ ALM:

• การอ้างอิงเริ่มต้น: กระแสข้อมูล Gen2 สร้างการอ้างอิงแบบสัมบูรณ์ไปยังรายการ Fabric (ตัวอย่างเช่น Lakehouses, Warehouses) ตามค่าเริ่มต้น ตรวจสอบกระแสข้อมูลของคุณเพื่อระบุว่าการอ้างอิงใดควรคงที่และควรปรับแบบไดนามิกในสภาพแวดล้อมต่างๆ
• ลักษณะการทํางานการเชื่อมต่อ: กระแสข้อมูล Gen2 ไม่สนับสนุนการกําหนดค่าใหม่แบบไดนามิกของการเชื่อมต่อแหล่งข้อมูล ถ้ากระแสข้อมูลของคุณเชื่อมต่อกับแหล่งข้อมูล เช่น ฐานข้อมูล SQL โดยใช้พารามิเตอร์ (ตัวอย่างเช่น ชื่อเซิร์ฟเวอร์ ชื่อฐานข้อมูล) การเชื่อมต่อเหล่านั้นจะถูกผูกไว้แบบคงที่ และไม่สามารถเปลี่ยนแปลงได้โดยใช้ตัวแปรพื้นที่ทํางานหรือการกําหนดพารามิเตอร์
• ขอบเขตการรวม Git: เราขอแนะนําว่าเฉพาะขั้นตอนแรก (โดยทั่วไปคือ Dev) เท่านั้นที่ต้องเปิดใช้งานการรวม Git เมื่อเขียนและคอมมิตสคริปต์ Mashup แล้ว ขั้นตอนต่อๆ ไปจะสามารถใช้ไปป์ไลน์การปรับใช้ได้โดยไม่ต้องใช้ Git
• ใช้ไปป์ไลน์ Fabric เพื่อประสานงาน: กิจกรรมกระแสข้อมูลในไปป์ไลน์ สามารถช่วยคุณประสานการเรียกใช้กระแสข้อมูลและส่งผ่านพารามิเตอร์โดยใช้ส่วนติดต่อผู้ใช้ที่ใช้งานง่าย คุณยังสามารถใช้ การรวมไลบรารีตัวแปรกับไปป์ไลน์ เพื่อดึงค่าจากตัวแปรและส่งผ่านค่าเหล่านั้นไปยังพารามิเตอร์กระแสข้อมูลขณะรันไทม์
• ความเข้ากันได้ของกฎการปรับใช้: ปัจจุบัน กฎการปรับใช้สามารถปรับเปลี่ยนคุณสมบัติรายการบางอย่างได้ แต่ไม่รองรับการเปลี่ยนแปลงการเชื่อมต่อกระแสข้อมูลหรือตรรกะการผสมผสาน วางแผนสถาปัตยกรรมของคุณให้เหมาะสม
• การทดสอบข้ามขั้นตอน: ตรวจสอบพฤติกรรมของกระแสข้อมูลในแต่ละขั้นตอนหลังการปรับใช้เสมอ ความแตกต่างในแหล่งข้อมูล สิทธิ์ หรือค่าตัวแปรอาจนําไปสู่ผลลัพธ์ที่ไม่คาดคิด