หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
ไปป์ไลน์ใน Microsoft Fabric Data Factory ช่วยคุณประสานและทําให้เวิร์กโฟลว์ข้อมูลของคุณเป็นแบบอัตโนมัติ ไปป์ไลน์คือการจัดกลุ่มเชิงตรรกะของกิจกรรมที่ทํางานร่วมกัน ตัวอย่างเช่น ไปป์ไลน์อาจมีชุดของกิจกรรมที่นําเข้าและล้างข้อมูลบันทึก จากนั้นเริ่มโฟลว์ข้อมูลเพื่อวิเคราะห์ข้อมูลบันทึก
ไปป์ไลน์ช่วยให้คุณสามารถจัดการกิจกรรมเป็นชุดแทนที่จะเป็นแต่ละรายการ คุณปรับใช้และจัดกําหนดการไปป์ไลน์แทนกิจกรรมอย่างอิสระ
เมื่อใดควรใช้ไปป์ไลน์
ไปป์ไลน์แก้ปัญหาความท้าทายด้านข้อมูลทั่วไปโดยทําให้งานซ้ําๆ เป็นไปโดยอัตโนมัติและรับประกันการประมวลผลข้อมูลที่สอดคล้องกัน
สมมติว่าคุณเป็นบริษัทค้าปลีกที่ต้องการประมวลผลข้อมูลยอดขายรายวันจากร้านค้าหลายแห่ง ในแต่ละวัน คุณต้อง:
- รวบรวมข้อมูล จากระบบ ณ จุดขาย คําสั่งซื้อออนไลน์ และฐานข้อมูลสินค้าคงคลัง
- ตรวจสอบและล้าง ข้อมูลเพื่อให้มั่นใจในความถูกต้อง
- แปลง ข้อมูลโดยการคํานวณผลรวมรายวัน ใช้กฎทางธุรกิจ และเพิ่มข้อมูลลูกค้า
- โหลด ข้อมูลที่ประมวลผลลงในคลังข้อมูลของคุณเพื่อการรายงาน
- แจ้ง ให้ทีมข่าวกรองธุรกิจของคุณทราบเมื่อข้อมูลพร้อม
ไปป์ไลน์ทําให้เวิร์กโฟลว์ทั้งหมดนี้เป็นไปโดยอัตโนมัติ ทํางานตามกําหนดเวลา จัดการข้อผิดพลาดได้อย่างสง่างาม และให้การมองเห็นในแต่ละขั้นตอน คุณจะได้รับการประมวลผลข้อมูลที่สม่ําเสมอและทันท่วงทีโดยไม่ต้องมีการแทรกแซงด้วยตนเอง
ส่วนประกอบไปป์ไลน์ที่สําคัญ
ไปป์ไลน์ประกอบด้วยส่วนประกอบหลักหลายอย่างที่ทํางานร่วมกันเพื่อสร้างเวิร์กโฟลว์ข้อมูลที่มีประสิทธิภาพ ส่วนประกอบหลักประกอบด้วย กิจกรรม ที่ทํางานและเพิ่มตรรกะให้กับไปป์ไลน์ กําหนดการหรือทริกเกอร์ ที่กําหนดเวลาที่ไปป์ไลน์ทํางาน และ พารามิเตอร์ ที่ทําให้ไปป์ไลน์ของคุณมีความยืดหยุ่นและนํากลับมาใช้ใหม่ได้
กิจกรรม
กิจกรรมเป็นส่วนประกอบสําคัญของไปป์ไลน์ของคุณ แต่ละกิจกรรมจะทํางานเฉพาะ และมีกิจกรรมสามประเภทหลัก:
- กิจกรรมการเคลื่อนย้ายข้อมูล: คัดลอกข้อมูลระหว่างแหล่งที่มาและปลายทางต่างๆ
- กิจกรรมการแปลงข้อมูล: ล้าง รวม และปรับรูปร่างข้อมูลของคุณ
- ควบคุมกิจกรรมโฟลว์: เพิ่มตรรกะ เช่น เงื่อนไข ลูป และการจัดการข้อผิดพลาด
คุณสามารถเชื่อมโยงกิจกรรมเข้าด้วยกันเพื่อสร้างเวิร์กโฟลว์ที่ซับซ้อน เมื่อกิจกรรมหนึ่งเสร็จสมบูรณ์ จะสามารถทริกเกอร์กิจกรรมถัดไปตามสถานะความสําเร็จ ความล้มเหลว หรือความสําเร็จ
สําหรับรายการกิจกรรมทั้งหมดที่พร้อมใช้งานและข้อมูลเพิ่มเติม โปรดดู ภาพรวมกิจกรรม
การเรียกใช้ไปป์ไลน์และการจัดกําหนดการ
การเรียกใช้ไปป์ไลน์เกิดขึ้นเมื่อไปป์ไลน์ดําเนินการ ในระหว่างการรัน กิจกรรมทั้งหมดในไปป์ไลน์ของคุณจะได้รับการประมวลผลและเสร็จสมบูรณ์ การเรียกใช้ไปป์ไลน์แต่ละครั้งจะได้รับรหัสการเรียกใช้ที่ไม่ซ้ํากันซึ่งคุณสามารถใช้สําหรับการติดตามและตรวจสอบได้
คุณสามารถเริ่มการเรียกใช้ไปป์ไลน์ได้สามวิธี:
การเรียกใช้ตามความต้องการ: เลือก เรียกใช้ ในตัวแก้ไขไปป์ไลน์ เพื่อทริกเกอร์การเรียกใช้ทันที คุณจะต้องบันทึกการเปลี่ยนแปลงใดๆ ก่อนที่ไปป์ไลน์จะเริ่มทํางาน
การเรียกใช้ตามกําหนดการ: ตั้งค่าการเรียกใช้อัตโนมัติตามเวลาและความถี่ เมื่อคุณสร้างกําหนดการ คุณจะระบุวันที่เริ่มต้นและสิ้นสุด ความถี่ และโซนเวลา
การเรียกใช้ตามเหตุการณ์: ใช้ทริกเกอร์เหตุการณ์เพื่อเริ่มไปป์ไลน์ของคุณเมื่อมีเหตุการณ์เฉพาะเกิดขึ้น เช่น ไฟล์ใหม่ที่มาถึงที่จัดเก็บข้อมูลดิบหรือการเปลี่ยนแปลงในฐานข้อมูล
สําหรับข้อมูลเพิ่มเติม โปรดดู เรียกใช้ จัดกําหนดการ หรือทริกเกอร์ไปป์ไลน์
พารามิเตอร์และตัวแปร
พารามิเตอร์ทําให้ไปป์ไลน์ของคุณมีความยืดหยุ่น คุณสามารถส่งผ่านค่าที่แตกต่างกันเมื่อคุณเรียกใช้ไปป์ไลน์ ซึ่งอนุญาตให้ไปป์ไลน์เดียวกันประมวลผลชุดข้อมูลที่แตกต่างกันหรือใช้การกําหนดค่าที่แตกต่างกัน
ตัวแปรเก็บค่าชั่วคราวระหว่างการดําเนินการไปป์ไลน์ คุณสามารถใช้เพื่อส่งข้อมูลระหว่างกิจกรรมหรือตัดสินใจตามเงื่อนไขรันไทม์
สําหรับข้อมูลเพิ่มเติม โปรดดู วิธีใช้พารามิเตอร์ นิพจน์ และฟังก์ชันในไปป์ไลน์
การตรวจสอบและการจัดการไปป์ไลน์
Fabric ให้การตรวจสอบที่ครอบคลุมสําหรับไปป์ไลน์ของคุณ:
- การตรวจสอบแบบเรียลไทม์: ดูความคืบหน้าของไปป์ไลน์ของคุณขณะทํางาน พร้อมตัวบ่งชี้ภาพสําหรับสถานะของแต่ละกิจกรรม
- ประวัติการเรียกใช้: ตรวจสอบการดําเนินการที่ผ่านมาเพื่อระบุรูปแบบและแก้ไขปัญหา
- ตัวชี้วัดประสิทธิภาพ: วิเคราะห์เวลาดําเนินการและการใช้ทรัพยากรเพื่อเพิ่มประสิทธิภาพไปป์ไลน์ของคุณ
- เส้นทางการตรวจสอบ: ติดตามว่าใครเรียกใช้ไปป์ไลน์ใดเมื่อใด พร้อมบันทึกโดยละเอียดของเวลาเริ่มต้น เวลาสิ้นสุด ระยะเวลากิจกรรม ข้อความแสดงข้อผิดพลาด และสายข้อมูล
สําหรับข้อมูลเพิ่มเติม โปรดดู ตรวจสอบการเรียกใช้ไปป์ไลน์
แนวทางปฏิบัติที่ดีที่สุด
เมื่อออกแบบไปป์ไลน์ ให้พิจารณาคําแนะนําเหล่านี้:
- เริ่มต้นอย่างง่าย: เริ่มต้นด้วยการเคลื่อนย้ายข้อมูลพื้นฐานและค่อยๆ เพิ่มความซับซ้อน
- ใช้พารามิเตอร์: ทําให้ไปป์ไลน์ของคุณนํากลับมาใช้ใหม่ได้โดยการกําหนดพารามิเตอร์การเชื่อมต่อและเส้นทางไฟล์
- จัดการข้อผิดพลาด: วางแผนสําหรับความล้มเหลวด้วยตรรกะการลองใหม่และเส้นทางการประมวลผลทางเลือก
- ตรวจสอบประสิทธิภาพ: ตรวจสอบเวลาดําเนินการอย่างสม่ําเสมอและเพิ่มประสิทธิภาพกิจกรรมที่ทํางานช้า
- ทดสอบอย่างละเอียด: ตรวจสอบไปป์ไลน์ของคุณด้วยข้อมูลตัวอย่างก่อนประมวลผลปริมาณงานการผลิต