หมายเหตุ
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลอง ลงชื่อเข้าใช้หรือเปลี่ยนไดเรกทอรีได้
การเข้าถึงหน้านี้ต้องได้รับการอนุญาต คุณสามารถลองเปลี่ยนไดเรกทอรีได้
Data Factory ใน Microsoft Fabric ช่วยคุณแก้ปัญหาที่ยากที่สุดอย่างหนึ่งของธุรกิจ นั่นคือการเปลี่ยนข้อมูลที่กระจัดกระจายให้เป็นข้อมูลเชิงลึกที่เป็นประโยชน์
ข้อมูลขององค์กรของคุณอยู่ในที่ต่างๆ มากมาย ไม่ว่าจะเป็นฐานข้อมูล ไฟล์ บริการระบบคลาวด์ และระบบเดิม ทําให้ยากที่จะได้ภาพที่สมบูรณ์ของธุรกิจของคุณ Data Factory เชื่อมต่อกับแหล่งข้อมูลมากกว่า 170 แห่ง รวมถึงสภาพแวดล้อมแบบมัลติคลาวด์และการตั้งค่าแบบไฮบริดด้วยเกตเวย์ในองค์กร ช่วยให้คุณย้ายและแปลงข้อมูลของคุณในวงกว้าง โดยเปลี่ยนเป็นรูปแบบที่ทํางานได้ดีสําหรับการวิเคราะห์และการตัดสินใจ
ไดอะแกรมของ Data Factory ใน Microsoft Fabric ที่แสดงการเลือกตัวเชื่อมต่อที่เชื่อมโยงกับการวิเคราะห์และเครื่องมือการพัฒนาข้อมูลใน Fabric ผ่านการเคลื่อนย้ายข้อมูล การประสานรวม และการแปลงข้อมูล ทั้งหมดนี้อยู่ด้านบนของ Fabric OneLake และสแต็กทั้งหมดถูกถักทอด้วยความฉลาดที่ขับเคลื่อนด้วย AI
ไม่ว่าคุณจะเป็นผู้ใช้ทางธุรกิจที่สร้างกลยุทธ์การวิเคราะห์ข้อมูลครั้งแรก หรือนักพัฒนาที่สร้างสตรีมงานที่ซับซ้อน คุณจะพบเครื่องมือที่เหมาะสมเพื่อ:
- นําข้อมูลของคุณมารวมกัน
- ทําความสะอาด
- เตรียมพร้อมสําหรับการวิเคราะห์ใน Lakehouse หรือ Data Warehouse ของคุณ
- ทําให้เวิร์กโฟลว์ข้อมูลของคุณเป็นแบบอัตโนมัติ
การรวมข้อมูลคืออะไร
การรวมข้อมูลเป็นกระบวนการในการนําข้อมูลเชิงกลยุทธ์ของคุณมารวมกันเพื่อให้คุณสามารถเข้าถึงและวิเคราะห์ได้ เป็นส่วนสําคัญของธุรกิจที่ต้องการตัดสินใจโดยใช้ข้อมูล
มีหลายวิธีในการรวมข้อมูลของคุณ แต่หนึ่งในกลยุทธ์ที่พบบ่อยที่สุดคือ ETL ETL ย่อมาจาก Extract, Transform, Load ใช้ข้อมูลจากแหล่งต่างๆ แปลงเป็นรูปแบบที่คุณสามารถวิเคราะห์ได้ และโหลดลงในระบบปลายทางทั่วไปสําหรับการวิเคราะห์หรือการรายงาน เมื่อคุณใช้กระบวนการ ETL ในแพลตฟอร์มข้อมูลของธุรกิจ จะช่วยปรับปรุงความสอดคล้อง คุณภาพ และการเข้าถึงของข้อมูล
นี่คือสิ่งที่แต่ละเฟสทํา:
- แยกข้อมูล: อ่านข้อมูลจากแหล่งที่มาของคุณและย้ายไปยังตําแหน่งที่เก็บข้อมูลส่วนกลาง แหล่งที่มาอาจเป็นฐานข้อมูล ไฟล์ API เว็บไซต์ และอื่นๆ
- แปลง: ล้าง เพิ่มคุณค่า และแปลงข้อมูลของคุณให้เป็นรูปแบบที่วิเคราะห์ได้ง่าย ตัวอย่างเช่น คุณอาจต้องการเปรียบเทียบข้อมูลการขายจากฐานข้อมูล SQL กับเอกสารการขายในอดีตที่สแกน หลังจากแยกข้อมูลแล้ว คุณต้องแปลงข้อมูลจากแต่ละแหล่งเพื่อให้อยู่ในรูปแบบเดียวกัน
- โหลด: เขียนข้อมูลที่แปลงไปยังระบบปลายทาง เช่น คลังข้อมูลหรือที่จัดเก็บข้อมูลดิบ ระบบปลายทางคือที่ที่คุณสามารถเรียกใช้การสืบค้นและรายงานเกี่ยวกับข้อมูลของคุณได้
ETL หรือ ELT?
เมื่อคุณทํางานกับข้อมูล วิธีที่คุณย้ายและแปลงข้อมูลมีความสําคัญ และทุกองค์กรจะมีความต้องการที่แตกต่างกัน ตัวอย่างเช่น: ETL (แยก แปลง โหลด) และ ELT (แยก โหลด แปลง) แต่ละอย่างมีจุดแข็ง ขึ้นอยู่กับความต้องการด้านประสิทธิภาพ ความสามารถในการปรับขนาด และต้นทุน
ETL: แปลงข้อมูลของคุณก่อนที่จะโหลดไปยังปลายทาง วิธีนี้ใช้ได้ดีเมื่อคุณต้องการล้าง สร้างมาตรฐาน หรือเพิ่มข้อมูลขณะที่ข้อมูลเคลื่อนที่ ตัวอย่างเช่น ใช้ Dataflow Gen 2 ของ Data Factory เพื่อใช้การแปลงตามขนาดก่อนที่จะโหลดข้อมูลลงในคลังสินค้าหรือ Lakehouse
ELT: โหลดข้อมูลดิบก่อน แล้วจึงแปลงในตําแหน่งที่จัดเก็บ วิธีนี้ใช้พลังของกลไกการวิเคราะห์ เช่น OneLake, Spark Notebooks ของ Fabric หรือเครื่องมือที่ใช้ SQL ELT ทํางานได้ดีสําหรับการจัดการชุดข้อมูลขนาดใหญ่ด้วยการประมวลผลระดับคลาวด์ที่ทันสมัย
Fabric Data Factory รองรับทั้งสองอย่าง คุณสามารถ:
- สร้างไปป์ไลน์ ETL แบบคลาสสิกเพื่อคุณภาพและความพร้อมของข้อมูลในทันที
- ใช้เวิร์กโฟลว์ ELT เพื่อใช้ประโยชน์จากการประมวลผลและพื้นที่จัดเก็บแบบบูรณาการสําหรับการเปลี่ยนแปลงขนาดใหญ่
- รวมทั้งสองวิธีไว้ในโซลูชันเดียวกันเพื่อความยืดหยุ่น
Data Factory เป็นโซลูชันการรวมข้อมูลที่มีประสิทธิภาพ
Data Factory เชื่อมต่อกับข้อมูลของคุณ ย้าย แปลงข้อมูล และประสานงานการเคลื่อนย้ายข้อมูลและการแปลงข้อมูลของคุณจากที่เดียว คุณเป็นผู้ตัดสินใจว่ากลยุทธ์ใดที่เหมาะกับธุรกิจของคุณมากที่สุด และ Data Factory มีเครื่องมือในการทําให้สําเร็จ
เชื่อมต่อกับข้อมูลของคุณ: ไม่ว่าจะเป็นในองค์กร ในระบบคลาวด์ หรือในสภาพแวดล้อมแบบมัลติคลาวด์ Data Factory จะเชื่อมต่อกับแหล่งข้อมูลและปลายทางของคุณ รองรับแหล่งข้อมูลที่หลากหลาย รวมถึงฐานข้อมูล ที่จัดเก็บข้อมูลดิบ ระบบไฟล์ API และอื่นๆ ดู ตัวเชื่อมต่อที่พร้อมใช้งาน สําหรับรายการแหล่งข้อมูลและปลายทางที่รองรับทั้งหมด
ย้ายข้อมูล: Data Factory มีหลายวิธีในการย้ายข้อมูลจากต้นทางไปยังปลายทาง หรือให้การเข้าถึงข้อมูลที่มีอยู่ได้ง่าย ขึ้นอยู่กับความต้องการของคุณ
- งานคัดลอก - โซลูชันที่ต้องการสําหรับการเคลื่อนย้ายข้อมูลที่ง่ายขึ้นด้วยการสนับสนุนแบบเนทีฟสําหรับรูปแบบการส่งมอบที่หลากหลาย รวมถึงการคัดลอกจํานวนมาก สําเนาส่วนเพิ่ม และการจําลองแบบการบันทึกข้อมูลการเปลี่ยนแปลง (CDC) นอกจากนี้ยังมีความยืดหยุ่นในการจัดการกับสถานการณ์ที่หลากหลายจากหลายแหล่งไปจนถึงปลายทางต่างๆ ทั้งหมดนี้ผ่านประสบการณ์ที่ใช้งานง่ายและใช้งานง่าย
- กิจกรรมการคัดลอก - ย้ายข้อมูลจากที่หนึ่งไปยังอีกที่หนึ่งในทุกขนาด ด้วยการปรับแต่งที่กว้างขวาง รองรับแหล่งที่มาและปลายทางที่หลากหลาย และการควบคุมการคัดลอกแบบขนานด้วยตนเองเพื่อประสิทธิภาพที่ดีขึ้น
- การมิเรอร์ - สร้างแบบจําลองฐานข้อมูลการดําเนินงานของคุณแบบเกือบเรียลไทม์ภายใน OneLake ใน Microsoft Fabric เพื่อทําให้การวิเคราะห์และการรายงานของคุณง่ายขึ้น
ดู คู่มือการตัดสินใจเกี่ยวกับการย้ายข้อมูล ของเราเพื่อช่วยคุณเลือกวิธีการย้ายข้อมูลที่เหมาะสมสําหรับสถานการณ์ของคุณ
แปลง: Data Factory มีกิจกรรมเพื่อเชื่อมต่อคุณกับสคริปต์การแปลงแบบกําหนดเองหรือตัวออกแบบกระแสข้อมูลที่มีประสิทธิภาพ
- กิจกรรมไปป์ไลน์ - สมุดบันทึก Fabric, กิจกรรม HDInsight, ข้อกําหนดงาน Spark, กระบวนงานที่เก็บไว้, สคริปต์ SQL และอื่นๆ กิจกรรมเหล่านี้ช่วยให้คุณสามารถเรียกใช้โค้ดหรือสคริปต์แบบกําหนดเองเพื่อแปลงข้อมูลของคุณ
- กระแสข้อมูล Gen 2 - แปลงข้อมูลของคุณโดยใช้อินเทอร์เฟซแบบ low-code ที่มีการแปลงมากกว่า 300 รายการ คุณสามารถทําการรวม การรวม การล้างข้อมูล การแปลงแบบกําหนดเอง และอื่นๆ อีกมากมาย
- งาน dbt - งาน dbt ใน Microsoft Fabric เปิดใช้งานการแปลงข้อมูลตาม SQL โดยตรงใน Fabric พวกเขาให้การตั้งค่าที่เรียบง่ายและไม่ต้องเขียนโค้ดเพื่อสร้าง ทดสอบ และปรับใช้โมเดล dbt ที่ด้านบนของคลังข้อมูล Fabric ของคุณ
ประสานงาน: Data Factory ช่วยให้คุณสร้างไปป์ไลน์ที่สามารถเรียกใช้การเคลื่อนย้ายข้อมูล การแปลง และกิจกรรมอื่นๆ ได้หลายรายการในเวิร์กโฟลว์เดียว
- กําหนดเวลาไปป์ไลน์ให้ทํางานตามเวลาที่กําหนดหรือทริกเกอร์ตามเหตุการณ์
- ไปป์ไลน์สามารถรวม ตรรกะโฟลว์การควบคุม เช่น ลูปและเงื่อนไข เพื่อจัดการเวิร์กโฟลว์ที่ซับซ้อนและประสานการประมวลผลข้อมูลทั้งหมดของคุณโดยใช้ UI ของตัวออกแบบไปป์ไลน์แบบ low-code ที่เรียบง่าย
- หากคุณต้องการแสดงกระบวนการประสานงานของคุณในโค้ด Fabric Data Factory จะผสานรวมกับ Apache Airflow เพื่อสร้าง DAG สําหรับการประสานงานโดยใช้ Python
การรวมข้อมูลที่ขับเคลื่อนด้วย AI
AI ปรากฏทั่วทั้ง Data Factory เพื่อช่วยให้คุณทํางานได้มากขึ้นโดยใช้ความพยายามน้อยลง Copilot for Data Factory ให้คุณออกแบบ แก้ไข และจัดการไปป์ไลน์และกระแสข้อมูลโดยใช้ภาษาธรรมชาติ คุณสามารถพิมพ์ข้อความแจ้งภาษาอังกฤษธรรมดา และ Copilot จะเปลี่ยนเป็นขั้นตอน ETL ที่ใช้งานได้
นอกจากนี้ Copilot ยังสรุปคิวรีกระแสข้อมูลและไปป์ไลน์ที่มีอยู่ของคุณ คุณจึงสามารถเข้าใจได้อย่างรวดเร็วว่าพวกเขาทําอะไร หากคุณพบข้อผิดพลาด Copilot จะอธิบายว่าเกิดอะไรขึ้นและแนะนําวิธีแก้ไข
สําหรับรายละเอียด โปรดดู Copilot ใน Fabric ในปริมาณงาน Data Factory
คุณต้องการอะไรในการเริ่มต้น?
- บัญชีผู้เช่า Microsoft Fabric ที่มีการสมัครใช้งานที่ใช้งานอยู่ หากคุณยังไม่มี คุณสามารถ สร้างบัญชีฟรีได้
- พื้นที่ทํางานที่เปิดใช้งาน Microsoft Fabric เรียนรู้วิธีสร้างพื้นที่ทํางาน
จะเกิดอะไรขึ้นถ้าเราใช้ Azure Data Factory อยู่แล้ว
Data Factory ใน Microsoft Fabric เป็น Azure Data Factory รุ่นต่อไปที่สร้างขึ้นเพื่อจัดการกับความท้าทายในการรวมข้อมูลที่ซับซ้อนที่สุดของคุณด้วยวิธีการที่ง่ายกว่า
ดูคู่มือการเปรียบเทียบของเรา สําหรับความแตกต่างที่สําคัญระหว่างบริการทั้งสองนี้ เพื่อให้คุณสามารถเลือกได้อย่างถูกต้องสําหรับองค์กรของคุณ
เมื่อคุณพร้อมที่จะย้ายข้อมูล ให้ทําตามคู่มือการย้ายข้อมูลของเรา
เนื้อหาที่เกี่ยวข้อง
สําหรับข้อมูลเพิ่มเติมและเริ่มต้นใช้งาน Microsoft Fabric ให้ทําตามคําแนะนําเหล่านี้:
- แนะนําห้องปฏิบัติการโรงงานข้อมูล - การสาธิตโรงงานข้อมูลใน Fabric
- คุณสามารถเชื่อมต่อกับอะไรได้บ้าง - แหล่งที่มาและปลายทางที่มีอยู่ทั้งหมดสําหรับ Data Factory
- บทช่วยสอน Data Factory แบบ end-to-end - เราจะแนะนําคุณตลอดกระบวนการ ETL ทั้งหมด ตั้งแต่การนําเข้าข้อมูลไปจนถึงการแปลงและการโหลดไปยังระบบปลายทาง