โยกย้ายจาก Azure Data Explorer (ADX) ไปยัง Fabric Real-Time intelligence (Eventhouse)

บทความนี้แสดงวิธีการค่อยๆ เปลี่ยนปริมาณงานการวิเคราะห์ของคุณจาก Azure Data Explorer ไปยัง Eventhouse ใน Fabric Real-Time อัจฉริยะโดยไม่ต้องหยุดทํางาน เริ่มต้นด้วยการใช้ Fabric เป็นเลเยอร์การสืบค้นในขณะที่ ADX ยังคงนําเข้าข้อมูลเพื่อสํารวจคุณลักษณะของ Fabric เมื่อคุณพร้อมแล้ว ให้ ย้ายข้อมูลทั้งหมด โดยการย้ายสคีมาและการนําเข้าไปยัง Fabric

ใช้ข้อมูล ADX ใน Fabric

เก็บ ADX ไว้สําหรับการนําเข้าเท่านั้น และย้ายการสืบค้นไปยัง Fabric โดยใช้วิธีใดวิธีหนึ่งจากสองวิธีนี้เพื่อใช้ข้อมูล ADX จาก Fabric โดยไม่ทําซ้ําข้อมูล

• ทางลัดฐานข้อมูลแฟบริค (ผู้ติดตาม)

  สร้าง ทางลัดฐานข้อมูล ไปยังฐานข้อมูล Azure Data Explorer และคิวรีโดยไม่ต้องโยกย้ายข้อมูลไปยัง Fabric ทางลัดฐานข้อมูลในปริมาณงานอัจฉริยะ Fabric Real-Time เป็นการอ้างอิงแบบฝังตัวในฐานข้อมูล Kusto Query Language (KQL) ไปยังฐานข้อมูลต้นทางใน Azure Data Explorer ลักษณะการทํางานของทางลัดฐานข้อมูลจะคล้ายกับ ฐานข้อมูลผู้ติดตาม ซิงค์ข้อมูลใหม่โดยมีความล่าช้าเล็กน้อย (วินาทีถึงนาที) และช่วยให้รายการ Fabric ทั้งหมดดูและสืบค้นข้อมูล ADX โดยไม่ต้องนําเข้าใหม่

• แนบคลัสเตอร์ ADX เป็นแหล่งข้อมูลที่สืบค้นได้

  ใน Fabric ตรวจสอบให้แน่ใจว่าคุณมีการเชื่อมต่อกับคลัสเตอร์ ADX เพิ่มแหล่งข้อมูล Azure Data Explorer ในชุดคิวรี KQL ซึ่งช่วยให้รายการ Fabric บางอย่าง เช่น ชุดคิวรีและแดชบอร์ดแบบเรียลไทม์คิวรีข้อมูล ADX สําหรับข้อมูลเพิ่มเติม โปรดดู คิวรีข้อมูลในชุดคิวรี KQL - Microsoft Fabric

  ลองใช้ความสามารถของ Fabric เช่น การสร้างคิวรีที่ช่วยโดย Copilot, Notebooks, Activator และรายงาน Power BI ในข้อมูล ADX ของคุณ เรียกใช้แดชบอร์ดและคิวรีทั้งหมดของคุณใน Fabric ในขณะที่การนําเข้ายังคงเกิดขึ้นใน ADX เมื่อคุณพร้อมที่จะย้ายข้อมูลอย่างสมบูรณ์แล้ว ให้ทําตามขั้นตอนถัดไป

ขั้นตอนการย้ายข้อมูลระดับสูง

ทําตามขั้นตอนเหล่านี้เพื่อย้ายข้อมูลจาก ADX ไปยัง Fabric:

1. สร้างฐานข้อมูล KQL ใหม่ใน Fabric ด้วยสคีมา ADX
2. สร้างมุมมองด้วยตัวดําเนินการ union ที่เข้าถึงทั้งตารางในฐานข้อมูล KQL และตารางในฐานข้อมูล ADX
3. เปลี่ยนเส้นทางจุดสิ้นสุดแบบสอบถามไปยังฐานข้อมูล KQL ใน Fabric Eventhouse
4. สลับการนําเข้าข้อมูลเป็น Fabric
5. เลิกใช้คลัสเตอร์ ADX

ส่วนต่อไปนี้ให้รายละเอียดเกี่ยวกับแต่ละขั้นตอน

สร้างฐานข้อมูล KQL ใน Fabric ด้วย Schema ADX

1. สร้างฐานข้อมูล KQL ที่ว่างเปล่าในบ้านเหตุการณ์ Fabric ที่ในที่สุดจะแทนที่ฐานข้อมูล ADX ต้องมี schema ตารางและฟังก์ชันเดียวกันกับฐานข้อมูล ADX ของคุณ สําหรับคําแนะนํา โปรดดู การสร้างบ้านเหตุการณ์และฐานข้อมูล KQL

2. จําลองสคีมา

   ใช้ ซิงค์ Kusto หรือส่งออก Schema จากฐานข้อมูล ADX เพื่อสร้างใหม่ในฐานข้อมูล Fabric KQL SyncKusto เป็นเครื่องมือเฉพาะที่ซิงโครไนซ์สคีมาฐานข้อมูล Kusto (ตาราง ฟังก์ชัน ฯลฯ) ระหว่างสภาพแวดล้อม

   อีกวิธีหนึ่งคือ คุณสามารถเรียกใช้คําสั่ง KQL: ใน .show database schema ADX ซึ่งสร้างสคริปต์ของข้อกําหนดตาราง ฟังก์ชัน และนโยบายทั้งหมด แล้วเรียกใช้สคริปต์ที่สร้างขึ้นบนฐานข้อมูล KQL ใน Fabric

3. ตรวจสอบสคีมา

   ยืนยันว่าตาราง คอลัมน์ ชนิดข้อมูล และนโยบายที่เกี่ยวข้อง (การเก็บรักษา การแคช ฯลฯ) ทั้งหมดในฐานข้อมูล KQL ตรงกับในฐานข้อมูล ADX ณ จุดนี้ ฐานข้อมูล Fabric KQL ว่างเปล่า แต่พร้อมที่จะรับข้อมูล และคุณยังสามารถคิวรี ADX โดยใช้วิธีการจากส่วนสํารวจข้อมูล ADX ใน Fabric

สร้างมุมมองแบบยูเนี่ยนเพื่อการเข้าถึงข้อมูลที่ราบรื่น

เมื่อต้องการหลีกเลี่ยงการหยุดชะงักระหว่างการโยกย้ายข้อมูล ให้สร้างมุมมอง KQL ใน Fabric ที่รวมข้อมูลจากทั้งฐานข้อมูล ADX เก่าและฐานข้อมูล Fabric KQL ใหม่ วิธีนี้ช่วยให้คิวรีส่งคืนชุดข้อมูลที่สมบูรณ์ในระหว่างการเปลี่ยน:

1. กําหนดมุมมองแบบสหภาพ

   สําหรับแต่ละตาราง ให้สร้างฟังก์ชันที่เก็บไว้ใน Fabric (with .create function with (view=true)) ที่รวมตาราง Fabric กับตาราง ADX ที่สอดคล้องกัน ตั้งชื่อฟังก์ชันให้เหมือนกับตารางทุกประการเพื่อแทนที่อย่างโปร่งใส ตัวอย่างเช่น สําหรับตาราง MyTableสร้างฟังก์ชันโดยใช้คําสั่งต่อไปนี้:

   .create function with (view=true) MyTable() {
       MyTable 
       | union cluster("YourADXCluster").database("YourDatabase").MyTable
   }
   

   มุมมองนี้ส่งกลับการรวมกันของโลคัลใน MyTable ฐานข้อมูล KQL Fabric ซึ่งว่างเปล่าหรือได้รับข้อมูลใหม่ในขณะนี้ และตาราง MyTable ระยะไกลในฐานข้อมูล ADX

   เนื่องจากชื่อของมุมมองคือ MyTable แบบสอบถามหรือรายงานใดๆ ที่ใช้ชื่อตารางนั้นจึงจะสอบถามแหล่งข้อมูลทั้งสองโดยอัตโนมัติ

   Fabric และ ADX อาจอยู่ในคลัสเตอร์หรือผู้เช่าที่แตกต่างกัน หากคําสั่งการสร้างบ่นเกี่ยวกับการอ้างอิงภายนอก ให้ใช้ skipvalidation=true อ็อพชันในการสร้างฟังก์ชัน ซึ่งบางครั้งจําเป็นสําหรับฟังก์ชันข้ามคลัสเตอร์

2. ทดสอบมุมมอง

   เรียกใช้การนับหรือคิวรีตัวอย่างบนมุมมอง (ตัวอย่างเช่น ) MyTable | countเพื่อให้แน่ใจว่าส่งคืนข้อมูลจาก ADX ฐานข้อมูล KQL ของ Fabric ยังคงว่างเปล่าในขณะนี้ แต่เมื่อคุณโยกย้ายการนําเข้าในขั้นตอนถัดไป

เปลี่ยนเส้นทางจุดสิ้นสุดแบบสอบถามไปยังฐานข้อมูล KQL ใน Fabric Eventhouse

ตอนนี้อัปเดตเครื่องมือและแอปพลิเคชันของคุณเพื่อสอบถามฐานข้อมูล Fabric KQL ใหม่แทนฐานข้อมูล ADX:

1. อัปเดตสตริงการเชื่อมต่อ

   เปลี่ยนแอปพลิเคชันการวิเคราะห์ คิวรี KQL หรือรายงาน Power BI เพื่อใช้จุดสิ้นสุดของฐานข้อมูล KQL (คิวรี URI) แทนที่จะเป็นคลัสเตอร์ ADX แบบสอบถามยังคงเหมือนเดิมเนื่องจากชื่อตารางและ KQL ไม่เปลี่ยนแปลง แต่ตอนนี้ทํางานใน Fabric เนื่องจากมุมมองแบบรวมที่สร้างขึ้นในขั้นตอนก่อนหน้า ผู้ใช้ที่คิวรีฐานข้อมูล Fabric KQL ยังคงได้รับข้อมูลในอดีตทั้งหมดจาก ADX ผ่านมุมมอง รวมถึงข้อมูลใหม่ใดๆ ที่นําเข้าไปยัง Fabric

2. รายงานการทดสอบและแอป

   ตรวจสอบให้แน่ใจว่า แดชบอร์ดและสคริปต์ได้รับผลลัพธ์ตามที่คาดไว้จากฐานข้อมูล Fabric KQL ประสิทธิภาพอาจแตกต่างกันเล็กน้อย Fabric อาจแคชข้อมูล ADX บางส่วนหากคุณใช้ทางลัด ขั้นตอนนี้จะย้ายจุดสิ้นสุดแบบสอบถามไปยัง Fabric อย่างมีประสิทธิภาพ การดําเนินการอ่าน/สืบค้นทั้งหมดจะเกิดขึ้นบน Fabric

สลับการนําเข้าข้อมูลเป็น Fabric

ด้วยการค้นหาที่ให้บริการโดย Fabric ให้นําสตรีมข้อมูลขาเข้าไปยัง Fabric:

1. ไปป์ไลน์การนําเข้า Repoint

   เปลี่ยนผู้ผลิตข้อมูลทั้งหมด เช่น อุปกรณ์ IoT, งานแยก-แปลง-โหลด (ETL), การเชื่อมต่อ Event Hubs และอื่นๆ ที่นําเข้าลงในฐานข้อมูล ADX ก่อนหน้านี้ ดังนั้นพวกเขาจึงนําเข้าไปยังฐานข้อมูล Fabric KQL ขั้นตอนนี้อาจรวมถึงการเปลี่ยน URL ของคลัสเตอร์ การรับรองความถูกต้อง หรือการอัปเดตสตริงการเชื่อมต่อใน Azure Data Factory, Stream Analytics หรือแอปแบบกําหนดเองเพื่อใช้จุดสิ้นสุดการนําเข้าฐานข้อมูล KQL หรือ URI

2. ตรวจสอบโฟลว์ข้อมูลใหม่

   ตรวจสอบว่าระเบียนใหม่อยู่ในตารางในฐานข้อมูล KQL ฐานข้อมูล KQL ใน Fabric เริ่มสะสมข้อมูล เนื่องจากคุณกําลังใช้มุมมองแบบรวม คิวรีใน Fabric ยังคงแสดงชุดข้อมูลแบบรวม เมื่อเวลาผ่านไป ข้อมูลใน ADX จะค้างเนื่องจากไม่มีข้อมูลใหม่ถูกนําเข้าไปยัง ADX หลังจากการเปลี่ยนนี้

เลิกใช้คลัสเตอร์ ADX

เมื่อคุณมั่นใจว่าข้อมูลที่จําเป็นทั้งหมดพร้อมใช้งานใน Fabric ให้เลิกใช้งานทรัพยากร ADX เก่า:

1. ลบการอ้างอิงสหภาพแรงงาน

   เปลี่ยนหรือวางมุมมองแบบรวมเพื่อไม่ให้คิวรีดึงจากคลัสเตอร์ ADX ตัวอย่างเช่น ปรับปรุงข้อกําหนดฟังก์ชันเพื่อใช้ MyTable { MyTable } เฉพาะข้อมูลภายในเครื่อง หรือวางฟังก์ชันหากตารางทางกายภาพใน Fabric มีข้อมูลทั้งหมด ตรวจสอบว่าคําค้นหาและแดชบอร์ดของคุณทํางานตามที่คาดไว้กับข้อมูลเฉพาะ Fabric

2. เก็บถาวรหรือถ่ายโอนข้อมูลย้อนหลัง (ถ้าจําเป็น)

   หากยังมีข้อมูลในอดีตใน ADX ที่ไม่ได้ย้าย (ตัวอย่างเช่น หากคุณไม่ได้รอให้ข้อมูลหมดอายุ) ให้พิจารณาส่งออกข้อมูลนั้นไปยัง Fabric ก่อนปิดเครื่อง มิฉะนั้น ให้ดําเนินการต่อหากข้อมูลใน ADX เกินข้อกําหนดการเก็บรักษา

3. ปลด ADX

   เมื่อ Fabric ให้บริการทั้งการสืบค้นและการนําเข้า ให้ปิดหรือลบคลัสเตอร์ ADX เพื่อประหยัดค่าใช้จ่าย ผู้ใช้ทุกคนควรเชื่อมต่อกับ Fabric ทันที

Summary

เมื่อทําตามขั้นตอนในบทความนี้ คุณจะโยกย้ายจาก ADX ไปยัง Fabric โดยมีการหยุดชะงักน้อยที่สุด คุณเริ่มต้นด้วยการย้ายเลเยอร์การบริโภคไปยัง Fabric ซึ่งจะปลดล็อกคุณลักษณะต่างๆ เช่น Copilot, Power BI, Notebooks และ Activator จากนั้นค่อยๆ เปลี่ยนแบ็กเอนด์ไปยัง Fabric ตอนนี้ ระบบอัจฉริยะแบบเรียลไทม์ของ Fabric (Eventhouse) จัดการทั้งการนําเข้าและการสืบค้นข้อมูลของคุณ และไม่ได้ใช้งาน ADX