การตรวจหาความผิดปกติหลายตัวแปรใน Microsoft Fabric - ภาพรวม

การตรวจจับความผิดปกติหลายตัวแปรสําหรับอนุกรมเวลาคืออะไร การตรวจจับความผิดปกติแบบตัวแปรเดียว ซึ่งดําเนินการโดยฟังก์ชัน KQL series_decompose_anomalies() ช่วยให้คุณสามารถตรวจสอบและตรวจจับความผิดปกติในการกระจายตัวแปรเดียวเมื่อเวลาผ่านไป ในทางตรงกันข้าม การตรวจจับความผิดปกติหลายตัวแปรเป็นวิธีการตรวจจับความผิดปกติในการกระจายร่วมกันของตัวแปรหลายตัวเมื่อเวลาผ่านไป วิธีนี้มีประโยชน์เมื่อตัวแปรมีความสัมพันธ์กันดังนั้นการรวมกันของค่าในเวลาที่กําหนดอาจผิดปกติในขณะที่ค่าของตัวแปรแต่ละตัวนั้นเป็นเรื่องปกติ การตรวจจับความผิดปกติหลายตัวแปรสามารถใช้ในแอปพลิเคชันต่างๆ เช่น การตรวจสอบความสมบูรณ์ของระบบ IoT ที่ซับซ้อน การตรวจจับการฉ้อโกงในการทําธุรกรรมทางการเงิน และการระบุรูปแบบที่ผิดปกติในการรับส่งข้อมูลเครือข่าย

ตัวอย่างเช่น พิจารณาระบบที่ตรวจสอบประสิทธิภาพของกองยานพาหนะ ระบบรวบรวมข้อมูลเกี่ยวกับตัวชี้วัดต่างๆ เช่น ความเร็ว อัตราสิ้นเปลืองเชื้อเพลิง และอุณหภูมิเครื่องยนต์ ด้วยการวิเคราะห์ตัวชี้วัดเหล่านี้ร่วมกัน ระบบจะสามารถตรวจจับความผิดปกติที่จะไม่ปรากฏให้เห็นโดยการวิเคราะห์ตัวชี้วัดแต่ละตัวแยกกัน การสิ้นเปลืองเชื้อเพลิงที่เพิ่มขึ้นอาจเกิดจากเหตุผลที่ยอมรับได้หลายประการ อย่างไรก็ตาม การสิ้นเปลืองเชื้อเพลิงที่เพิ่มขึ้นอย่างกะทันหันรวมกับอุณหภูมิเครื่องยนต์ที่ลดลงอาจบ่งบอกถึงปัญหากับเครื่องยนต์ แม้ว่าแต่ละตัวชี้วัดจะอยู่ในช่วงปกติก็ตาม

คุณจะตรวจพบความผิดปกติหลายตัวแปรใน Microsoft Fabric ได้อย่างไร

การตรวจจับความผิดปกติหลายตัวแปรใน Fabric ใช้ประโยชน์จากเอ็นจิ้น Spark และ Eventhouse อันทรงพลังที่ด้านบนของเลเยอร์พื้นที่จัดเก็บถาวรที่ใช้ร่วมกัน ข้อมูลเริ่มต้นสามารถนําเข้าไปยัง Eventhouse และเปิดเผยใน OneLake โมเดลการตรวจจับความผิดปกติสามารถฝึกได้โดยใช้เอ็นจิ้น Spark และการคาดการณ์ความผิดปกติในข้อมูลสตรีมมิ่งใหม่สามารถทําได้แบบเรียลไทม์โดยใช้เอ็นจิ้น Eventhouse การเชื่อมต่อโครงข่ายของกลไกเหล่านี้ที่สามารถประมวลผลข้อมูลเดียวกันในที่เก็บข้อมูลที่ใช้ร่วมกันช่วยให้สามารถไหลของข้อมูลได้อย่างราบรื่นตั้งแต่การนําเข้า ผ่านการฝึกอบรมโมเดล ไปจนถึงการคาดการณ์ความผิดปกติ เวิร์กโฟลว์นี้เรียบง่ายและมีประสิทธิภาพสําหรับการตรวจสอบและตรวจจับความผิดปกติในระบบที่ซับซ้อนแบบเรียลไทม์

ส่วนประกอบของโซลูชัน

โซลูชันนี้อาศัยส่วนประกอบต่อไปนี้:

• Eventhouse: ข้อมูลจะถูกนําเข้าไปยัง Eventhouse ในตอนแรก ซึ่งเป็นกลไกการประมวลผลข้อมูลแบบเรียลไทม์ที่สามารถจัดการสตรีมข้อมูลที่มีปริมาณงานสูงได้
• OneLake: ข้อมูลจาก Eventhouse จะถูกเปิดเผยใน OneLake ซึ่งเป็นเลเยอร์ที่เก็บข้อมูลถาวรที่ใช้ร่วมกันซึ่งให้มุมมองแบบรวมของข้อมูล
• แพ็คเกจการตรวจจับความผิดปกติหลายตัวแปร: โซลูชันนี้ใช้แพ็คเกจ python ตัวตรวจจับความผิดปกติของอนุกรมเวลา โดยใช้อัลกอริทึมขั้นสูงตามเครือข่ายความสนใจของกราฟ (GAT) ที่รวบรวมความสัมพันธ์ระหว่างอนุกรมเวลาต่างๆ และตรวจจับความผิดปกติแบบเรียลไทม์ โมเดล GAT ได้รับการฝึกอบรมเกี่ยวกับข้อมูลในอดีตเพื่อเรียนรู้ความสัมพันธ์ระหว่างอนุกรมเวลาต่างๆ โมเดลที่ผ่านการฝึกอบรมสามารถนําไปใช้เพื่อคาดการณ์ความผิดปกติของข้อมูลสตรีมมิ่งใหม่ได้ โปรดทราบว่าอัลกอริทึมนี้เป็นอัลกอริทึมที่ใช้ใน บริการ AI Anomaly Detector ซึ่งกําลังจะเลิกใช้ สําหรับข้อมูลเพิ่มเติมเกี่ยวกับอัลกอริทึม โปรดดูบล็อกและเอกสาร
• สมุดบันทึก Spark: ใช้สําหรับการฝึกอบรมแบบออฟไลน์ของโมเดลการตรวจจับความผิดปกติในข้อมูลในอดีต และจัดเก็บโมเดลที่ผ่านการฝึกอบรมในรีจิสทรีโมเดล MLflow ของ Fabric
• ชุดคิวรี KQL: ใช้สําหรับการคาดการณ์ความผิดปกติแบบเรียลไทม์ของข้อมูลขาเข้า

ขั้นตอนถัดไป