ปฏิวัติการตรวจสอบยานพาหนะด้วย EVVIE

Enterprise Visual Vehicle Inspection Engine (EVVIE) ใช้ AI และ Microsoft Power Platform ในการปฏิวัติกระบวนการตรวจสอบยานพาหนะ ด้วยการตรวจสอบอัตโนมัติ EVVIE ช่วยประหยัดเวลาและเพิ่มความถูกต้อง ทำให้เป็นเครื่องมืออันล้ำค่าสำหรับองค์กรที่จัดการกองยานพาหนะขนาดใหญ่ บทความนี้ให้ภาพรวมของสถาปัตยกรรม เวิร์กโฟลว์ และส่วนประกอบสำคัญของ EVVIE โดยนำเสนอข้อมูลเชิงลึกว่าโซลูชันที่เป็นนวัตกรรมนี้สามารถปรับปรุงการตรวจสอบและบำรุงรักษายานพาหนะได้อย่างไร

สำหรับการสาธิตและข้อมูลเพิ่มเติมเกี่ยวกับ EVVIE โปรดไปที่ aka.ms/EVVIE

แผนภาพสถาปัตยกรรม

ลำดับงาน

EVVIE ใช้การผสมผสาน Power Platform กับทรัพยากร Microsoft Azure ที่ไม่เหมือนใครเพื่อทำให้กระบวนการตรวจสอบยานพาหนะเป็นไปโดยอัตโนมัติโดยใช้โมเดล AI ขั้นสูง ในระดับสูงกระบวนการภายในของ EVVIE มีดังนี้:

1. แอปพื้นที่ทำงาน Power Apps ทำหน้าที่เป็นอินเทอร์เฟซเพื่อให้ผู้ใช้สามารถรวบรวมภาพถ่ายความเสียหายของยานพาหนะซึ่งเป็นส่วนหนึ่งของการตรวจสอบยานพาหนะ รูปภาพถูกเข้ารหัสเป็นสตริง base64

2. แอปใช้ตัวเชื่อมต่อที่กำหนดเองเพื่อจัดเตรียมภาพที่ถ่ายไปยัง API ที่กำหนดเอง แอพฟังก์ชั่น Azure ที่ใช้ NET

3. แอปฟังก์ชันรับและแยกวิเคราะห์การเรียกใช้ HTTP API จากแอป ดึงข้อมูลรูปภาพ และอินเทอร์เฟซด้วยโมเดลภาษาต่อเนื่องหลายรูปแบบในบริการ Azure OpenAI โมเดลจะตรวจสอบภาพถ่ายและจำแนกความเสียหายออกเป็นสามช่อง: พื้นที่ของรถ ระดับความรุนแรง และคำอธิบายทั่วไปของความเสียหาย

4. แอปการตรวจสอบจะได้รับการตอบกลับจากแอปฟังก์ชันและนำเสนอการประเมินความเสียหายที่สร้างโดย AI แก่ผู้ใช้ ซึ่งสามารถยอมรับ แก้ไข หรือปฏิเสธการประเมินได้ ผู้ใช้สรุปการประเมินและส่งการประเมินสำหรับยานพาหนะที่กำหนด การประเมินจะถูกเก็บไว้อย่างปลอดภัยใน Dataverse

5. เพจแบบกำหนดเองที่ขับเคลื่อนด้วยแบบจำลองช่วยให้ผู้ดูแลระบบสามารถตรวจสอบข้อมูลการตรวจสอบยานพาหนะได้

คอมโพเนนต์

Microsoft Dataverse: ข้อมูลทั้งหมดที่รวบรวมเป็นส่วนหนึ่งของการตรวจสอบยานพาหนะ เช่น ภาพถ่ายความเสียหาย การจัดอันดับระดับความรุนแรง และคำอธิบายจะเก็บไว้ใน Dataverse

Power Apps: เจ้าหน้าที่ภาคสนามที่ตรวจสอบยานพาหนะและเจ้าหน้าที่ธุรการที่ตรวจสอบการตรวจสอบใช้แอปที่สร้างใน Power Apps ซึ่งเป็นเฟรมเวิร์กการพัฒนาแอปแบบไม่มีโค้ด/low-code ของ Microsoft

ตัวเชื่อมต่อที่กำหนดเอง: ตัวเชื่อมต่อที่กำหนดเองช่วยให้แอปตรวจสอบยานพาหนะเคลื่อนที่ EVVIE (ใช้โดยเจ้าหน้าที่ตรวจสอบยานพาหนะในภาคสนาม) เรียกใช้บริการแบ็คเอนด์ที่ใช้ AI ขั้นสูงในการประเมินภาพที่ให้มา

ฟังก์ชัน Azure: ฟังก์ชัน Azure ซึ่งเป็นแพลตฟอร์มการประมวลผลแบบไร้เซิร์ฟเวอร์ที่ขับเคลื่อนด้วยเหตุการณ์ของ Microsoft ทำหน้าที่เป็น API เว็บที่แอป EVVIE สามารถเรียกใช้โดยใช้การร้องขอทาง HTTP ผ่านตัวเชื่อมต่อที่กำหนดเอง แอปฟังก์ชัน Azure รับภาพผ่านการเรียก API ใช้โมเดล AI ขั้นสูงเพื่อประเมินความเสียหาย และส่งการประเมินกลับไปยังแอป

Azure OpenAI บริการ: EVVIE ใช้โมเดล AI ต่อเนื่องหลายรูปแบบเพื่อประเมินความเสียหายในภาพที่ให้มาและจำแนกออกเป็นสามช่อง: ระดับความรุนแรง (1-5) พื้นที่ของยานพาหนะ (เช่น ประตู กระจกบังลม กันชนหน้า) และคำอธิบายความเสียหาย ในขณะที่สามารถใช้โมเดลภาษาต่อเนื่องหลายรูปแบบในอนาคตได้ (นั่นคือ "o1" หรือ "o3" เมื่อพร้อมใช้งานอย่างกว้างขวาง) มีการใช้ GPT-4o ณ เวลาที่เขียนนี้

รายละเอียดสถานการณ์

EVVIE ช่วยให้องค์กรที่มียานพาหนะขนาดใหญ่จัดการการตรวจสอบและบำรุงรักษาเป็นประจำ การตรวจสอบตามปกติต้องใช้เวลาและเบี่ยงเบนความสนใจของพนักงานจากงานที่มีค่ามากกว่า

เพื่อบรรเทาภาระนี้และประหยัดเวลา EVVIE ใช้ AI สร้างสรรค์ ต่อเนื่องหลายรูปแบบขั้นสูงเพื่อประเมินและบันทึกความเสียหายของยานพาหนะโดยอัตโนมัติ แทนที่จะบันทึกความเสียหายแต่ละกรณีด้วยตนเอง พนักงานจะให้รูปถ่ายแก่ EVVIE จากภาพเดียวนี้ EVVIE จะประเมินความเสียหายบันทึกตำแหน่งบนรถกำหนดระดับความรุนแรงและให้คำอธิบายสั้น ๆ

EVVIE ได้รับแรงบันดาลใจจากการสนทนากับกรมนายอำเภอ LA County ซึ่งจัดการยานพาหนะหลายพันคัน โดยปกติ เจ้าหน้าที่แต่ละคนต้องสำรวจยานพาหนะด้วยปากกา กระดาษ และคลิปบอร์ดก่อนเริ่มกะงาน บันทึกความเสียหายใดๆ และส่งข้อมูลนี้ไปยังผู้บังคับบัญชา อย่างไรก็ตาม การตรวจสอบตามปกตินี้มักจะตกอยู่ข้างทางเนื่องจากหน้าที่เร่งด่วน ทำให้มีเวลาเพียงเล็กน้อยสำหรับการตรวจสอบ 20 นาทีที่ยุ่งยาก

ด้วย EVVIE เจ้าหน้าที่เพียงแค่เปิดแอปบนโทรศัพท์และถ่ายรูปรถเท่านั้น AI จัดทำเอกสารความเสียหายและรายงานต่อหัวหน้างาน โดยไม่จำเป็นต้องใช้กระบวนการที่ใช้กระดาษ

ข้อควรพิจารณา

ข้อควรพิจารณาเหล่านี้ใช้เสาหลักของ Power Platform Well-Architected ซึ่งเป็นชุดของหลักการชี้นำที่ปรับปรุงคุณภาพของเวิร์กโหลด เรียนรู้เพิ่มเติมใน Microsoft Power Platform Well-Architected

ความน่าเชื่อถือ

ส่วนประกอบบนคลาวด์ Microsoft แต่ละชิ้นในสถาปัตยกรรมของ EVVIE ได้รับการออกแบบมาเพื่อความน่าเชื่อถือที่ยอดเยี่ยม เพื่อให้มั่นใจว่าจะบรรลุเป้าหมายเวลาทำงานและการกู้คืนที่สำคัญอย่างสม่ำเสมอ ความน่าเชื่อถือนี้เกิดขึ้นได้จากระบบสำรองที่ปรับขนาดได้ ให้ประสิทธิภาพและความยืดหยุ่นที่แข็งแกร่ง

การรักษาความปลอดภัย

สำหรับการพิสูจน์แนวคิดของ EVVIE เว็บ API ที่ใช้ฟังก์ชัน Azure ที่เชื่อมต่อกับแอปไม่มีโปรโตคอลความปลอดภัยใดๆ ใครก็ตามที่ทราบตำแหน่งข้อมูล API (URL) ที่ไม่ซ้ำกันสามารถเข้าถึงบริการส่วนหลังของ EVVIE ได้

ในการปรับใช้การผลิต จำเป็นอย่างยิ่งที่ผู้รวมระบบจะต้องใช้เลเยอร์การรับรองความถูกต้องมาตรฐาน เช่น การรับรองความถูกต้องโดยใช้คีย์ผ่านการจัดการ Azure API มาตรการรักษาความปลอดภัยดังกล่าวช่วยให้มั่นใจได้ว่าบริการ API ส่วนหลังสามารถเข้าถึงได้ตามที่แอปส่วนหน้าของ EVVIE ตั้งใจไว้เท่านั้น

ความเป็นเลิศในการดำเนินงาน

เพื่อเป็นการพิสูจน์แนวคิด EVVIE ถูกสร้างขึ้นตั้งแต่เริ่มต้นด้วยข้อกำหนดที่สมมติขึ้นเพื่อแสดงความสามารถของเทคโนโลยีในการประเมินความเสียหายของยานพาหนะ ทุกด้าน ตั้งแต่กระบวนการตรวจสอบไปจนถึงเกณฑ์ที่ EVVIE ประเมิน—พื้นที่ของความเสียหาย ระดับความรุนแรง คำอธิบาย และพื้นที่เฉพาะของรถที่สามารถระบุความเสียหายได้—สามารถและควรปรับแต่งให้ตรงกับความต้องการเฉพาะขององค์กรใดๆ ที่ปรับใช้ EVVIE

ตัวอย่างเช่น ผู้รวมระบบสามารถ:

• ปรับพื้นที่เฉพาะของรถที่ EVVIE สามารถระบุความเสียหายได้
• ปรับแต่งพรอมต์ของระบบที่ใช้ในการสั่งโมเดล
• ใช้ความต้องการเกี่ยวกับจำนวนรูปถ่ายขั้นต่ำ

การปรับเปลี่ยนเหล่านี้ทำให้มั่นใจได้ว่า EVVIE ทำงานได้อย่างเหมาะสมที่สุดและสอดคล้องกับความต้องการเฉพาะขององค์กร

ประสิทธิภาพการทำงาน

ปัญหาคอขวดที่อาจเกิดขึ้นสองประการอาจส่งผลต่อความสามารถในการปรับขนาดของ EVVIE อย่างมีนัยสำคัญ:

• API ที่ใช้ฟังก์ชัน Azure: ในฐานะประตูหน้าของ EVVIE ที่ไปยังบริการ AI สำหรับการประเมินความเสียหายของยานพาหนะ สิ่งสำคัญคือต้องแน่ใจว่าแอปฟังก์ชัน Azure ได้รับการกำหนดค่าสำหรับข้อมูลขนาดใหญ่ ขึ้นอยู่กับการบริโภคขององค์กรการปรับใช้กับแผนเฉพาะอาจแนะนำให้มั่นใจถึงความสามารถในการปรับขนาด

• บริการ Azure OpenAI: โมเดล Azure OpenAI ที่เรียกโดยแอปฟังก์ชัน จำเป็นสำหรับการประเมินและบันทึกความเสียหาย สิ่งสำคัญคือต้องแน่ใจว่าการปรับใช้งาน Azure OpenAI ซึ่ง API ส่วนหลังใช้งานอยู่นั้นใช้งานได้เสมอ เนื่องจาก Azure OpenAI ใช้ระบบที่ใช้โทเค็น สิ่งสำคัญคือต้องรับประกันว่าโมเดลที่ใช้ใน EVVIE มีโควต้าโทเค็นสูงสำหรับระยะเวลาการใช้งานที่กำหนด

การปรับปรุงประสบการณ์ใช้งาน

ทีมงานที่พัฒนา EVVIE ทุ่มเทเวลาและความพยายามอย่างมากในการเพิ่มประสิทธิภาพอินเทอร์เฟซผู้ใช้และประสบการณ์ผู้ใช้ เพื่อให้พนักงานตรวจสอบยานพาหนะและตรวจสอบการตรวจสอบได้ง่ายและง่ายดาย

แอปตรวจสอบของ EVVIE เป็น แอปพื้นที่ทำงาน ที่สามารถแก้ไขได้อย่างง่ายดายผ่านอินเทอร์เฟซแบบเลือกและลากที่เรียบง่าย คล้ายกับ PowerPoint เพื่อตอบสนองความต้องการขององค์กรได้ดียิ่งขึ้น

อินเทอร์เฟซที่นำเสนอต่อเจ้าหน้าที่ธุรการเพื่อตรวจสอบการตรวจสอบเหล่านี้เป็น แอปแบบจำลอง พร้อมหน้าที่กำหนดเอง ซึ่งปรับเปลี่ยนได้ง่ายพอๆ กันตามข้อกำหนดเฉพาะ

AI ที่รับผิดชอบ

กรณีการใช้งานที่ไม่เป็นความลับ: แอปพลิเคชัน EVVIE ทำงานภายในโดเมนที่ไม่เป็นความลับ ซึ่งช่วยลดความเสี่ยงของอคติที่ส่งผลเสียต่อการตรวจสอบยานพาหนะได้อย่างมาก ด้วยลักษณะของการประเมินความเสียหายของยานพาหนะ จึงมีพื้นที่น้อยที่สุดสำหรับอคติที่จะมีอิทธิพลต่อผลลัพธ์

AI สร้างสรรค์ที่มีการควบคุม: AI สร้างสรรค์ที่มีการควบคุมซึ่งใช้โดย EVVIE ใช้คุณลักษณะที่จำกัดการประเมินให้เป็นเทมเพลตที่กำหนดไว้ล่วงหน้า การออกแบบนี้ช่วยให้มั่นใจได้ว่า AI จะให้การตอบสนองที่เฉพาะเจาะจงและเป็นข้อเท็จจริงตามคำแนะนำของนักพัฒนา ซึ่งจำกัดความคิดสร้างสรรค์และมุ่งเน้นไปที่การประเมินที่แม่นยำและสม่ำเสมอ

ผู้สนับสนุน

Microsoft ดูแลบทความนี้ ผู้ร่วมให้ข้อมูลต่อไปนี้เขียนบทความนี้

ผู้เขียนหลัก:

• Tim Hanewich, ผู้เชี่ยวชาญด้านเทคนิค Power Platform
• Kelly Cason, ผู้เชี่ยวชาญด้านเทคนิคแอปพลิเคชันทางธุรกิจ

ขั้นตอนถัดไป

สำหรับวิดีโอสาธิต คำอธิบายเพิ่มเติมเกี่ยวกับฟังก์ชัน สถาปัตยกรรม โค้ดต้นฉบับ และอื่นๆ โปรดไปที่ EVVIE บน GitHub ที่ aka.ms/EVVIE