共用方式為


透過 EVVIE 徹底改革車輛檢測

企業視覺化車輛檢測引擎 (EVVIE) 使用 AI 和 Microsoft Power Platform,徹底改變車輛檢測流程。 透過自動化檢查,EVVIE 節省時間並提高準確性,使其成為管理大型車隊之組織的寶貴工具。 本文提供 EVVIE 結構、工作流程和關鍵元件的概觀,並深入解析這種創新解決方案如何簡化車輛檢測和維護。

有關 EVVIE 的示範和更多資訊,請瀏覽 aka.ms/EVVIE

提示

本文介紹一個解決方案想法。 您的雲端架構師可以使用本指引來協助視覺化此結構典型實作的主要元件。 使用本文作為起點,設計與工作負載特定要求相一致的結構完善解決方案。

架構圖表

企業視覺化車輛檢測引擎使用低程式碼和專業程式碼來驅動 AI 輔助車輛檢測的結構圖。

Workflow

EVVIE 使用獨特的 Power Platform 和 Microsoft Azure 資源組合,使用進階 AI 模型自動執行車輛檢測流程。 在高階時,EVVIE 的內部流程如下所示:

  1. A Power Apps 畫布應用程式作為介面,允許使用者收集車輛損壞的照片,作為車輛檢測的一部分。 圖像編碼為 Base64 字串。

  2. 應用程式使用自訂連接器將擷取的圖像提供給自訂 API (基於 .NET 的 Azure 函數應用程式)。

  3. 函數應用程式從應用程式接收並剖析 HTTP API 呼叫、擷取照片,以及在 Azure OpenAI 服務中與多模態語言模型相互作用。 該模型會檢閱照片並將損壞分為三個欄位:汽車區域、嚴重性等級和損壞的一般描述。

  4. 檢測應用程式會收到來自函數應用程式的回覆,並將 AI 建立的損壞評估呈現給使用者,使用者可以接受、修改或拒絕評估。 使用者完成評估並為指定車輛提交。 評估安全儲存於 Dataverse。

  5. 具有自訂頁面的模型導向應用程式讓系統管理員可以檢閱車輛檢測資料。

元件

Microsoft Dataverse:作為車輛檢測的一部分收集的所有資料,例如損壞照片,嚴重性等級排名和描述,都是儲存在 Dataverse。

Power Apps:檢測車輛的現場工作人員和審查檢測的行政人員會使用內建於 Power Apps 的應用程式,Microsoft 的無程式碼/低程式碼應用程式開發框架。

自訂連接器:自訂連接器讓 EVVIE 行動車輛檢測應用程式 (由檢測車輛的現場工作人員使用) 呼叫使用進階 AI 的後端服務來評估所提供的照片。

Azure Functions:Azure Functions 是 Microsoft 的事件導向無伺服器計算平台,它會充當 Web API,EVVIE 應用程式可以透過自訂連接器使用 HTTP 要求來呼叫。 Azure 函數應用程式透過 API 呼叫接收圖像,使用進階 AI 模型評估損壞,並將評估傳回應用程式。

Azure OpenAI 服務:EVVIE 使用多模態 AI 模型評估所提供之圖像中的損壞情況,並將其分為三個欄欄位:嚴重程度等級 (1-5)、車輛區域 (例如車門、擋風玻璃、前保險桿) 和損壞描述。 雖然可以使用任何未來的多模態語言模型 (即在「o1」或「o3」廣泛可用後), 但在撰寫本文時仍使用 GPT-4o。

案例詳細資料

EVVIE 協助具有大型車隊管的組織理定期檢測和維護。 例行檢測需要時間,並讓員工無法把注意力放在更有價值的工作上。

為了減輕這種負擔和節省時間,EVVIE 使用進階多模態生成式 AI 來自動評估和記錄車輛損壞。 工作人員不用手動記錄每個損壞實例,而是向 EVVIE 提供一張照片。 透過這個單一圖像,EVVIE 就會評估損壞,記錄其在車輛上的位置,確定嚴重性等級,並提供簡要說明。

EVVIE 的靈感來自與洛杉磯縣警長部門的交談,該部門管理擁有數千輛車的車隊。 傳統上,每位員警在開始上班之前都必須帶筆,紙和剪貼板檢查他們的車輛,記錄任何損壞,並將此資訊提交給他們的主管。 不過,由於緊迫的工作,這種例行檢查經常被擱置,幾乎沒有時間進行麻煩的 20 分鐘檢測。

透過 EVVIE,員警只需要在手機上打開應用程式並拍攝車輛照片即可。 AI 會記錄損壞並將其呈報給主管,進而移除對紙本流程的需求。

考量因素

這些考慮因素體現了 Power Platform Well-Architected 的支柱,這是一套提高工作負載品質的指導原則。 如需進一步了解,請參閱 Microsoft Power Platform Well-Architected

可靠性

EVVIE 結構中的每個 Microsoft 雲端式元件都旨在實現無與倫比的可靠性,確保它始終滿足關鍵的正常運作時間和復原目標。 這種可靠性是透過可調整的冗餘實現的,提供強大的效能和復原力。

安全性

對於 EVVIE 的概念建置驗證,與應用程式相互作用的 Azure Functions 型 Web API 不包含任何安全協定。 任何知道唯一 API 端點 (URL) 的人都可能存取 EVVIE 的後端服務。

在生產部署中,系統整合程式必須實施標準驗證層,例如透過 Azure API 管理的密碼型驗證。 此類安全措施可確保僅按預期由 EVVIE 前端應用程式存取後端 API 服務。

卓越營運

作為概念驗證,EVVIE 使用虛構要求從頭開始構建,以展示該技術評估車輛損壞的能力。 從檢查流程到 EVVIE 評估的標準 (損壞區域、嚴重性等級、描述以及可以準確指出損壞的車輛特定區域) 的每個方面都可以而且應該自訂,以滿足部署 EVVIE 之任何組織的獨特需求。

例如,系統整合程式可以:

  • 調整 EVVIE 可以識別損壞的車輛特定區域。
  • 改進用於指示模型的系統提示。
  • 實施最少數量的照片要求。

這些修改能確保 EVVIE 以最佳方式運行,並使其與組織的特定需求保持一致。

效能效益

兩個潛在的障礙會顯著影響 EVVIE 的可擴縮性:

  • Azure Functions 型 API:作為 EVVIE 用於車輛損壞評估之 AI 服務的前門,確保 Azure 函數應用程式設定為大規模至關重要。 根據組織的使用方式,可能會建議部署到專用計劃以確保可擴縮性。

  • Azure OpenAI Service:Azure OpenAI 模型被函數應用程式呼叫,對於評估和記錄損壞至關重要。 確保後端 API 所依賴的 Azure OpenAI 部署始終運作中非常重要。 由於 Azure OpenAI 使用基於權杖的系統,因此保證 EVVIE 中使用的模型在指定使用期間具有較高的權杖配額非常重要。

體驗最佳化

開發 EVVIE 的團隊投入了大量時間和精力來最佳化使用者介面和使用者體驗,使工作人員能直觀且輕鬆地檢測車輛和檢閱檢測。

EVVIE 的檢查應用程式是一個畫布應用程式,可以通過類似於 PowerPoint 的簡單選擇和拖動介面輕鬆修改,以更好地滿足組織的需求。

呈現給行政人員用於檢閱這些檢測的介面是具有自訂頁面的模型導向應用程式,該頁面同樣容易根據具體要求進行修改。

負責任 AI

非敏感使用案例:EVVIE 應用程式在非敏感網域內運作,大幅降低對車輛檢測產生負面影響的偏差風險。 由於車輛損壞評估的本質,影響結果的偏差空間很小。

受控制的生成式 AI:由 EVVIE 套用的生成式 AI 模型使用將其評估限制在預定義範本中的功能。 這種設計能確保 AI 按照開發人員的指引提供具體的事實回覆,限制創造力並專注於準確、一致的評估。

投稿人

Microsoft 維護此文章。 以下貢獻者撰寫了這篇文章。

主要作者:

後續步驟

有關示範影片,功能、結構、原始程式碼等進一步說明,請在 aka.ms/EVVIE 存取 GitHub 上的 EVVIE。