Revolutionieren Sie die Fahrzeuginspektion mit EVVIE

Das visuelle Unternehmensmodul für Fahrzeuginspektionen (EVVIE) nutzt KI und Microsoft Power Platform, um den Prozess der Fahrzeuginspektion zu revolutionieren. Durch die Automatisierung von Inspektionen spart EVVIE Zeit und erhöht die Genauigkeit, was es zu einem unschätzbaren Werkzeug für Unternehmen macht, die große Fahrzeugflotten verwalten. Dieser Artikel gibt einen Überblick über die Architektur, den Workflow und die Schlüsselkomponenten von EVVIE und gibt Einblicke, wie diese innovative Lösung die Inspektion und Wartung von Fahrzeugen optimieren kann.

Unter aka.ms/EVVIE finden Sie eine Demo und weitere Informationen zu EVVIE.

Architekturdiagramm

Workflow

EVVIE verwendet eine einzigartige Mischung aus Power Platform- und Microsoft Azure-Ressourcen, um den Prozess der Fahrzeuginspektion mithilfe fortschrittlicher KI-Modelle zu automatisieren. Im Großen und Ganzen sieht der interne Prozess von EVVIE wie folgt aus:

1. Eine Power Apps-Canvas-App dient als Schnittstelle, über die Benutzende im Rahmen einer Fahrzeuginspektion Fotos von Fahrzeugschäden erfassen können. Bilder werden als Base64-Zeichenfolge kodiert.

2. Die App verwendet einen benutzerdefinierten Connector, um die erfassten Bilder einer benutzerdefinierten API, einer auf .NET basierenden Azure-Funktions-App, bereitzustellen.

3. Die Funktions-App empfängt und analysiert den HTTP-API-Aufruf von der App, ruft die Fotos ab und stellt eine Schnittstelle zu einem multimodalen Sprachmodell in Azure OpenAI-Dienst her. Das Modell überprüft die Fotos und klassifiziert den Schaden in drei Felder: Bereich des Autos, Schweregrad und allgemeine Beschreibung des Schadens.

4. Die Inspektions-App empfängt die Antwort von der Funktions-App und präsentiert dem Benutzer die von der KI erstellte Schadensbewertung, der die Bewertung akzeptieren, ändern oder ablehnen kann. Der Benutzer schließt die Bewertung ab und reicht sie für das jeweilige Fahrzeug ein. Die Bewertung wird sicher in Dataverse gespeichert.

5. Eine modellgesteuerte App mit benutzerdefinierten Seiten ermöglicht Administrationsfachkräften die Überprüfung von Fahrzeuginspektionsdaten.

Komponenten

Microsoft Dataverse: Alle Daten, die im Rahmen von Fahrzeuginspektionen erhoben werden, wie z. B. Fotos von Schäden, Einstufungen des Schweregrads und Beschreibungen, werden in Dataverse gespeichert.

Power Apps: Außendienstmitarbeitende, die Fahrzeuginspektionen durchführen, und Mitarbeitende in der Verwaltung, welche die Inspektionen überprüfen, verwenden Apps, die mit Power Apps, dem No-Code-/Low-Code-App-Entwicklungsframework von Microsoft, erstellt wurden.

Benutzerdefinierter Connector: Ein benutzerdefinierter Connector ermöglicht es der mobilen Fahrzeuginspektions-App EVVIE (die von Mitarbeitenden verwendet wird, die Fahrzeuginspektionen vor Ort durchzuführen) einen Back-End-Dienst anzurufen, der fortschrittliche KI verwendet, um die bereitgestellten Fotos auszuwerten.

Azure Functions: Azure Functions, die ereignisgesteuerte serverlose Computing-Plattform von Microsoft, fungiert als Web-API, welche die EVVIE-App über eine HTTP-Anforderung über den benutzerdefinierten Connector aufrufen kann. Die Azure-Funktions-App empfängt die Bilder über den API-Aufruf, verwendet ein erweitertes KI-Modell, um den Schaden zu bewerten, und gibt die Bewertung an die App zurück.

Azure OpenAI-Dienst: EVVIE verwendet ein multimodales KI-Modell, um den Schaden in den bereitgestellten Bildern zu bewerten und in drei Bereichen einzuteilen: Schweregrad (1 bis 5), Fahrzeugbereich (z. B. Türen, Windschutzscheibe, vordere Stoßstange) und Beschreibung des Schadens. Obwohl jedes zukünftige multimodale Sprachmodell verwendet werden kann (d. h. „o1“ oder „o3“, sobald sie allgemein verfügbar sind), wird, als dieser Artikel geschrieben wird, GPT-4o verwendet.

Einzelheiten zum Szenario

EVVIE unterstützt Unternehmen mit großen Fahrzeugflotten bei der Verwaltung regelmäßiger Inspektionen und Wartungen. Routineinspektionen nehmen Zeit in Anspruch und lenken das Personal von wertvolleren Aufgaben ab.

Um diese Belastung zu verringern und Zeit zu sparen, nutzt EVVIE fortschrittliche multimodale generative KI, um Fahrzeugschäden automatisch zu bewerten und zu protokollieren. Anstatt jeden Schadensfall manuell zu dokumentieren, stellen die Mitarbeiter EVVIE ein Foto zur Verfügung. Anhand dieses einzigen Bildes bewertet EVVIE den Schaden, protokolliert den Standort am Fahrzeug, bestimmt den Schweregrad und liefert eine kurze Beschreibung.

EVVIE wurde durch Gespräche mit dem LA County Sheriff’s Department inspiriert, das eine Flotte von Tausenden von Fahrzeugen verwaltet. Traditionell musste jeder Beamte sein Fahrzeug mit Stift, Papier und Klemmbrett begutachten, bevor er seine Schicht startete, eventuelle Schäden dokumentieren und diese Informationen seinem Vorgesetzten übermitteln. Diese Routineinspektion blieb jedoch aufgrund dringender Aufgaben oft auf der Strecke, sodass wenig Zeit für eine umständliche 20-minütige Inspektion blieb.

Mit EVVIE müssen die Beamten nur eine App auf ihrem Handy öffnen und ein Foto des Fahrzeugs machen. KI dokumentiert den Schaden und meldet ihn an den Vorgesetzten, wodurch papierbasierte Prozesse überflüssig werden.

Überlegungen

Diese Überlegungen implementieren die Säulen von Power Platform Well-Architected, eine Reihe von Leitprinzipien, welche die Qualität einer Workload verbessern. Weitere Informationen finden Sie unter Microsoft Power Platform Well-Architected.

Zuverlässigkeit

Jede Microsoft Cloud-basierte Komponente in der EVVIE-Architektur ist auf außergewöhnliche Zuverlässigkeit ausgelegt und stellt sicher, dass sie kritische Verfügbarkeits- und Wiederherstellungsziele konsistent erfüllt. Diese Zuverlässigkeit wird durch skalierbare Redundanz erreicht, die eine robuste Leistung und Ausfallsicherheit bietet.

Sicherheit

Für den Proof-of-Concept-Build von EVVIE enthält die Azure Functions-basierte Web-API, die mit der App verbunden ist, keine Sicherheitsprotokolle. Jeder, der die eindeutigen API-Endpunkte (URLs) kennt, kann potenziell auf den Backend-Service von EVVIE zugreifen.

In einer Produktionsbereitstellung ist es für den Systemintegrator unerlässlich, eine Standardauthentifizierungsebene zu implementieren, z. B. die schlüsselbasierte Authentifizierung über Azure API Management. Solche Sicherheitsmaßnahmen stellen sicher, dass auf den Back-End-API-Dienst nur wie beabsichtigt von der EVVIE-Frontend-App zugegriffen wird.

Betriebliche Effizienz

Als Proof of Concept wird EVVIE von Grund auf mit fiktiven Anforderungen entwickelt, um die Fähigkeit der Technologie zur Bewertung von Fahrzeugschäden zu demonstrieren. Jeder Aspekt, vom Inspektionsprozess bis hin zu den Kriterien, die EVVIE bewertet – Schadensbereich, Schweregrad, Beschreibung und die spezifischen Bereiche des Fahrzeugs, in denen Schäden lokalisiert werden können – kann und sollte an die individuellen Bedürfnisse jedes Unternehmens angepasst werden, das EVVIE einsetzt.

Ein Systemintegrator kann beispielsweise:

• Die Bereiche eines Fahrzeugs anpassen, in denen EVVIE Schäden feststellen kann.
• Verfeinern Sie die Systemeingabeaufforderung, mit der das Modell angewiesen wird.
• Implementieren Sie eine Mindestanzahl von Fotoanforderungen.

Diese Modifikationen stellen sicher, dass EVVIE optimal funktioniert und sich an den spezifischen Bedürfnissen des Unternehmens ausrichtet.

Leistungsfähigkeit

Zwei potenzielle Engpässe können die Skalierbarkeit von EVVIE erheblich beeinträchtigen:

• Auf Azure Functions basierende API: Da dies EVVIEs Frontdoor zum KI-Dienst für die Bewertung von Fahrzeugschäden ist, ist es entscheidend, sicherzustellen, dass die Azure-Funktions-App für eine massive Skalierung konfiguriert ist. Abhängig vom Verbrauch der Organisation kann die Bereitstellung in einem dedizierten Plan ratsam sein, um die Skalierbarkeit sicherzustellen.

• Azure OpenAI-Dienst: Das Azure OpenAI-Modell, das von der Funktions-App aufgerufen wird, ist für die Bewertung und Protokollierung von Schäden unerlässlich. Es muss unbedingt sichergestellt werden, dass die Azure OpenAI-Bereitstellung, auf der die Back-End-API basiert, immer betriebsbereit ist. Da Azure OpenAI ein auf Token basierendes System verwendet, ist es wichtig, sicherzustellen, dass das in EVVIE verwendete Modell ein hohes Token-Kontingent für den angegebenen Nutzungszeitraum hat.

Umgebungsoptimierung

Das Team, das EVVIE entwickelt hat, hat viel Zeit und Mühe in die Optimierung der Benutzeroberfläche und der Benutzererfahrung investiert, um es den Mitarbeitern intuitiv und einfach zu machen, Fahrzeuge zu inspizieren und Inspektionen zu überprüfen.

Die Inspektions-App von EVVIE ist eine Canvas-App, die über eine einfache Select-and-Drag-Oberfläche, ähnlich wie PowerPoint, leicht geändert werden kann, um den Anforderungen des Unternehmens besser gerecht zu werden.

Die Schnittstelle, die dem Verwaltungspersonal für die Überprüfung dieser Inspektionen angezeigt wird, ist ein modellgesteuerte App mit einer benutzerdefinierten Seite, die ebenso einfach an spezifische Anforderungen angepasst werden kann.

Verantwortungsvolle KI

Nicht sensibler Anwendungsfall: Die EVVIE-Anwendung arbeitet in einem nicht sensiblen Bereich, wodurch das Risiko von Verzerrungen, die sich negativ auf Fahrzeuginspektionen auswirken, erheblich reduziert wird. Angesichts der Art der Bewertung von Fahrzeugschäden gibt es nur wenig Spielraum für Verzerrungen, um die Ergebnisse zu beeinflussen.

Kontrollierte generative KI: Die generative KI-Modelle, die EVVIE verwendet, verwenden Features, die ihre Beurteilungen auf vordefinierte Vorlagen beschränken. Dieses Design stellt sicher, dass die KI spezifische, sachliche Antworten gibt, die vom Entwickler vorgegeben werden, was die Kreativität einschränkt und sich auf genaue, konsistente Bewertungen konzentriert.

Mitwirkende

Dieser Artikel wird von Microsoft gepflegt. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautoren:

• Tim Hanewich, Technischer Spezialist für Power Platform
• Kelly Cason, Technischer Spezialist für Geschäftsanwendungen

Nächste Schritte,

Auf EVVIE auf GitHub unter aka.ms/EVVIE finden Sie ein Demo-Video, weitere Erläuterungen zu Funktionalität, Architektur, Quellcode und mehr.