Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Le moteur d’inspection visuelle des véhicules d’entreprise (EVVIE) utilise l’IA et Microsoft Power Platform pour révolutionner le processus d’inspection des véhicules. En automatisant les inspections, EVVIE permet de gagner du temps et d’améliorer la précision, ce qui en fait un outil inestimable pour les organisations gérant de grandes flottes de véhicules. Cet article donne un aperçu de l’architecture, du flux de travail et des composants clés d’EVVIE, offrant un aperçu de la façon dont cette solution innovante peut rationaliser les inspections et la maintenance des véhicules.
Pour obtenir une démo et plus d’informations sur EVVIE, visitez aka.ms/EVVIE.
Astuce
Cet article décrit une idée de solution. Votre architecte cloud peut utiliser ces conseils pour visualiser les principaux composants d’une implémentation typique de cette architecture. Utilisez cet article comme point de départ pour concevoir une solution bien architecturée qui répond aux exigences spécifiques de votre charge de travail.
Diagramme d’architecture
Flux de travail
EVVIE utilise un combinaison unique de ressources Power Platform et Microsoft Azure pour automatiser le processus d’inspection des véhicules à l’aide de modèles d’IA avancés. À un niveau élevé, le processus interne d’EVVIE est le suivant :
Une application canevas Power Apps sert d’interface pour permettre aux utilisateurs de collecter des photos des dommages au véhicule dans le cadre d’une inspection du véhicule. Les images sont codées sous la forme d’une chaîne base64.
L’application utilise un connecteur personnalisé pour fournir les images capturées à une API personnalisée, une application de fonction Azure basée sur .NET.
L’application de fonction reçoit et analyse l’appel de l’API HTTP de l’application, récupère les photos et interagit avec un modèle de langage multimodal dans le service Azure OpenAI. Le modèle examine les photos et classe les dommages en trois champs : la zone de la voiture, le niveau de gravité et la description générale des dommages.
L’application d’inspection reçoit la réponse de l’application de fonction et présente l’évaluation des dommages créée par l’IA à l’utilisateur, qui peut accepter, modifier ou rejeter l’évaluation. L’utilisateur finalise l’évaluation et la soumet pour le véhicule donné. L’évaluation est stockée en toute sécurité dans Dataverse.
Une application pilotée par modèle avec des pages personnalisées permet aux administrateurs d’examiner les données d’inspection des véhicules.
Composants
Microsoft Dataverse : toutes les données collectées dans le cadre de l’inspection des véhicules,comme les photos des dommages, le classement du niveau de gravité et les descriptions, sont stockées dans Dataverse.
Power Apps : le personnel sur le terrain qui inspecte les véhicules et le personnel administratif qui examine les inspections utilisent des applications intégrées dans Power Apps, le cadre de développement d’applications no-code/low-code de Microsoft.
Connecteur personnalisé : un connecteur personnalisé permet à l’application mobile d’inspection des véhicules EVVIE (utilisée par le personnel qui inspecte les véhicules sur le terrain) d’appeler un service back-end qui utilise une IA avancée pour évaluer les photos fournies.
Azure Functions : Azure Functions, la plateforme de calcul serverless pilotée par les événements de Microsoft, agit comme une API web que l’application EVVIE peut appeler à l’aide d’une requête HTTP via le connecteur personnalisé. L’application de fonction Azure reçoit les images via l’appel d’API, utilise un modèle d’IA avancé pour évaluer les dommages et renvoie l’évaluation à l’application.
Service Azure OpenAI : EVVIE utilise un modèle d’IA multimodal pour évaluer les dommages dans les images fournies et les classer en trois champs : le niveau de gravité (1 à 5), la zone du véhicule (comme les portes, le pare-brise, le pare-chocs avant) et la description des dommages. Bien que n’importe quel modèle de langage multimodal futur puisse être utilisé (c’est-à-dire, « o1 » ou « o3 » une fois qu’ils sont largement disponibles), GPT-4o est utilisé au moment de la rédaction de cet article.
Détails du scénario
EVVIE aide les organisations disposant de grandes flottes de véhicules à gérer les inspections et l’entretien réguliers. Les inspections de routine prennent du temps et distraient le personnel d’un travail plus précieux.
Pour alléger ce fardeau et gagner du temps, EVVIE utilise une IA générative multimodale avancée pour évaluer et enregistrer automatiquement les dommages au véhicule. Au lieu de documenter manuellement chaque cas de dommage, les membres du personnel fournissent une photo à EVVIE. À partir de cette seule image, EVVIE évalue les dommages, enregistre son emplacement sur le véhicule, détermine le niveau de gravité et fournit une brève description.
EVVIE s’inspire de conversations avec le département du shérif du comté de Los Angeles, qui gère une flotte de milliers de véhicules. Traditionnellement, chaque agent devait inspecter son véhicule avec un stylo, du papier et un bloc-notes avant de démarrer son shift, documenter tout dommage et soumettre ces informations à son superviseur. Cependant, cette inspection de routine est souvent abandonnée en raison de tâches urgentes, ce qui laisse peu de temps pour une inspection fastidieuse de 20 minutes.
Avec EVVIE, les agents n’ont qu’à ouvrir une application sur leur téléphone et prendre une photo du véhicule. L’IA documente les dommages et les signale au superviseur, ce qui élimine le besoin de processus papier.
Considérations
Ces considérations mettent en œuvre les piliers de Power Platform Well-Architected, un ensemble de principes directeurs qui améliorent la qualité d’une charge de travail. Pour en savoir plus, consultez Microsoft Power Platform Well-Architected.
Fiabilité
Chaque composant basé sur le cloud Microsoft de l’architecture d’EVVIE est conçu pour une fiabilité exceptionnelle, garantissant qu’il répond constamment aux objectifs critiques de disponibilité et de récupération. Cette fiabilité est obtenue grâce à une redondance évolutive, offrant des performances et une résilience robustes.
Sécurité
Pour la preuve de concept d’EVVIE, l’API web basée sur Azure Functions qui s’interface avec l’application n’inclut aucun protocole de sécurité. Toute personne connaissant les points de terminaison d’API (URL) uniques peut potentiellement accéder au service back-end d’EVVIE.
Dans un déploiement en production, il est essentiel pour l’intégrateur de systèmes de mettre en œuvre une couche d’authentification standard, telle que l’authentification basée sur la clé via Azure Gestion des API. De telles mesures de sécurité garantissent que le service API back-end n’est accessible que comme prévu par l’application frontale EVVIE.
Excellence opérationnelle
En tant que preuve de concept, EVVIE est construit à partir de zéro avec des exigences fictives pour démontrer la capacité de la technologie à évaluer les dommages aux véhicules. Chaque aspect, du processus d’inspection aux critères évalués par EVVIE (zone de dommages, niveau de gravité, description et zones spécifiques du véhicule où les dommages peuvent être identifiés), peut et doit être personnalisé pour répondre aux besoins uniques de toute organisation déployant EVVIE.
Par exemple, un intégrateur de systèmes peut :
- Ajuster les zones spécifiques d’un véhicule où EVVIE peut identifier les dommages.
- Affinez l’invite système utilisée pour donner des instructions au modèle.
- Mettre en œuvre un nombre minimum de photos requises.
Ces modifications garantissent qu’EVVIE fonctionne de manière optimale et s’aligne sur les besoins spécifiques de l’organisation.
Efficacité des performances
Deux goulots d’étranglement potentiels peuvent affecter de manière significative l’évolutivité d’EVVIE :
API basée sur Azure Functions : en tant que porte d’entrée d’EVVIE au service d’IA pour l’évaluation des dommages au véhicule, il est crucial de s’assurer que l’application Azure Function est configurée pour une échelle massive. En fonction de la consommation de l’organisation, le déploiement sur un plan dédié peut être conseillé pour assurer l’évolutivité.
Service Azure OpenAI : le modèle Azure OpenAI, appelé par l’application de fonction, est essentiel pour évaluer et enregistrer les dommages. Il est primordial de garantir que le déploiement Azure OpenAI, sur lequel repose l’API back-end, est toujours opérationnel. Étant donné qu’Azure OpenAI utilise un système basé sur des jetons, il est important de garantir que le modèle utilisé dans EVVIE a un quota de jetons élevé pour la période d’utilisation donnée.
Optimisation de l’expérience
L’équipe qui a développé EVVIE a consacré beaucoup de temps et d’efforts à l’optimisation de l’interface utilisateur et de l’expérience utilisateur afin de rendre intuitif et facile pour le personnel d’inspecter les véhicules et d’examiner les inspections.
L’application d’inspection d’EVVIE est un application canevas qui peut être facilement modifié grâce à une interface simple de sélectionner-glisser, similaire à PowerPoint, pour mieux répondre aux besoins de l’organisation.
L’interface présentée au personnel administratif pour la révision de ces inspections est une application pilotée par modèle avec une page personnalisée, qui est également facile à modifier en fonction des exigences spécifiques.
IA responsable
Cas d’utilisation non sensible : l’application EVVIE fonctionne dans un domaine non sensible, ce qui réduit considérablement le risque de biais affectant négativement les inspections de véhicules. Compte tenu de la nature de l’évaluation des dommages causés aux véhicules, il y a peu de place pour que les préjugés influencent les résultats.
IA générative contrôlée : les modèles d’IA générative employés par EVVIE utilisent des fonctionnalités qui contraignent leurs évaluations dans des modèles prédéfinis. Cette conception garantit que l’IA fournit des réponses spécifiques et factuelles guidées par le développeur, ce qui limite la créativité et se concentre sur des évaluations précises et cohérentes.
Contributeurs
Microsoft gère cet article. Les contributeurs suivants ont écrit cet article.
Principaux auteurs :
- Tim Hanewich, Spécialiste technique de Power Platform
- Kelly Cason, Spécialiste technique des applications métier
Étapes suivantes
Pour obtenir une vidéo de démonstration, de plus amples explications sur les fonctionnalités, l’architecture, le code source, etc, visitez EVVIE sur GitHub, à l’adresse aka.ms/EVVIE.