Revolucione as inspeções veiculares com o EVVIE

O Enterprise Visual Vehicle Inspection Engine (EVVIE) usa IA e o Microsoft Power Platform para revolucionar o processo de inspeção veicular. Ao automatizar as inspeções, o EVVIE economiza tempo e aumenta a precisão, tornando-se uma ferramenta inestimável para organizações que gerenciam grandes frotas de veículos. Este artigo fornece uma visão geral da arquitetura, do fluxo de trabalho e dos principais componentes da EVVIE, oferecendo insights sobre como essa solução inovadora pode simplificar as inspeções e a manutenção de veículos.

Para uma demonstração e mais informações sobre o EVVIE, acesse aka.ms/EVVIE.

Diagrama da arquitetura

Workflow

O EVVIE usa uma combinação única de recursos do Power Platform e do Microsoft Azure para automatizar o processo de inspeção veicular usando modelos avançados de IA. Em alto nível, o processo interno da EVVIE é o seguinte:

1. Um aplicativo de tela do Power Apps serve como interface para permitir que os usuários coletem fotos de danos ao veículo como parte de uma inspeção veicular. As imagens são codificadas como uma cadeia de caracteres base64.

2. O aplicativo usa um conector personalizado para fornecer as imagens capturadas a uma API personalizada, um aplicativo de funções do Azure baseado em NET.

3. O aplicativo de funções recebe e analisa a chamada à API HTTP do aplicativo, busca as fotos e faz interface com um modelo de linguagem multimodal no Serviço OpenAI do Azure. O modelo analisa as fotos e classifica os danos em três campos: área do carro, nível de gravidade e descrição geral dos danos.

4. O aplicativo de inspeção recebe a resposta do aplicativo de função e apresenta a avaliação de danos criada pela IA para o usuário, que pode aceitar, modificar ou rejeitar a avaliação. O usuário finaliza a avaliação e a submete para o veículo em questão. A avaliação é armazenada com segurança no Dataverse.

5. Um orientado a modelo com páginas personalizadas permite que os administradores revisem os dados de inspeção veicular.

Componentes

Microsoft Dataverse: todos os dados coletados como parte das inspeções veiculares, como fotos de danos, classificação de nível de gravidade e descrições, são armazenados no Dataverse.

Power Apps: a equipe em campo que inspeciona os veículos e a equipe administrativa que revisa as inspeções usam aplicativos criados no Power Apps, a estrutura de desenvolvimento de aplicativos no-code/low-code da Microsoft.

Conector personalizado: um conector personalizado permite que o aplicativo móvel de inspeção veicular EVVIE (usado pela equipe que inspeciona veículos em campo) chame um serviço de back-end que usa IA avançada para avaliar as fotos fornecidas.

Azure Functions: o Azure Functions, a plataforma de computação sem servidor orientada a eventos da Microsoft, atua como uma API Web que o aplicativo EVVIE pode chamar usando uma solicitação HTTP por meio do conector personalizado. O aplicativo de função Azure recebe as imagens por meio da chamada da API, usa um modelo avançado de IA para avaliar danos e retorna a avaliação para o aplicativo.

Serviço OpenAI do Azure: o EVVIE usa um modelo de IA multimodal para avaliar os danos nas imagens fornecidas e classificá-los em três campos: nível de gravidade (1 a 5), área do veículo (como portas, para-brisa, para-choque dianteiro) e descrição dos danos. Embora qualquer modelo de linguagem multimodal futuro possa ser usado (isto é, "o1" ou "o3" uma vez que estejam amplamente disponíveis), o GPT-4o é usado desde o momento que este artigo foi escrito.

Detalhes do cenário

A EVVIE ajuda organizações com grandes frotas de veículos a gerenciar inspeções e manutenções regulares. Inspeções de rotina levam tempo e distraem a equipe de trabalhos mais valiosos.

Para aliviar essa carga e economizar tempo, a EVVIE usa o IA generativa multimodal avançado para avaliar e registrar automaticamente os danos ao veículo. Em vez de documentar manualmente cada caso de dano, os membros da equipe fornecem uma foto à EVVIE. A partir dessa única imagem, a EVVIE avalia os danos, registra sua localização no veículo, determina o nível de gravidade e fornece uma breve descrição.

A EVVIE se inspira em conversas com o Departamento do Xerife do Condado de LA, que gerencia uma frota de milhares de veículos. Tradicionalmente, cada policial tinha que vistoriar seu veículo com caneta, papel e prancheta antes de iniciar seu turno, documentar qualquer dano e enviar essas informações ao seu supervisor. No entanto, essa inspeção de rotina muitas vezes caiu no esquecimento devido a tarefas urgentes, deixando pouco tempo para uma inspeção pesada de 20 minutos.

Com o EVVIE, os policiais só precisam abrir um aplicativo no celular e tirar uma foto do veículo. A IA documenta os danos e os reporta ao supervisor, eliminando a necessidade de processos em papel.

Considerações

Essas considerações implementam os pilares do Well-Architected para Power Platform, um conjunto de princípios orientadores que melhoram a qualidade de uma carga de trabalho. Saiba mais em Well-Architected para Microsoft Power Platform.

Confiabilidade

Cada componente baseado em nuvem Microsoft na arquitetura da EVVIE é projetado para confiabilidade excepcional, garantindo que atenda consistentemente às metas críticas de tempo de atividade e recuperação. Essa confiabilidade é alcançada por meio de redundância escalável, proporcionando desempenho robusto e resiliência.

Segurança

Para a compilação de prova de conceito da EVVIE, a API da Web baseada em Azure Functions que faz interface com o aplicativo não inclui nenhum protocolo de segurança. Qualquer pessoa ciente dos pontos de extremidade (URLs) exclusivos da API pode acessar o serviço de back-end da EVVIE.

Em uma implantação de produção, é essencial que o integrador de sistemas implemente uma camada de autenticação padrão, como a autenticação baseada em chave por meio do Azure API Management. Essas medidas de segurança garantem que o serviço de API back-end seja acessado somente conforme pretendido pelo aplicativo front-end EVVIE.

Excelência Operacional

Como prova de conceito, o EVVIE é construído do zero com requisitos fictícios para mostrar a capacidade da tecnologia de avaliar danos ao veículo. Todos os aspectos, desde o processo de inspeção até os critérios que a EVVIE avalia — área de dano, nível de gravidade, descrição e as áreas específicas do veículo onde os danos podem ser identificados — podem e devem ser personalizados para atender às necessidades exclusivas de qualquer organização que implante o EVVIE.

Por exemplo, um integrador de sistemas pode:

• Ajuste as áreas específicas de um veículo onde o EVVIE pode identificar danos.
• Refine o prompt do sistema usado para instruir o modelo.
• Implemente um número mínimo de requisitos de fotos.

Essas modificações garantem que a EVVIE opere de forma otimizada e alinhada com as necessidades específicas da organização.

Eficiência de Desempenho

Dois gargalos potenciais podem afetar significativamente a escalabilidade da EVVIE:

• API baseada no Azure Functions: como porta de entrada do EVVIE para o serviço de IA para a avaliação de danos a veículos, é essencial garantir que o aplicativo de funções do Azure esteja configurado para grande escala. Dependendo do consumo da organização, a implantação em um plano dedicado pode ser aconselhável para garantir a escalabilidade.

• Serviço OpenAI do Azure: o modelo do OpenAI do Azure, chamado pelo aplicativo da funções, é essencial para avaliar e registrar em log os danos. É fundamental garantir que a implantação do OpenAI do Azure, da qual a API de back-end depende, esteja sempre operacional. Como o OpenAI do Azure usa um sistema baseado em token, é importante garantir que o modelo usado no EVVIE tenha uma alta cota de tokens para o período de uso determinado.

Otimização da Experiência

A equipe que desenvolveu o EVVIE dedicou tempo e esforço significativos para otimizar a interface do usuário e a experiência do usuário para tornar intuitivo e fácil para a equipe inspecionar veículos e revisar inspeções.

O aplicativo de inspeção da EVVIE é um aplicativo de tela que pode ser facilmente modificado por meio de uma interface simples de selecionar e arrastar, semelhante ao PowerPoint, para melhor atender às necessidades da organização.

A interface apresentada à equipe administrativa para revisar essas inspeções é um aplicativo baseado em modelo com uma página personalizada, que é igualmente fácil de modificar de acordo com requisitos específicos.

IA Responsável

Caso de uso não confidencial: o aplicativo EVVIE opera em um domínio não confidencial, reduzindo significativamente o risco de viés que afeta negativamente as inspeções veiculares. Dada a natureza da avaliação de danos ao veículo, há espaço mínimo para que o viés influencie os resultados.

IA generativa controlada: os modelos de IA generativa empregados pelo EVVIE usa recursos que restringem suas avaliações em modelos predefinidos. Esse design garante que a IA forneça respostas específicas e factuais, conforme orientado pelo desenvolvedor, limitando a criatividade e concentrando-se em avaliações precisas e consistentes.

Colaboradores

Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Principais autores:

• Tim Hanewich, especialista técnico do Power Platform
• Kelly Cason, especialista técnica em aplicativos de negócios

Próximas etapas

Para ver um vídeo de demonstração, obter mais explicações sobre a funcionalidade, a arquitetura, o código-fonte e muito mais, acesse EVVIE no GitHub em aka.ms/EVVIE.