Extrair e mapear informações de conteúdo não estruturado

Essa solução de processamento de conteúdo extrai dados e aplica esquemas em conteúdo multimodal por meio da pontuação de confiança e da validação do usuário. Ele processa declarações, faturas, contratos e outros documentos extraindo informações de conteúdo não estruturado e mapeando-as para formatos estruturados.

A arquitetura usa o Microsoft Foundry, o Azure Content Understanding, o Azure OpenAI in Foundry Models e outros serviços do Azure para transformar grandes volumes de conteúdo não estruturado por meio de pipelines de processamento controlados por eventos. Ele lida com texto, imagens, tabelas e grafos e fornece verificações de qualidade automatizadas e recursos de revisão humana para fluxos de trabalho de documentos empresariais.

Arquitetura

Baixe um arquivo do Visio dessa arquitetura.

Workflow

O fluxo de dados a seguir corresponde ao diagrama anterior:

1. Os usuários carregam conteúdo multimodal, como documentos, imagens, contratos e faturas, por meio da interface de front-end da Web. Os usuários enviam o conteúdo com requisitos de processamento específicos e esquemas de destino.

2. O site dos Aplicativos de Contêiner do Azure recebe a solicitação de upload de conteúdo e invoca a API de processamento hospedada em Aplicativos de Contêiner. A equipe de software desenvolve código personalizado para ambos os componentes para adaptá-los para esse cenário. A API seleciona o pipeline de processamento apropriado e inicia fluxos de trabalho de análise de conteúdo.

3. Os Aplicativos de Contêiner gerenciam o fluxo de trabalho de processamento e conectam o Content Understanding ao Azure OpenAI.

4. O Reconhecimento de Conteúdo executa o OCR (reconhecimento óptico de caracteres) baseado em aprendizado de máquina e extrai texto de vários formatos de conteúdo, incluindo imagens, tabelas e grafos.

5. O Azure OpenAI com a Visão GPT processa o conteúdo extraído, mapeia-o para esquemas personalizados ou definidos pelo setor e gera uma saída JSON estruturada que inclui pontuação de confiança.

6. O código de orquestração nos Aplicativos de Contêiner armazena resultados processados, pontuações de confiança, mapeamentos de esquema e dados de processamento histórico para trilhas de auditoria e melhoria contínua no Azure Cosmos DB.

7. O código de orquestração nos Aplicativos de Contêiner usa o Armazenamento de Blobs do Azure para armazenar documentos de origem, artefatos de processamento intermediários e saídas estruturadas finais para persistência e recuperação de dados confiáveis.

8. O Armazenamento de Filas do Azure gerencia fluxos de trabalho de processamento controlados por eventos entre os serviços dessa solução. Esse gerenciamento garante a coordenação de processamento e manipulação de mensagens confiáveis entre os componentes do pipeline.

9. O site do monitor do processador de conteúdo exibe os resultados processados para os usuários por meio da interface da Web. Os usuários podem examinar a saída JSON estruturada, corrigir quaisquer imprecisões, adicionar comentários para contexto ou comentários e salvar os resultados finais validados no sistema.

10. O site do monitor do processador de conteúdo alimenta o processamento de métricas e dados de comentários do usuário diretamente nos painéis do Power BI. Os dados processados e os metadados armazenados no Azure Cosmos DB fornecem análise sobre o pipeline de processamento de conteúdo, incluindo os seguintes insights:

    • Indicadores chave de desempenho (KPIs)
    • Taxas de sucesso
    • Distribuições de tipo de documento
    • Tendências de pontuação de confiança
    • Padrões de correção do usuário
    • Outras métricas operacionais que dão suporte à otimização controlada por dados do pipeline de processamento de conteúdo

Componentes

• Os Aplicativos de Contêiner são uma plataforma de contêiner sem servidor que executa microsserviços e aplicativos em contêineres. Nessa arquitetura, os Aplicativos de Contêiner hospedam a API de pipeline de processamento que orquestra a análise de conteúdo, coordena entre os serviços de IA e gerencia os fluxos de trabalho de extração e transformação. Sua equipe de engenharia de software desenvolve o código personalizado.

• A Foundry é um serviço de IA gerenciado que fornece acesso a modelos de linguagem avançados para processamento e geração de linguagem natural. Nessa arquitetura, o Foundry fornece a base para implantar e gerenciar modelos de IA usados no pipeline de processamento de conteúdo. Ele também serve como o gateway para os serviços de IA conectados, como o Content Understanding.

  • O Azure OpenAI é um componente da Foundry que fornece modelos de linguagem, incluindo GPT-4o e GPT-4o mini. Nessa arquitetura, o Foundry hospeda os modelos como um serviço. Esses modelos executam a transformação de dados baseada em esquema, mapeiam o conteúdo extraído para formatos estruturados e calculam pontuações de confiança para precisão de extração.

  • O Content Understanding é um serviço de IA multimodal que analisa vários tipos de conteúdo de mídia, como áudio, vídeo, texto e imagens. Ele transforma o conteúdo em dados estruturados e pesquisáveis. Nesta arquitetura, o Content Understanding executa o OCR avançado e a extração de conteúdo de documentos multimodal.

• O Azure Cosmos DB é um serviço de banco de dados de vários modelos distribuído globalmente que fornece baixa latência e escalabilidade elástica garantidas. Nessa arquitetura, o Azure Cosmos DB armazena resultados processados, pontuações de confiança, resultados de validação e dados históricos de processamento para trilhas de auditoria e otimização de desempenho.

• O Armazenamento de Blobs é uma solução de armazenamento de objetos otimizada para armazenar grandes quantidades de dados não estruturados. Nessa arquitetura, o Armazenamento de Blobs mantém documentos de origem, artefatos de processamento intermediários e saídas estruturadas finais. Ele fornece armazenamento durável e globalmente disponível.

• O Registro de Contêiner do Azure é um serviço de registro gerenciado do Docker que armazena e gerencia imagens de contêiner. Nessa arquitetura, o Registro de Contêiner gerencia imagens de contêiner com versão para os componentes do pipeline de processamento. Esse sistema garante recursos consistentes de implantação e reversão.

• O Power BI é uma coleção de serviços de software, aplicativos e conectores que trabalham juntos para ajudá-lo a criar, compartilhar e consumir insights de negócios. Nessa arquitetura, o Power BI se conecta ao Azure Cosmos DB e recebe métricas de processamento em tempo real do aplicativo Web de monitoramento para fornecer análise sobre o desempenho do processamento de documentos, padrões de comentários do usuário e KPIs operacionais.

Alternativas

Essa arquitetura inclui vários componentes que você pode substituir por outros serviços ou abordagens do Azure, dependendo dos requisitos funcionais e não funcionais da carga de trabalho. Considere as alternativas e as compensações a seguir.

Abordagem de extração de conteúdo

Abordagem atual: Essa solução usa o Content Understanding para extração avançada de conteúdo e OCR, combinado com o Azure OpenAI para mapeamento e transformação de esquema. Essa abordagem fornece alta precisão para conteúdo multimodal complexo e dá suporte à personalização de esquema flexível.

Abordagem alternativa: Use o Azure Document Intelligence para processamento de documentos usando modelos predefinidos para tipos de documentos comuns, como faturas, recibos e formulários. Essa abordagem fornece implementação mais rápida para tipos de documento padrão, mas menos flexibilidade para esquemas personalizados.

Considere essa alternativa se a carga de trabalho tiver as seguintes características:

• Você processa principalmente tipos de documento padrão que têm formatos bem definidos.

• Você precisa de tempo de mercado mais rápido usando modelos de extração predefinidos.

• Seus requisitos de esquema se alinham com modelos de inteligência de documento padrão.

• Você tem recursos de desenvolvimento personalizados limitados para mapeamento de esquema.

Orquestração de processamento

Abordagem atual: Essa solução usa Aplicativos de Contêiner para hospedar a lógica de processamento personalizada que orquestra o pipeline de análise de conteúdo. Essa abordagem fornece controle máximo sobre fluxos de trabalho de processamento, tratamento de erros e integração lógica de negócios personalizada.

Abordagem alternativa: Use os Aplicativos Lógicos do Azure ou o Azure Functions para orquestração de fluxo de trabalho com conectores internos para serviços de IA. Essa abordagem fornece design de fluxo de trabalho visual e benefícios de serviço gerenciado, mas menos controle sobre a lógica de processamento.

Considere essa alternativa se a carga de trabalho tiver as seguintes características:

• Você prefere o design do fluxo de trabalho visual em vez do desenvolvimento de código personalizado.

• Seus fluxos de trabalho de processamento são relativamente simples e usam lógica condicional padrão.

• Você deseja minimizar a sobrecarga de gerenciamento de infraestrutura.

• Sua equipe tem mais experiência em soluções de baixo código e sem código do que em aplicativos em contêineres.

Detalhes do cenário

Algumas organizações extraem dados significativos diariamente de grandes volumes de conteúdo multimodal não estruturado. O processamento manual tradicional de documentos como contratos, faturas, declarações e relatórios de conformidade é demorado, propenso a erros e não é dimensionado com o crescimento dos negócios. Como resultado, as organizações enfrentam qualidade de dados inconsistente, falta de padronização e dificuldade para integrar informações extraídas em processos de negócios downstream. Essa solução de processamento de conteúdo resolve esses problemas.

A solução usa serviços avançados de IA para extrair, transformar e validar automaticamente o conteúdo de vários tipos de documento. O sistema fornece pontuação de confiança para habilitar o processamento automatizado para extrações de alta confiança, ao mesmo tempo em que sinaliza resultados de baixa confiança para revisão humana. Essa abordagem garante a velocidade e a precisão, mantendo a flexibilidade para lidar com formatos de conteúdo diversos e esquemas de negócios personalizados.

Possíveis casos de uso

Considere os casos de uso potenciais a seguir.

Processamento de serviços financeiros

• Automação de processamento de declarações: Extraia detalhes da política, avaliações de danos e estimativas de custos de documentos de declarações de seguro, fotos e relatórios do ajustador usando verificações automatizadas de validação e conformidade.

• Processamento de fatura e contrato: Extraia automaticamente informações do fornecedor, itens de linha, termos e condições de faturas e contratos e mapeie-os para sistemas empresariais usando a pontuação de confiança para fluxos de trabalho de aprovação.

• Análise de documentos regulatórios: Processe arquivos regulatórios, relatórios de conformidade e documentação de auditoria para extrair as principais métricas e garantir a adesão às regulamentações financeiras e aos requisitos de relatório.

Documentação de serviços de saúde

• Processamento de documentos clínicos: Extraia informações do paciente, diagnósticos, planos de tratamento e informações de medicamentos de registros médicos, relatórios de laboratório e notas clínicas para integração de registros eletrônicos de saúde.

• Automação de cobrança médica: Processe declarações médicas, declarações de cobrança e formulários de seguro para extrair códigos de procedimento, detalhes do paciente e informações de cobertura para fluxos de trabalho de cobrança automatizados.

• Extração de dados de pesquisa: Analise documentos de estudo clínico, artigos de pesquisa e formulários de consentimento do paciente para extrair parâmetros de estudo, resultados e dados de conformidade para fluxos de trabalho de pesquisa médica.

Legal e conformidade

• Análise e extração de contrato: Processe contratos legais, contratos e alterações para extrair termos- chave, obrigações, datas e partes para o monitoramento de conformidade e gerenciamento de contratos.

• Descoberta de documentos legais: Analise resumos legais, depoimentos e arquivos de caso para extrair fatos relevantes, citações e evidências para suporte a litígios e preparação de caso.

• Documentação de conformidade: Processe envios regulatórios, relatórios de auditoria e certificados de conformidade para extrair requisitos, descobertas e ações corretivas para fluxos de trabalho de governança.

Fabricação e cadeia de suprimentos

• Processamento de documentação de qualidade: Extraia os resultados da inspeção, os dados de teste e os detalhes de certificação de documentos e certificados de controle de qualidade. Use os dados extraídos para acompanhamento de conformidade e aprimoramento do processo.

• Documentação do fornecedor: Processe certificações de fornecedores, especificações de material e documentos de envio para extrair dados de conformidade e informações da cadeia de suprimentos para fluxos de trabalho de aquisição.

• Análise de registro de manutenção: Extraia dados de equipamentos, agendas de manutenção e históricos de reparo da documentação técnica para sistemas de manutenção preditiva e gerenciamento de ativos.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Otimização de custos

A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de design para otimização de custos.

Para obter mais informações sobre os custos para executar esse cenário, consulte a estimativa pré-configurada na calculadora de preços do Azure.

Os preços variam de acordo com a região e o uso, portanto, você não pode prever os custos exatos para sua implantação. A maioria dos recursos do Azure nessa infraestrutura segue os tipos de preço baseados em uso. Mas o Registro de Contêiner incorre em um custo fixo diário para cada registro.

Implantar este cenário

Para implantar uma implementação dessa arquitetura, siga as etapas no repositório GitHub.

Contribuidores

A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Autor principal:

• Solomon Pickett | Engenheiro de Software II

Outros colaboradores:

• Anish Arora | Engenheiro de Software Sênior
• Todd Herman | Engenheiro de Software Principal
• Malory Rose | Engenheiro de Software Sênior

Para ver perfis não públicos no LinkedIn, entre no LinkedIn.

Próximas etapas

• Documentação do Content Understanding
• Implementação da solução de processamento de conteúdo