Extrahieren und Zuordnen von Informationen aus unstrukturierten Inhalten

Diese Inhaltsverarbeitungslösung extrahiert Daten und wendet schemas durch Konfidenzbewertung und Benutzerüberprüfung auf multimodale Inhalte an. Es verarbeitet Ansprüche, Rechnungen, Verträge und andere Dokumente, indem Informationen aus unstrukturierten Inhalten extrahiert und strukturierte Formate zugeordnet werden.

Die Architektur verwendet Microsoft Foundry, Azure Content Understanding, Azure OpenAI in Foundry Models und andere Azure-Dienste, um große Mengen unstrukturierter Inhalte über ereignisgesteuerte Verarbeitungspipelinen zu transformieren. Es behandelt Text, Bilder, Tabellen und Diagramme und bietet automatisierte Qualitätsprüfungen und Funktionen für menschliche Überprüfungen für Geschäftsdokumentworkflows.

Architektur

Laden Sie eine Visio-Datei dieser Architektur herunter.

Arbeitsablauf

Der folgende Workflow entspricht dem vorherigen Diagramm:

1. Benutzer laden multimodale Inhalte wie Dokumente, Bilder, Verträge und Rechnungen über die Web-Front-End-Schnittstelle hoch. Benutzer übermitteln den Inhalt mit bestimmten Verarbeitungsanforderungen und Zielschemas.

2. Die Azure Container Apps-Website empfängt die Anforderung zum Hochladen von Inhalten und ruft die in Container-Apps gehostete Verarbeitungs-API auf. Das Softwareteam entwickelt benutzerdefinierten Code für beide Komponenten, um sie für dieses Szenario anzupassen. Die API wählt die entsprechende Verarbeitungspipeline aus und initiiert Inhaltsanalyseworkflows.

3. Container-Apps verwaltet den Verarbeitungsworkflow und verbindet Content Understanding mit Azure OpenAI.

4. Inhaltsverständnis führt machine learning-basierte optische Zeichenerkennung (OCR) durch und extrahiert Text aus verschiedenen Inhaltsformaten, einschließlich Bildern, Tabellen und Diagrammen.

5. Azure OpenAI mit GPT Vision verarbeitet den extrahierten Inhalt, ordnet ihn benutzerdefinierten oder branchendefinierten Schemas zu und generiert eine strukturierte JSON-Ausgabe, die Konfidenzbewertung enthält.

6. Der Orchestrierungscode in Container-Apps speichert verarbeitete Ergebnisse, Konfidenzergebnisse, Schemazuordnungen und historische Verarbeitungsdaten für Überwachungspfade und kontinuierliche Verbesserung in Azure Cosmos DB.

7. Der Orchestrierungscode in Container-Apps verwendet Azure Blob Storage zum Speichern von Quelldokumenten, Zwischenverarbeitungsartefakten und endgültigen strukturierten Ausgaben für zuverlässige Datenpersistenz und Abrufe.

8. Azure Queue Storage verwaltet ereignisgesteuerte Verarbeitungsworkflows zwischen den Diensten dieser Lösung. Diese Verwaltung gewährleistet eine zuverlässige Nachrichtenverarbeitung und -verarbeitungskoordination über die Pipelinekomponenten hinweg.

9. Die Website des Inhaltsprozessormonitors zeigt die verarbeiteten Ergebnisse für Benutzer über die Weboberfläche an. Benutzer können die strukturierte JSON-Ausgabe überprüfen, alle Ungenauigkeiten korrigieren, Kommentare für Kontext oder Feedback hinzufügen und die endgültig überprüften Ergebnisse im System speichern.

10. Der Inhaltsprozessor überwacht websitefeeds die Verarbeitung von Metriken und Benutzerfeedbackdaten direkt in Power BI-Dashboards. Verarbeitete Daten und Metadaten, die in Azure Cosmos DB gespeichert sind, bieten Analysen zur Inhaltsverarbeitungspipeline, einschließlich der folgenden Erkenntnisse:

    • Key Performance Indicators (KPIs)
    • Erfolgsraten
    • Dokumenttypverteilungen
    • Trends des Konfidenzscores
    • Korrekturmuster von Benutzern
    • Weitere operative Metriken, die die datengesteuerte Optimierung der Inhaltsverarbeitungspipeline unterstützen

Komponenten

• Container-Apps ist eine serverlose Containerplattform, die Microservices und containerisierte Anwendungen ausführt. In dieser Architektur hostet Container-Apps die Verarbeitungspipeline-API, die Inhaltsanalyse koordiniert, zwischen KI-Diensten koordiniert und die Extraktions- und Transformationsworkflows verwaltet. Ihr Software-Engineering-Team entwickelt den benutzerdefinierten Code.

• Foundry ist ein verwalteter KI-Dienst, der Zugriff auf erweiterte Sprachmodelle für die Verarbeitung und Generierung natürlicher Sprachen bietet. In dieser Architektur bietet Foundry die Grundlage für die Bereitstellung und Verwaltung von KI-Modellen, die in der Inhaltsverarbeitungspipeline verwendet werden. Sie dient auch als Gateway zu den verbundenen KI-Diensten, z. B. Content Understanding.

  • Azure OpenAI ist eine Komponente von Foundry, die Sprachmodelle bereitstellt, einschließlich GPT-4o und GPT-4o mini. In dieser Architektur hosten Foundry die Modelle als Dienst. Diese Modelle führen eine schemabasierte Datentransformation aus, ordnen extrahierten Inhalt strukturierten Formaten zu und berechnen Konfidenzergebnisse für die Extraktionsgenauigkeit.

  • Content Understanding ist ein multimodaler KI-Dienst, der verschiedene Arten von Medieninhalten analysiert, z. B. Audio, Video, Text und Bilder. Er wandelt den Inhalt in strukturierte, durchsuchbare Daten um. In dieser Architektur führt Content Understanding erweiterte OCR- und Inhaltsextraktion aus multimodalen Dokumenten durch.

• Azure Cosmos DB ist ein global verteilter Datenbankdienst mit mehreren Modellen, der eine garantierte niedrige Latenz und flexible Skalierbarkeit bietet. In dieser Architektur speichert Azure Cosmos DB verarbeitete Ergebnisse, Konfidenzergebnisse, Validierungsergebnisse und historische Verarbeitungsdaten für Überwachungspfade und Leistungsoptimierung.

• Blob Storage ist eine Objektspeicherlösung, die für die Speicherung großer Mengen unstrukturierter Daten optimiert ist. In dieser Architektur verwaltet Blob Storage Quelldokumente, Zwischenverarbeitungsartefakte und endgültige strukturierte Ausgaben. Es bietet dauerhaften, global verfügbaren Speicher.

• Azure Container Registry ist ein verwalteter Docker-Registrierungsdienst, der Containerimages speichert und verwaltet. In dieser Architektur verwaltet die Containerregistrierung versionsbasierte Containerimages für die Verarbeitungspipelinekomponenten. Dieses System stellt konsistente Bereitstellungs- und Rollbackfunktionen sicher.

• Power BI ist eine Sammlung von Softwarediensten, Apps und Connectors, die zusammenarbeiten, um Ihnen bei der Erstellung, Freigabe und Nutzung von Geschäftseinblicken zu helfen. In dieser Architektur stellt Power BI eine Verbindung mit Azure Cosmos DB her und empfängt Echtzeitverarbeitungsmetriken aus der Überwachungswebanwendung, um Analysen zur Leistung der Dokumentverarbeitung, Benutzerfeedbackmuster und betriebliche KPIs bereitzustellen.

Alternativen

Diese Architektur umfasst mehrere Komponenten, die Sie je nach den funktionalen und nichtfunktionellen Anforderungen Ihrer Workload durch andere Azure-Dienste oder -Ansätze ersetzen können. Berücksichtigen Sie die folgenden Alternativen und Kompromisse.

Ansatz zur Inhaltsextraktion

Aktueller Ansatz: Diese Lösung verwendet Inhaltsverständnis für erweiterte OCR- und Inhaltsextraktion, kombiniert mit Azure OpenAI für die Schemazuordnung und -transformation. Dieser Ansatz bietet eine hohe Genauigkeit für komplexe multimodale Inhalte und unterstützt flexible Schemaanpassungen.

Alternativer Ansatz: Verwenden Sie Azure Document Intelligence für die Dokumentverarbeitung mithilfe vordefinierter Modelle für allgemeine Dokumenttypen wie Rechnungen, Belege und Formulare. Dieser Ansatz bietet eine schnellere Implementierung für Standarddokumenttypen, aber weniger Flexibilität für benutzerdefinierte Schemas.

Erwägen Sie diese Alternative, wenn Ihre Workload die folgenden Merkmale aufweist:

• Sie verarbeiten in erster Linie Standarddokumenttypen mit klar definierten Formaten.

• Durch die Verwendung vorgefertigter Extraktionsmodelle können Sie eine schnellere Markteinführung erreichen.

• Ihre Schemaanforderungen richten sich an standarddokumentintelligenzmodelle.

• Sie haben begrenzte benutzerdefinierte Entwicklungsressourcen für die Schemazuordnung.

Verarbeiten der Orchestrierung

Aktueller Ansatz: Diese Lösung verwendet Container-Apps, um benutzerdefinierte Verarbeitungslogik zu hosten, die die Inhaltsanalysepipeline koordiniert. Dieser Ansatz bietet maximale Kontrolle über verarbeitungsworkflows, fehlerbehandlung und benutzerdefinierte Geschäftslogikintegration.

Alternativer Ansatz: Verwenden Sie Azure Logic Apps oder Azure Functions für die Workflow-Orchestrierung mit integrierten Connectors für KI-Dienste. Dieser Ansatz bietet visuelle Vorteile des Workflowdesigns und verwalteten Diensts, aber weniger Kontrolle über die Verarbeitungslogik.

Erwägen Sie diese Alternative, wenn Ihre Workload die folgenden Merkmale aufweist:

• Sie bevorzugen visuelles Workflowdesign gegenüber der entwicklung von benutzerdefiniertem Code.

• Ihre Verarbeitungsworkflows sind relativ einfach und verwenden standardmäßige bedingte Logik.

• Sie möchten den Verwaltungsaufwand für die Infrastruktur minimieren.

• Ihr Team verfügt über mehr Know-how in Low-Code- und No-Code-Lösungen als in containerisierten Anwendungen.

Szenariodetails

Einige Organisationen extrahieren täglich aussagekräftige Daten aus großen Mengen unstrukturierter, multimodaler Inhalte. Die herkömmliche manuelle Verarbeitung von Dokumenten wie Verträgen, Rechnungen, Ansprüchen und Complianceberichten ist zeitaufwändig, fehleranfällig und skaliert nicht mit dem Geschäftswachstum. Daher stehen Organisationen mit inkonsistenter Datenqualität, fehlender Standardisierung und Schwierigkeiten bei der Integration extrahierter Informationen in nachgelagerte Geschäftsprozesse. Diese Lösung zur Inhaltsverarbeitung behebt diese Probleme.

Die Lösung verwendet erweiterte KI-Dienste, um Inhalte aus verschiedenen Dokumenttypen automatisch zu extrahieren, zu transformieren und zu überprüfen. Das System bietet eine Zuverlässigkeitsbewertung, um die automatisierte Verarbeitung für Extraktionen mit hoher Vertrauenswürdigkeit zu ermöglichen und gleichzeitig Ergebnisse mit niedrigerer Konfidenz für die menschliche Überprüfung zu kennzeichnen. Mit diesem Ansatz wird sowohl Geschwindigkeit als auch Genauigkeit gewährleistet und gleichzeitig die Flexibilität bei der Handhabung verschiedener Inhaltsformate und benutzerdefinierter Geschäftsschemas gewährleistet.

Potenzielle Anwendungsfälle

Berücksichtigen Sie die folgenden potenziellen Anwendungsfälle.

Verarbeitung von Finanzdienstleistungen

• Automatisierung der Anspruchsverarbeitung: Extrahieren Sie Richtliniendetails, Schadensbewertungen und Kostenschätzungen aus Versicherungsansprüchen, Fotos und Anpassungsberichten mithilfe automatisierter Validierungs- und Complianceprüfungen.

• Rechnungs- und Vertragsverarbeitung: Extrahieren Sie automatisch Lieferanteninformationen, Positionen, Geschäftsbedingungen und Bedingungen aus Rechnungen und Verträgen, und ordnen Sie sie unternehmensweiten Systemen zu, indem Sie die Zuverlässigkeitsbewertung für Genehmigungsworkflows verwenden.

• Analyse gesetzlicher Dokumente: Verarbeiten Sie regulatorische Einreichungen, Complianceberichte und Überwachungsdokumentationen, um wichtige Metriken zu extrahieren und die Einhaltung von Finanzvorschriften und Berichtsanforderungen sicherzustellen.

Dokumentation zum Gesundheitswesen

• Klinische Dokumentverarbeitung: Extrahieren Sie Patienteninformationen, Diagnosen, Behandlungspläne und Medikamenteninformationen aus medizinischen Aufzeichnungen, Laborberichten und klinischen Notizen für die Integration elektronischer Gesundheitsdatensätze.

• Automatisierung der medizinischen Abrechnung: Verarbeiten Sie medizinische Ansprüche, Abrechnungs- und Versicherungsformulare, um Verfahrencodes, Patientendetails und Abdeckungsinformationen für automatisierte Abrechnungsworkflows zu extrahieren.

• Datenextraktion der Forschung: Analysieren Sie Klinische Studiendokumente, Forschungspapiere und Patientenzustimmungsformulare, um Studienparameter, Ergebnisse und Compliance-Daten für medizinische Forschungsworkflows zu extrahieren.

Rechts- und Compliance

• Vertragsanalyse und -extraktion: Prozessieren Sie rechtliche Verträge, Vereinbarungen und Änderungen, um wichtige Begriffe, Verpflichtungen, Termine und Parteien für die Vertragsverwaltung und Complianceüberwachung zu extrahieren.

• Legal document discovery: Analysieren Sie rechtliche Informationen, Einlagen und Falldateien, um relevante Fakten, Zitate und Nachweise für die Unterstützung von Rechtsstreitigkeiten und Die Fallvorbereitung zu extrahieren.

• Compliancedokumentation: Verarbeiten Sie behördliche Übermittlungen, Überwachungsberichte und Compliancezertifikate, um Anforderungen, Ergebnisse und Korrekturmaßnahmen für Governance-Workflows zu extrahieren.

Fertigung und Lieferkette

• Qualitätsdokumentationsverarbeitung: Extrahieren Sie Inspektionsergebnisse, Testdaten und Zertifizierungsdetails aus Qualitätskontrolldokumenten und Zertifikaten. Verwenden Sie die extrahierten Daten für die Compliance-Nachverfolgung und Prozessverbesserung.

• Lieferantendokumentation: Verarbeiten Von Lieferantenzertifizierungen, Materialspezifikationen und Versanddokumenten zum Extrahieren von Compliancedaten und Lieferketteninformationen für Beschaffungsworkflows.

• Wartungsdatensatzanalyse: Extrahieren Sie Gerätedaten, Wartungspläne und Reparaturhistorien aus der technischen Dokumentation für predictive Maintenance- und Asset Management-Systeme.

Überlegungen

Diese Überlegungen bilden die Säulen des Azure Well-Architected Framework, einer Reihe von Leitprinzipien, die Sie zur Verbesserung der Qualität eines Workloads verwenden können. Weitere Informationen finden Sie unter Well-Architected Framework.

Kostenoptimierung

Die Kostenoptimierung konzentriert sich auf Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie unter Erstellen einer Checkliste zur Überprüfung der Kostenoptimierung.

Weitere Informationen zu den Kosten für die Ausführung dieses Szenarios finden Sie in der vorkonfigurierten Schätzung im Azure-Preisrechner.

Die Preise variieren je nach Region und Nutzung, sodass Sie keine genauen Kosten für Ihre Bereitstellung vorhersagen können. Die meisten Azure-Ressourcen in dieser Infrastruktur folgen nutzungsbasierten Preisstufen. Bei der Containerregistrierung fallen jedoch tägliche Fixkosten für jede Registrierung an.

Bereitstellen dieses Szenarios

Führen Sie die Schritte im GitHub-Repository aus, um eine Implementierung dieser Architektur bereitzustellen.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautor:

• Salomon Pickett | Softwaretechniker II

Andere Mitwirkende:

• Anish Arora | Senior Software Engineer
• Todd Herman | Principal Software Engineer
• Malory Rose | Senior Software Engineer

Um nicht-öffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.

Nächste Schritte

• Dokumentation zum Inhaltsverständnis
• Implementierung der Inhaltsverarbeitungslösung