Wyodrębnianie i mapowywanie informacji z zawartości bez struktury

To rozwiązanie do przetwarzania zawartości wyodrębnia dane i stosuje schematy w zawartości wielomodalnej poprzez ocenianie ufności i walidację użytkownika. Przetwarza oświadczenia, faktury, kontrakty i inne dokumenty, wyodrębniając informacje z zawartości bez struktury i mapując je na formaty strukturalne.

Architektura korzysta z rozwiązań Microsoft Foundry, Azure Content Understanding, Azure OpenAI w modelach usługi Foundry i innych usług platformy Azure w celu przekształcania dużych ilości zawartości bez struktury za pośrednictwem potoków przetwarzania sterowanych zdarzeniami. Obsługuje tekst, obrazy, tabele i grafy oraz zapewnia zautomatyzowane kontrole jakości i możliwości przeglądu przez człowieka dla przepływów pracy dokumentów biznesowych.

Architektura

Pobierz plik programu Visio tej architektury.

Workflow

Poniższy przepływ pracy odpowiada poprzedniemu diagramowi:

1. Użytkownicy przekazują zawartość wielomodalną, na przykład dokumenty, obrazy, kontrakty i faktury, za pośrednictwem interfejsu frontonu internetowego. Użytkownicy przesyłają zawartość z określonymi wymaganiami dotyczącymi przetwarzania i schematami docelowymi.

2. Witryna internetowa usługi Azure Container Apps odbiera żądanie przekazywania zawartości i wywołuje interfejs API przetwarzania hostowany w usłudze Container Apps. Zespół ds. oprogramowania opracowuje niestandardowy kod dla obu składników, aby dostosować je do tego scenariusza. Interfejs API wybiera odpowiedni potok przetwarzania i inicjuje przepływy pracy analizy zawartości.

3. Usługa Container Apps zarządza przepływem pracy przetwarzania i łączy usługę Content Understanding z usługą Azure OpenAI.

4. Usługa Content Understanding wykonuje optyczne rozpoznawanie znaków oparte na uczeniu maszynowym (OCR) i wyodrębnia tekst z różnych formatów zawartości, w tym obrazów, tabel i grafów.

5. Usługa Azure OpenAI z funkcją GPT Vision przetwarza wyodrębnianą zawartość, mapuje ją na niestandardowe lub zdefiniowane w branży schematy i generuje ustrukturyzowane dane wyjściowe JSON, które obejmują ocenianie ufności.

6. Kod orkiestracji w usłudze Container Apps przechowuje przetworzone wyniki, wyniki ufności, mapowania schematów i dane historyczne przetwarzania dla dzienników inspekcji i ciągłe ulepszanie w usłudze Azure Cosmos DB.

7. Kod orkiestracji w usłudze Container Apps używa usługi Azure Blob Storage do przechowywania dokumentów źródłowych, artefaktów przetwarzania pośredniego i końcowych danych wyjściowych ze strukturą w celu zapewnienia niezawodnej trwałości i pobierania danych.

8. Usługa Azure Queue Storage zarządza przepływami pracy przetwarzania sterowanego zdarzeniami między usługami tego rozwiązania. To zarządzanie zapewnia niezawodną obsługę komunikatów i koordynację przetwarzania w składnikach potoku.

9. Witryna internetowa monitora procesora zawartości wyświetla przetworzone wyniki dla użytkowników za pośrednictwem interfejsu internetowego. Użytkownicy mogą przeglądać ustrukturyzowane dane wyjściowe JSON, poprawiać wszelkie niedokładności, dodawać komentarze do kontekstu lub opinii i zapisywać ostateczne zweryfikowane wyniki w systemie.

10. Procesor zawartości monitoruje witrynę internetową, przetwarza metryki i dane opinii użytkowników bezpośrednio na pulpitach nawigacyjnych usługi Power BI. Przetworzone dane i metadane przechowywane w usłudze Azure Cosmos DB zapewniają analizę potoku przetwarzania zawartości, w tym następujące szczegółowe informacje:

    • Kluczowe wskaźniki wydajności (KPI)
    • Współczynniki powodzenia
    • Dystrybucje typów dokumentów
    • Trendy wskaźnika ufności
    • Wzorce poprawek użytkowników
    • Inne metryki operacyjne, które wspierają optymalizację potoku przetwarzania treści opartą na danych

Komponenty

• Container Apps to bezserwerowa platforma kontenerów, która uruchamia mikrousługi i konteneryzowane aplikacje. W tej architekturze usługa Container Apps hostuje interfejs API potoku przetwarzania, który organizuje analizę zawartości, koordynuje między usługami sztucznej inteligencji oraz zarządza przepływami pracy wyodrębniania i przekształcania. Zespół inżynierów oprogramowania opracowuje kod niestandardowy.

• Foundry to zarządzana usługa sztucznej inteligencji, która zapewnia dostęp do zaawansowanych modeli językowych na potrzeby przetwarzania i generowania języka naturalnego. W tej architekturze platforma Foundry stanowi podstawę do wdrażania modeli sztucznej inteligencji używanych w potoku przetwarzania zawartości i zarządzania nimi. Służy również jako brama połączonych usług sztucznej inteligencji, takich jak Content Understanding.

  • Azure OpenAI to składnik rozwiązania Foundry, który udostępnia modele językowe, w tym GPT-4o i GPT-4o mini. W tej architekturze Foundry hostuje modele jako usługę. Te modele wykonują przekształcanie danych oparte na schemacie, mapowanie wyodrębnionej zawartości na formaty ustrukturyzowane i obliczanie wyników ufności w celu uzyskania dokładności wyodrębniania.

  • Content Understanding to wielomodalna usługa sztucznej inteligencji, która analizuje różne rodzaje zawartości multimedialnej, takie jak audio, wideo, tekst i obrazy. Przekształca zawartość w dane ustrukturyzowane, z możliwością wyszukiwania. W tej architekturze Content Understanding wykonuje zaawansowane rozpoznawanie OCR oraz ekstrakcję zawartości z dokumentów wielomodalnych.

• Azure Cosmos DB to globalnie rozproszona, wielomodelowa usługa bazy danych, która zapewnia gwarantowane małe opóźnienia i elastyczną skalowalność. W tej architekturze usługa Azure Cosmos DB przechowuje przetworzone wyniki, wyniki ufności, wyniki walidacji i historyczne dane przetwarzania dla dzienników inspekcji i optymalizacji wydajności.

• Blob Storage to rozwiązanie magazynu obiektów zoptymalizowane pod kątem przechowywania ogromnych ilości danych bez struktury. W tej architekturze usługa Blob Storage obsługuje dokumenty źródłowe, artefakty przetwarzania pośredniego i końcowe dane wyjściowe ze strukturą. Zapewnia trwały, dostępny globalnie magazyn.

• Azure Container Registry to zarządzana usługa rejestru platformy Docker, która przechowuje obrazy kontenerów i zarządza nimi. W tej architekturze usługa Container Registry zarządza obrazami kontenerów w wersji dla składników potoku przetwarzania. Ten system zapewnia spójne możliwości wdrażania i wycofywania.

• Usługa Power BI to zbiór usług oprogramowania, aplikacji i łączników, które współpracują ze sobą, aby ułatwić tworzenie, udostępnianie i korzystanie ze szczegółowych informacji biznesowych. W tej architekturze usługa Power BI łączy się z usługą Azure Cosmos DB i odbiera metryki przetwarzania w czasie rzeczywistym z aplikacji internetowej monitorowania w celu dostarczania analiz dotyczących wydajności przetwarzania dokumentów, wzorców opinii użytkowników i operacyjnych wskaźników KPI.

Alternatywy

Ta architektura obejmuje wiele składników, które można zastąpić innymi usługami lub podejściami platformy Azure, w zależności od wymagań funkcjonalnych i niefunkcjonalnych obciążenia. Rozważ następujące alternatywy i kompromisy.

Podejście do wyodrębniania zawartości

Bieżące podejście: To rozwiązanie używa Content Understanding do zaawansowanego OCR i ekstrakcji zawartości, w połączeniu z Azure OpenAI w celu mapowania i przekształcania schematów. Takie podejście zapewnia wysoką dokładność złożonej zawartości wielomodalnej i obsługuje elastyczne dostosowywanie schematu.

Alternatywne podejście: Usługa Azure Document Intelligence umożliwia przetwarzanie dokumentów przy użyciu wstępnie utworzonych modeli dla typowych typów dokumentów, takich jak faktury, paragony i formularze. Takie podejście zapewnia szybszą implementację standardowych typów dokumentów, ale mniejszą elastyczność w przypadku schematów niestandardowych.

Rozważ tę alternatywę, jeśli obciążenie ma następujące cechy:

• Przetwarzasz głównie standardowe typy dokumentów, które mają dobrze zdefiniowane formaty.

• Potrzebujesz szybszego wejścia na rynek dzięki wykorzystaniu predefiniowanych modeli ekstrakcji.

• Wymagania dotyczące schematu są zgodne ze standardowymi modelami analizy dokumentów.

• Masz ograniczone niestandardowe zasoby programistyczne na potrzeby mapowania schematu.

Przetwarzanie aranżacji

Bieżące podejście: To rozwiązanie używa usługi Container Apps do hostowania niestandardowej logiki przetwarzania, która organizuje potok analizy zawartości. Takie podejście zapewnia maksymalną kontrolę nad przepływami pracy przetwarzania, obsługą błędów i niestandardową integracją logiki biznesowej.

Alternatywne podejście: Użyj usługi Azure Logic Apps lub Azure Functions do orkiestracji przepływu pracy z wbudowanymi łącznikami do usług sztucznej inteligencji. Takie podejście zapewnia wizualne korzyści z projektowania przepływu pracy i usługi zarządzanej, ale mniejszą kontrolę nad logiką przetwarzania.

Rozważ tę alternatywę, jeśli obciążenie ma następujące cechy:

• Wolisz projekt wizualnego przepływu pracy w przypadku tworzenia niestandardowego kodu.

• Przepływy pracy przetwarzania są stosunkowo proste i używają standardowej logiki warunkowej.

• Chcesz zminimalizować nakład pracy związany z zarządzaniem infrastrukturą.

• Twój zespół ma większą wiedzę na temat rozwiązań z małą ilością kodu i bez kodu niż w aplikacjach konteneryzowanych.

Szczegóły scenariusza

Niektóre organizacje wyodrębniają istotne dane codziennie z dużych ilości zawartości nieustrukturyzowanej, wielomodalnej. Tradycyjne ręczne przetwarzanie dokumentów, takich jak kontrakty, faktury, oświadczenia i raporty zgodności, jest czasochłonne, podatne na błędy i nie skaluje się wraz ze wzrostem firmy. W związku z tym organizacje napotykają niespójną jakość danych, brak standaryzacji i trudności z integracją wyodrębnionych informacji do procesów biznesowych podrzędnych. To rozwiązanie do przetwarzania zawartości rozwiązuje te problemy.

Rozwiązanie używa zaawansowanych usług sztucznej inteligencji do automatycznego wyodrębniania, przekształcania i weryfikowania zawartości z różnych typów dokumentów. System zapewnia ocenę ufności, aby umożliwić automatyczne przetwarzanie na potrzeby wyodrębniania o wysokiej pewności przy jednoczesnym flagowaniu wyników niższych ufności na potrzeby przeglądu przez człowieka. Takie podejście zapewnia szybkość i dokładność przy zachowaniu elastyczności obsługi różnych formatów zawartości i niestandardowych schematów biznesowych.

Potencjalne przypadki użycia

Rozważ następujące potencjalne przypadki użycia.

Przetwarzanie usług finansowych

• Automatyzacja przetwarzania oświadczeń: Wyodrębnij szczegóły zasad, oceny szkód i oszacowania kosztów z dokumentów roszczeń ubezpieczeniowych, zdjęć i raportów dostosowywania przy użyciu zautomatyzowanych kontroli poprawności i zgodności.

• Przetwarzanie faktur i kontraktów: Automatycznie wyodrębnij informacje o dostawcy, elementach wiersza, warunkach i postanowieniach z faktur i kontraktów oraz zamapuj je na systemy przedsiębiorstwa przy użyciu oceniania ufności dla przepływów pracy zatwierdzania.

• Analiza dokumentów regulacyjnych: Przetwarzanie zgłoszeń regulacyjnych, raportów zgodności i dokumentacji inspekcji w celu wyodrębnienia kluczowych metryk i zapewnienia zgodności z przepisami finansowymi i wymaganiami dotyczącymi raportowania.

Dokumentacja opieki zdrowotnej

• Przetwarzanie dokumentów klinicznych: Wyodrębnij informacje o pacjentach, diagnozy, plany leczenia i informacje o lekach z dokumentacji medycznej, raportów laboratorium i notatek klinicznych dotyczących integracji elektronicznej dokumentacji zdrowia.

• Automatyzacja rozliczeń medycznych: Przetwarzanie roszczeń medycznych, oświadczeń rozliczeniowych i formularzy ubezpieczeniowych w celu wyodrębnienia kodów procedur, szczegółów pacjentów i informacji o pokryciu dla zautomatyzowanych przepływów pracy rozliczeń.

• Wyodrębnianie danych badawczych: Analizowanie dokumentów badań klinicznych, dokumentów badawczych i formularzy zgody pacjentów w celu wyodrębnienia parametrów, wyników i danych zgodności dla przepływów pracy badań medycznych.

Zgodność i zgodność z przepisami

• Analiza kontraktów i wyodrębnianie: Przetwarzanie umów prawnych, umów i poprawek w celu wyodrębnienia kluczowych warunków, zobowiązań, dat i stron na potrzeby zarządzania umowami i monitorowania zgodności.

• Odnajdywanie dokumentów prawnych: Analizowanie aktów prawnych, zeznań i akt sprawy w celu wyodrębnienia istotnych faktów, cytatów i dowodów na pomoc techniczną i przygotowanie sprawy.

• Dokumentacja dotycząca zgodności: Przetwarzanie przesyłania przepisów, raportów inspekcji i certyfikatów zgodności w celu wyodrębniania wymagań, ustaleń i akcji naprawczych dla przepływów pracy ładu.

Łańcuch produkcji i dostaw

• Przetwarzanie dokumentacji dotyczącej jakości: Wyodrębnij wyniki inspekcji, dane testowe i szczegóły certyfikacji z dokumentów i certyfikatów kontroli jakości. Wyodrębnione dane służą do śledzenia zgodności i ulepszania procesów.

• Dokumentacja dostawcy: Certyfikaty dostawców procesów, specyfikacje materiałowe i dokumenty wysyłkowe w celu wyodrębnienia danych zgodności i informacji o łańcuchu dostaw dla przepływów pracy zamówień.

• Analiza rekordów konserwacji: Wyodrębnianie danych dotyczących sprzętu, harmonogramów konserwacji i historii naprawy z dokumentacji technicznej na potrzeby konserwacji predykcyjnej i systemów zarządzania zasobami.

Rozważania

Te zagadnienia obejmują implementację filarów platformy Azure Well-Architected Framework, która jest zestawem wytycznych, których można użyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Well-Architected Framework.

Optymalizacja kosztów

Optymalizacja kosztów koncentruje się na sposobach zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca optymalizacji kosztów.

Aby uzyskać więcej informacji na temat kosztów uruchamiania tego scenariusza, zobacz wstępnie skonfigurowane oszacowanie w kalkulatorze cen platformy Azure.

Ceny różnią się w zależności od regionu i użycia, więc nie można przewidzieć dokładnych kosztów wdrożenia. Większość zasobów platformy Azure w tej infrastrukturze jest stosować warstwy cenowe oparte na użyciu. Jednak usługa Container Registry wiąże się z dziennym kosztem stałym dla każdego rejestru.

Wdrażanie tego scenariusza

Aby wdrożyć implementację tej architektury, wykonaj kroki opisane w repozytorium GitHub.

Współautorzy

Firma Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.

Główny autor:

• Solomon Pickett | Inżynier oprogramowania II

Inni współautorzy:

• Anish Arora | Starszy inżynier oprogramowania
• Todd Herman | Główny inżynier oprogramowania
• Malory Rose | Starszy inżynier oprogramowania

Aby wyświetlić niepubliczne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Dalsze kroki

• Dokumentacja usługi Content Understanding
• Implementacja rozwiązania do przetwarzania zawartości