Multimodale informatie extraheren met Azure Content Understanding

Azure Content Understanding maakt gebruik van geavanceerde AI-modellen om inhoud in meerdere indelingen te analyseren, waaronder:

• Op tekst gebaseerde formulieren en documenten
• Geluid
• Afbeeldingen
• Video

Formulieren en documenten analyseren

De documentanalysemogelijkheden van Azure Content Understanding gaan verder dan eenvoudige op OCR gebaseerde tekstextractie om op schema's gebaseerde extractie van velden en hun waarden op te nemen.

Stel dat u een schema definieert dat de algemene velden bevat die doorgaans in een factuur worden gevonden, zoals:

• Naam van leverancier
• Factuurnummer
• Factuurdatum
• Klantnaam
• Aangepast adres
• Items - de bestelde items, die elk omvatten:
  • Artikelomschrijving.
  • Prijs per eenheid
  • Bestelde hoeveelheid
  • Regelitem totaal
• Subtotaal factuur
• Belasting
• Verzendkosten
• Factuurtotaal

Stel nu dat u deze informatie moet extraheren uit de volgende factuur:

Azure Content Understanding kan het factuurschema toepassen op uw factuur en de bijbehorende velden identificeren, zelfs wanneer ze zijn gelabeld met verschillende namen (of helemaal niet gelabeld). De resulterende analyse produceert een resultaat als volgt:

Voor elk gedetecteerd veld wordt de waarde uit de factuur geëxtraheerd:

• Naam van leverancier: Adventure Works Cycles
• Factuurnummer: 1234
• Factuurdatum: 03-07-2025
• Klantnaam: John Smith
• Aangepast adres: 123 River Street, Marshtown, Engeland, GL1 234
• Items:
  • Item 1:
    • Beschrijving van item: 38" Racefiets (rood)
    • Eenheidsprijs: 1299,00
    • Bestelde hoeveelheid: 1
    • Regelitem totaal: 1299,00
  • Item 2:
    • Itembeschrijving: Fietshelm (zwart)
    • Eenheidsprijs: 25,99
    • Bestelde hoeveelheid: 1
    • Totaal van regelitem: 25,99
  • Item 3:
    • Beschrijving van item: Fietshemd (L)
    • Eenheidsprijs: 42,50
    • Bestelde hoeveelheid: 2
    • Regelitem totaal: 85,00
• Factuursubtotaal: 1409,99
• Belasting: 140,99
• Verzendkosten: 35.00
• Factuurtotaal: 1585,98

Audio analyseren

Naast documenten op basis van tekst kan Azure Content Understanding audiobestanden analyseren om transcripties, samenvattingen en andere belangrijke inzichten te bieden.

Stel dat u AI wilt gebruiken om uw voicemail samen te vatten. U kunt een schema van belangrijke inzichten definiëren om uit elke opgenomen aanroep te extraheren, zoals hieronder:

• Beller
• Berichtoverzicht
• Aangevraagde acties
• Nummer van terugbeloproep
• Alternatieve contactgegevens

Stel dat een beller u het volgende voicemailbericht laat zien:

Hi, this is Ava from Contoso.

Just calling to follow up on our meeting last week.

I wanted to let you know that I've run the numbers and I think we can meet your price expectations.

Please call me back on 555-12345 or send me an e-mail at Ava@contoso.com and we'll discuss next steps.

Thanks, bye!

Het gebruik van Azure Content Understanding voor het analyseren van de audio-opname en het toepassen van uw schema levert de volgende resultaten op:

• Beller: Ava van Contoso
• Berichtsamenvatting: Ava van Contoso heeft gebeld om een vergadering op te volgen en vermeld dat ze aan de prijsverwachtingen kunnen voldoen. Ze heeft een callback of een e-mailbericht gevraagd om de volgende stappen te bespreken.
• Aangevraagde acties: Terugbellen of een e-mailbericht verzenden om de volgende stappen te bespreken.
• Terugbelnummer: 555-12345
• Alternatieve contactgegevens: Ava@contoso.com

Afbeeldingen en video analyseren

Azure Content Understanding ondersteunt analyse van afbeeldingen en video om informatie te extraheren op basis van een aangepast schema. U kunt bijvoorbeeld afbeeldingen van een videovergadering analyseren om details van aanwezigheid, locatie en andere informatie te extraheren.

Stel dat u het volgende schema hebt gedefinieerd voor een afbeelding die is gemaakt door een samenwerkingsberichtensysteem waarin deelnemers in de ruimte en externe deelnemers in een telefonische vergadering worden gecombineerd:

• Locatie
• Fysiek aanwezige deelnemers
• Externe deelnemers
• Totaal aantal deelnemers

U kunt Azure Content Understanding gebruiken om de volgende afbeelding van de camera van de vergaderruimte te analyseren:

Wanneer u het voorgaande schema toepast op deze afbeelding, levert Azure Content Understanding de volgende resultaten op:

• Locatie: Vergaderruimte
• Deelnemers in persoon: 1
• Externe deelnemers: 3
• Totaal aantal deelnemers: 4

Als u in plaats van een stilstaand beeld te analyseren, een analyzer voor opgenomen video van de oproep zou maken; zou het schema aanwezigheidsaantallen tijdens verschillende tijdsintervallen kunnen bevatten, details van wie er tijdens het gesprek heeft gesproken en wat ze hebben gezegd, een samenvatting van de discussie en een lijst met toegewezen acties van de vergadering.