Freigeben über

Erkennung bereichsspezifischer Inhalte

Zusätzlich zum Tagging und der hochrangigen Kategorisierung unterstützt Azure Vision in Foundry Tools auch weitere domänenspezifische Analysen mithilfe von Modellen, die auf spezialisierte Daten trainiert werden.

Es gibt zwei Möglichkeiten, fachspezifische Modelle zu nutzen: allein (bereichsbezogene Analyse) oder als Erweiterung der Kategorisierungsfunktion.

Bereichsbezogene Analyse

Sie können ein Bild analysieren, indem Sie nur das domänenspezifische Modell nutzen. Rufen Sie hierfür die API Models/<model>/Analyze auf.

Hier ist eine JSON-Beispielantwort angegeben, die von der API models/celebrities/analyze für das jeweilige Bild zurückgegeben wird:

Satya Nadella (stehend, lächelnd) 

{
  "result": {
    "celebrities": [{
      "faceRectangle": {
        "top": 391,
        "left": 318,
        "width": 184,
        "height": 184
      },
      "name": "Satya Nadella",
      "confidence": 0.99999856948852539
    }]
  },
  "requestId": "8217262a-1a90-4498-a242-68376a4b956b",
  "metadata": {
    "width": 800,
    "height": 1200,
    "format": "Jpeg"
  }
}

Verbesserte Kategorisierungsanalyse

Sie können domänenspezifische Modelle auch verwenden, um die allgemeine Bildanalyse zu erweitern. Dies ist im Rahmen der allgemeinen Kategorisierung möglich, indem domänenspezifische Modelle im Parameter Details des Analyze Image-API-Aufrufs angegeben werden.

In diesem Fall wird zuerst der Klassifizierer der 86-Kategorien-Taxonomie aufgerufen. Wenn erkannte Kategorien über ein passendes domänenspezifisches Modell verfügen, wird das Bild auch über dieses Modell übergeben, und die Ergebnisse werden hinzugefügt.

Mit der folgenden JSON-Antwort wird veranschaulicht, wie die domänenspezifische Analyse als detail-Knoten in eine umfassendere Kategorisierungsanalyse eingebunden werden kann.

"categories":[
  {
    "name":"abstract_",
    "score":0.00390625
  },
  {
    "name":"people_",
    "score":0.83984375,
    "detail":{
      "celebrities":[
        {
          "name":"Satya Nadella",
          "faceRectangle":{
            "left":597,
            "top":162,
            "width":248,
            "height":248
          },
          "confidence":0.999028444
        }
      ],
      "landmarks":[
        {
          "name":"Forbidden City",
          "confidence":0.9978346
        }
      ]
    }
  }
]

Auflisten der domänenspezifischen Modelle

Derzeit unterstützt Azure Vision die folgenden domänenspezifischen Modelle:

Name BESCHREIBUNG
Prominente Erkennung berühmter Personen, die für Bilder unterstützt wird, die in die Kategorie people_ klassifiziert werden
Wahrzeichen Erkennung von Wahrzeichen, die für Bilder unterstützt wird, die in die Kategorien outdoor_ oder building_ klassifiziert werden

Durch das Aufrufen der Models-API werden diese Informationen zusammen mit den Kategorien zurückgegeben, für welche die einzelnen Modelle gelten können:

{
  "models":[
    {
      "name":"celebrities",
      "categories":[
        "people_",
        "人_",
        "pessoas_",
        "gente_"
      ]
    },
    {
      "name":"landmarks",
      "categories":[
        "outdoor_",
        "户外_",
        "屋外_",
        "aoarlivre_",
        "alairelibre_",
        "building_",
        "建筑_",
        "建物_",
        "edifício_"
      ]
    }
  ]
}

Verwenden der API

Dieses Feature ist über die Bildanalyse 3.2-API verfügbar. Sie können diese API über ein natives SDK oder REST-Aufrufe aufrufen. Fügen Sie Celebrities oder Landmarks in den Abfrageparameter details ein. Nachdem Sie die vollständige JSON-Antwort erhalten haben, analysieren Sie die Zeichenfolge auf die Inhalte im Abschnitt "details".

  • Last updated on