Deteção de conteúdo específico do domínio

Para além da marcação e categorização de alto nível, o Azure Vision em Foundry Tools também suporta análises específicas de domínio adicional usando modelos treinados com dados especializados.

Há duas maneiras de usar os modelos específicos do domínio: por si só (análise de escopo) ou como um aprimoramento para o recurso de categorização de imagem.

Análise de escopo

Você pode analisar uma imagem usando apenas o modelo específico do domínio escolhido chamando a API Models/<model>/Analyze .

A seguir está um exemplo de resposta JSON retornada models/celebrities/analyze pela API para a imagem fornecida:

{
  "result": {
    "celebrities": [{
      "faceRectangle": {
        "top": 391,
        "left": 318,
        "width": 184,
        "height": 184
      },
      "name": "Satya Nadella",
      "confidence": 0.99999856948852539
    }]
  },
  "requestId": "8217262a-1a90-4498-a242-68376a4b956b",
  "metadata": {
    "width": 800,
    "height": 1200,
    "format": "Jpeg"
  }
}

Análise de categorização aprimorada

Você também pode usar modelos específicos de domínio para complementar a análise geral de imagens. Você faz isso como parte da categorização de alto nível, ao especificar modelos específicos de domínio no parâmetro details da chamada da API para analisar imagem.

Neste caso, o classificador de taxonomia de 86 categorias é chamado primeiro. Se qualquer uma das categorias detetadas tiver um modelo específico de domínio correspondente, a imagem também será passada por esse modelo e os resultados serão adicionados.

A resposta JSON a seguir mostra como a análise específica do domínio pode ser incluída como o nó detail numa análise de categorização mais ampla.

"categories":[
  {
    "name":"abstract_",
    "score":0.00390625
  },
  {
    "name":"people_",
    "score":0.83984375,
    "detail":{
      "celebrities":[
        {
          "name":"Satya Nadella",
          "faceRectangle":{
            "left":597,
            "top":162,
            "width":248,
            "height":248
          },
          "confidence":0.999028444
        }
      ],
      "landmarks":[
        {
          "name":"Forbidden City",
          "confidence":0.9978346
        }
      ]
    }
  }
]

Listar os modelos específicos do domínio

Atualmente, o Azure Vision suporta os seguintes modelos específicos de domínio:

Chamar a API de modelos retorna essas informações junto com as categorias às quais cada modelo pode se aplicar:

{
  "models":[
    {
      "name":"celebrities",
      "categories":[
        "people_",
        "人_",
        "pessoas_",
        "gente_"
      ]
    },
    {
      "name":"landmarks",
      "categories":[
        "outdoor_",
        "户外_",
        "屋外_",
        "aoarlivre_",
        "alairelibre_",
        "building_",
        "建筑_",
        "建物_",
        "edifício_"
      ]
    }
  ]
}

Utilizar a API

Esse recurso está disponível por meio da API Analyze Image 3.2. Você pode chamar essa API por meio de um SDK nativo ou por meio de chamadas REST. Incluir Celebrities ou Landmarks no parâmetro de consulta de detalhes . Em seguida, quando você obtiver a resposta JSON completa, analise a cadeia de caracteres para o conteúdo da "details" seção.

• Guia de início rápido: API REST do Vision ou bibliotecas de cliente