Exercício – Integrar a Visão Personalizada do Azure

  • 4 minutos

Neste módulo, você aprenderá a usar a Visão Personalizada do Azure. Você tirará um conjunto de fotos de um Objeto Rastreado, as carregará no serviço de Visão Personalizada e iniciará o processo de treinamento. Em seguida, você usará o serviço para detectar o Objeto Rastreado capturando fotos do feed da webcam.

Entender a Visão Personalizada da IA do Azure

A Visão Personalizada da IA do Azure faz parte da família de Serviços Cognitivos e é usada para treinar classificadores de imagem. O classificador de imagem é um serviço de IA que usa o modelo treinado para aplicar marcas correspondentes. Nosso aplicativo usará esse recurso de classificação para detectar Objetos Rastreados.

Saiba mais sobre a Visão Personalizada.

Preparar Visão Personalizada

Antes de começar, você precisa criar um projeto de Visão Personalizada. A maneira mais rápida de criar seu projeto de Visão Personalizada é usando o portal de Visão Personalizada.

Siga este tutorial de início rápido para configurar sua conta e projeto. Siga as etapas até a seção Carregar e marcar imagens . Você deve criar uma tag com cinco imagens.

Aviso

Para treinar um modelo, você precisa ter pelo menos duas etiquetas e cinco imagens por etiqueta. Posteriormente, adicionaremos mais imagens por meio do aplicativo. No entanto, para usar esse aplicativo, você deve pelo menos criar uma etiqueta com cinco imagens para que o processo de treinamento não venha a falhar posteriormente.

Preparar a cena

  1. Na janela Projeto, navegue até a pasta Assets>MRTK.Tutorials.AzureCloudServices>Prefabs>Manager.

    Captura de tela do Unity com a janela Projeto mostrando o caminho para o prefab ObjectDetectionManager.

  2. Em seguida, arraste a predefinição ObjectDetectionManager para a Hierarquia de cena.

    Captura de tela do Unity com os campos de configuração do componente de script ObjectDetectionManager mostrados no Inspetor.

  3. Na janela Hierarquia, localize e selecione o objeto ObjectDetectionManager . O prefab ObjectDetectionManager contém o componente ObjectDetectionManager (script) e, como você pode ver na janela Inspetor, depende das configurações do Azure e das configurações do Projeto.

Recuperar credenciais de recurso da API do Azure

Você pode recuperar as credenciais necessárias para as configurações objectDetectionManager (script) do portal do Azure e do portal de Visão Personalizada.

Recuperar credenciais de configurações do Azure

Localize e identifique o recurso de Visão Personalizada do tipo Serviços Cognitivos que você criou na seção Preparação da cena deste tutorial. Lá, selecione Visão Geral ou Chaves e Ponto de Extremidade para recuperar as credenciais necessárias.

  • ID da Assinatura de Recurso do Azure: use o ID da Assinatura na seção Visão geral.
  • Nome do Grupo de Recursos do Azure: use o nome do grupo de recursos na seção Visão geral .

Para Nome do Grupo de Serviços Cognitivos, use o nome do recurso Visão Personalizada que é seguido por -Previsão.

  • Ponto de extremidade de previsão da base de recursos: Use o ponto de extremidade de Chaves e Ponto de Extremidade no recurso -Prediction da Visão Personalizada.
  • Chave de previsão de API: Use Chave1 de Chaves e Ponto de Extremidade no recurso -Prediction de Visão Personalizada.

Recuperar credenciais de configurações de projeto

No painel visão personalizada , abra o projeto que você criou para este tutorial e selecione o ícone Configurações (engrenagem) no canto superior direito da página para abrir a página Configurações. Você encontrará as credenciais necessárias na seção Recursos no lado direito e na seção Geral no lado esquerdo.

  • Ponto de extremidade base do recurso: Use o ponto de extremidade da seção Recursos. Isso deve corresponder ao ponto de extremidade em Chaves e Pontos de Extremidade no recurso Visão Personalizada.
  • Chave de API: use a chave da seção Recursos . Ela deve corresponder à chave em Chaves e Ponto de Extremidade no recurso Visão Personalizada.
  • ID do projeto: use a ID do projeto da seção Geral .

  1. Agora, com o ObjectDetectionManager (script) configurado corretamente, localize o objeto SceneController em sua hierarquia de cena e selecione-o.

    Captura de tela do Unity com os campos de configuração do componente de script SceneController mostrados no Inspetor.

  2. O campo Gerenciador de Detecção de Objetos no componente SceneController está vazio. Arraste o ObjectDetectionManager da hierarquia para o componente SceneController e salve a cena.

    Captura de tela do Unity com o componente de script SceneController configurado.

Capturar e enviar imagens

  1. Execute a cena e selecione Definir Objeto. Insira o nome de um dos Objetos Rastreados que você criou na lição anterior. Selecione o botão Pesquisa Visual Computacional na parte inferior do Cartão de Objeto.

  2. Uma nova janela será aberta. Você tirará seis fotos para treinar o modelo para reconhecimento de imagem. Selecione o botão Câmera e execute um AirTap para ver o objeto que você deseja rastrear. Faça isso seis vezes.

    Dica

    Para melhorar o treinamento do modelo, tente tirar cada imagem de diferentes ângulos e condições de iluminação.

  3. Depois de ter imagens suficientes, selecione o botão Treinar para iniciar o processo de treinamento de modelo na nuvem. Isso carrega todas as imagens e inicia o treinamento. O processo pode levar alguns minutos. Uma mensagem dentro do menu indica o progresso atual. Depois de indicar que o processo foi concluído, você poderá interromper o aplicativo.

    Dica

    O ObjectDetectionManager (script) carrega diretamente imagens tiradas no serviço de Visão Personalizada. Como alternativa, a API de Visão Personalizada aceita URLs para as imagens. Como um exercício, você pode modificar o ObjectDetectionManager (script) para, em vez disso, carregar as imagens em um Armazenamento de blobs.

Aviso

Se o treinamento falhar, confira o painel do Custom Vision e certifique-se de que você tenha pelo menos duas tags e que cada tag possua pelo menos cinco imagens.

Detectar objetos

Agora você pode testar o modelo treinado. Execute o aplicativo. No menu Principal, selecione Objeto de Pesquisa e insira o nome do Objeto Rastreado em questão. O Cartão de Objeto será exibido. Em seguida, selecione o botão Visão Personalizada . O *ObjectDetectionManager começará a capturar imagens no plano de fundo da câmera. O menu indicará o progresso do aplicativo. Aponte a câmera para o objeto usado para treinar o modelo. Em breve, ele deve detectar o objeto.