Exercício – Integrar e usar o reconhecimento de fala e a transcrição

  • 5 minutos

Neste módulo, você criará um aplicativo de Realidade Misturada que explorará o uso dos Serviços de Fala do Azure com o HoloLens 2. Ao concluir esta série, você poderá usar o microfone do dispositivo para transcrever fala em texto em tempo real, traduzir sua fala para outros idiomas e usar o recurso de reconhecimento de intenção para entender comandos de voz usando inteligência artificial.

Criar e preparar o projeto do Unity

Nesta seção, você criará um novo projeto do Unity e o preparará para o desenvolvimento do MRTK.

Como pré-requisito, verifique se você concluiu as etapas abaixo para inicializar seu projeto e aplicativo:

  1. Criar o projeto do Unity e dar a ele um nome adequado, por exemplo, tutoriais do MRTK
  2. Alternar a plataforma de build
  3. Importando os recursos essenciais TextMeshPro
  4. Importando o Kit de Ferramentas de Realidade Misturada
  5. Configurando o projeto do Unity
  6. Criando e configurando a cena e dando a ela um nome adequado; por exemplo, AzureSpeechServices

Observação

Você pode aprender a configurar seu projeto de realidade misturada no módulo Introdução ao Kit de Ferramentas de Realidade Misturada .

Configurar os recursos

  1. No menu Unity, selecione Editar>Configurações do Projeto... para abrir a janela Configurações do Player e, em seguida, localize a seçãoConfigurações de Publicação do >:

    Captura de tela de Configuração de recursos.

  2. Nas Configurações de Publicação, role para baixo até a seção Recursos e verifique se os recursos InternetClient, Microphone e SpatialPerception (que você habilitou quando criou o projeto no início do tutorial) ainda estão habilitados. Em seguida, habilite os recursos InternetClientServer e PrivateNetworkClientServer .

    Captura de tela de Habilitar os recursos.

Importar os ativos do tutorial

  1. Baixe e importe os seguintes pacotes personalizados do Unity na ordem em que estão listados:

  2. Depois de importar os ativos do tutorial, a janela projeto deverá ter esta aparência:

    Captura de tela da janela projeto depois de importar os ativos necessários.

Preparar a cena

Nesta seção, você preparará a cena adicionando o pré-fabricado do tutorial e configurará o componente Controlador Lunarcom (Script) para controlar sua cena.

  1. Na janela Projeto, navegue até a pasta Ativos>MRTK.Tutorials.AzureSpeechServices>Prefabs e arraste o prefab Lunarcom para a janela Hierarquia para adicioná-lo à sua cena.

    Captura de tela da preparação da cena.

  2. Com o objeto Lunarcom ainda selecionado na janela Hierarquia, na janela Inspetor, use o botão Adicionar Componente para adicionar o componente Controlador Lunarcom (Script) ao objeto Lunarcom.

    Captura de tela da adição do controlador Lunarcom (Script).

  3. Com o objeto Lunarcom ainda selecionado, expanda-o para revelar seus objetos filho e arraste o objeto Terminal para o campo Terminal do componente Lunarcom Controller (Script).

    Captura de tela do campo Terminal.

  4. Com o objeto Lunarcom ainda selecionado, expanda o objeto Terminal para revelar seus objetos filho e arraste o objeto ConnectionLight para o campo Luz de Conexão do componente Controlador do Lunarcom (Script) e o objeto OutputText para o campo Texto de saída.

    Captura de tela do campo Texto de saída.

  5. Com o objeto Lunarcom ainda selecionado, expanda o objeto Buttons para revelar seus objetos filho e, na janela Inspetor, expanda a lista Botões , defina o campo Botões como 3 e arraste os objetos MicButton, SatelliteButton e RocketButton para os campos Elemento 0, 1 e 2, respectivamente.

    Captura de tela da configuração dos botões.

Conectar o projeto do Unity ao recurso do Azure

Para usar os Serviços de Fala do Azure, você precisa criar um recurso do Azure e obter uma chave de API para o Serviço de Fala. Siga as instruções de início rápido e anote sua região de serviço (também conhecida como Local) e chave de API (também conhecida como Key1 ou Key2).

  1. Na janela Hierarquia, selecione o objeto Lunarcom e, na janela Inspetor, localize a seção Credenciais do SDK de Fala do componente Lunarcom Controller (Script) e configure-o da seguinte maneira:

    • No campo Chave de API do Serviço de Fala , insira sua chave de API (Chave1 ou Chave2).
    • No campo Região do Serviço de Fala , insira sua região de serviço (Local) usando letras minúsculas e espaços removidos.

    Captura de tela da configuração das Credenciais do SDK de Fala.

Usar o reconhecimento de fala para transcrever fala

  1. Na janela Hierarquia, selecione o objeto Lunarcom e, na janela Inspetor, use o botão Adicionar Componente para adicionar o componente Reconhecimento de Fala lunarcom (Script) ao objeto Lunarcom.

    Captura de tela da adição do Reconhecedor de Fala Lunarcom (Script).

  2. Agora, se você entrar no modo de jogo e selecionar o botão Jogar, poderá testar o reconhecimento de fala ao pressionar primeiro o botão de microfone.

    Captura de tela do modo de jogo Enter.

  3. Em seguida, supondo que seu computador tenha um microfone, quando você disser algo, sua fala será transcrita no painel do terminal:

    A captura de tela da fala será transcrita no painel do terminal.

    Cuidado

    O aplicativo precisa se conectar ao Azure, portanto, verifique se o computador/dispositivo está conectado à Internet.