Compartir a través de


Introducción al sonido espacial

En la vida real, el sonido espacial es vital. Cuando alguien llama a tu nombre, sabes qué manera de mirar. Si sueltas una moneda en la acera, puedes saber de qué manera se ha enrollado. ¿Por qué? Como puede oír "espacialmente", es decir, puede saber dónde está ocurriendo el sonido en su entorno.

En una aplicación de realidad mixta, es posible que tengas que mirar hacia arriba, hacia abajo, de lado a lado o detrás de ti para encontrar algo que esté sucediendo. A veces, puede no estar claro dónde debe mirar. El sonido espacial conecta los hologramas más profundamente con el mundo de la realidad mixta y proporciona información sobre el entorno y el estado del objeto. Puede proporcionar indicaciones desde la dirección a la que desea llamar la atención; esto ayuda a los usuarios a mantener el conocimiento de su entorno real y puede guiarlos a sus pasos siguientes. Esto aumenta la confianza del usuario en las interacciones de gestos y voz.

El uso de sonidos en realidad mixta requiere un enfoque diferente al de las aplicaciones táctiles y de teclado y mouse. Las decisiones clave de diseño sonoro incluyen qué sonidos espacializar y qué interacciones sonificar. Para obtener instrucciones detalladas, consulte nuestro artículo Sobre procedimientos recomendados de sonido espacial .

Espacialización

La espacialización es el componente direccional del sonido espacial. Para una configuración de cine en casa 7.1, la espacialización es tan simple como el movimiento panorámico entre altavoces. Pero para los auriculares de realidad mixta, es esencial usar una tecnología basada en HRTF para la precisión y la comodidad. Windows ofrece espacialización basada en HRTF y esta compatibilidad se acelera por hardware en HoloLens 2.

Para obtener sugerencias sobre el uso eficaz de la espacialización en la aplicación, consulte Procedimientos recomendados de sonido espacial.

Compatibilidad con dispositivos

Característica HoloLens (primera generación) HoloLens 2 Cascos envolventes
Espacialización ✔️ ✔️ ✔️
Aceleración de hardware de espacialización ✔️

Casos prácticos

HoloTour lleva prácticamente a los usuarios a sitios turísticos e históricos de todo el mundo. Consulte el caso práctico diseño de sonido para HoloTour . Se usó un micrófono especial y una configuración de representación para capturar los espacios de asunto.

RoboRaid es un tirador de alta energía para HoloLens. El caso práctico Diseño de sonido para RoboRaid describe las opciones de diseño que se tomaron para garantizar que el sonido espacial se utilizara al máximo efecto dramático.

Personalización del espacializador

El seguimiento de la cabeza de baja latencia de los cascos de realidad mixta, incluido HoloLens, admite la espacialización basada en HRTF de alta calidad.

Los HRTF manipulan las diferencias de nivel y fase entre los oídos en el espectro de frecuencia. Se basan en modelos físicos y medidas de la cabeza humana, el torso y las formas de oído (pinnas). Nuestro cerebro responde a estas diferencias para proporcionar una dirección percibida en el sonido.

Cada individuo tiene una forma de oído única, tamaño de la cabeza y posición del oído. Por lo tanto, los mejores HRTF se ajustan a usted. Para aumentar la precisión de la espacialización, HoloLens usa la distancia inter pupilaria (IPD) desde las pantallas del auricular para ajustar los HRTF para el tamaño de la cabeza.

Compatibilidad con la plataforma de Spatializer

Windows ofrece espacialización, incluidos los HRTF, a través de la API ISpatialAudioClient. Esta API expone la aceleración de hardware de HRTF HoloLens 2 a las aplicaciones.

Compatibilidad con middleware de Spatializer

La compatibilidad con los HRTF de Windows está disponible para los siguientes motores de audio de terceros.

Acústica

El sonido espacial es más que la dirección. Otras dimensiones incluyen oclusión, obstrucción, reverberación, portaling y modelado de origen. Colectivamente, estas dimensiones se conocen como acústicas. Sin acústica, los sonidos espacializados carecen de distancia percibida.

Los tratamientos acústicos van desde simples hasta complejos. Puede usar una reverberación compatible con cualquier motor de audio para insertar sonidos espacializados en el entorno del agente de escucha. Los sistemas acústicos, como Project Acoustics, proporcionan un tratamiento acústico más completo y atractivo. Project Acoustics puede modelar el efecto de paredes, puertas y otra geometría de escena en un sonido. Es una opción eficaz para los casos en los que la geometría de escena pertinente se conoce en tiempo de desarrollo.

Pasos siguientes