Vue d’ensemble du son spatial

Dans la vraie vie, le son spatial est vital. Quand quelqu’un appelle votre nom, vous savez comment regarder. Si vous déposez une pièce sur le trottoir, vous pouvez savoir comment elle a roulé. Pourquoi ? Étant donné que vous pouvez entendre « spatialement », en d’autres termes, vous pouvez déterminer où se produit le son dans votre environnement.

Dans une application de réalité mixte, vous devrez peut-être regarder vers le haut, vers le bas, d’un côté à l’autre ou derrière vous pour trouver quelque chose qui se passe. Parfois, il peut être difficile de savoir où vous devez regarder. Le son spatial connecte plus profondément les hologrammes au monde de réalité mixte et fournit des informations sur l’environnement et l’état de l’objet. Vous pouvez fournir des indications à partir de la direction sur laquelle vous souhaitez attirer l’attention ; Cela permet aux utilisateurs de rester conscients de leur environnement réel et peut les guider vers les étapes suivantes. Cela augmente la confiance de l’utilisateur dans les interactions gestuelles et vocales.

L’utilisation de sons dans la réalité mixte nécessite une approche différente de celle des applications tactiles et clavier et souris. Les décisions clés en matière de conception sonore incluent les sons à spatialiser et les interactions à sonifier. Pour obtenir des conseils détaillés, consultez notre article Meilleures pratiques en matière de son spatial .

Spatialisation

La spatialisation est la composante directionnelle du son spatial. Pour une configuration home cinéma 7.1, la spatialisation est aussi simple que le panoramique entre haut-parleurs. Mais pour les casques en réalité mixte, il est essentiel d’utiliser une technologie HRTF pour la précision et le confort. Windows offre une spatialisation basée sur HRTF, et cette prise en charge est accélérée matériellement sur HoloLens 2.

Pour obtenir des suggestions sur l’utilisation efficace de la spatialisation dans votre application, consultez Meilleures pratiques en matière de son spatial.

Prise en charge des appareils

Étude de cas

HoloTour permet aux utilisateurs d’accéder virtuellement aux sites touristiques et historiques du monde entier. Consultez l’étude de cas Conception sonore pour HoloTour . Un microphone spécial et une configuration de rendu ont été utilisés pour capturer les espaces d’objet.

RoboRaid est un tireur à haute énergie pour HoloLens. L’étude de cas Sound design for RoboRaid décrit les choix de conception qui ont été faits pour s’assurer que le son spatial a été utilisé avec un effet spectaculaire.

Personnalisation de Spatializer

Le suivi de la tête à faible latence des casques de réalité mixte, y compris HoloLens, prend en charge la spatialisation basée sur hrtf de haute qualité.

Les HRFS manipulent les différences de niveau et de phase entre les oreilles dans le spectre de fréquence. Ils sont basés sur des modèles physiques et des mesures de la tête humaine, du torse et des formes d’oreilles (pinnae). Nos cerveaux répondent à ces différences pour fournir une direction perçue dans le son.

Chaque individu a une forme d’oreille, une taille de tête et une position d’oreille uniques. Ainsi, les meilleurs HRFS sont conformes à vous. Pour augmenter la précision de la spatialisation, HoloLens utilise votre distance inter-pupilaire (IPD) à partir des écrans du casque pour ajuster les HRFS en fonction de la taille de votre tête.

Prise en charge de la plateforme Spatializer

Windows offre la spatialisation, y compris LES HRFS, via l’API ISpatialAudioClient. Cette API expose les HoloLens 2 l’accélération matérielle HRTF aux applications.

Prise en charge de l’intergiciel Spatializer

La prise en charge des fonctions HRFS de Windows est disponible pour les moteurs audio tiers suivants.

• Un plug-in de moteur audio Unity
• Un plug-in de moteur audio Wwise

Acoustique

Le son spatial n’est pas qu’une direction. Les autres dimensions incluent l’occlusion, l’obstruction, la réverbération, le portaling et la modélisation de la source. Collectivement, ces dimensions sont appelées acoustiques. Sans acoustique, les sons spatialisés manquent de distance perçue.

Les traitements acoustiques vont de simples à complexes. Vous pouvez utiliser une réverbération prise en charge par n’importe quel moteur audio pour envoyer des sons spatialisés dans l’environnement de l’écouteur. Les systèmes acoustiques tels que Project Acoustics fournissent un traitement acoustique plus riche et plus attrayant. Project Acoustics peut modéliser l’effet des murs, des portes et d’autres géométries de scène sur un son. Il s’agit d’une option efficace dans les cas où la géométrie de scène appropriée est connue au moment du développement.

Étapes suivantes

• Son spatial dans Unity
• Bonnes pratiques en matière de son spatial