Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Im wirklichen Leben ist Raumklang von entscheidender Bedeutung. Wenn jemand Ihren Namen aufruft, wissen Sie, wie Sie aussehen sollen. Wenn Sie eine Münze auf den Bürgersteig fallen lassen, können Sie erkennen, auf welche Weise sie gerollt hat. Warum? Da Sie "räumlich" hören können, mit anderen Worten, können Sie erkennen, wo in Ihrer Umgebung der Ton auftritt.
In einer Mixed Reality-App müssen Sie möglicherweise nach oben, unten, von Seite zu Seite oder hinter Ihnen suchen, um etwas zu finden, das gerade passiert. Manchmal kann es unklar sein, wo Sie hinschauen sollten. Raumklang verbindet Hologramme tiefer mit der Mixed Reality-Welt und liefert Informationen über die Umgebung und den Objektzustand. Sie können Hinweise aus der Richtung geben, auf die Sie aufmerksam machen möchten. Dies hilft Benutzern, das Bewusstsein für ihre reale Umgebung zu erhalten, und kann sie zu ihren nächsten Schritten führen. Dies erhöht das Vertrauen der Benutzer in Gesten- und Sprachinteraktionen.
Die Verwendung von Sounds in Mixed Reality erfordert einen anderen Ansatz als bei Touch- und Tastatur- und Mausanwendungen. Zu den wichtigsten Entscheidungen beim Sounddesign gehören, welche Sounds verräumlich und welche Interaktionen sonifiziert werden sollen. Eine ausführliche Anleitung finden Sie in unserem Artikel Zu den bewährten Methoden für räumlichen Sound .
Verräumlichung
Die Verräumlichung ist die direktionale Komponente des Raumklangs. Für ein 7.1-Heimkino-Setup ist die Verräumung so einfach wie das Schwenken zwischen Lautsprechern. Für Kopfhörer in Mixed Reality ist es jedoch unerlässlich, eine HRTF-basierte Technologie für Genauigkeit und Komfort zu verwenden. Windows bietet HRTF-basierte Verräumlichung, und diese Unterstützung wird auf HoloLens 2 hardwarebeschleunigt.
Vorschläge zur effektiven Verwendung der Verräumlichung in Ihrer Anwendung finden Sie unter Bewährte Methoden für räumlichen Sound.
Geräteunterstützung
| Feature | HoloLens (erste Generation) | HoloLens 2 | Immersive Headsets |
| Verräumlichung | ✔️ | ✔️ | ✔️ |
| Hardwarebeschleunigung für die Verräumung | ❌ | ✔️ | ❌ |
Fallstudien
HoloTour bringt Benutzer praktisch zu touristischen und historischen Stätten auf der ganzen Welt. Weitere Informationen finden Sie in der Fallstudie Sounddesign für HoloTour . Ein spezielles Mikrofon- und Renderingsetup wurde verwendet, um die Themenbereiche zu erfassen.
RoboRaid ist ein High-Energy-Shooter für HoloLens. Die Fallstudie sound design for RoboRaid beschreibt die Entwurfsentscheidungen, die getroffen wurden, um sicherzustellen, dass räumlicher Klang mit der größtmöglichen dramatischen Wirkung verwendet wurde.
Personalisierung des Spatializers
Die Headtracking mit geringer Latenz von Mixed Reality-Headsets, einschließlich HoloLens, unterstützt eine qualitativ hochwertige HRTF-basierte Verräumlichung.
HRTFs ändern die Pegel- und Phasenunterschiede zwischen den Ohren über das Frequenzspektrum hinweg. Sie basieren auf physischen Modellen und Messungen menschlicher Kopf-, Rumpf- und Ohrformen (Pinnae). Unser Gehirn reagiert auf diese Unterschiede, um eine wahrgenommene Richtung im Klang bereitzustellen.
Jede Person hat eine einzigartige Ohrform, Kopfgröße und Ohrposition. So entsprechen ihnen die besten HRTFs. Um die Genauigkeit der Verräumlichung zu erhöhen, verwendet HoloLens Ihren inter-pupilären Abstand (Inter-Pupilary Distance, IPD) von den Headset-Displays, um die HRTFs an Ihre Kopfgröße anzupassen.
Unterstützung der Spatializer-Plattform
Windows bietet die Verräumlichung, einschließlich HRTFs, über die ISpatialAudioClient-API. Diese API macht die HoloLens 2 HRTF-Hardwarebeschleunigung für Anwendungen verfügbar.
Unterstützung von Spatializer-Middleware
Unterstützung für Windows-HRTFs ist für die folgenden Audio-Engines von Drittanbietern verfügbar.
Akustik
Raumklang ist mehr als nur Richtung. Weitere Dimensionen sind Okklusion, Obstruktion, Hall, Portaling und Quellmodellierung. Zusammen werden diese Dimensionen als Akustik bezeichnet. Ohne Akustik mangelt es verräumlichten Klängen an wahrgenommener Distanz.
Akustikbehandlungen reichen von einfach bis komplex. Sie können einen Hall verwenden, der von jeder Audio-Engine unterstützt wird, um verräumlichte Sounds in die Umgebung des Listeners zu übertragen. Akustiksysteme wie Project Acoustics bieten eine umfangreichere und überzeugendere Akustikbehandlung. Project Acoustics kann die Wirkung von Wänden, Türen und anderen Szenengeometrien auf einen Sound modellieren. Dies ist eine effektive Option für Fälle, in denen die relevante Szenengeometrie zur Entwicklungszeit bekannt ist.