Interaktionsmodelle

  • 3 Minuten

Mit dem Mixed Reality-Toolkit können Sie Eingaben aus einer Vielzahl von Eingabequellen wie Controllern, artikulierten Händen oder Spracheingaben nutzen. Wenn Sie das Interaktionsmodell auswählen, das für Ihre Mixed-Reality-Erfahrung am besten geeignet ist, müssen Sie Ihren Benutzer und seine Ziele identifizieren und situationen- oder Umgebungsfaktoren berücksichtigen, die sich auf ihre Erfahrung auswirken können. Hier erfahren Sie mehr über die drei primären Interaktionsmodelle für Mixed-Reality-Erfahrungen und das Simulieren von Eingaben in Unity.

Interaktionsmodelle

Es gibt drei primäre Interaktionsmodelle, die den Großteil der Mixed-Reality-Erfahrungen entsprechen.

Modell Beispielszenarien Passend für
Hand- und Bewegungscontroller 3D-Raumumgebungen, wie etwa räumliches Layout und Design, Manipulation von Inhalten, Simulation. In Verbindung mit Spracheingabe, Eye-Tracking oder Kopfnavigation hervorragend geeignet für neue Benutzer. Flache Lernkurve. Konsistentes Benutzererlebnis bei Hand-Tracking und 6DoF-Controllern.
Freihändig Kontextbezogene Umgebungen, in denen die Hände eines Benutzers beschäftigt sind, etwa bei beruflichen Schulungen oder Wartungsarbeiten. Ein gewisser Lernaufwand ist erforderlich. Wenn die Hände nicht verfügbar sind, koppelt sich das Gerät gut mit Spracheingabe und natürlichsprachlicher Bedienung.
Anvisieren und Bestätigen Klick-through-Erfahrungen; z. B. 3D-Präsentationen oder Demos. Erfordert Schulungen auf kopfmontierten Geräten, aber nicht auf Mobilgeräten. Vor allem für barrierefreie Controller geeignet.

Zwar können Sie Teile mehrerer Interaktionsmodelle in Ihrer Mixed Reality-Umgebung kombinieren, bedenken Sie aber, dass dadurch die Gefahr konkurrierender Benutzereingaben entsteht, beispielsweise durch gleichzeitige Handstrahlen und einem Cursor, der durch die Position und Bewegung des Kopfes gesteuert wird. Dies kann Benutzer überfordern und verwirren.

Bei Ihrer Anwendung mehrerer Interaktionsmodelle sollten Sie bedenken, dass viele Benutzer beim Übergang von einem Modell zu einem anderen Probleme haben könnten, insbesondere Benutzer, die neu in der Mixed Reality sind.

Hand- und Bewegungscontroller-Modell

Für das Hand- und Bewegungscontroller-Modell muss der Benutzer eine oder beide Hände verwenden, um mit der holografischen Welt zu interagieren. Dieses Modell entfernt die Grenze zwischen virtuellem und physischem Element.

Zu den spezifischen Szenarien gehören:

  • Bereitstellen von virtuellen 2D-Bildschirmen für Information Worker mit Angeboten zum Anzeigen und Steuern von Inhalten auf der Benutzeroberfläche
  • Bereitstellen von Tutorials und Leitfäden für Mitarbeiter*innen am Fließband
  • Entwickeln von professionellen Werkzeugen für die Unterstützung und Ausbildung von Medizinern
  • Verwenden von virtuellen 3D-Objekten zum Schmücken der Realwelt oder zum Erstellen einer anderen Welt
  • Erstellen von standortbezogenen Diensten und Spielen, die die Realwelt als Hintergrund verwenden

Es gibt drei Modi für Hand- und Bewegungscontroller:

  • Direkte Manipulation mit den Händen
  • Zeigen und Bestätigen mit den Händen
  • Bewegungscontroller

Freihändiges Modell

Das freihändige Modell ermöglicht Es Benutzern, mit holografischen Inhalten zu interagieren, ohne ihre Hände zu verwenden. Dieser Ansatz eignet sich am besten, wenn der Benutzer seine Hände verwenden muss, um seine realen Ziele zu erreichen, und es wird Schwierigkeiten haben, mit einer hands-and-controller-basierten Schnittstelle zu interagieren.

Zu den spezifischen Szenarien gehören:

  • Geleiten durch eine Aufgabe, während Benutzer*innen ihre Hände für etwas anderes benötigen
  • Nachschlagen in der Dokumentation, während die Hände des Benutzers beschäftigt sind
  • Ermüden der Hände
  • Handschuhe, die nicht nachverfolgt werden können
  • Tragen von Gegenständen in den Händen
  • Soziale Ungünstigkeit beim Ausführen großer Handgesten
  • Beengte Raumverhältnisse

Es gibt zwei freihändige Modi:

  • Spracheingabe
  • Anvisieren und Verweilen

Anvisieren und Bestätigen

Anvisieren und Bestätigen ist ein Eingabemodell, das eng mit der Weise verwandt ist, wie wir mithilfe einer Maus zum Zeigen und Klicken mit Computern interagieren. Anvisieren und Bestätigen wird als Modell für die Ferneingabe mit indirekter Manipulation betrachtet. Daher empfiehlt es sich, den Blick zu verwenden und sich bei der Interaktion mit holografischen Inhalten zu konzentrieren, die außerhalb der Reichweite sind. Es gibt zwei Arten von Eingabe per Anvisieren (Anvisieren per Kopf und Anvisieren per Auge) und verschiedene Bestätigungsaktionen.

Nachdem der Benutzer den Blick verwendet hat, um auf ein Objekt oder ein Benutzerschnittstellenelement zu abzielen, kann der Benutzer es mit einer sekundären Eingabe interagieren oder auswählen. Dies wird als Bestätigungsschritt (Commit) des Eingabemodells bezeichnet. Zu den Bestätigungsmethoden gehören Sprachbefehle, ein Tastendruck oder eine Handbewegung.

In-Editor-Eingabesimulation in Unity

Mit der In-Editor-Eingabesimulation von Unity können Sie das holografische Objektverhalten bei Verwendung von Hand- oder Augeninteraktionen testen.

So funktioniert Bewegen in der Szene:

  • Verwenden Sie die W/A/S/D-Tasten , um die Kamera vorwärts/links/hinten/rechts zu bewegen.
  • Verwenden Sie die Q/E-Tasten , um die Kamera vertikal zu verschieben.
  • Halten Sie die rechte Maustaste gedrückt, um die Kamera zu drehen.

So simulieren Sie die Handeingabe:

  • Halten Sie die Leertaste gedrückt, um die rechte Hand zu aktivieren.
  • Bewegen Sie die Maus bei gedrückter Leertaste, um die Hand zu bewegen.
  • Verwenden Sie das Maus-Bildlaufrad , um die Tiefe der Hand anzupassen.
  • Klicken Sie auf die linke Maustaste , um eine Zusammendrückbewegung zu simulieren.
  • Verwenden Sie die T/Y-Tasten, um die Hand in der Ansicht beizubehalten.
  • Halten Sie die STRG-TASTE gedrückt, und bewegen Sie die Maus, um die Hand zu drehen.
  • Halten Sie die linke UMSCHALTTASTE gedrückt, um die linke Hand zu aktivieren.