Interactiemodellen

  • 3 minuten

Met de Mixed Reality Toolkit kunt u invoer uit verschillende invoerbronnen gebruiken, zoals controllers, gearticuleerde handen of spraak. Als u het interactiemodel kiest dat het meest geschikt is voor uw mixed reality-ervaring, moet u uw gebruiker en hun doelstellingen identificeren en rekening houden met situatie- of omgevingsfactoren die van invloed kunnen zijn op hun ervaring. Hier leert u meer over de drie primaire interactiemodellen voor mixed reality-ervaringen en hoe u invoer simuleert in Unity.

Interactiemodellen

Er zijn drie primaire interactiemodellen die geschikt zijn voor het merendeel van mixed reality-ervaringen.

Modelleren Voorbeeldscenario's Geschikt
Handen en bewegingscontrollers 3D ruimtelijke ervaringen, zoals ruimtelijke indeling en ontwerp, inhoudsmanipulatie of simulatie. Ideaal voor nieuwe gebruikers in combinatie met spraak, oogtracking of hoofdgerichte blik. Makkelijk aan te leren. Consistente UX voor handtracking en 6DoF-controllers.
Handenvrij Contextuele ervaringen waarbij de handen van een gebruiker bezet zijn, zoals leren en onderhoud op het werk. Enig leren is vereist. Als handen niet beschikbaar zijn, wordt het apparaat goed gekoppeld aan spraak en natuurlijke taal.
Staren en toewijden Doorklikervaringen: bijvoorbeeld 3D-presentaties of demonstraties. Vereist training op hoofdmonteringsapparaten, maar niet op mobiele apparatuur. Het beste voor toegankelijke controllers.

Hoewel u delen van meerdere interactiemodellen kunt combineren in uw mixed reality-ervaring, moet u er rekening mee houden dat dit het risico creëert van concurrerende gebruikersinvoer, zoals gelijktijdige handstraal en een hoofdblik-cursor. Dit kan gebruikers overweldigen en verwarren.

Als uw ervaring meerdere interactiemodellen vereist, moet u er rekening mee houden dat veel gebruikers problemen kunnen ondervinden bij het overstappen van het ene model naar het andere, met name gebruikers die niet bekend zijn met mixed reality.

Model voor handen- en bewegingscontrollers

Het model voor handen- en bewegingscontrollers vereist dat gebruikers een of twee handen gebruiken om te communiceren met de holografische wereld. Met dit model wordt de grens tussen virtueel en fysiek verwijderd.

Enkele specifieke scenario's zijn:

  • Informatiewerkers 2D virtuele schermen bieden met UI-elementen om inhoud weer te geven en te beheersen.
  • Tutorials en handleidingen bieden voor productiemedewerkers van assemblagelijnen
  • Het ontwikkelen van professionele hulpmiddelen voor het ondersteunen en onderwijzen van medische professionals
  • Virtuele 3D-objecten gebruiken om de echte wereld te versieren of om een andere wereld te maken
  • Locatiegebaseerde services en games maken met behulp van de echte wereld als achtergrond

Er zijn drie modaliteiten voor handen en bewegingscontrollers:

  • Directe manipulatie met handen
  • Aanwijzen en vastleggen met handen
  • Bewegingscontrollers

Handenvrij model

Met het hands-free model kunnen gebruikers werken met holografische inhoud zonder hun handen te gebruiken. Deze aanpak is het beste om te gebruiken als de gebruiker misschien hun handen moet gebruiken om hun werkelijke doelstellingen te bereiken en problemen ondervindt met interactie met een interface op basis van hands-and-controllers.

Enkele specifieke scenario's zijn:

  • Door een taak worden geleid terwijl de handen van de gebruiker bezet zijn
  • Verwijzen naar materialen terwijl de handen van de gebruiker bezet zijn
  • Handmoeheid
  • Handschoenen die niet kunnen worden gevolgd
  • Iets in hun handen dragen
  • Sociale onhandigheid van het uitvoeren van grote handbewegingen
  • Krappe ruimten

Er zijn twee hands-free modaliteiten:

  • Spraakinvoer
  • Kijken en Verblijven

Staren en toewijden

Staren en doorvoeren is een invoermodel dat nauw verwant is aan de manier waarop we met computers communiceren door een muis te gebruiken om te wijzen en te klikken. Staren en doorvoeren wordt beschouwd als een verre invoermodel met indirecte manipulatie. Daarom is het het beste om te blikken en vast te leggen bij interactie met holografische inhoud die buiten bereik is. Er zijn twee soorten gazeinvoer (hoofdklikken en oogklikken) en verschillende doorvoeracties.

Nadat de gebruiker zijn blik gebruikt om op een object of UI-element te richten, kan de gebruiker het met een secundaire invoer selecteren of ermee communiceren. Dit wordt de doorvoerstap van het invoermodel genoemd. Doorvoermethoden zijn spraakopdrachten, een drukknop of een handbeweging.

Unity-invoersimulatie in de editor

Met de invoersimulatie van Unity in-editor kunt u holografisch objectgedrag testen bij gebruik van hand- of ooginteractie.

Hoe te bewegen in de scène:

  • Gebruik de W/A/S/D- toetsen om de camera vooruit/links/terug/rechts te verplaatsen.
  • Gebruik de Q/E- toetsen om de camera verticaal te verplaatsen.
  • Houd de rechtermuisknop ingedrukt om de camera te draaien.

Handinvoer simuleren:

  • Houd de spatiebalk ingedrukt om de rechterhand in te schakelen.
  • Terwijl u de spatiebalk vasthoudt, beweegt u de muis om de hand te verplaatsen.
  • Gebruik het muiswiel om de diepte van de hand aan te passen.
  • Klik op de linkermuisknop om een knijpbeweging te simuleren.
  • Gebruik de toetsen T/Y om de hand permanent te maken in de weergave.
  • Houd de Ctrl- ingedrukt en beweeg de muis om de hand te draaien.
  • Houd de linker Shift-toets ingedrukt om de linkerhand in te schakelen.