Exclusive: Designing Single-handed Shortcuts For VR & AR

Heruitgegeven door Plato

volgers: 0

Om nieuwe computertechnologieën volledig tot hun recht te laten komen, hebben ze nieuwe gebruikersinterfaces nodig. De meest essentiële interacties in virtuele ruimtes zijn gebaseerd op directe fysieke manipulaties zoals knijpen en grijpen, omdat deze universeel toegankelijk zijn. Het team van Leap Motion heeft echter ook meer exotische en opwindende interfaceparadigma's onderzocht, van arm-HUD's en digitale wearables tot inzetbare widgets met knoppen, schuifregelaars en zelfs 3D-trackballs en kleurkiezers.

Gastartikel door Barrett Fox & Martin Schubert

Barrett is de Lead VR Interactive Engineer voor Leap Motion. Door een mix van prototyping, tools en het bouwen van workflows met een door de gebruiker aangestuurde feedbacklus, heeft Barrett de grenzen van computerinteractie verlegd, gepord, uitgelokt en gepord.

Martin is Lead Virtual Reality Designer en Evangelist voor Leap Motion. Hij heeft meerdere ervaringen gecreëerd, zoals Gewichtloos, Geometrisch en Spiegels, en onderzoekt momenteel hoe het virtuele gevoel tastbaarder kan worden gemaakt.

Barrett en Martin maken deel uit van de elite Leap Motion team dat inhoudelijk werk in VR / AR UX op innovatieve en boeiende manieren presenteert.

Terwijl we overgaan van informele VR-toepassingen naar diepere en langere sessies, verschuiven de ontwerpprioriteiten van nature naar productiviteit en ergonomie. Een van de meest kritische gebieden van interactieontwerp dat naar voren komt, is modusomschakeling en snelkoppelingen.

Tegenwoordig gebruiken we zo vaak sneltoetsen dat het moeilijk voor te stellen is om zonder deze een computer te gebruiken. Ctrl + Z, Ctrl + C en Ctrl + V vormen de basis voor de efficiëntie van toetsenbord- en muisinvoer. De meesten van jullie die dit lezen hebben deze toegewijd aan het spiergeheugen.

In VR hebben we gezien dat controller-ingangen dit snelkoppelingsparadigma relatief gemakkelijk overnemen door opdrachten opnieuw toe te wijzen aan knoppen, triggers, trackpads en analoge sticks. De penseelgrootte vergroten of verkleinen Tilt Brush je veegt naar rechts of links op het trackpad van je penseelhand.

Maar wat gebeurt er als we denken aan snelle selectie met één hand voor invoer met blote handen? Dit vereist een ander soort denken, omdat we geen knoppen of andere mechanische ingangen hebben om op te leunen. In ons vorige werk hebben we dit soort opdrachten toegewezen aan ofwel gebruikersinterfaces in de wereldruimte (bijv. Bedieningspanelen) of draagbare interfaces die het paletparadigma gebruiken, waarbij de ene hand fungeert als een verzameling opties, terwijl de andere hand fungeert als een kiezer .

Maar als we met één hand in plaats van twee een modusschakelaar zouden kunnen wijzigen of wijzigen, zouden we winst in snelheid, focus en comfort zien die in de loop van de tijd zouden toenemen. We zouden zelfs een belichaamd en ruimtelijk snelkoppelingssysteem kunnen ontwerpen zonder naar onze handen te hoeven kijken, onze blik te bevrijden en de productiviteit verder te verhogen.

Directe manipulatie versus abstracte gebaren

Een manier om een snelkoppeling met één hand te activeren, is door een abstract gebaar als trigger te definiëren. In wezen zou dit een handhouding zijn of een beweging van een hand in de tijd. Dit is een uitzondering op een algemene regel bij Leap Motion, waar we doorgaans de voorkeur geven aan directe fysieke manipulatie van virtuele objecten als een interactieparadigma boven het gebruik van abstracte gebaren. Hiervoor zijn een paar redenen:

Abstracte gebaren zijn vaak dubbelzinnig. Hoe definiëren we een abstract gebaar als 'omhoog vegen' in een driedimensionale ruimte? Waar en wanneer begint of eindigt een veegbeweging? Hoe snel moet het voltooid zijn? Hoeveel vingers moeten er bij betrokken zijn?
Minder abstracte interacties verminderen de leercurve voor gebruikers. Iedereen kan profiteren van een leven lang ervaring met het direct manipuleren van fysieke objecten in de echte wereld. Proberen om een gebruiker specifieke bewegingen te leren zodat ze op betrouwbare wijze commando's kunnen uitvoeren, is een grote uitdaging.
Snelkoppelingen moeten snel en gemakkelijk toegankelijk zijn, maar moeilijk per ongeluk te activeren. Deze ontwerpdoelen staan op gespannen voet! Toegankelijkheid betekent het uitbreiden van het aantal geldige houdingen / bewegingen, maar dit maakt het waarschijnlijker dat we de snelkoppeling onbedoeld activeren.

Om verder te gaan dan dit probleem, hebben we besloten dat we, in plaats van een enkel gebaar te gebruiken om een snelkoppeling te activeren, de actie in twee opeenvolgende fasen zouden plaatsen.

De eerste gateway: Palm Up

Onze filosofie voor interactieontwerp lijkt altijd voort te bouwen op bestaande conventies en metaforen. Een belangrijk precedent dat we in de loop van de tijd hebben gecreëerd in onze digitale wearables-verkenningen, is dat met de hand gemonteerde menu's worden geactiveerd door de palm naar de gebruiker te draaien.

Dit werkt goed bij het segmenteren van interacties op basis van de richting waarin je handen kijken. Palmen die zich van jezelf afkeren en naar de rest van de scène wijzen, impliceren interactie met de buitenwereld. Palmen die op u zijn gericht, impliceren interacties in het nabije veld met interne gebruikersinterfaces. De richting van de handpalm leek een geschikte eerste voorwaarde, die fungeerde als een poort tussen normale handbewegingen en de intentie van een gebruiker om een snelkoppeling te activeren.

De tweede gateway: Pinch

Nu uw handpalm naar u toe is gericht, hebben we gezocht naar een tweede actie die gemakkelijk zou kunnen worden geactiveerd, goed gedefinieerd en opzettelijk. Een snuifje vinkt al deze vakjes aan:

Het kost weinig moeite. Beweeg gewoon je wijsvinger en duim!
Het is goed gedefinieerd. Je krijgt zelf-haptische feedback wanneer je vingers contact maken en de actie kan worden gedefinieerd en weergegeven door het volgsysteem als het bereiken van een minimale afstand tussen gevolgde index en duimtips.
Het is opzettelijk. Het is niet waarschijnlijk dat u uw vingers verstrooid met uw handpalm omhoog knijpt.

Beide acties achter elkaar uitvoeren is snel en gemakkelijk, maar is toch onbedoeld moeilijk. Deze reeks leek een solide basis voor onze verkenning van snelkoppelingen met één hand. De volgende uitdaging was hoe we ons de beweging zouden veroorloven, of met andere woorden, hoe iemand zou weten dat dit is wat ze moesten doen.

Terugdenkend aan de voordelen van directe manipulatie versus abstracte gebaren vroegen we ons af of we de twee paradigma's konden combineren. Door een virtueel object te gebruiken om een gebruiker door de interactie te leiden, kunnen we hen het gevoel geven dat ze iets direct manipuleren terwijl ze in feite een actie uitvoeren die dichter bij een abstract gebaar staat?

De Powerball

Onze oplossing was om een object te maken dat aan de achterkant van je hand was bevestigd en dat fungeert als een visuele indicator van je voortgang door de interactie en als een doelwit voor knijpen. Als uw handpalm weg is gericht, blijft het object op de rug van uw hand vergrendeld. Terwijl je handpalm naar jezelf draait, animeert het object van je hand naar een transformatie-offset die hoger is maar nog steeds relatief ten opzichte van je hand.

Zodra uw handpalm volledig naar u toe is gericht en het object naar zijn eindpositie is geanimeerd, zal het knijpen van het object - een directe manipulatie - de snelkoppeling activeren. We noemden dit object de Powerball. Na wat experimenteren, lieten we het animeren in het knelpunt (een voortdurend bijgewerkte positie gedefinieerd als het middelpunt tussen de wijsvinger en duimtips).

Deze mix van grafische betaalbaarheid, pseudo-directe manipulatie, gebarenbeweging en belichaamde actie bleek gemakkelijk te leren en rijp met uitbreidingspotentieel. Nu was het tijd om te kijken welke soorten snelkoppelingsinterfacesystemen ergonomisch en betrouwbaar zouden worden gevolgd vanuit deze met de palm omhoog geknepen vingers.