Exklusivt: Designa enhandsgenvägar för VR & AR

För att nya datortekniker ska kunna utnyttja sin fulla potential behöver de nya användargränssnitt. De viktigaste interaktionerna i virtuella utrymmen är grundade i direkta fysiska manipulationer som att klämma och gripa, eftersom dessa är allmänt tillgängliga. Teamet på Leap Motion har emellertid också undersökt mer exotiska och spännande gränssnittsparadigmer från arm-HUDs och digitala wearables till distribuerbara widgets som innehåller knappar, skjutreglage och till och med 3D-trackballs och färgväljare.

Gästartikel av Barrett Fox & Martin Schubert

Barrett är Lead VR Interactive Engineer for Leap Motion. Genom en blandning av prototyper, verktyg och arbetsflödesuppbyggnad med en användardriven feedback-slinga har Barrett drivit, stöttat, lungat och pirat på gränserna för datorinteraktion.

Martin är Lead Virtual Reality Designer och Evangelist för Leap Motion. Han har skapat flera upplevelser som viktlös, geometrisk och speglar och undersöker för närvarande hur man kan göra den virtuella känslan mer påtaglig.

Barrett och Martin är en del av eliten Leap Motion team som presenterar substantiellt arbete i VR / AR UX på innovativa och engagerande sätt.

När vi går från avslappnade VR-applikationer till djupare och längre sessioner, flyttas designprioriteringar naturligtvis mot produktivitet och ergonomi. Ett av de mest kritiska områdena för interaktionsdesign som kommer upp är lägesväxling och genvägar.

Idag använder vi kortkommandon så ofta att det är svårt att föreställa sig att använda en dator utan dem. Ctrl + Z, Ctrl + C och Ctrl + V är grundläggande för effektiviteten hos tangentbordet och musinmatningen. De flesta av er som läser detta har åtagit sig dessa till muskelminne.

I VR har vi sett att styringångar antar detta genvägsparadigm relativt enkelt genom att mappa kommandon till knappar, utlösare, styrplattor och analoga pinnar. För att öka eller minska penselstorleken i tilt Brush du sveper åt höger eller vänster på din borsthands styrplatta.

Men vad händer när vi tänker på snabbval med en hand för bara hand? Detta kräver en annan typ av tänkande, eftersom vi inte har knappar eller andra mekaniska ingångar att luta oss på. I vårt tidigare arbete har vi kartlagt den här typen av kommandon till antingen världsutrymmesgränssnitt (t.ex. kontrollpaneler) eller bärbara gränssnitt som använder palettparadigmet, där ena handen fungerar som en samling alternativ medan den andra fungerar som en plockare .

Men om vi skulle kunna byta eller modifiera ett för närvarande aktivt verktyg med bara en hand istället för två skulle vi se vinster i hastighet, fokus och komfort som skulle lägga sig över tiden. Vi kan till och med utforma ett förkroppsligat och rumsligt genvägssystem utan att behöva titta på våra händer, frigöra blicken och öka produktiviteten ytterligare.

Direktmanipulation mot abstrakta gester

Ett sätt att aktivera en genväg med en enda hand skulle vara att definiera en abstrakt gest som en utlösare. I huvudsak skulle detta vara en handposition eller en handrörelse över tiden. Detta är ett undantag från en allmän regel vid Leap Motion, där vi vanligtvis föredrar direkt fysisk manipulation av virtuella objekt som ett interaktionsparadigm framför att använda abstrakta gester. Det finns några anledningar till detta:

• Abstrakta gester är ofta tvetydiga. Hur definierar vi en abstrakt gest som "svep upp" i tredimensionellt utrymme? När och var börjar eller slutar en svepning? Hur snabbt måste det slutföras? Hur många fingrar måste vara inblandade?
• Mindre abstrakta interaktioner minskar inlärningskurvan för användarna. Alla kan utnyttja en livstids erfarenhet av att direkt manipulera fysiska föremål i den verkliga världen. Att försöka lära en användare specifika rörelser så att de kan utföra kommandon på ett tillförlitligt sätt är en stor utmaning.
• Genvägar måste vara snabbt och lättillgängliga men svåra att utlösa av misstag. Dessa designmål verkar stridiga! Enkel tillgänglighet innebär att man utvidgar utbudet av giltiga poser / rörelser, men det gör oss mer benägna att utlösa genvägen oavsiktligt.

För att gå bortom denna fråga bestämde vi oss för att istället för att använda en enda gest för att utlösa en genväg, skulle vi styra åtgärden i två sekventiella steg.

Den första gatewayen: Palm Up

Vår interaktionsdesignfilosofi vill alltid bygga på befintliga konventioner och metaforer. Ett viktigt prejudikat som vi har satt över tiden i våra digitala bärbara utforskningar är att handmonterade menyer utlöses genom att vrida handflatan för att möta användaren.

Detta fungerar bra vid segmentering av interaktioner baserat på vilken riktning dina händer vänder mot. Palmer vände sig bort från dig själv och mot resten av scenen antyder interaktion med den yttre världen. Handflator vända sig mot dig innebär interaktioner i närområdet med interna användargränssnitt. Palmriktning verkade som ett lämpligt första tillstånd, som fungerade som en grind mellan normal handrörelse och en användares avsikt att aktivera en genväg.

Andra gatewayen: nypa

Nu när din handflata är vänd mot dig själv, letade vi efter en andra åtgärd som lätt skulle kunna utlösas, väldefinierad och avsiktlig. En nypa kontrollerar alla dessa rutor:

• Det är lite ansträngning. Rör bara pekfingret och tummen!
• Det är väl definierat. Du får självhaptisk återkoppling när dina fingrar kommer i kontakt, och åtgärden kan definieras och representeras av spårningssystemet som att nå ett minimiavstånd mellan spårat index och tumspetsar.
• Det är medvetet. Det är inte troligt att du frånvaro klämmer fingrarna med handflatan uppåt.

Att utföra båda dessa åtgärder, en efter en, är både snabb och enkel men ändå svår att göra oavsiktligt. Denna sekvens verkade som en solid grund för vår enkla genvägsutforskning. Nästa utmaning var hur vi skulle ha råd med rörelsen, eller med andra ord, hur någon skulle veta att detta var vad de behövde göra.

Med tanke på fördelarna med direkt manipulation kontra abstrakta gester undrade vi om vi kunde blanda de två paradigmerna. Genom att använda ett virtuellt objekt för att vägleda en användare genom interaktionen, kan vi få dem att känna att de direkt manipulerar något medan de faktiskt utför en handling närmare en abstrakt gest?

Powerball

Vår lösning var att skapa ett objekt fäst på baksidan av din hand som fungerar som en visuell indikator på dina framsteg genom interaktionen samt ett mål för att klämma. Om din handflata vänder bort, förblir objektet låst på baksidan av din hand. När din handflata roterar mot dig själv animerar objektet upp från din hand mot en transformeringsförskjutning som är över men fortfarande relativt din hand.

När din handflata vetter helt mot dig själv och objektet har animerat till sitt slutläge, kommer klämning av objektet - en direkt manipulation - att utlösa genvägen. Vi kallade detta objekt Powerball. Efter några experiment fick vi det animera in i nypa punkten (en ständigt uppdaterande position definierad som mittpunkten mellan pekfingret och tummen).

Denna blandning av grafisk överkomlighet, pseudo-direkt manipulation, geströrelse och förkroppsligad handling visade sig lätt att lära sig och mogna med potential för förlängning. Nu var det dags att titta på vilka typer av genvägsgränssnittssystem som skulle vara ergonomiska och spåras på ett tillförlitligt sätt från den här handflatan.

Fortsättning på sidan 2: Val av rumsligt gränssnitt »