Eksklusivt: Designe enhåndsgenveier for VR og AR

For at ny databehandlingsteknologi skal kunne utnytte sitt fulle potensiale, trenger de nye brukergrensesnitt. De viktigste samspillene i virtuelle rom er forankret i direkte fysiske manipulasjoner som å klemme og gripe tak, da disse er universelt tilgjengelige. Imidlertid har teamet på Leap Motion også undersøkt mer eksotiske og spennende grensesnittparadigmer fra arm-HUDs og digitale wearables til distribuerbare widgets som inneholder knapper, glidebrytere og til og med 3D-styrekuler og fargevalg.

Gjesteartikkel av Barrett Fox og Martin Schubert

Barrett er Lead VR Interactive Engineer for Leap Motion. Gjennom en blanding av prototyping, verktøy og arbeidsflytbygging med en brukerdrevet tilbakemeldingsløyfe, har Barrett presset, stappet, lunget og pekte på grensene for datamaskininteraksjon.

Martin er Lead Virtual Reality Designer og evangelist for Leap Motion. Han har skapt flere opplevelser som vektløs, geometrisk og speil, og utforsker for øyeblikket hvordan man får det virtuelle til å føles mer håndgripelig.

Barrett og Martin er en del av eliten Leap Motion team som presenterer omfattende arbeid i VR / AR UX på innovative og engasjerende måter.

Når vi går fra uformelle VR-applikasjoner til dypere og lengre økter, skifter designprioriteringer naturlig mot produktivitet og ergonomi. Et av de mest kritiske områdene av interaksjonsdesign som kommer opp er modusbytte og snarveier.

I dag bruker vi hurtigtaster så ofte at det er vanskelig å forestille seg å bruke en datamaskin uten dem. Ctrl + Z, Ctrl + C og Ctrl + V er grunnleggende for effektiviteten til tastatur og musinngang. De fleste av dere som leser dette har forpliktet seg til muskelhukommelse.

I VR har vi sett kontrollerinnganger vedta dette snarveiparadigmet relativt enkelt ved å tilordne kommandoer til knapper, utløsere, styreflater og analoge pinner. For å øke eller redusere penselstørrelsen i Tilt Brush du sveiper til høyre eller venstre på styreflaten på børstehånden.

Men hva skjer når vi tenker på enhånds raske valg for barehåndsinnspill? Dette krever en annen tenkning, ettersom vi ikke har knapper eller andre mekaniske innganger å lene oss på. I vårt forrige arbeid har vi kartlagt denne typen kommandoer til brukergrensesnitt i verdensrommet (f.eks. Kontrollpaneler) eller bærbare grensesnitt som bruker palettparadigmet, der den ene hånden fungerer som en samling alternativer mens den andre fungerer som en plukker .

Men hvis vi kunne bytte modus eller endre et aktivt verktøy med bare en hånd i stedet for to, ville vi se gevinster i hastighet, fokus og komfort som ville legge seg over tid. Vi kan til og med designe et innebygd og romlig snarveisystem uten å måtte se på hendene våre, frigjøre blikket og øke produktiviteten ytterligere.

Direkte manipulasjon mot abstrakte bevegelser

En måte å aktivere en snarvei med en hånd ville være å definere en abstrakt gest som en utløser. I hovedsak vil dette være en håndposering eller en håndbevegelse over tid. Dette er et unntak fra en generell regel på Leap Motion, der vi vanligvis favoriserer direkte fysisk manipulering av virtuelle objekter som et interaksjonsparadigme fremfor å bruke abstrakte bevegelser. Det er noen grunner til dette:

• Abstrakte bevegelser er ofte tvetydige. Hvordan definerer vi en abstrakt gest som 'sveipe opp' i et tredimensjonalt rom? Når og hvor begynner eller slutter et sveip? Hvor raskt må den fullføres? Hvor mange fingre må være involvert?
• Mindre abstrakte interaksjoner reduserer læringskurven for brukerne. Alle kan utnytte en levetid på erfaring med direkte manipulering av fysiske gjenstander i den virkelige verden. Å prøve å lære en bruker spesifikke bevegelser slik at de kan utføre kommandoer pålitelig er en betydelig utfordring.
• Snarveier må være raskt og lett tilgjengelige, men vanskelig å utløse ved et uhell. Disse designmålene ser ut til å være i strid! Enkel tilgjengelighet betyr å utvide spekteret av gyldige positurer / bevegelser, men dette gjør oss mer sannsynlig å utløse snarveien utilsiktet.

For å gå utover dette problemet, bestemte vi oss for at i stedet for å bruke en enkelt gest for å utløse en snarvei, ville vi portere handlingen i to påfølgende stadier.

Den første porten: Palm Up

Vår interaksjonsdesignfilosofi ser alltid ut til å bygge på eksisterende konvensjoner og metaforer. Et viktig presedens som vi har satt over tid i våre digitale wearables-utforskninger, er at håndmonterte menyer utløses ved å dreie håndflaten for å møte brukeren.

Dette fungerer bra i segmentering av interaksjoner basert på hvilken retning hendene dine vender. Palmer vendte seg bort fra deg selv og mot resten av scenen innebærer interaksjon med den ytre verden. Palmer vendt mot deg selv innebærer interaksjoner i nærområdet med interne brukergrensesnitt. Palmretning virket som en passende første tilstand, som fungerte som en port mellom normal håndbevegelse og brukerens intensjon om å aktivere en snarvei.

Den andre porten: Klem

Nå som håndflaten vender mot deg selv, så vi etter en ny handling som lett kunne utløses, veldefinert og bevisst. En klype sjekker alle disse boksene:

• Det er lite innsats. Bare flytt pekefingeren og tommelen!
• Det er godt definert. Du får selvhaptisk tilbakemelding når fingrene dine tar kontakt, og handlingen kan defineres og representeres av sporingssystemet som å nå en minimumsavstand mellom sporet indeks og tommelfinger.
• Det er bevisst. Det er ikke sannsynlig at du fraværende klemmer fingrene med håndflaten.

Å utføre begge disse handlingene, den ene etter den andre, er både raskt og enkelt, men vanskelig å gjøre utilsiktet. Denne sekvensen virket som et solid grunnlag for vår enklehånds snarveiutforskning. Den neste utfordringen var hvordan vi hadde råd til bevegelsen, eller med andre ord hvordan noen ville vite at dette var det de trengte å gjøre.

Når vi tenker tilbake på fordelene med direkte manipulasjon versus abstrakte bevegelser, lurte vi på om vi kunne blande de to paradigmene. Ved å bruke et virtuelt objekt for å veilede en bruker gjennom interaksjonen, kunne vi få dem til å føle at de direkte manipulerte noe mens de faktisk utførte en handling nærmere en abstrakt gest?

Powerball

Vår løsning var å lage et objekt festet på baksiden av hånden din, som fungerer som en visuell indikator på fremgangen din gjennom samspillet, samt et mål for å klemme. Hvis håndflaten vender bort, forblir gjenstanden låst på baksiden av hånden. Når håndflaten din roterer mot deg selv, animeres objektet opp av hånden din mot en transformasjonsforskyvning som er over, men fortsatt i forhold til hånden din.

Når håndflaten din vender helt mot deg selv og objektet har animert til endeposisjonen, vil klemning av objektet - en direkte manipulasjon - utløse snarveien. Vi kalte dette objektet Powerball. Etter litt eksperimentering fikk vi det animere inn i klemmepunktet (en kontinuerlig oppdateringsposisjon definert som midtpunktet mellom pekefingeren og tommelfingeren).

Denne blandingen av grafisk overkommelighet, pseudo-direkte manipulasjon, gestusbevegelse og legemliggjort handling viste seg å være lett å lære og moden med potensial for utvidelse. Nå var det på tide å se på hva slags snarveisgrensesnittsystemer som ville være ergonomiske og pålitelig spores fra denne håndflaten.

Fortsetter på side 2: Valg av romlig grensesnitt »