Eksklusivt: Design af enhåndsgenveje til VR og AR

Genudgivet af Platon

Abonnenter: 0

For at nye computerteknologier kan realisere deres fulde potentiale, har de brug for nye brugergrænseflader. De mest essentielle interaktioner i virtuelle rum er baseret på direkte fysiske manipulationer som at knibe og gribe, da disse er universelt tilgængelige. Teamet hos Leap Motion har dog også undersøgt mere eksotiske og spændende grænsefladeparadigmer fra arm-HUD'er og digitale wearables til deployerbare widgets, der indeholder knapper, skydere og endda 3D-trackballs og farvevælgere.

Gæsteartikel af Barrett Fox & Martin Schubert

Barrett er den ledende VR Interactive Engineer for Leap Motion. Gennem en blanding af prototyping, værktøjer og workflow-opbygning med en brugerdrevet feedback-loop har Barrett skubbet, stukket, kastet og stukket på grænserne for computerinteraktion.

Martin er ledende Virtual Reality-designer og evangelist for Leap Motion. Han har skabt flere oplevelser såsom vægtløs, geometrisk og spejle, og er i øjeblikket ved at udforske, hvordan man får det virtuelle til at føles mere håndgribeligt.

Barrett og Martin er en del af eliten Leap Motion team, der præsenterer væsentligt arbejde i VR/AR UX på innovative og engagerende måder.

Efterhånden som vi bevæger os fra afslappede VR-applikationer til dybere og længere sessioner, skifter designprioriteterne naturligt mod produktivitet og ergonomi. Et af de mest kritiske områder af interaktionsdesign, der dukker op, er tilstandsskift og genveje.

I dag bruger vi tastaturgenveje så ofte, at det er svært at forestille sig at bruge en computer uden dem. Ctrl+Z, Ctrl+C og Ctrl+V er grundlæggende for effektiviteten af input fra tastatur og mus. De fleste af jer, der læser dette, har forpligtet disse til muskelhukommelse.

I VR har vi set controller-indgange tage dette genvejsparadigme relativt let ved at omforme kommandoer til knapper, triggere, pegefelter og analoge sticks. For at øge eller formindske børstestørrelsen i Tilt Brush du stryger til højre eller venstre på pegefeltet på din børstehånd.

Men hvad sker der, når vi tænker på enhånds hurtige valg til bare-hånd input? Dette kræver en anden form for tænkning, da vi ikke har knapper eller andre mekaniske input at læne os op ad. I vores tidligere arbejde har vi kortlagt denne slags kommandoer til enten verdensrumbrugergrænseflader (f.eks. kontrolpaneler) eller bærbare grænseflader, der bruger paletparadigmet, hvor den ene hånd fungerer som en samling af muligheder, mens den anden fungerer som en vælger .

Men hvis vi kunne skifte eller ændre et aktuelt aktivt værktøj med kun én hånd i stedet for to, ville vi se gevinster i hastighed, fokus og komfort, der ville stige over tid. Vi kunne endda designe et indbygget og rumligt genvejssystem uden at skulle se på vores hænder, hvilket frigør vores blik og øger produktiviteten yderligere.

Direkte manipulation vs. abstrakte bevægelser

En måde at aktivere en genvej med en enkelt hånd ville være at definere en abstrakt gestus som en trigger. I bund og grund ville dette være en håndstilling eller en bevægelse af en hånd over tid. Dette er en undtagelse fra en generel regel hos Leap Motion, hvor vi typisk foretrækker direkte fysisk manipulation af virtuelle objekter som et interaktionsparadigme frem for at bruge abstrakte gestus. Der er et par grunde til dette:

Abstrakte bevægelser er ofte tvetydige. Hvordan definerer vi en abstrakt gestus som 'swipe op' i tredimensionelt rum? Hvornår og hvor begynder eller slutter et swipe? Hvor hurtigt skal det færdiggøres? Hvor mange fingre skal der være tale om?
Mindre abstrakte interaktioner reducerer læringskurven for brugerne. Alle kan udnytte en livslang erfaring med direkte at manipulere fysiske objekter i den virkelige verden. At forsøge at lære en bruger specifikke bevægelser, så de kan udføre kommandoer pålideligt, er en betydelig udfordring.
Genveje skal være hurtigt og let tilgængelige, men svære at udløse ved et uheld. Disse designmål virker modstridende! Nem tilgængelighed betyder at udvide rækken af gyldige positurer/bevægelser, men det gør os mere tilbøjelige til at udløse genvejen utilsigtet.

For at komme videre end dette problem besluttede vi, at i stedet for at bruge en enkelt gestus til at udløse en genvej, ville vi inddele handlingen i to sekventielle faser.

Den første gateway: Palm Up

Vores interaktionsdesignfilosofi søger altid at bygge på eksisterende konventioner og metaforer. En stor præcedens, som vi har skabt gennem tiden i vores udforskninger af digitale wearables, er, at håndmonterede menuer udløses ved at dreje håndfladen, så den vender mod brugeren.

Dette fungerer godt til at segmentere interaktioner baseret på, hvilken retning dine hænder vender. Håndflader vendt væk fra dig selv og mod resten af scenen indebærer interaktion med den ydre verden. Håndflader vendt mod dig selv indebærer interaktioner i nærfeltet med interne brugergrænseflader. Håndfladeretning virkede som en passende første betingelse, der fungerede som en port mellem normal håndbevægelse og en brugers intention om at aktivere en genvej.

Den anden gateway: Pinch

Nu hvor din håndflade vender mod dig selv, ledte vi efter en anden handling, som let ville blive udløst, veldefineret og bevidst. Et klemme afkrydser alle disse felter:

Det er lav-indsats. Bare bevæg din pegefinger og tommelfinger!
Det er veldefineret. Du får selvhaptisk feedback, når dine fingre får kontakt, og handlingen kan defineres og repræsenteres af sporingssystemet som at nå en minimumsafstand mellem sporede pege- og tommelfingerspidser.
Det er bevidst. Det er ikke sandsynligt, at du vil klemme dine fingre med håndfladen opad.

At udføre begge disse handlinger, den ene efter den anden, er både hurtig og nem, men alligevel vanskelig at udføre utilsigtet. Denne sekvens virkede som et solidt grundlag for vores enhåndsudforskning af genveje. Den næste udfordring var, hvordan vi ville have råd til bevægelsen, eller med andre ord, hvordan nogen ville vide, at det var det, de skulle gøre.

Når vi tænker tilbage på fordelene ved direkte manipulation versus abstrakte gestus, spekulerede vi på, om vi kunne blande de to paradigmer. Ved at bruge et virtuelt objekt til at guide en bruger gennem interaktionen, kunne vi få dem til at føle, at de direkte manipulerede noget, mens de i virkeligheden udfører en handling tættere på en abstrakt gestus?

Powerballen

Vores løsning var at skabe en genstand fastgjort til bagsiden af din hånd, som fungerer som en visuel indikator for dine fremskridt gennem interaktionen såvel som et mål for klemning. Hvis din håndflade vender væk, forbliver objektet låst på bagsiden af din hånd. Når din håndflade roterer mod dig selv, animeres objektet op af din hånd mod en transformationsforskydning, der er over, men stadig i forhold til din hånd.

Når din håndflade vender helt mod dig selv, og objektet er animeret til sin endeposition, vil genvejen udløses ved at klemme objektet - en direkte manipulation. Vi døbte dette objekt Powerball. Efter nogle eksperimenter fik vi den til at animere ind i klemmepunktet (en konstant opdaterende position defineret som midtpunktet mellem pegefinger- og tommelfingerspidserne).

Denne blanding af grafisk overkommelighed, pseudo-direkte manipulation, gestusbevægelse og kropslig handling viste sig let at lære og moden med potentiale for forlængelse. Nu var det tid til at se på, hvilke slags genvejsinterfacesystemer, der ville være ergonomiske og pålideligt sporet fra denne håndflade-op-klemte-fingre-position.