Esclusivo: progettazione di scorciatoie a una mano per VR e AR

Affinché le nuove tecnologie informatiche possano realizzare il loro pieno potenziale, hanno bisogno di nuove interfacce utente. Le interazioni più essenziali negli spazi virtuali sono basate su manipolazioni fisiche dirette come il pizzicamento e l'afferrare, in quanto sono universalmente accessibili. Tuttavia, il team di Leap Motion ha anche studiato paradigmi di interfaccia più esotici ed emozionanti da arm HUD e dispositivi indossabili digitali, a widget dispiegabili contenenti pulsanti, cursori e persino trackball 3D e selettori di colore.

Articolo ospite di Barrett Fox e Martin Schubert

Barrett è l'ingegnere interattivo Lead VR per Leap Motion. Attraverso un mix di prototipazione, strumenti e costruzione del flusso di lavoro con un circuito di feedback guidato dall'utente, Barrett ha spinto, stimolato, lanciato e frugato ai confini dell'interazione del computer.

Martin è capo progettista di realtà virtuale ed evangelista per Leap Motion. Ha creato molteplici esperienze come Weightless, Geometric e Mirrors, e sta attualmente esplorando come rendere il virtuale più tangibile.

Barrett e Martin fanno parte dell'élite Leap movimento team che presenta un lavoro sostanziale in VR / AR UX in modi innovativi e coinvolgenti.

Mentre passiamo da applicazioni VR casuali a sessioni più profonde e più lunghe, le priorità di progettazione si spostano naturalmente verso produttività ed ergonomia. Una delle aree più critiche del design dell'interazione che si presenta è la commutazione di modalità e le scorciatoie.

Oggi usiamo le scorciatoie da tastiera così spesso che è difficile immaginare di usare un computer senza di esse. Ctrl + Z, Ctrl + C e Ctrl + V sono fondamentali per l'efficienza dell'input da tastiera e mouse. Molti di voi leggendo questo hanno commesso questi alla memoria muscolare.

In VR abbiamo visto gli input del controller adottare questo paradigma di scorciatoia relativamente facilmente rimappando i comandi a pulsanti, trigger, trackpad e stick analogici. Per aumentare o ridurre la dimensione del pennello in spazzola Tilt scorri verso destra o sinistra sul trackpad della mano del pennello.

Ma cosa succede quando pensiamo alle selezioni rapide a una mano per l'input a mani nude? Ciò richiede un diverso tipo di pensiero, poiché non abbiamo pulsanti o altri input meccanici su cui appoggiarci. Nel nostro lavoro precedente, abbiamo mappato questo tipo di comandi a interfacce utente nello spazio del mondo (ad es. Pannelli di controllo) o interfacce indossabili che usano il paradigma della tavolozza, in cui una mano funge da raccolta di opzioni mentre l'altra funge da selettore .

Ma se potessimo cambiare modalità o modificare uno strumento attualmente attivo con una sola mano anziché due vedremmo guadagni in velocità, concentrazione e comfort che si sommerebbero nel tempo. Potremmo persino progettare un sistema di scelta rapida incarnato e spaziale senza la necessità di guardarci le mani, liberando lo sguardo e aumentando ulteriormente la produttività.

Manipolazione diretta vs. gesti astratti

Un modo per attivare una scorciatoia con una sola mano sarebbe definire un gesto astratto come un trigger. Fondamentalmente questa sarebbe una posa della mano o un movimento di una mano nel tempo. Questa è un'eccezione a una regola generale di Leap Motion, in cui generalmente favoriamo la manipolazione fisica diretta di oggetti virtuali come paradigma di interazione rispetto all'uso di gesti astratti. Ci sono alcuni motivi per questo:

• I gesti astratti sono spesso ambigui. Come definiamo un gesto astratto come "scorrere verso l'alto" nello spazio tridimensionale? Quando e dove inizia o finisce un colpo? Quanto velocemente deve essere completato? Quante dita devono essere coinvolte?
• Interazioni meno astratte riducono la curva di apprendimento per gli utenti. Tutti possono attingere a una vita di esperienza con la manipolazione diretta di oggetti fisici nel mondo reale. Cercare di insegnare ai movimenti specifici dell'utente in modo che possano eseguire i comandi in modo affidabile è una sfida significativa.
• Le scorciatoie devono essere rapidamente e facilmente accessibili ma difficili da attivare accidentalmente. Questi obiettivi di design sembrano in contrasto! Facilità di accessibilità significa ampliare la gamma di pose / movimenti validi, ma ciò ci rende più propensi a innescare involontariamente il collegamento.

Per andare oltre questo problema, abbiamo deciso che invece di utilizzare il singolo gesto per attivare una scorciatoia, avremmo chiuso l'azione in due fasi sequenziali.

Il primo gateway: Palm Up

La nostra filosofia di progettazione dell'interazione cerca sempre di basarsi su convenzioni e metafore esistenti. Un precedente importante che abbiamo impostato nel tempo nelle nostre esplorazioni digitali da indossare è che i menu montati a mano vengono attivati ​​ruotando il palmo verso l'utente.

Funziona bene nel segmentare le interazioni in base alla direzione verso cui sono rivolte le mani. I palmi delle mani allontanati da te stesso e verso il resto della scena implicano l'interazione con il mondo esterno. I palmi rivolti verso se stessi implicano interazioni nel campo vicino con interfacce utente interne. La direzione del palmo sembrava una prima condizione adatta, fungendo da porta tra il normale movimento della mano e l'intenzione dell'utente di attivare una scorciatoia.

Il secondo gateway: pizzico

Ora che il tuo palmo è rivolto verso te stesso, abbiamo cercato una seconda azione che potesse essere facilmente innescata, ben definita e deliberata. Un pizzico controlla tutte queste caselle:

• È a basso sforzo. Basta spostare il dito indice e il pollice!
• È ben definito Riceverai un feedback auto-tattile quando le tue dita entrano in contatto e l'azione può essere definita e rappresentata dal sistema di tracciamento come raggiungere una distanza minima tra l'indice tracciato e le punte del pollice.
• È deliberato. È improbabile che pizzichi distrattamente le dita con il palmo verso l'alto.

Eseguire entrambe queste azioni, una dopo l'altra, è rapido e semplice, ma difficile da fare involontariamente. Questa sequenza sembrava una solida base per l'esplorazione delle scorciatoie con una sola mano. La prossima sfida era come potevamo permetterci il movimento, o in altre parole, come qualcuno avrebbe saputo che questo era ciò che dovevano fare.

Ripensando ai benefici della manipolazione diretta rispetto ai gesti astratti ci siamo chiesti se potessimo fondere i due paradigmi. Usando un oggetto virtuale per guidare l'utente attraverso l'interazione, possiamo farli sentire come se stessero manipolando direttamente qualcosa mentre in realtà eseguono un'azione più vicina a un gesto astratto?

Il Powerball

La nostra soluzione era quella di creare un oggetto attaccato al dorso della mano che fungesse da indicatore visivo dei tuoi progressi attraverso l'interazione, nonché un bersaglio da pizzicare. Se il palmo è rivolto in avanti, l'oggetto rimane bloccato sul dorso della mano. Mentre il palmo ruota verso di te, l'oggetto si anima dalla tua mano verso un offset di trasformazione che è sopra ma è ancora relativo alla tua mano.

Una volta che il tuo palmo è completamente rivolto verso te stesso e l'oggetto si è animato fino alla sua posizione finale, pizzicando l'oggetto - una manipolazione diretta - attiverà il collegamento. Abbiamo soprannominato questo oggetto il Powerball. Dopo un po 'di sperimentazione, l'abbiamo animato nel punto di pizzicamento (una posizione in costante aggiornamento definita come il punto medio tra l'indice e le punte del pollice).

Questa miscela di convenienza grafica, manipolazione pseudo-diretta, movimento gestuale e azione incarnata si è rivelata facile da imparare e matura con potenziale di estensione. Ora era il momento di esaminare quali tipi di sistemi di interfaccia di collegamento sarebbero ergonomici e tracciati in modo affidabile da questa posizione con il palmo delle dita schiacciate.

Continua a pagina 2: Selezione dell'interfaccia spaziale »