Exclusif: conception de raccourcis à une main pour la réalité virtuelle et la réalité augmentée

Pour que les nouvelles technologies informatiques réalisent leur plein potentiel, elles ont besoin de nouvelles interfaces utilisateur. Les interactions les plus essentielles dans les espaces virtuels reposent sur des manipulations physiques directes comme le pincement et la saisie, car elles sont universellement accessibles. Cependant, l'équipe de Leap Motion a également étudié des paradigmes d'interface plus exotiques et passionnants, des HUD de bras et des appareils portables numériques, aux widgets déployables contenant des boutons, des curseurs et même des trackballs 3D et des sélecteurs de couleurs.

Article invité par Barrett Fox et Martin Schubert

Barrett est le Lead VR Interactive Engineer pour Leap Motion. Grâce à un mélange de prototypage, d'outils et de création de flux de travail avec une boucle de rétroaction pilotée par l'utilisateur, Barrett a poussé, poussé, poussé et poussé les limites de l'interaction avec l'ordinateur.

Martin est le concepteur et évangéliste en chef de la réalité virtuelle pour Leap Motion. Il a créé de multiples expériences telles que Weightless, Geometric et Mirrors, et explore actuellement comment rendre le virtuel plus tangible.

Barrett et Martin font partie de l'élite Leap mouvement équipe présentant des travaux de fond en VR / AR UX de manière innovante et engageante.

Alors que nous passons des applications VR occasionnelles à des sessions plus approfondies et plus longues, les priorités de conception évoluent naturellement vers la productivité et l'ergonomie. L'un des domaines les plus critiques de la conception d'interaction qui apparaît est le changement de mode et les raccourcis.

Aujourd'hui, nous utilisons les raccourcis clavier si souvent qu'il est difficile d'imaginer utiliser un ordinateur sans eux. Ctrl + Z, Ctrl + C et Ctrl + V sont fondamentaux pour l'efficacité de la saisie au clavier et à la souris. La plupart d'entre vous qui lisez ceci ont consacré cela à la mémoire musculaire.

En VR, nous avons vu les entrées de contrôleur adopter ce paradigme de raccourci relativement facilement en remappant les commandes aux boutons, déclencheurs, trackpad et sticks analogiques. Pour augmenter ou diminuer la taille du pinceau dans Tilt Brush vous glissez vers la droite ou la gauche sur le pavé tactile de votre pinceau.

Mais que se passe-t-il lorsque nous pensons à des sélections rapides à une main pour une saisie à mains nues? Cela nécessite une réflexion différente, car nous n'avons pas de boutons ou d'autres entrées mécaniques sur lesquels nous appuyer. Dans nos travaux précédents, nous avons mappé ces types de commandes à des interfaces utilisateur de l'espace mondial (par exemple, des panneaux de contrôle) ou à des interfaces portables qui utilisent le paradigme de la palette, où une main agit comme une collection d'options tandis que l'autre agit comme un sélecteur .

Mais si nous pouvions changer de mode ou modifier un outil actuellement actif avec une seule main au lieu de deux, nous constaterions des gains de vitesse, de concentration et de confort qui augmenteraient avec le temps. Nous pourrions même concevoir un système de raccourcis incarné et spatial sans avoir besoin de regarder nos mains, libérant notre regard et augmentant encore la productivité.

Manipulation directe vs gestes abstraits

Une façon d'activer un raccourci avec une seule main serait de définir un geste abstrait comme déclencheur. Il s'agirait essentiellement d'une pose de main ou d'un mouvement d'une main dans le temps. Il s'agit d'une exception à une règle générale chez Leap Motion, où nous privilégions généralement la manipulation physique directe d'objets virtuels comme paradigme d'interaction plutôt que l'utilisation de gestes abstraits. Il y a plusieurs raisons à cela:

• Les gestes abstraits sont souvent ambigus. Comment définissons-nous un geste abstrait comme «glisser vers le haut» dans un espace tridimensionnel? Quand et où commence ou se termine un balayage? À quelle vitesse doit-il être achevé? Combien de doigts doivent être impliqués?
• Des interactions moins abstraites réduisent la courbe d'apprentissage pour les utilisateurs. Tout le monde peut profiter d'une vie entière d'expérience en manipulant directement des objets physiques dans le monde réel. Essayer d'enseigner à un utilisateur des mouvements spécifiques afin qu'il puisse exécuter des commandes de manière fiable est un défi important.
• Les raccourcis doivent être accessibles rapidement et facilement mais difficiles à déclencher accidentellement. Ces objectifs de conception semblent en désaccord! La facilité d'accessibilité signifie l'élargissement de la gamme de poses / mouvements valides, mais cela nous rend plus susceptibles de déclencher le raccourci involontairement.

Pour aller au-delà de ce problème, nous avons décidé qu'au lieu d'utiliser un seul geste pour déclencher un raccourci, nous ferions passer l'action en deux étapes séquentielles.

La première passerelle: Palm Up

Notre philosophie de conception d'interaction cherche toujours à s'appuyer sur les conventions et métaphores existantes. Un précédent majeur que nous avons établi au fil du temps dans nos explorations numériques portables est que les menus montés à la main sont déclenchés en tournant la paume pour faire face à l'utilisateur.

Cela fonctionne bien pour segmenter les interactions en fonction de la direction dans laquelle vos mains sont tournées. Les paumes détournées de vous-même et vers le reste de la scène impliquent une interaction avec le monde extérieur. Les paumes tournées vers vous impliquent des interactions en champ proche avec des interfaces utilisateurs internes. La direction de la paume semblait être une première condition appropriée, agissant comme une passerelle entre le mouvement normal de la main et l'intention d'un utilisateur d'activer un raccourci.

La deuxième passerelle: pincer

Maintenant que votre paume est face à vous, nous avons cherché une deuxième action qui serait facilement déclenchée, bien définie et délibérée. Une pincée coche toutes ces cases:

• C'est peu d'effort. Déplacez simplement votre index et votre pouce!
• C'est bien défini. Vous obtenez un retour auto-haptique lorsque vos doigts entrent en contact, et l'action peut être définie et représentée par le système de suivi comme atteignant une distance minimale entre l'index suivi et les pointes du pouce.
• C'est délibéré. Vous ne risquez pas de vous pincer distraitement les doigts avec la paume vers le haut.

L'exécution de ces deux actions, l'une après l'autre, est à la fois rapide et facile, mais difficile à faire involontairement. Cette séquence semblait être une base solide pour notre exploration des raccourcis à une seule main. Le prochain défi était de savoir comment nous pourrions nous permettre le mouvement, ou en d'autres termes, comment quelqu'un saurait que c'est ce qu'il devait faire.

En repensant aux avantages de la manipulation directe par rapport aux gestes abstraits, nous nous sommes demandé si nous pouvions mélanger les deux paradigmes. En utilisant un objet virtuel pour guider un utilisateur à travers l'interaction, pourrait-on lui faire sentir qu'il manipulait directement quelque chose tout en réalisant une action plus proche d'un geste abstrait?

Le Powerball

Notre solution a été de créer un objet attaché au dos de votre main qui agit comme un indicateur visuel de votre progression dans l'interaction ainsi qu'une cible à pincer. Si votre paume est tournée vers l'extérieur, l'objet reste verrouillé sur le dos de votre main. Lorsque votre paume tourne vers vous, l'objet s'anime de votre main vers un décalage de transformation qui est au-dessus mais toujours par rapport à votre main.

Une fois que votre paume est complètement tournée vers vous et que l'objet s'est animé jusqu'à sa position finale, pincer l'objet - une manipulation directe - déclenchera le raccourci. Nous avons surnommé cet objet le Powerball. Après une certaine expérimentation, nous l'avons fait animer dans le point de pincement (une position constamment mise à jour définie comme le milieu entre l'index et le pouce).

Ce mélange d'accessibilité graphique, de manipulation pseudo-directe, de mouvement gestuel et d'action incarnée s'est révélé facile à apprendre et à mûrir avec un potentiel d'extension. Il était maintenant temps de voir quels types de systèmes d'interface de raccourci seraient ergonomiques et suivis de manière fiable à partir de cette position paume vers le haut.

Suite à la page 2: Sélection de l'interface spatiale »