Exclusivo: Diseño de atajos con una sola mano para VR y AR

Reeditado por Platón

seguidores: 0

Para que las nuevas tecnologías informáticas desarrollen todo su potencial, necesitan nuevas interfaces de usuario. Las interacciones más esenciales en los espacios virtuales se basan en manipulaciones físicas directas como pellizcar y agarrar, ya que son universalmente accesibles. Sin embargo, el equipo de Leap Motion también ha investigado paradigmas de interfaz más exóticos y emocionantes, desde HUD de brazo y dispositivos portátiles digitales, hasta widgets desplegables que contienen botones, controles deslizantes e incluso trackballs 3D y selectores de color.

Artículo invitado por Barrett Fox y Martin Schubert

Barrett es el ingeniero interactivo principal de VR para Leap Motion. Mediante una combinación de creación de prototipos, herramientas y creación de flujo de trabajo con un ciclo de retroalimentación impulsado por el usuario, Barrett ha estado empujando, empujando, empujando y hurgando en los límites de la interacción de la computadora.

Martin es diseñador jefe de realidad virtual y evangelista de Leap Motion. Ha creado múltiples experiencias como Weightless, Geometric y Mirrors, y actualmente está explorando cómo hacer que lo virtual se sienta más tangible.

Barrett y Martin son parte de la élite. Leap Motion equipo que presenta un trabajo sustantivo en VR / AR UX de formas innovadoras y atractivas.

A medida que pasamos de aplicaciones casuales de realidad virtual a sesiones más profundas y prolongadas, las prioridades de diseño cambian naturalmente hacia la productividad y la ergonomía. Una de las áreas más críticas del diseño de interacción que surge es el cambio de modo y los atajos.

Hoy en día usamos atajos de teclado con tanta frecuencia que es difícil imaginar usar una computadora sin ellos. Ctrl+Z, Ctrl+C y Ctrl+V son fundamentales para la eficiencia de la entrada del teclado y el mouse. La mayoría de ustedes que leen esto se han comprometido con la memoria muscular.

En VR, hemos visto que las entradas del controlador adoptan este paradigma de acceso directo con relativa facilidad al reasignar comandos a botones, activadores, trackpads y palancas analógicas. Para aumentar o disminuir el tamaño del pincel en la inclinación del cepillo desliza el dedo hacia la derecha o hacia la izquierda en el panel táctil de la mano del cepillo.

Pero, ¿qué sucede cuando pensamos en selecciones rápidas con una sola mano para la entrada con la mano desnuda? Esto requiere un tipo diferente de pensamiento, ya que no tenemos botones u otras entradas mecánicas en las que apoyarnos. En nuestro trabajo anterior, asignamos este tipo de comandos a interfaces de usuario del espacio mundial (por ejemplo, paneles de control) o interfaces portátiles que utilizan el paradigma de la paleta, donde una mano actúa como una colección de opciones mientras que la otra actúa como un selector. .

Pero si pudiéramos cambiar de modo o modificar una herramienta actualmente activa con solo una mano en lugar de dos, veríamos ganancias en velocidad, enfoque y comodidad que se sumarían con el tiempo. Incluso podríamos diseñar un sistema de atajos incorporado y espacial sin la necesidad de mirar nuestras manos, liberando nuestra mirada y aumentando aún más la productividad.

Manipulación Directa vs. Gestos Abstractos

Una forma de activar un atajo con una sola mano sería definir un gesto abstracto como disparador. Esencialmente, esto sería una pose de mano o un movimiento de una mano a lo largo del tiempo. Esta es una excepción a la regla general en Leap Motion, donde normalmente favorecemos la manipulación física directa de objetos virtuales como paradigma de interacción sobre el uso de gestos abstractos. Hay algunas razones para esto:

Los gestos abstractos suelen ser ambiguos. ¿Cómo definimos un gesto abstracto como 'deslizar hacia arriba' en un espacio tridimensional? ¿Cuándo y dónde comienza o termina un deslizamiento? ¿Qué tan rápido debe completarse? ¿Cuántos dedos deben estar involucrados?
Las interacciones menos abstractas reducen la curva de aprendizaje de los usuarios. Todo el mundo puede aprovechar una vida de experiencia manipulando directamente objetos físicos en el mundo real. Tratar de enseñarle a un usuario movimientos específicos para que pueda realizar comandos de manera confiable es un desafío importante.
Los accesos directos deben ser de acceso rápido y fácil, pero difíciles de activar accidentalmente. ¡Estos objetivos de diseño parecen estar en desacuerdo! La facilidad de accesibilidad significa expandir el rango de poses/movimientos válidos, pero esto hace que sea más probable que activemos el atajo sin querer.

Para ir más allá de este problema, decidimos que en lugar de usar un solo gesto para activar un atajo, dividiríamos la acción en dos etapas secuenciales.

La primera puerta de enlace: Palm Up

Nuestra filosofía de diseño de interacción siempre busca construir sobre convenciones y metáforas existentes. Un precedente importante que hemos establecido a lo largo del tiempo en nuestras exploraciones de dispositivos portátiles digitales es que los menús montados en la mano se activan girando la palma de la mano hacia el usuario.

Esto funciona bien en la segmentación de interacciones según la dirección en la que miran las manos. Las palmas de las manos alejadas de ti mismo y hacia el resto de la escena implican una interacción con el mundo exterior. Las palmas giradas hacia usted implican interacciones en el campo cercano con las interfaces de usuario internas. La dirección de la palma parecía una primera condición adecuada, actuando como una puerta entre el movimiento normal de la mano y la intención del usuario de activar un atajo.

La segunda puerta de enlace: pellizco

Ahora que la palma de tu mano está frente a ti, buscamos una segunda acción que pudiera activarse fácilmente, bien definida y deliberada. Un pellizco marca todas estas casillas:

Es de bajo esfuerzo. ¡Simplemente mueva su dedo índice y pulgar!
Está bien definido. Obtiene retroalimentación autoháptica cuando sus dedos hacen contacto, y el sistema de seguimiento puede definir y representar la acción como si alcanzara una distancia mínima entre las puntas del índice y el pulgar rastreadas.
Es deliberado. No es probable que te pellizques los dedos distraídamente con la palma hacia arriba.

Realizar ambas acciones, una tras otra, es rápido y fácil, pero difícil de hacer sin querer. Esta secuencia parecía una base sólida para nuestra exploración de atajos con una sola mano. El siguiente desafío era cómo pagaríamos el movimiento, o en otras palabras, cómo alguien sabría que esto es lo que necesitaba hacer.

Pensando en los beneficios de la manipulación directa frente a los gestos abstractos, nos preguntamos si podríamos combinar los dos paradigmas. Mediante el uso de un objeto virtual para guiar a un usuario a través de la interacción, ¿podríamos hacerle sentir que está manipulando algo directamente mientras que, de hecho, realiza una acción más cercana a un gesto abstracto?

La bola de poder

Nuestra solución fue crear un objeto adjunto al dorso de su mano que actúa como un indicador visual de su progreso a través de la interacción, así como un objetivo para pellizcar. Si su palma mira hacia afuera, el objeto permanece bloqueado en el dorso de su mano. A medida que la palma de la mano gira hacia usted, el objeto se anima hacia arriba desde su mano hacia un desplazamiento de transformación que está por encima pero aún en relación con su mano.

Una vez que su palma mire completamente hacia usted y el objeto se haya animado a su posición final, pellizcar el objeto, una manipulación directa, activará el atajo. Llamamos a este objeto Powerball. Después de un poco de experimentación, hicimos que se animara en el punto de pellizco (una posición en constante actualización definida como el punto medio entre las puntas del dedo índice y el pulgar).

Esta combinación de capacidad gráfica, manipulación pseudodirecta, movimiento gestual y acción encarnada demostró ser fácil de aprender y madura con potencial para la extensión. Ahora era el momento de ver qué tipos de sistemas de interfaz de acceso directo serían ergonómicos y se rastrearían de manera confiable desde esta posición con la palma hacia arriba y los dedos apretados.