Exclusivo: Projetando atalhos com uma só mão para VR e AR

Republicado por Platão

seguidores: 0

Para que as novas tecnologias de computação realizem todo o seu potencial, elas precisam de novas interfaces de usuário. As interações mais essenciais em espaços virtuais são baseadas em manipulações físicas diretas como beliscar e agarrar, uma vez que são universalmente acessíveis. No entanto, a equipe da Leap Motion também investigou paradigmas de interface mais exóticos e empolgantes de HUDs de braço e wearables digitais a widgets implantáveis contendo botões, controles deslizantes e até mesmo trackballs 3D e seletores de cores.

Artigo convidado por Barrett Fox e Martin Schubert

Barrett é o engenheiro interativo VR principal da Leap Motion. Através de uma mistura de criação de protótipos, ferramentas e fluxo de trabalho com um loop de feedback orientado pelo usuário, Barrett tem empurrado, cutucado, empurrado e cutucado os limites da interação com o computador.

Martin é Designer de Realidade Virtual e Evangelista da Leap Motion. Ele criou várias experiências, como Sem peso, Geométrica e Espelhos, e atualmente está explorando como tornar o virtual mais tangível.

Barrett e Martin fazem parte da elite Leap Movimento equipe que apresenta um trabalho substantivo em VR / AR UX de maneiras inovadoras e envolventes.

À medida que passamos de aplicativos casuais de RV para sessões mais profundas e mais longas, as prioridades do projeto mudam naturalmente em direção à produtividade e ergonomia. Uma das áreas mais críticas do design de interação que surge é a alternância de modo e os atalhos.

Hoje, usamos os atalhos do teclado com tanta frequência que é difícil imaginar o uso de um computador sem eles. Ctrl + Z, Ctrl + C e Ctrl + V são fundamentais para a eficiência da entrada de teclado e mouse. A maioria de vocês que está lendo isto comprometeu-se com a memória muscular.

Em VR, vimos que as entradas do controlador adotam esse paradigma de atalho com relativa facilidade, remapeando comandos para botões, gatilhos, trackpads e controles analógicos. Para aumentar ou diminuir o tamanho do pincel em Tilt escova você desliza para a direita ou esquerda no trackpad da mão do pincel.

Mas o que acontece quando pensamos em seleções rápidas com uma mão para entradas com as mãos vazias? Isso requer um tipo de pensamento diferente, pois não temos botões ou outras entradas mecânicas para nos apoiar. Em nosso trabalho anterior, mapeamos esses tipos de comandos para interfaces de usuário do espaço mundial (por exemplo, painéis de controle) ou interfaces vestíveis que usam o paradigma da paleta, onde uma mão atua como uma coleção de opções enquanto a outra atua como um seletor .

Mas se pudéssemos trocar de modo ou modificar uma ferramenta atualmente ativa com apenas uma mão em vez de duas, veríamos ganhos em velocidade, foco e conforto que aumentariam com o tempo. Poderíamos até projetar um sistema de atalho corporificado e espacial sem a necessidade de olhar para nossas mãos, liberando nosso olhar e aumentando ainda mais a produtividade.

Manipulação direta vs. gestos abstratos

Uma maneira de ativar um atalho com uma única mão seria definir um gesto abstrato como um gatilho. Essencialmente, esta seria uma pose de mão ou um movimento de uma mão ao longo do tempo. Esta é uma exceção a uma regra geral no Leap Motion, onde normalmente favorecemos a manipulação física direta de objetos virtuais como um paradigma de interação ao invés de gestos abstratos. Existem alguns motivos para isso:

Gestos abstratos costumam ser ambíguos. Como definimos um gesto abstrato como "deslizar para cima" no espaço tridimensional? Quando e onde um deslize começa ou termina? Com que rapidez deve ser concluído? Quantos dedos devem estar envolvidos?
Interações menos abstratas reduzem a curva de aprendizado para os usuários. Todos podem aproveitar uma vida inteira de experiência com a manipulação direta de objetos físicos no mundo real. Tentar ensinar movimentos específicos a um usuário para que ele possa executar comandos de maneira confiável é um desafio significativo.
Os atalhos precisam ser rápida e facilmente acessíveis, mas difíceis de acionar acidentalmente. Esses objetivos de design parecem divergentes! Facilidade de acessibilidade significa expandir a gama de poses / movimentos válidos, mas isso nos torna mais propensos a acionar o atalho involuntariamente.

Para ir além desse problema, decidimos que, em vez de usar um único gesto para acionar um atalho, dividiríamos a ação em dois estágios sequenciais.

O primeiro portal: Palm Up

Nossa filosofia de design de interação sempre busca construir sobre convenções e metáforas existentes. Um precedente importante que estabelecemos ao longo do tempo em nossas explorações de wearables digitais é que os menus montados à mão são acionados girando a palma da mão para o usuário.

Isso funciona bem na segmentação de interações com base na direção em que suas mãos estão voltadas. Palmas viradas para longe de você e em direção ao resto da cena implicam em interação com o mundo externo. Palmas voltadas para você implicam em interações no campo próximo com interfaces de usuário internas. A direção da palma parecia uma primeira condição adequada, agindo como uma barreira entre o movimento normal da mão e a intenção do usuário de ativar um atalho.

O segundo portal: beliscar

Agora que sua palma está voltada para você, buscamos uma segunda ação que seja facilmente acionada, bem definida e deliberada. Uma pitada verifica todas estas caixas:

É pouco esforço. Basta mover o dedo indicador e o polegar!
Está bem definido. Você obtém feedback auto-tátil quando seus dedos fazem contato, e a ação pode ser definida e representada pelo sistema de rastreamento como alcançar uma distância mínima entre o índice rastreado e as pontas do polegar.
É deliberado. Não é provável que você prenda os dedos distraidamente com a palma para cima.

Executar ambas as ações, uma após a outra, é rápido e fácil, mas difícil de fazer involuntariamente. Essa sequência parecia uma base sólida para nossa exploração de atalhos com uma só mão. O próximo desafio era como poderíamos bancar o movimento, ou em outras palavras, como alguém saberia que isso é o que precisava fazer.

Pensando nos benefícios da manipulação direta versus gestos abstratos, nos perguntamos se poderíamos combinar os dois paradigmas. Ao usar um objeto virtual para guiar um usuário através da interação, poderíamos fazer com que ele se sentisse como se estivesse manipulando algo diretamente, enquanto na verdade realizava uma ação mais próxima de um gesto abstrato?

A Powerball

Nossa solução foi criar um objeto preso às costas da mão que atua como um indicador visual do seu progresso na interação e também como um alvo para beliscar. Se a palma da sua mão estiver voltada para o lado oposto, o objeto ficará preso nas costas da sua mão. À medida que sua palma gira em sua direção, o objeto se anima em sua mão em direção a um deslocamento de transformação que está acima, mas ainda em relação à sua mão.

Depois que sua palma estiver totalmente voltada para você e o objeto tiver animado até sua posição final, beliscá-lo - uma manipulação direta - acionará o atalho. Chamamos esse objeto de Powerball. Depois de alguma experimentação, fizemos a animação no ponto de pinça (uma posição de atualização constante definida como o ponto médio entre o dedo indicador e as pontas do polegar).

Esta mistura de recursos gráficos, manipulação pseudo-direta, movimento gestual e ação incorporada provou-se fácil de aprender e cheia de potencial para extensão. Agora era hora de ver quais tipos de sistemas de interface de atalho seriam ergonômicos e rastreados de forma confiável a partir dessa posição de dedos comprimidos com a palma para cima.