Эксклюзив: Разработка одноручных ярлыков для VR и AR

Переиздано Платоном

Читают: 0

Чтобы новые вычислительные технологии могли полностью реализовать свой потенциал, им нужны новые пользовательские интерфейсы. Наиболее важные взаимодействия в виртуальных пространствах основаны на прямых физических манипуляциях, таких как зажимание и захват, так как они являются универсально доступными. Тем не менее, команда Leap Motion также исследовала более экзотические и захватывающие парадигмы интерфейса, начиная от рук HUD и цифровых носимых устройств, и заканчивая развертываемыми виджетами, содержащими кнопки, ползунки и даже трехмерные трекболы и средства выбора цвета.

Гостевая статья Барретта Фокса и Мартина Шуберта

Барретт является ведущим интерактивным инженером VR для Leap Motion. Благодаря сочетанию прототипов, инструментов и создания рабочих процессов с управляемой пользователем петлей обратной связи, Барретт толкает, подталкивает, бросается и копается в границах компьютерного взаимодействия.

Мартин - ведущий дизайнер виртуальной реальности и евангелист Leap Motion. Он создал множество опытов, таких как «Невесомый», «Геометрический» и «Зеркала», и в настоящее время изучает, как сделать виртуальное ощущение более ощутимым.

Барретт и Мартин являются частью элиты Прыжок движения команда, представляющая основную работу в VR / AR UX инновационными и привлекательными способами.

По мере того как мы переходим от обычных приложений виртуальной реальности к более глубоким и продолжительным сеансам, приоритеты проектирования естественным образом смещаются в сторону производительности и эргономики. Одной из наиболее важных областей разработки взаимодействия является переключение режимов и ярлыки.

Сегодня мы используем сочетания клавиш так часто, что трудно представить себе компьютер без них. Ctrl + Z, Ctrl + C и Ctrl + V являются основополагающими для эффективности ввода с клавиатуры и мыши. Большинство из вас, читающих это, посвятили это мышечной памяти.

В VR мы видели, как входы контроллера принимают эту парадигму быстрого доступа относительно легко, переназначая команды на кнопки, триггеры, трекпады и аналоговые джойстики. Чтобы увеличить или уменьшить размер кисти в Кисть наклона Вы проводите пальцем вправо или влево на трекпаде кисти.

Но что происходит, когда мы думаем о быстром выборе одной рукой для ввода с пустыми руками? Это требует другого типа мышления, так как у нас нет кнопок или других механических входов, на которые можно опереться. В нашей предыдущей работе мы отобразили эти виды команд либо на пользовательские интерфейсы мирового пространства (например, панели управления), либо на носимые интерфейсы, которые используют парадигму палитры, где одна рука действует как набор параметров, а другая - как средство выбора. ,

Но если бы мы могли переключать режим или модифицировать активный в данный момент инструмент одной рукой вместо двух, мы бы увидели увеличение скорости, фокусировки и комфорта, которые со временем увеличивались бы. Мы могли бы даже разработать воплощенную и пространственную систему быстрого доступа без необходимости смотреть в свои руки, освобождая свой взгляд и повышая производительность в дальнейшем.

Прямая манипуляция против абстрактных жестов

Один из способов активировать ярлык одной рукой - определить абстрактный жест как триггер. По сути, это будет поза руки или движение руки во времени. Это исключение из общего правила в Leap Motion, где мы обычно предпочитаем прямое физическое манипулирование виртуальными объектами в качестве парадигмы взаимодействия по сравнению с использованием абстрактных жестов. Есть несколько причин для этого:

Абстрактные жесты часто бывают неоднозначными. Как мы определяем абстрактный жест, например, «смахивание» в трехмерном пространстве? Когда и где начинается или заканчивается пролистывание? Как быстро это должно быть завершено? Сколько пальцев должно быть задействовано?
Менее абстрактные взаимодействия уменьшают кривую обучения для пользователей. Каждый может получить опыт жизни с непосредственным манипулированием физическими объектами в реальном мире. Попытка научить пользователя определенным движениям, чтобы они могли надежно выполнять команды, является серьезной проблемой.
Ярлыки должны быть быстрыми и легкодоступными, но их трудно вызвать случайно. Эти цели дизайна кажутся противоречивыми! Простота доступа означает расширение диапазона допустимых поз / движений, но это повышает вероятность непреднамеренного запуска ярлыка.

Чтобы выйти за рамки этой проблемы, мы решили, что вместо использования одного жеста для вызова ярлыка, мы разделим действие на два последовательных этапа.

Первые врата: ладонь вверх

Наша философия дизайна взаимодействия всегда стремится основываться на существующих соглашениях и метафорах. Один из основных прецедентов, которые мы создали со временем в наших исследованиях цифровых носимых устройств, заключается в том, что меню, устанавливаемые вручную, запускаются вращением ладони, чтобы повернуться лицом к пользователю.

Это хорошо работает при сегментировании взаимодействий в зависимости от того, в каком направлении смотрят ваши руки. Ладони отворачиваются от себя, а к остальной части сцены подразумевают взаимодействие с внешним миром. Пальмы, обращенные к себе, подразумевают взаимодействие в ближнем поле с внутренними пользовательскими интерфейсами. Направление ладони казалось подходящим первым условием, действующим в качестве шлюза между нормальным движением руки и намерением пользователя активировать ярлык.

Вторые врата: щепотка

Теперь, когда ваша ладонь обращена к себе, мы искали второе действие, которое было бы легко инициируемым, четко определенным и обдуманным. Щепотка проверяет все эти поля:

Это мало усилий. Просто двигайте указательным и большим пальцами!
Это хорошо определено. Когда ваши пальцы вступают в контакт, вы получаете обратную связь, и система отслеживания может определять действие и представлять его как достижение минимального расстояния между отслеживаемым указателем и кончиками большого пальца.
Это намеренно. Вы вряд ли будете рассеянно сжимать пальцы ладонью вверх.

Выполнение обоих этих действий одно за другим является быстрым и легким, но непреднамеренно трудным. Эта последовательность выглядела как прочная основа для нашего исследования коротких путей одной рукой. Следующая проблема заключалась в том, как мы можем позволить себе движение, или, другими словами, как кто-то узнает, что это то, что ему нужно сделать.

Вспоминая преимущества прямой манипуляции по сравнению с абстрактными жестами, мы задавались вопросом, можем ли мы смешать две парадигмы. Используя виртуальный объект, чтобы направлять пользователя через взаимодействие, можем ли мы заставить его чувствовать, что он непосредственно манипулирует чем-то, фактически выполняя действие, близкое к абстрактному жесту?

Пауэрбол

Наше решение состояло в том, чтобы создать объект, прикрепленный к тыльной стороне ладони, который служит визуальным индикатором вашего прогресса в процессе взаимодействия, а также целью зажатия. Если ваша ладонь направлена в сторону, объект остается заблокированным на тыльной стороне ладони. Когда ваша ладонь поворачивается к себе, объект оживляет вашу руку в направлении смещения, которое выше, но все же относительно вашей руки.

Когда ваша ладонь полностью повернута к себе и объект оживлен до конечного положения, зажатие объекта - прямое манипулирование - вызовет ярлык. Мы назвали этот объект Powerball. После некоторых экспериментов мы оживили его до точки защемления (постоянно обновляемая позиция, определяемая как средняя точка между указательным и кончиками большого пальца).

Это сочетание графической доступности, псевдо-прямых манипуляций, жестовых движений и воплощенных действий оказалось легко выучить и созреть с возможностью расширения. Теперь пришло время взглянуть на то, какие виды интерфейсных систем ярлыков будут эргономичными и надежно отслеживаются из положения «ладонь вверх-зажатым пальцами».