Ексклюзив: розробка ярликів однією рукою для VR та AR

Щоб нові обчислювальні технології повністю реалізували свій потенціал, їм потрібні нові інтерфейси користувача. Найважливіші взаємодії у віртуальних просторах ґрунтуються на прямих фізичних маніпуляціях, таких як щипання та захоплення, оскільки вони є загальнодоступними. Тим не менш, команда Leap Motion також дослідила більш екзотичні та захоплюючі парадигми інтерфейсу від HUD і цифрових пристроїв для носіння до розгортаних віджетів, що містять кнопки, повзунки та навіть 3D трекболи та засоби вибору кольорів.

Гостьова стаття Барретта Фокса та Мартіна Шуберта

Барретт є провідним інтерактивним інженером VR для Leap Motion. Завдяки поєднанню прототипів, інструментів і побудови робочого процесу з циклом зворотного зв’язку, який керується користувачем, Барретт просуває, підштовхує, ривається і штовхає межі комп’ютерної взаємодії.

Мартін є провідним дизайнером віртуальної реальності та євангелістом Leap Motion. Він створив кілька досвідів, таких як «Невагомі», «Геометричні» та «Дзеркала», і зараз досліджує, як зробити віртуальне відчуття більш відчутним.

Баррет і Мартін є частиною еліти Стрибок руху команда, яка презентує основну роботу з VR/AR UX інноваційним та привабливим способом.

Коли ми переходимо від звичайних додатків віртуальної реальності до більш глибоких і тривалих сеансів, пріоритети дизайну природним чином змінюються на продуктивність та ергономіку. Однією з найважливіших сфер дизайну взаємодії, яка виникає, є перемикання режимів і ярлики.

Сьогодні ми настільки часто використовуємо комбінації клавіш, що важко уявити роботу на комп’ютері без них. Ctrl+Z, Ctrl+C і Ctrl+V є основою для ефективності введення з клавіатури та миші. Більшість із вас, які читають це, доповнюють м’язову пам’ять.

У VR ми бачили, що введення контролера відносно легко сприймає цю парадигму швидкого доступу, переназначаючи команди на кнопки, тригери, трекпади та аналогові джойстики. Щоб збільшити або зменшити розмір пензля в Tilt Brush ви проводите праворуч або ліворуч по трекпаду своєї руки пензля.

Але що відбувається, коли ми думаємо про швидкий вибір однією рукою для введення голою рукою? Це вимагає іншого типу мислення, оскільки у нас немає кнопок чи інших механічних елементів, на які можна спиратися. У нашій попередній роботі ми зіставляли ці команди або з інтерфейсами користувача у світовому просторі (наприклад, панелями керування), або з інтерфейсами, які можна носити, які використовують парадигму палітри, де одна рука діє як набір параметрів, а інша — як засіб вибору. .

Але якби ми могли перемикати режим або модифікувати активний на даний момент інструмент лише однією рукою, а не двома, ми б побачили приріст у швидкості, фокусі та комфорті, які з часом збільшилися б. Ми навіть могли б розробити втілену та просторову систему швидкого доступу, не дивлячись на свої руки, звільняючи наш погляд і ще більше підвищуючи продуктивність.

Прямі маніпуляції проти абстрактних жестів

Одним із способів активувати ярлик однією рукою було б визначити абстрактний жест як тригер. По суті, це буде поза руки або рух руки з часом. Це виняток із загального правила в Leap Motion, де ми зазвичай віддаємо перевагу прямим фізичним маніпулюванням віртуальним об’єктам як парадигми взаємодії, а не використанню абстрактних жестів. Для цього є кілька причин:

• Абстрактні жести часто неоднозначні. Як визначити такий абстрактний жест, як «провести вгору» у тривимірному просторі? Коли і де починається або закінчується свайп? Як швидко це має бути завершено? Скільки пальців має бути задіяно?
• Менш абстрактні взаємодії зменшують криву навчання користувачів. Кожен може отримати життєвий досвід безпосереднього маніпулювання фізичними об’єктами в реальному світі. Спроба навчити користувача конкретним рухам, щоб він міг надійно виконувати команди, є серйозною проблемою.
• Ярлики мають бути швидко та легко доступними, але їх важко випадково запустити. Ці цілі дизайну здаються суперечливими! Простота доступності означає розширення діапазону допустимих поз/рухів, але це підвищує ймовірність ненавмисного запуску ярлика.

Щоб вийти за межі цієї проблеми, ми вирішили, що замість того, щоб використовувати один жест для запуску ярлика, ми розділимо дію на два послідовні етапи.

Перші ворота: долонею вгору

Наша філософія дизайну взаємодії завжди має намір спиратися на існуючі конвенції та метафори. Одним з основних прецедентів, який ми створили з часом у наших дослідженнях цифрових носних пристроїв, є те, що меню, встановлене вручну, запускається шляхом обертання долоні обличчям до користувача.

Це добре працює для сегментації взаємодій на основі того, в якому напрямку дивляться ваші руки. Долоні, відвернуті від вас і до решти сцени, означають взаємодію із зовнішнім світом. Повернуті до себе долоні означають взаємодію в ближньому полі з внутрішніми інтерфейсами користувача. Напрямок долоні здавалося підходящою першою умовою, виконуючи роль воріт між нормальним рухом руки та наміром користувача активувати ярлик.

Другий шлюз: щипка

Тепер, коли ваша долоня звернена до себе, ми шукали другу дію, яку можна було б легко запустити, чітко окреслити та продумати. Щипка позначає всі ці прапорці:

• Це мало зусиль. Просто рухайте вказівним і великим пальцями!
• Це добре визначено. Ви отримуєте самотактильний зворотний зв’язок, коли ваші пальці стикаються, а дію може бути визначено та представлено системою відстеження як досягнення мінімальної відстані між відстежуваними кінчиками вказівного та великого пальців.
• Це навмисне. Ви навряд чи будете розсіяно щипати пальці долонею вгору.

Виконання обох цих дій один за одним є швидким і легким, але ненавмисно зробити його важко. Ця послідовність здавалася міцною основою для нашого дослідження ярликів однією рукою. Наступним викликом було те, як ми дозволимо собі цей рух, або, іншими словами, як хтось дізнається, що це те, що йому потрібно зробити.

Подумавши про переваги прямого маніпулювання проти абстрактних жестів, ми задумалися, чи зможемо ми поєднати дві парадигми. Використовуючи віртуальний об’єкт, щоб керувати користувачем через взаємодію, чи можемо ми змусити його відчути, що він безпосередньо маніпулює чимось, насправді виконуючи дію, ближчу до абстрактного жесту?

Powerball

Наше рішення полягало в тому, щоб створити об’єкт, прикріплений до тильної сторони вашої долоні, який діятиме як візуальний індикатор вашого прогресу під час взаємодії, а також як мішень для щипання. Якщо ваша долоня спрямована вбік, об’єкт залишається зафіксованим на тильній стороні долоні. Коли ваша долоня обертається до вас, об’єкт анімується від вашої руки до зміщення трансформації, яке знаходиться вище, але все ще відносно вашої руки.

Як тільки ваша долоня повністю звернена до вас і об’єкт анімується в кінцевому положенні, стискання об’єкта – пряма маніпуляція – запустить ярлик. Ми назвали цей об’єкт Powerball. Після деяких експериментів ми анімували його в точку затискання (постійно оновлювану позицію, визначену як середину між кінчиками вказівного і великого пальців).

Ця суміш графічних можливостей, псевдопрямих маніпуляцій, рухів жестами та втілених дій виявилася легкою в освоєнні та дозріла з можливістю розширення. Тепер настав час поглянути на те, які системи інтерфейсу швидкого доступу будуть ергономічними та надійно відстежуватися з цієї позиції долонею вгору.

Продовження на сторінці 2: Вибір просторового інтерфейсу »