Exklusiv: Entwerfen von Einhand-Shortcuts für VR & AR

Damit neue Computertechnologien ihr volles Potenzial entfalten können, benötigen sie neue Benutzeroberflächen. Die wichtigsten Interaktionen in virtuellen Räumen basieren auf direkten physischen Manipulationen wie Kneifen und Greifen, da diese allgemein zugänglich sind. Das Team von Leap Motion hat jedoch auch exotischere und aufregendere Schnittstellenparadigmen untersucht, von Arm-HUDs und digitalen Wearables bis hin zu bereitstellbaren Widgets mit Schaltflächen, Schiebereglern und sogar 3D-Trackballs und Farbwählern.

Gastartikel von Barrett Fox & Martin Schubert

Barrett ist der Lead VR Interactive Engineer für Leap Motion. Durch eine Mischung aus Prototyping, Tools und Workflow-Erstellung mit einer benutzergesteuerten Feedback-Schleife hat Barrett die Grenzen der Computerinteraktion überschritten, angestoßen, gestürzt und angestoßen.

Martin ist Lead Virtual Reality Designer und Evangelist für Leap Motion. Er hat mehrere Erfahrungen wie "Schwerelos", "Geometrisch" und "Spiegel" erstellt und untersucht derzeit, wie das virtuelle Gefühl greifbarer gemacht werden kann.

Barrett und Martin sind Teil der Elite Leap Bewegung Team, das auf innovative und engagierte Weise inhaltliche Arbeit in VR / AR UX präsentiert.

Beim Übergang von gelegentlichen VR-Anwendungen zu tieferen und längeren Sitzungen verlagern sich die Designprioritäten natürlich in Richtung Produktivität und Ergonomie. Einer der wichtigsten Bereiche des Interaktionsdesigns sind Moduswechsel und Verknüpfungen.

Heutzutage verwenden wir Tastaturkürzel so oft, dass es schwer vorstellbar ist, einen Computer ohne sie zu verwenden. Strg + Z, Strg + C und Strg + V sind für die Effizienz der Tastatur- und Mauseingabe von grundlegender Bedeutung. Die meisten von Ihnen, die dies lesen, haben diese dem Muskelgedächtnis gewidmet.

In VR haben wir gesehen, dass Controller-Eingänge dieses Verknüpfungsparadigma relativ einfach übernehmen, indem sie Befehlen Tasten, Triggern, Trackpads und analogen Sticks neu zuordnen. Zum Erhöhen oder Verringern der Pinselgröße in Tilt-Pinsel Sie streichen auf dem Trackpad Ihrer Pinselhand nach rechts oder links.

Aber was passiert, wenn wir an eine schnelle Einhandauswahl für die Eingabe mit bloßen Händen denken? Dies erfordert eine andere Art des Denkens, da wir keine Tasten oder andere mechanische Eingaben haben, auf die wir uns stützen können. In unserer vorherigen Arbeit haben wir diese Art von Befehlen entweder Benutzeroberflächen im Weltraum (z. B. Bedienfelder) oder tragbaren Benutzeroberflächen zugeordnet, die das Palettenparadigma verwenden, wobei eine Hand als Sammlung von Optionen fungiert, während die andere als Auswahl fungiert .

Wenn wir jedoch ein derzeit aktives Werkzeug mit nur einer Hand anstelle von zwei umschalten oder modifizieren könnten, würden sich Geschwindigkeit, Fokus und Komfort im Laufe der Zeit erhöhen. Wir könnten sogar ein verkörpertes und räumliches Verknüpfungssystem entwerfen, ohne auf unsere Hände schauen zu müssen, unseren Blick frei zu machen und die Produktivität weiter zu steigern.

Direkte Manipulation vs. abstrakte Gesten

Eine Möglichkeit, eine Verknüpfung mit einer Hand zu aktivieren, besteht darin, eine abstrakte Geste als Auslöser zu definieren. Im Wesentlichen wäre dies eine Handhaltung oder eine Bewegung einer Hand im Laufe der Zeit. Dies ist eine Ausnahme von einer allgemeinen Regel bei Leap Motion, bei der wir in der Regel die direkte physische Manipulation virtueller Objekte als Interaktionsparadigma gegenüber der Verwendung abstrakter Gesten bevorzugen. Dafür gibt es einige Gründe:

• Abstrakte Gesten sind oft mehrdeutig. Wie definieren wir eine abstrakte Geste wie "Wischen nach oben" im dreidimensionalen Raum? Wann und wo beginnt oder endet ein Schlag? Wie schnell muss es abgeschlossen sein? Wie viele Finger müssen beteiligt sein?
• Weniger abstrakte Interaktionen verkürzen die Lernkurve für Benutzer. Jeder kann auf eine lebenslange Erfahrung mit der direkten Manipulation physischer Objekte in der realen Welt zurückgreifen. Der Versuch, einem Benutzer bestimmte Bewegungen beizubringen, damit er Befehle zuverlässig ausführen kann, ist eine große Herausforderung.
• Verknüpfungen müssen schnell und leicht zugänglich sein, aber schwer versehentlich auszulösen sein. Diese Designziele scheinen uneins zu sein! Einfache Zugänglichkeit bedeutet, den Bereich gültiger Posen / Bewegungen zu erweitern. Dies erhöht jedoch die Wahrscheinlichkeit, dass die Verknüpfung unbeabsichtigt ausgelöst wird.

Um über dieses Problem hinauszugehen, haben wir beschlossen, anstelle einer einzelnen Geste eine Verknüpfung auszulösen, die Aktion in zwei aufeinanderfolgende Phasen zu unterteilen.

Das erste Gateway: Palm Up

Unsere Philosophie des Interaktionsdesigns versucht immer, auf bestehenden Konventionen und Metaphern aufzubauen. Ein wichtiger Präzedenzfall, den wir im Laufe der Zeit bei unseren Erkundungen zu digitalen Wearables festgelegt haben, ist, dass handmontierte Menüs durch Drehen der Handfläche zum Benutzer ausgelöst werden.

Dies funktioniert gut bei der Segmentierung von Interaktionen basierend auf der Richtung, in die Ihre Hände zeigen. Palmen, die sich von dir selbst abwenden und sich dem Rest der Szene zuwenden, implizieren eine Interaktion mit der Außenwelt. Palmen, die sich Ihnen zugewandt haben, implizieren Interaktionen im Nahfeld mit internen Benutzeroberflächen. Die Richtung der Handfläche schien eine geeignete erste Bedingung zu sein, die als Tor zwischen normaler Handbewegung und der Absicht eines Benutzers diente, eine Verknüpfung zu aktivieren.

Das zweite Gateway: Prise

Jetzt, da Ihre Handfläche sich selbst zugewandt ist, haben wir nach einer zweiten Aktion gesucht, die leicht ausgelöst, genau definiert und absichtlich ist. Eine Prise überprüft alle diese Kästchen:

• Es ist mühelos. Bewegen Sie einfach Ihren Zeigefinger und Daumen!
• Es ist gut definiert. Sie erhalten ein selbsthaptisches Feedback, wenn Ihre Finger Kontakt aufnehmen, und die Aktion kann vom Tracking-System so definiert und dargestellt werden, dass ein Mindestabstand zwischen dem verfolgten Index und den Daumenspitzen erreicht wird.
• Es ist absichtlich. Es ist unwahrscheinlich, dass Sie abwesend Ihre Finger mit der Handfläche nach oben kneifen.

Das Ausführen dieser beiden Aktionen nacheinander ist schnell und einfach, jedoch ungewollt schwierig. Diese Sequenz schien eine solide Grundlage für unsere Einhand-Shortcuts-Erkundung zu sein. Die nächste Herausforderung war, wie wir uns die Bewegung leisten würden, oder mit anderen Worten, wie jemand wissen würde, dass dies das ist, was er tun muss.

Wenn wir an die Vorteile der direkten Manipulation gegenüber abstrakten Gesten zurückdenken, fragen wir uns, ob wir die beiden Paradigmen miteinander verbinden können. Können wir einem Benutzer durch die Verwendung eines virtuellen Objekts das Gefühl geben, etwas direkt zu manipulieren, während er tatsächlich eine Aktion ausführt, die einer abstrakten Geste näher kommt?

Der Powerball

Unsere Lösung bestand darin, ein Objekt auf Ihrem Handrücken zu erstellen, das als visueller Indikator für Ihren Fortschritt während der Interaktion sowie als Ziel für das Kneifen dient. Wenn Ihre Handfläche weg zeigt, bleibt das Objekt auf Ihrem Handrücken verriegelt. Wenn sich Ihre Handfläche in Ihre Richtung dreht, wird das Objekt von Ihrer Hand in Richtung eines Transformationsversatzes animiert, der über, aber immer noch relativ zu Ihrer Hand liegt.

Sobald Ihre Handfläche vollständig zu sich selbst zeigt und das Objekt in seine Endposition animiert ist, wird durch Drücken des Objekts - eine direkte Manipulation - die Verknüpfung ausgelöst. Wir haben dieses Objekt Powerball genannt. Nach einigen Experimenten wurde es in den Quetschpunkt animiert (eine ständig aktualisierte Position, die als Mittelpunkt zwischen Zeigefinger und Daumenspitzen definiert ist).

Diese Mischung aus grafischer Leistung, pseudo-direkter Manipulation, gestischer Bewegung und verkörperter Aktion erwies sich als leicht zu erlernen und reif mit Potenzial für Erweiterungen. Jetzt war es an der Zeit zu prüfen, welche Arten von Shortcut-Schnittstellensystemen ergonomisch und zuverlässig von dieser Position mit den eingeklemmten Fingern aus verfolgt werden können.

Fortsetzung auf Seite 2: Auswahl der räumlichen Schnittstelle »