Handtracking in Virtual Reality

Bereits vor längerer Zeit führte Meta (früher: Oculus) bei der Meta (früher: Oculus) Quest Handtracking als experimentelles Feature ein. Dies bedeutet, dass man bei der Verwendung der VR-Brille keine Controller mehr in der Hand haben muss, sondern dass die eigenen Hände von den Kameras der Brille wahrgenommen werden, in der virtuellen Welt sichtbar und funktional sind. Zumindest in der Theorie …

Als meine Quest das entsprechende Update erhielt, aktivierte ich die Funktion des Handtrackings sofort und experimentierte damit. Es gibt aktuell wenige Apps, die Handtracking unterstützen, sodass ich es vor allem in Horizon Home, dem Hauptmenü ausprobierte. Meine Begeisterung hielt sich in Grenzen, da die Hände bzw. ihre Bewegungen auch bei guter Beleuchtung nur mittelmäßig gut erkannt und übertragen wurden. Besonders lästig fand ich, dass man nicht auf alle Buttons einfach mit dem Finger drücken konnte, sondern ein Mausklick mit den virtuellen Händen durch das Zusammenführen von Daumen und Zeigefinger nötig war. Da dies bei ausgestrecktem Arm geschehen musste, den man recht lange stillhalten musste, um auf dem Button zu bleiben bis er aktiviert wurde, sorgte das bei mir für große Frustration und eine derartige Unruhe, dass ich zu zittern anfing. Daher habe ich das Handtracking auch nicht wieder verwendet, sondern bin bei den Controllern geblieben, die ich zwar nicht so gut finde, wie die er Ur-Rift, die mir aber trotzdem weitaus lieber waren.

Vor kurzem bin ich dann im Store über eine App namens Hand Physics Lab gestolpert, die vielversprechend aussah. Daher habe ich sie auch sofort gekauft (Preis: 9,99€) und sie nun endlich ausprobiert. Vorab: ich bin begeistert und sehe nun das Potenzial, das ich in Handtracking prinzipiell sah, endlich in greifbarer Nähe.

Das Hand Physics Lab wartet mit einem Sandkasten zum freien Spielen und einer Reihe von immer schwerer werdenden Puzzlespielen auf. Dabei muss man unterschiedliche Aufgaben erledigen, die in der Regel mit Objekten zu tun haben, die man an eine bestimmte Stelle legen muss. Diese Würfel unterliegen realweltlichen physikalischen Gesetzen, wie z.B. der Schwerkraft. Auch wenn ich die App eigentlich nur kurz ausprobieren wollte, fand ich mich nach etwa einer Stunde immer noch gebannt spielen und hatte bereits Level 50 erreicht.

Das Tracking durch die Brille funktionierte bis auf einige Aussetzer, wenn ich meinem Gesicht zu Nahe kam, wirklich gut und ich konnte sowohl die Finger als auch die ganze Hand benutzen, um die verschiedenen Puzzle zu lösen. Dabei wurde ich anders als in Horizon Home nicht unruhig, sondern es fühlte sich alles sehr real an. Das Greifen ist nicht immer einfach gewesen, funktionierte im Endeffekt aber mit etwas Übung schon. Besonders spannend ist es, dass ich mich teilweise so sehr auf meine Hände konzentrierte, dass ich ganz vergaß, dass ich auch meine Arme, und meinen Körper einsetzen konnte. So benötigte ich hier und da einige Anläufe, bis ich merkte, dass die Lösung darin lag, mit beiden Händen einen größeren Gegenstand zu schütteln bis alle Würfel rausfielen anstatt zu versuchen, die sich bewegenden Würfel einzeln zu greifen.

Hier ein kleiner Eindruck

Natürlich ist mir klar, dass mein Spieleverhalten und meine Bewegungen aller Wahrscheinlichkeit nach an die Entwickler fließen, die diese Daten analysieren oder von einer KI analysieren lassen, um das Handtracking zu verbessern. Ich persönlich habe damit auch kein Problem, wenn dadurch das Produkt besser wird und das Potenzial der Technologie ausgeschöpft werden kann. Für mich ist damit auf jeden Fall die Möglichkeit schon näher gerückt, dass Handtracking in Zukunft für eine volle und realistische Funktionalität der Hände in VR führen wird. Im pädagogischen Bereich gibt es hier eine Unmenge an Anwendungsmöglichkeiten, die ich mir ausmalen kann, nicht nur im künstlerisch-gestalterischen oder sportlichen Bereich, sondern auch im Bereich der Handlungsorientierung im fremdsprachlichen Kontext und bei Experimenten, sowie bei der zwischenmenschlichen Kommunikation mit Avataren, die so über Gestik verfügen und realistischer miteinander kommunizieren und interagieren können. Und von da ist es wahrscheinlich mit kleiner und leichter werdenden VR-Brillen nur noch ein Katzensprung hin zu realistisch aussehenden Avataren, die über Mimik verfügen.