Überall, wo Zusammenarbeit auch über Distanzen hinweg nötig ist, eröffnen Mixed-Reality-Anwendungen neue Möglichkeiten – etwa im Bereich Remote Assistance. Muss ein Monteur vor Ort etwas reparieren, kann sich zum Beispiel in Zukunft sein Kollege im Büro über eine VR-Brille ein virtuelles Bild von der Situation in 3D verschaffen und sogar virtuell und berührungslos in die Szenerie eingreifen, indem er dem Monteur etwa die richtigen Bauteile oder Handgriffe zeigt. „Die von uns dafür entwickelte Lösung kann eine simulierte Welt in Echtzeit und hoher Qualität mit der echten Welt verbinden und neue Blickwinkel oder Kollaborationen eröffnen“, erklärt Paul Chojecki, Projektleiter am Fraunhofer HHI.
Die körperliche Interaktion ohne störende Controller sei natürlicher und bequemer.
Die Lösung lasse sich flexibler etwa an die Körpergröße des Nutzers anpassen und erhöht die Immersion. Zugleich kann sie Symptome der Bewegungskrankheit mindern, die häufig durch VR-Szenarien aufkommen.“
Das Verfahren basiert im Wesentlichen auf zwei Technologien: In der echten Welt erfassen acht Kameras, jeweils vier Paare, die Szene von allen Seiten und erzeugen mit bis zu 30 Hertz Tiefenkarten davon.
Zudem werden Gesten und dynamische Bewegungen erkannt. Diese Daten werden dann durch Algorithmen zusammengefasst, codiert und in Echtzeit mit den dazugehörigen 3D-Texturen an die VR-Station übertragen.
Im virtuellen Szenario nimmt eine weitere 3D-Kamera den VR-Nutzer auf. Dank der Fraunhofer HHI-Algorithmen zur 3D-Körpererfassung und Gesteninterpretation kann dieser ohne störende Controller oder Marker natürlich in der VR-Szene interagieren.
Er wird dort sozusagen als beweglicher Ganzkörper-Avatar repräsentiert und sieht seinen eigenen Körper und seine Gestik im virtuellen Raum. „Erst die Kombination der beiden Technologien ermöglicht eine einzigartige Lösung für neue Mixed-Reality-Interaktions- und Kollaborationsszenarien“, so Chojecki.
Das Feedback aus der virtuellen Welt wird in der realen Szene mittels einer Projektion dargestellt. Spezielle Bildverarbeitungsalgorithmen sorgen dafür, dass die Hinweise und Bedienelemente optisch korrekt dargestellt sind.