Project World Wide 3D Telepresence

Prof. Dr. Bernd Fröhlich
M.Sc. Tim Weißker
M.Sc. Adrian Kreskowski
M.Sc. Carl-Feofan Matthes
Dr. rer. nat. Alexander Kulik
Dipl.-Mediensys.wiss. André Kunert
Dipl.-Mediensys.wiss. Stephan Beck
Dipl.-Mediensys.wiss. André Schollmeyer


15 Credits Medieninformatik (B.Sc.)
15 Credits Computer Science and Media (M.Sc.)
15 Credits Computer Science for Digital Media (M.Sc.)

Beschreibung:

Mit Hilfe von 3D-Telepresence können sich Benutzer von verschiedenen Standorten in einer gemeinsamen virtuellen Umgebung treffen und zusammenarbeiten. Im Jahr 2013 haben wir das weltweit erste immersive Group-to-Group Telepresence System vorgestellt [2]. Seitdem wurden viele grundlegende Technologien kontinuierlich verbessert, insbesondere die 3D-Aufnahme- und Rekonstruktionstechniken welche für die Repräsentation der Nutzer in der virtuellen Welt benötigt werden. Die Übertragung der aufgenommenen 3D-Videoströme (Farb- und Tiefenbilder) über das Internet bleibt jedoch ein Engpass da die Übertragungskapazität meist nicht ausreichend ist. In diesem Projekt entwickeln wir eine Software-Infrastruktur für die effiziente Kompression und Übertragung dieser 3D-Datenströme sowie deren 3D-Rekonstruktion mit dem Ziel, die Nutzbarkeit und Verbreitung von 3D-Telepresence-Technologien zu erhöhen. Zu Beginn des Projektes werden wir aktuelle Literatur zum Thema aufarbeiten und lernen, die Infrastruktur und Technologien in unseren Laboren zu verwenden. Auf dieser Grundlage werden wir eine echtzeitfähige Bildkompressionspipeline auf Basis einer vorhandenen Komprimierungsbibliothek [1] entwerfen und implementieren. Mit Hilfe der entwickelten Pipeline sollen die Farb- und Tiefenbilder auf dem 3D-Capturing-Server in Echtzeit komprimiert werden und dann über eine Netzwerkverbindung an die entfernten Rendering-Clients gesendet werden, wo sie dekomprimiert und für die 3D-Rekonstruktion verwendet werden. Um den Grad der Kompression dynamisch steuern zu können werden wir zusätzlich eine Rückkopplungsschleife von den Rendering-Clients zum 3D-Capturing-Server entwerfen und implementieren. Durch die im Projekt entwickelten Technologien wird die Übertragung der 3D-Videoströme effizienter und benötigt eine geringere Übertragungskapazität. Darüber hinaus können die zu verarbeitenden 3D-Daten durch die Rückkopplungsschleife der Rendering-Clients auf die aktuelle Betrachtungs-Perspektive angepasst und reduziert werden.

Lerninhalte:

  • Verteilte Virtual Reality Anwendungen für mehrere Benutzergruppen
  • Entwurf und Implementierung einer echtzeitfähigen Komprimierungs-Pipeline für 3D-Videoströme auf Basis existierender Bibliotheken (h.264 und ffmpeg)
  • Entwurf und Implementierung einer Datenübertragungsschicht auf Basis einer existierenden Netzwerk-Bibliothek (zmq)
Processing pipeline we are going to desing and implement: Multiple RGBD-sensors are connected to a 3D-capturing server which encodes the image streams. The client receives the image streams and performs the decoding as well as the 3D-reconstruction and rendering. Depending on the rendering perspective, the compression ratio is adjusted.

Description:

3D telepresence enables users from different locations to meet and collaborate in a shared virtual environment. We presented the first immersive group-to-group telepresence system in 2013 [2]. Since then, many fundamental technologies were continuously improved, in particular, 3D capturing and reconstruction techniques. However, the transfer of rich 3D data over the internet remains a bottleneck. In this project, we will develop a software infrastructure for the efficient compression, transmission and 3D reconstruction of captured humans with the goal to get 3D telepresence technologies closer to widespread adoption. At the beginning of the project we will study related research and learn to use the infrastructure and technologies in our labs. On this basis we will design and implement a real-time image compression pipeline based on an existing compression library [1]. We will use this pipeline to compress the color and depth images on the 3D capturing server in real-time and then send them over low-bandwidth network connections to the remote rendering clients where they are decompressed and used for 3D reconstruction. Moreover, we will investigate and implement a feedback loop from the remote clients to the capturing server which dynamically guides the local compression ratios based on regions of interest. As a result, the transmission of the image streams from the capturing server to the clients will be more efficient and consume less network bandwidth. In addition, the 3D reconstruction process on the rendering clients can be performed in an output sensitive manner since the feedback loop reduces the amount of data that has to be processed.

You will learn about and work on the following topics:

  • Distributed multi-user virtual reality applications
  • Design and implementation of a real-time compression pipeline for 3D image streams based on an existing library (using h.264 and ffmpeg)
  • Design and implementation of peer-to-peer communication channels based on an existing network library (zmq) 

 

Voraussetzungen:

Erfolgreicher Abschluss der Vorlesung Computergrafik (oder einer vergleichbaren Veranstaltung), Grundlegende Kenntnisse in C++ und OpenGL

Requirements:

Completion of the course computer graphics (or an equivalent lecture), decent C++/OpenGL knowledge is helpful

Leistungsnachweis:

aktive Mitarbeit im Projekt, 2-3 Vorträge, Abschlusspräsentation

Assignments:

active participation in the project, two to three intermediate presentations, presentation of final project results

Richtet sich an:

Bachelor Medieninformatik, Master Computer Science and Media, Master Computer Science for Digital Media

 

Literature:

[1] Liu, Y., Beck, S., Wang, R., Li, J., Xu, H., Yao, S., Tong, X., Froehlich, B. Hybrid Lossless-Lossy Compression for Real-Time Depth-Sensor Streams in 3D Telepresence Applications In: Ho YS., Sang J., Ro Y., Kim J., Wu F. (eds) Advances in Multimedia Information Processing -- PCM 2015. Lecture Notes in Computer Science, vol 9314. Springer, Cham, pp. 442-452. DOI=10.1007/978-3-319-24075-6_43 (more: www.uni-weimar.de/de/medien/professuren/medieninformatik/vr/research/hci/hybrid-lossless-lossy-compression-for-depth-sensor-streams/)

[2] Beck, S., Kunert, A., Kulik, A., Froehlich B. Immersive Group-to-Group Telepresence (Best Paper Award IEEE Virtual Reality 2013) IEEE Transactions on Visualization and Computer Graphics, 19(4):616-25, March 2013 (Proceedings of IEEE Virtual Reality 2013, Orlando, Florida). (more: www.uni-weimar.de/de/medien/professuren/medieninformatik/vr/research/multi-user-virtual-reality/immersive-group-to-group-telepresence/) 

[3] A. J. Fairchild, S. P. Campion, A. S. Garcia, R. Wolff, T. Fernando and D. J. Roberts, "A Mixed Reality Telepresence System for Collaborative Space Operation," in IEEE Transactions on Circuits and Systems for Video Technology, vol. 27, no. 4, pp. 814-827, April 2017. doi: 10.1109/TCSVT.2016.2580425 (more: usir.salford.ac.uk/39189/7/07490357.pdf)

Videos:

Immersive Group-to-Group Telepresence: vimeo.com/63158186

Die Zukunft der Kommunikation | Quarks & Co: www1.wdr.de/fernsehen/quarks/vr-die-zukunft-der-kommunikation-100.html