Prof. Dr. Bernd Fröhlich,
Dipl.-Mediensys.wiss. Andre Kunert,
Dipl.-Des. Alexander Kulik 

15 Credits (Medieninformatik (M.Sc.), PV29)
15 Credits (Computer Science and Media (M.Sc.), PV 11)

Motivation:

Computereingaben mit Stift und Fingern auf Eingabeflächen sind en vogue. In 3D Interaktionsräumen können beliebige Objekte als auch Hände und Finger im Raum verfolgt und somit für diese Art der Eingabe verwendet werden (siehe: Henderson2008, Wilson 2010, Izadi2011). Dabei wird jedoch nicht die tatsächliche Berührung einer präparierten Eingabefläche sondern nur die ungefähre Annäherung gemessen. Die resultierende Diskrepanz führt leicht zu Fehleingaben wenn beispielsweise das Schweben (hover) über einer virtuellen Taste diese bereits auslöst oder das Zeichnen einer Linie nicht genau dort endet, wo der Stift abgesetzt wird.
Bei der Berührung einer Oberfläche als auch beim Gleiten darüber entstehen allerdings messbare Vibrationen [Paradiso2005]. Durch Integration dieser Zusatzinformation kann die Diskrepanz also theoretisch überwunden werden, so dass die taktile Wahrnehmung des Nutzers mit der Eingabeinterpretation der Computeranwendung übereinstimmt.

Ziele:
Im Projekt sollen kabellose Eingabegeräte entstehen die Vibrationen auf Ihrer Oberfläche messen, interpretieren und kabellos an einen Host Computer schicken. Die Eingabegeräte sollen mit existierenden 3D Trackingsystemen im Raum verfolgt werden. Durch Kombination der Daten in Beispielanwendungen sollen die gegenseitige Berührung als auch das Gleiten über die Oberflächen sicher erkannt und für einfache Eingaben (Tasten und Schieberegler) eingesetzt werden.

Bauteile und Werkzeuge:

Entwicklung der Eingabegeräte:
• Vibrationsensoren (analoge und serielle Schnittstelle)
• ATMEL Microcontroller ATmega32u4, ATmega1284 (Programmierung in C)
• Bluegiga WT11 Bluetooth Module (serielle Schnittstelle)
• Optisches Tracking mit A.R.T. oder PS-Track

Entwicklung der Testanwendung:
• AVANGO NG

English:

Touch and pen based interaction techniques are en vogue. 3D tracking facilitates such input on arbitrary surfaces [Henderson2008, Wilson2010, Izadi2011]. However, only the proximity to a surface can be measured instead of th actual contact. The resulting discrepancy easily results in input errors like triggering a button by only hovering above.
Tapping or sliding along a surface evokes vibrations that can be measured [Paradiso2005]. In this project we aim to combine vibration data from input devices with tracking information to increase the robustness of pen and touch input on arbitrary surfaces.

Voraussetzungen:

Interesse an vielseitiger selbstständiger Arbeit.

Leistungsnachweis:

aktive Mitarbeit im Projekt, zwei Vorträge, Abschlusspräsentation mit Ergebnisdemonstration

Richtet sich an:

Computer Science and Media, Medieninformatik/Mediensysteme

max. Teilnehmer:

4

References:

[Henderson2008]
Steven J. Henderson and Steven Feiner. 2008.
Opportunistic controls: leveraging natural affordances as tangible user interfaces for augmented reality.
In Proceedings of the 2008 ACM symposium on Virtual reality software and technology (VRST '08). ACM, New York, NY, USA, 211-218.

[Wilson 2010]
Andrew D. Wilson. 2010.
Using a depth camera as a touch sensor.
In ACM International Conference on Interactive Tabletops and Surfaces (ITS '10). ACM, New York, NY, USA, 69-72.

[Izadi2011]
Shahram Izadi, Richard Newcombe, David Kim, Otmar Hilliges, David Molyneaux, Steve Hodges, Pushmeet Kohli, Andrew Davison, and Andrew Fitzgibbon
KinectFusion: Real-Time Dynamic 3D Surface Reconstruction and Interaction
ACM Siggraph Talks

[Paradiso2005]
Paradiso, J.A. and Leo, C.-K.
Tracking and Characterizing Knocks Atop Large Interactive Displays.
 in Sensor Review (special issue on vibration and impact sensing), Vol. 25, No. 2, 2005, pp. 134-143.