PDCON:Zeitmelodien

Zeitmelodien~Timetunes

Ein Projekt von:
Moritz Schell
Frederic Seybicke

Im Projektmodul:
Interaktive Medien

Betreuer:
Prof. Jens Geelhaar
Max Neupert

Bauhaus-Universität 2011

I Synopsis

Zeitmelodien ist eine interaktive Installation von Moritz Schell und Frederic Seybicke, Studenten der Bauhaus Universität Weimar, bei der der Rezipient mit dem Glockenspiel des Weimarer Rathauses kommuniziert. Der Glockenschlag als Symbol der Zeit spielt ein Stück Musik, das einen Zeitgeist charakterisiert und wird zur Erinnerung des Besuchers an seinen persönlichsten Bezug zur Zeit - Den Tag der Geburt:
Im Rahmen der Pure Data Convention vom 8.8-12.8.2011 konnten die Besucher des Weimarer Marktplatzes ihr Geburtsdatum per SMS an das Porzellanglockenspiel im Rathausturm schicken. Das Glockenspiel antwortete darauf mit der Melodie des Liedes, dass an diesem Tag auf Platz eins der deutschen Single-Charts stand.

II Konzept

II.1 Rahmenbedingungen

Das Projekt entstand im Rahmen der Pure Data Convention 2011. Die Pure Data Convention ist ein internationaler Kongress von Anwendern und Entwicklern mit Vorträgen, Workshops und Konzerten rund um die innovative Programmiersprache pure data. Zu diesem Anlass ergab sich in Kooperation mit der Stadt Weimar die Möglichkeit eine interaktive Installation für das Glockenspiel im Rathausturm zu konzipieren und umzusetzen. Die Installation sollte zum festen Bestandteil der Convention werden und vom 8.8.-12.8.2011 täglich aktiv sein.
Gleichzeitig ist der Marktplatz mit seinem Wochenmarkt, den Buden den anliegenden Geschäften und Restaurants ein gesellschaftliches Zentrum und touristisches Highlight der Stadt Weimar. Deshalb war es uns bei der Entwicklung des Konzeptes wichtig eine Installation zu entwerfen, die nicht nur einem Programmiersprachen affinen und Medienkunst bewanderten Fachpublikum der Convention zugänglich ist. Vielmehr wollten wir unsere Installation für ein möglichst breites Publikum von Bürgern und Touristen der Stadt verstehbar und erlebbar gestalten. Demzufolge suchten wir in der Konzeptionsphase nach:

einer möglichst selbsterklärenden Idee,
einem nachvollziehbarem Konzept und
einer einfachen Interaktionsmöglichkeit.

II.2 Idee

Die Idee für die Installation entstand in einem Brainstorming rund um die Funktion und Symbolik des Glockenspiels und dem Bezug des Besuchers dazu:
Die Kernfunktion des Glockenspiels im Rathausturm ist die eines Zeitinstruments – das Glockenspiel spielt zu jeder viertel Stunde eine kleine Melodie. Abstrahiert kann der Glockenschlag als ein Symbol der Zeit gesehen werden – Er ist die Melodie der gegenwärtigen Zeit.
Der Tag der Geburt ist ein ganz persönlicher Bezug eines jeden Menschen zur Zeit. Einerseits wird er zum jährlichen Festtag – ein Ausdruck der Freude und der Erinnerung für Familie und Freunde über und an die Geburt des Gefeierten. Andererseits beschreibt er die Zugehörigkeit zu einer Generation (z.B. „die 68er“) und damit zu einem bestimmten Zeitgeist mit dem man aufgewachsen ist.
Die (deutschen) Single-Charts repräsentieren seit ihrer Einführung eine bestimmte Musik zu einer bestimmten Zeit – und bisweilen auch das Lebensgefühl einer Generation. Der Charthit ist rückblickend die Melodie einer vergangen Zeit.
In der Kombination dieser drei Elemente entstand das Konzept für die Installation Zeitmelodien: Der Besucher schickt seinen Geburtstag und bekommt dafür die Melodie seiner Geburt vom Porzellanglockenspiel des Weimarer Rathauses.

II.3 Interaktion

Da die sich Installation im öffentlichen Raum befand und über mehrere Tage aktiv sein sollte, ergaben sich einige Rahmenbedingungen, für die Suche nach dem geeigneten Interface:

Diebstahlsicher
Vandalismus geschützt
Wetterfest
unabhängig von Lichtwechsel
Barrierefrei
etc

Kurzum, wir versuchten größere Aufbauten (Barrierefreiheit, Sicherheitsmaßnahmen, etc.) und elektrische Aufbauten (Regensicher, TÜV, Sicherheit, etc) möglichst zu vermeiden und suchten stattdessen nach einem mobilen Interface. Zudem sollte das Interface leicht zu bedienen sein und einer größtmöglichen Besucherschar intuitiv zugänglich sein.

Deshalb wählten wir als Interface für die Installation schließlich das Handy: Die Besucher sollten eine SMS mit ihrem Geburtsdatum an das Glockenspiel senden. Zum einen konnten wir davon ausgehen, dass die meisten Besucher ein Mobiltelefon besitzen und zudem es auch zu bedienen wissen, zum anderen gingen wir damit den oben beschriebenen Problemen aus dem Weg.

Zusätzlich zu dem auditiven Erlebnis des Glockenspiels wollten wir an dem Rathausturm neben der Uhr ein visuelles Feedback für den Besucher anbringen. Für jede gesendete SMS sollte auf einer LED-Tafel (Variante: Großformatiges Plasma Display), Datum und Songtitel erscheinen – eine Referenz für den Besucher, dass der Charthit zu seinem gesendeten Datum abgespielt wird. Leider konnte dieses Element schließlich aus finanziellen Gründen nicht umgesetzt werden. Das Angebot der Event- und Studiotechnik GmbH adapoe (Variante 1: LED Modul + Controller, 1.200€ Netto; Variante 2: 50" Plasma Display (TV), 900€ Netto) überstieg das Budget.

III Umsetzung

III.1 Vorbereitung

In der Vorbereitung für das Projekt erstellten wir als ersten Schritt Tonaufnahmen von jeder einzelnen Glocke des Glockenspiels. Diese Tonaufnahmen wurden im Folgenden einzeln bearbeitet und zu einer Soundfont zusammengefügt. Dadurch war es möglich Musikstücke und Kompositionen im Rechner mit dem Klang des Weimarer Glockenspiels zu testen. Dies war uns während der technischen Umsetzung eine wichtige Referenz. Zudem betreuten wir während der Umsetzung der Installation die Ausschreibung für fünf abendliche Konzerte auf dem Glockenspiel. Künstler aus aller Welt konnten anlässlich der pd-Convention (in pure data generierte) Kompositionen einreichen. Die besten Einreichungen wurden zum abendlichen Ausklang der Installation auf dem Carillon abgespielt. Auch hierfür wahren die Tonaufnahmen und die Soundfont eine wichtige Referenz bei der Komposition der Stücke.

III.2 Technische Umsetzung

Das Glockenspiel des Weimarer Rathauses ist seit einigen Jahren MIDI kompatibel, d.h. es ist möglich MIDI-Files von einem PC über eine bereits installierte Schnittstelle direkt auf dem Carillon abzuspielen. Diese Schnittstelle nutzten wir für unsere Installation. Dabei kann theoretisch jedes MIDI-File in der richtigen Oktavlage auf dem Carillon gespielt werden. Allerdings ist zu beachten, dass das Glockenspiel nicht über eine variable Anschlagdynamik verfügt. Im Gegensatz zu z.B. einem Klavier können die 35 Glocken jeweils nur voll angeschlagen werden.

III.2.1 Charthit zu MIDI

Nachdem wir von der GEMA die Genehmigung für das Projekt erworben hatten, begann der zeitaufwändigste Teil des Projektes: Die Anpassung der Charthits für das Glockenspiel. Offizieller Beginn der deutschen Single-Charts ist der 1.12.1953. Bis zum 8.8.2011 wurden rund 600 Lieder gelistet (einige Lieder mehrere Wochen auf Platz 1/ mehrmals auf Platz eins).

Im ersten Schritt erstellten wir eine Liste mit allen deutschen Singlecharts – vom offiziellen Beginn bis zum 8.8.2011, dem Start der Installation. Im zweiten Schritt wurden die Charthits als MIDI-Files von Datenbanken im Internet herunter geladen (da die meisten Charthits bekannte und beliebte Musikstücke sind, sind fast alle Stücke als MIDI-File erhältlich). Im letzten – und zeitaufwändigsten – Schritt wurden alle MIDI-Files eigens für das Installation vorbereitet. D.h. jeder Song wurde in einem Musikprogramm geöffnet und auf den charakteristischsten Liedpart (z.B. Refrain) gekürzt. Zudem bestehen die meisten MIDI-Files aus mehreren Spuren (z.B.: Drums, Vocals, Strings, Guitar, etc.). Um die Stücke an das Carillon anzupassen durften nur die wichtigsten Spuren (Melodie und Hauptbegleitung) gespielt werden und „störende“ Spuren, wie z.B. Schlagzeug wurden eliminiert. Abschließend wurden sämtliche Spuren in den Oktavenbereich des Carillons konvertiert. (Musikstücke die nicht als MIDI-File herunter geladen werden konnten, wurden manuell in ein Soundprogramm eingespielt).

Das so manipulierte MIDI-File wurde schließlich für die Installation gespeichert. In einer MySQL-Datenbank wurden sämtlichen Charthit-Titel mit dem zugehörigen Datum (1. Tag der Nummer1-Listung) aufgelistet.

III.2.2 Überblick: von der SMS-Nachricht zum Charthit auf den Glocken

Um das per SMS gesendete Datum als entsprechendes Chart-MIDI-File auf dem Carillon abzuspielen, verknüpften wir verschiedene Softwareanwendungen mit Scripten. Hier ein zunächst ein kurzer Überblick über die einzelnen Schnittstellen:

Die gesendeten Kurznachrichten werden mit einem simplen Mobiltelefon mit Bluetooth-Schnittstellle empfangen.

Das Programm „SMS-Servertools“ (von Stefan Frings) überträgt die empfangene SMS-Nachricht von dem Handy in den Computer

Bei eingehender Nachricht wird per Eventhandler ein eigens für die Installation entwickeltes JAVA-Programm gestartet

Das JAVA-Programm vergleicht das eingehende Datum mit der MySQL-Datenbank und sendet den zugehörigen Songtitel an pure data

Der pure data Patch spielt nach empfangenem Songtitel das entsprechende MIDI-File auf dem Carillon ab

III.2.3 Die Schnittstellen im Einzelnen:

Empfangshandy/SMS-Servertool

Das Empfangshandy ist über die Bluetooth-Schnittstelle mit dem Installationsrechner verbunden. Das Programm SMS-Servertools Version 2 von Stefan Frings erlaubt das Auslesen der empfangenen SMS-Nachricht. Die Applikation ist Freeware und kann auf der Homepage des Entwicklers herunter geladen werden (inzwischen wurde die Anwendung weiterentwickelt – Version 3 gibt es hier zum download). Nach erfolgreicher Installation wird das Programm über das Terminal gestartet und konfiguriert. Im Config-File werden die Parameter für das Empfangen der SMS festgelegt. SMS-Servertools speichert die eingehende SMS automatisch als Text-File. Im Config-File kann zudem der Pfad zum Speicherplatz festgelegt werden. Außerdem muss das Bluetooth-Device (in diesem Fall ein Mobiltelefon) konfiguriert werden. Eine weitere wichtige Anwendung der Applikation ist die Möglichkeit einen Eventhandler zu starten. Im Config-File wird der Pfad zum Eventhandler festgelegt. In diesem Fall ist der Eventhandler ein UNIX-Command Script, das das Datum aus dem gespeicherten Textfile ausliest und an die JAVA-Applikation übergibt.

Schnittstelle zu pure data/MySQL-Server

Die Schnittstelle zwischen der empfangenen Nachricht als .txt-Datei mit dem SMS-Servertool und dem Patch in pure data bildet eine JAVA-Applikation. Das eigens für die Installation geschriebene Programm hat zwei Aufgaben:

Parsing: Das eingehende Datum muss in ein einheitliches Format übersetzt werden
Auslesen der Datenbank: Das eingegangene Datum wird mit der MySQL-Datenbank verglichen und der zugehörige Songtitel ausgegeben.

Zu 1: Da es verschiedene Möglichkeiten gibt ein Datum zu senden muss das Datumsformat zunächst in den ISO 8601-Standard angepasst werden (JJJJ-MM-TT).
Bsp.: Ein Besucher der Installation hat am 24. September 1978 Geburtstag. Schickt er eine SMS mit seinem Geburtsdatum gibt es verschiedene Möglichkeiten, wie er das Datum formatiert z.B.: 24.09.1978, 24-9-78, 24.9.78, 24/9/1978, etc. Um jede gesendete Nachricht korrekt abzuspielen wird im ersten Schritt das Datum in ein einheitliches Format übertragen: 24.9.1978 >> 1978-09-24. Außerdem werden in diesem Programmschritt falsche Datumsformate ausgefiltert (z.B. falsche Monatsangabe, oder Textnachrichten die einen Text statt einem Datum enthalten). In diesem Fall gibt das Programm die Fehlermeldung „invalidDate“ oder „emptyResult“ aus.

Zu 2: Für die Serveranwendung der MySQL-Datenbank verwendeten wir die Software MAMP. Hier wurde die Datenbank ‚charthits’ angelegt und bei eingehender Nachricht über das JAVA-Programm ausgelesen.

Der ausgelesene Songtitel wird mit dem Befehl pdsend (cd /Applications/Pd-extended.app/Contents/Resources/bin/) über den Port (z.B. 8000) an pure data gesendet.

Von pure data zum Glockenspiel

Die Hauptaufgabe des pure data Patches war, nach empfangenem Songtitel das entsprechende MIDI-File auf dem Glockenspiel abzuspielen. Zudem wurden im Patch einige weitere Filtermechanismen implementiert:

Automatisches Starten und Stoppen der Installation
Aussetzen der Installation zum Viertel-Stunden-Schlag
Sortierung der eingehenden Anfragen in einer queue

Zu 1: Die Installation war täglich von 10:00 bis 18:30 aktiv. Ein Teil des Patches startet und stoppt die Installation automatisiert zur gegebenen Uhrzeit. Zudem wurden die abendlichen Konzerte automatisch nach dem 18:30 Stundenschlag abgespielt.

Zu 2: Das Glockenspiel des Weimarer Rathauses spielt eine kurze Melodie zu jeder viertel Stunde. Damit keine Charthits in den Viertelstundenschlag „hineinspielen“, wurde die Installation zu dieser Zeit ausgesetzt. Zu diesem Zweck blockiert ein Teil des Programms die ausgehenden MIDI-Files ca. 1 min vor und 1 min nach dem Stundenschlag (bei besonderen, längeren Stundenschlägen, z.B. dem 12 Uhr Schlag entsprechend länger). Sämtliche Anfragen die zu dieser Zeit eingehen werden gespeichert und nach dem Glockenschlag der Reihenfolge nach abgespielt.

Zu 3: Für den Fall, dass mehrere Anfragen gleichzeitig, bzw. in kurzer Reihenfolge gesendet werden, wurde ein weiterer Filtermechanismus implementiert. Kernstück dieses Mechanismus ist das [textfile]-Objekt. Das [textfile]-Objekt funktioniert wie eine queue nach dem FIFO (First In First Out) Prinzip. Sämtliche Anfragen werden in dem Objekt gespeichert und auf einen Bang der Reihe nach ausgegeben. Zusätzlich können die Listen in einem Textfile für statistische Zwecke gespeichert werden.