GMU:Signale – digitale Kunst/Dokumentation/Listen How It Looks Like

From Medien Wiki

Ausgangsidee

Listen how it looks like - Am Anfang stand die Idee, ein synästhetisches Erlebnis durch die direkte Umwandlung von visuellen in auditive Reize zu erzeugen. Eine einfache Methode hierbei ist die Manipulation der Headerinformation von digitalen Klängen und Bildern: Jede Datei, ob Bild, Musik oder Video, besteht aus einem Zahlencode. Die Information, ob diese Datei ein Video, ein Bild oder ein Musikstück ist, steht dabei nur in wenigen Zeilen am Anfang des langen Zahlencodes (Header). Mit einem Hexeditor lässt sich der Code einer Datei lesen und verändern. So kann zum Beispiel der Header vertauscht werden und ein Bild enthält plötzlich die Information es sei eine Audiodatei. Mit einem Player (z.B. Quicktime) kann diese manipulierte Datei also als ein Stück Klang abgespielt werden.

Erste Experimente

<videoflash type=youtube>IREJiUiz9bo|240|240|</videoflash> Zunächst war es wichtig, den oben genannten Prozess zu automatisieren. Dem Rezipient sollte ein intuitiver und experimenteller Umgang mit dem Zusammenhang von Bild und Toninformation ermöglicht werden. Die Idee war es, eine "Audiokamera" zu entwickeln, die auf Knopfdruck das Bild im Sucher in Form eines Audiostückes wiedergibt. In einem Pure Data Patch wird das Bild gespeichert und pixelweise von links unten nach rechts oben ausgelesen ähnlich dem Prinzip der Headermanipulation. Dabei werden die Grauwerte der einzelnen Pixel in hörbare Frequenzen umgewandelt.

Weiterentwicklung

1. Rückübersetzung

Ein spannendes Moment ist die Rückübersetzung des erzeugten Audiomaterials in ein Bild:

  • Ist es möglich das Ausgangsbild aus dem Klang zu gewinnen?
  • Wie wirken sich bei der Übertragung verschiede Parameter wie z.B. Umgebungsgeräusche, Raumlicht, etc auf das Ergebnis aus?
  • Wie lange lässt sich der Prozess wiederholen, bis das Ausgangsmaterial nicht mehr vorhanden ist?

<videoflash type="youtube">pnkXb166J4U|350|260</videoflash>

Skizze

Talking Computer 1Talking Computer 2

Der experimentelle Installationsaufbau zeigt zwei sich gegenüberstehende Rechner. Der erste Rechner zeigt ein Bild (hier die SW-Fotografie von B. Stolpmann). Mittels eines Algorithmus in Pure Data wird das Bild ausgelesen und in eine Frequenz übersetzt.

Ursprungsbild und Abzug

Das so erzeugte Tonsignal wird über Lautsprecher ausgegeben. Der zweite Rechner nimmt dieses Signal über ein Mikrofon auf und wandelt die empfangenen Frequenzen wiederum in Grauwerte. So entsteht ein neuer Abzug des Ursprungsbildes. Dieses Bild wird nun erneut vom ersten Rechner über eine Kamera aufgenommen - usw. Gestört wird die Signalübertragung durch die Übertragung im offenen Raum (Umgebungsgeräusche, Licht etc.). Dadurch verblasst das Bild nach und nach und die Tonmelodie verwandelt sich in einen konstanten Sinuston.

Nach einigen Experimenten mit oben beschriebenem Installationsaufbau an verschiedenen Orten (innen/außen, weiträumig/klein, hell/dunkel) mit geringer Auflösung (50x50 und 100x100 Pixel) und Standbildern wird im folgenden Installationsaufbau die Bildauflösung verbessert und mit Bewegtbild gearbeitet.

<videoflash type="youtube">FLkdKrSegB0|350|260</videoflash>

Video2Audio 1 1.jpgVideo2Audio 1 2.jpg
Video2Audio 1 3.jpgVideo2Audio 1 4.jpg

2. Weitere Experimente

Um die Einwirkungen der Umgebung auf das Ergebnis zu verstärken wird die Installation in einem Raum mit extrem langer Nachhallzeit aufgebaut. Zudem besteht ein größerer Abstand zwischen den einzelnen Komponenten (Mikrofon, Kamera, Lautsprecher, Leinwand) der Installation.


<videoflash type=youtube>FWx64mmHSLc|350|260|</videoflash>


Mischung zweier Porträts
Mischung zweier Porträts
In einem weiteren Aufbau werden drei Rechner in einem Netzwerk miteinander verbunden. An zwei Rechnern ist je eine Kamera und ein Lautsprecher, am dritten Rechner ein Mikrofon angeschlossen. Die beiden unterschiedlichen Kamerabilder werden nach bekanntem Prinzip in Klang gewandelt und über die Lautsprecher wiedergegeben. Der dritte Rechner empfängt die simultan ausgespielten Klänge und wandelt diese wiederum in ein neues Bild um.


Das Resultat ist eine über den Audioweg gewonnene Mischung der beiden Ausgangsbilder. Die Abbildungen zeigen das Ergebnis der Vermischung zweier Porträts.


Die Installationsaufbauten zeigen wie Audiovisionen im digitalen Zeitalter lediglich auf Zahlen basieren, die sich mühelos in den jeweiligen Zustand übersetzen lassen – also entweder als Bild oder als Ton interpretiert werden können. Zudem stehen die Installationen allegorisch für einen Qualtitäts- und damit einen Informationsverlust bei vielfacher Übertragung und Übersetzung von Daten.

Musikinstrument

Listen how it looks like - it's music!

Bei der Durchführung der verschiedenen Experimente zeigt sich, dass der aus dem Bild erzeugte Klang nicht nur reinen Informationsgehalt sondern vielmehr auch eine gewisse Musikalität in sich trägt. Hier entstand die Idee durch Kombination, Variation und Manipulation der Bilder und somit der Töne ein vollwertiges Musikinstrument zu erschaffen. Der Musiker spielt mit diesem Instrument nicht auf Tasten oder Saiten, sondern "auf Bildern".