GMU:Signale – digitale Kunst/Dokumentation/Listen How It Looks Like

From Medien Wiki

Ausgangsidee

Listen how it looks like - Am Anfang stand die Idee, ein synästhetisches Erlebnis durch die direkte Umwandlung von visuellen in auditive Reize zu erzeugen. Eine einfache Methode hierbei ist die Manipulation der Headerinformation von digitalen Klängen und Bildern: Jede Datei, ob Bild, Musik oder Video, besteht aus einem Zahlencode. Die Information, ob diese Datei ein Video, ein Bild oder ein Musikstück ist, steht dabei nur in wenigen Zeilen am Anfang des langen Zahlencodes (Header). Mit einem Hexeditor lässt sich der Code einer Datei lesen und verändern. So kann zum Beispiel der Header vertauscht werden und ein Bild enthält plötzlich die Information es sei eine Audiodatei. Mit einem Player (z.B. Quicktime) kann diese manipulierte Datei also als ein Stück Klang abgespielt werden.

Erste Experimente

<videoflash type=youtube>IREJiUiz9bo|240|240|</videoflash> Zunächst war es wichtig, den oben genannten Prozess zu automatisieren. Dem Rezipient sollte ein intuitiver und experimenteller Umgang mit dem Zusammenhang von Bild und Toninformation ermöglicht werden. Die Idee war es, eine "Audiokamera" zu entwickeln, die auf Knopfdruck das Bild im Sucher in Form eines Audiostückes wiedergibt. In einem Pure Data Patch wird das Bild gespeichert und pixelweise von links unten nach rechts oben ausgelesen ähnlich dem Prinzip der Headermanipulation. Dabei werden die Grauwerte der einzelnen Pixel in hörbare Frequenzen umgewandelt.

Weiterentwicklung

1. Rückübersetzung

Ein spannendes Moment ist die Rückübersetzung des erzeugten Audiomaterials in ein Bild:

  • Ist es möglich das Ausgangsbild aus dem Klang zu gewinnen?
  • Wie wirken sich bei der Übertragung verschiede Parameter wie z.B. Umgebungsgeräusche, Raumlicht, etc auf das Ergebnis aus?
  • Wie lange lässt sich der Prozess wiederholen, bis das Ausgangsmaterial nicht mehr vorhanden ist?

<videoflash type="youtube">pnkXb166J4U|350|260</videoflash>

Skizze

Talking Computer 1Talking Computer 2

Der experimentelle Installationsaufbau zeigt zwei sich gegenüberstehende Rechner. Der erste Rechner zeigt ein Bild (hier die SW-Fotografie von B. Stolpmann). Mittels eines Algorithmus in Pure Data wird das Bild ausgelesen und in eine Frequenz übersetzt. Das so erzeugte Tonsignal wird über Lautsprecher ausgegeben. Der zweite Rechner nimmt dieses Signal über ein Mikrofon auf und wandelt die empfangenen Frequenzen wiederum in Grauwerte. So entsteht ein neuer Abzug des Ursprungsbildes. Dieses Bild wird nun erneut vom ersten Rechner über eine Kamera aufgenommen - usw.

Gestört wird die Signalübertragung durch die Übertragung im offenen Raum (Umgebungsgeräusche, Licht etc.).

Talking Computer 3

Dadurch verblasst das Bild nach und nach und die Tonmelodie verwandelt sich in einen konstanten Sinuston.

Nach einigen Experimenten mit oben beschriebenem Installationsaufbau an verschiedenen Orten (innen/außen, weiträumig/klein, hell/dunkel) mit geringer Auflösung (50x50 und 100x100 Pixel) und Standbildern wird im folgenden Installationsaufbau die Bildauflösung verbessert und mit Bewegtbild gearbeitet.

<videoflash type="youtube">FLkdKrSegB0|350|260</videoflash>

SkizzeSkizze

Talking Computer 1Talking Computer 2

2. Weitere Experimente