GMU:Signale – digitale Kunst/Dokumentation/Listen How It Looks Like: Difference between revisions

From Medien Wiki
Line 18: Line 18:


[[Image:ListenHowItLooksLike_Skizze.jpg|left|thumb|350px|Skizze]]
[[Image:ListenHowItLooksLike_Skizze.jpg|left|thumb|350px|Skizze]]
<videoflash type="youtube">pnkXb166J4U|640|480</videoflash>

Revision as of 22:58, 31 May 2011

Ausgangsidee

Listen how it looks like - Am Anfang stand die Idee, ein synästhetisches Erlebnis durch die direkte Umwandlung von visuellen in auditive Reize zu erzeugen. Eine einfache Methode hierbei ist die Manipulation der Headerinformation von digitalen Klängen und Bildern: Jede Datei, ob Bild, Musik oder Video, besteht aus einem Zahlencode. Die Information, ob diese Datei ein Video, ein Bild oder ein Musikstück ist, steht dabei nur in wenigen Zeilen am Anfang des langen Zahlencodes (Header). Mit einem Hexeditor lässt sich der Code einer Datei lesen und verändern. So kann zum Beispiel der Header vertauscht werden und ein Bild enthält plötzlich die Information es sei eine Audiodatei. Mit einem Player (z.B. Quicktime) kann diese manipulierte Datei also als ein Stück Klang abgespielt werden.

Erste Experimente

Zunächst war es wichtig, den oben genannten Prozess zu automatisieren. Dem Rezipient sollte ein intuitiver und experimenteller Umgang mit dem Zusammenhang von Bild und Toninformation ermöglicht werden. Die Idee war es, eine "Audiokamera" zu entwickeln, die auf Knopfdruck das Bild im Sucher in Form eines Audiostückes wiedergibt. In einem Pure Data Patch wird das Bild gespeichert und pixelweise von links unten nach rechts oben ausgelesen ähnlich dem Prinzip der Headermanipulation. Dabei werden die Grauwerte der einzelnen Pixel in hörbare Frequenzen umgewandelt. <videoflash type=youtube>IREJiUiz9bo|175|200</videoflash>

Weiterentwicklung

Rückübersetzung

Ein spannendes Moment ist die Rückübersetzung des erzeugten Audiomaterials in ein Bild:

  • Ist es möglich das Ausgangsbild aus dem Klang zu gewinnen?
  • Wie wirken sich bei der Übertragung verschiede Parameter wie z.B. Umgebungsgeräusche, Raumlicht, etc auf das Ergebnis aus?
  • Wie lange lässt sich der Prozess wiederholen, bis das Ausgangsmaterial nicht mehr vorhanden ist?
Skizze

<videoflash type="youtube">pnkXb166J4U|640|480</videoflash>