GMU:Bits, Beats & Pieces/jca/jca project synesthesia Synästhesie

From Medien Wiki

SYNÄSTHESIE | SYNESTHESIA



Synästhesie

Etwa vier Prozent der Menschen haben eine Form der Synästhesie. Als eine der bekanntesten Formen gilt das Sehen von Farben bei ertönenden Klängen. Anhaltspunkt dieser Arbeit ist das entfernte Nachempfinden einer solchen Wahrnehmung.Zweiten Anhaltspunkt bildet die (pseudo-)wissenschaftliche Darstellung von Frequenzen als Farben. Da Obertöne stets als ganzzahlige Vielfache eines Grundtons entstehen, ist es möglich die bei einer 40fach oktavierten Obertonschwingung des Grundtons (beipsielsweise F mit 349,2 Hz beim Kammerton A mit 440 Hz) eine Frequenz der elektromagnetischen Wellen zu errechnen ( -> 384 THz (~ 780nm)). Dennoch erweist sich die Darstellung als schwierig, da das Wellenlängenspektrum von 380 nm bis 780 nm vom menschlichen Auge zu den Rändern hin abflacht und in sich kein kontinuierliches Farbspektrum bildet. Außerdem, da das Licht monochromatisch ist, existieren keine Magenta-Töne.

Ist die benutzende Person ein Synästhet oder einfach neugierig, so kann sie die Töne anspielen lassen, die Farbe einstellen und schauen, ob das Bild dem im Kopf ähnelt. Es lässt sich ermitteln ob die eigene bildliche Wahrnehmung eher aus den Frequenzen sich errechnet oder insgesamt der Klang mit seinem umfassenden Obertonspektrum die Farbe bildet.


Funktionsweise

Mittels Fourier-Analyse des vom-Mikrofon-aufgenommen Klanges werden die 8 lautesten Frequenzen errechnet, sowie deren Lautstärke ermittelt. Der Pitch wird über verschiedene Wege den Farben "zugemappt". Die Tonhöhe bildet die repräsentative Farbe und die insgesamte Tonhöhe regelt den Anteil von Weiß in der Farbe. Je höher der Ton, desto heller die Farbe.


Der Patch

Jca syn (1).jpg

Hier ist die Steuerkonsole zu sehen, welche die 8 lautesten Frequenzen zeigt. Neben des Switches und der Einstellung der Farbskala kann man einstellen, wie schnell die Farben sich ändern, sowie eine Sägezahnwelle bei verschiedenen Frequenzen abspielen, um zu sehen, wie sich bei klaren lauten Klängen die Obertöne arrangieren. In einem separaten Fenster sind 8 Kreise in einem Ring angeordnet. Der Radius und die Farbe wird von Lautstärke und Frequenz gesteuert. Die Rechnungen sind in einem Subpatch versteckt.


Jca syn (2).jpg Jca syn (3).jpg Jca syn (4).jpg


Andere Farbskalen (Hue / Scriabin / selbsterstellte Farbskala)


Jca syn (5).jpg

Bei der Sägezahnwelle erklingen alle ganzzahligen Vielfache der Grundschwingung (Obertöne). Hier ist leicht zu sehen, dass 1, 2, 4 und 8 die selbe Farbe haben. Das heißt, dass die sie die jeweilige Oktave der Grundschwingung sind. Auch sieht man, dass die Quinte als dritter Teilton sich ebenfalls als sechster oktaviert.


Jca syn (7).jpg Jca syn (8).jpg Jca syn (9).jpg

Die Kreisfelder


Jca syn (10).jpg

Der Hauptpatch mit seiner Fouriertransformation und seinen vielen Abstraktionen


Jca syn (11).jpg

Die Abstraktion "myfrequencycalc" errechnet aus den Frequenzen über Logarithmierung die Töne, welche die Farbe bestimmen. Die Hue-Werte werden weitergeleitet und die anderen Werte gemappt.


Jca syn (12).jpg

Die Abstraktion "myhsv2rgb" rechnet die frequenzgesteuerten Hue- / Saturation- / Value-Werte in RGB-Werte um, welche die Farbe bestimmen für die Kreise. Auf der anderen Seite müssen sie weitergerechnet werden, um PD-Color-Werte zu bekommen, die die Farbe der Farbfelder ändern.


Jca syn (12).jpg

Die Abstraktion "myhsv2rgb_extra" funktioniert wie die vorherige, ist aber zuständig für die Farbfelder der Klaviatur.


Jca syn (13).jpg

Der Subpatch "smoothening" ist über das line-Objekt zuständig für die Auslöschung von sehr schnell schwankenden Werten und somit Reduzierung eines extremen Flackerns durch das Rauschen.