GMU:Audio+Video projekte: Difference between revisions

From Medien Wiki
No edit summary
No edit summary
Line 22: Line 22:
Ein  "Zwielichtiges Schattenwesen"?<br>
Ein  "Zwielichtiges Schattenwesen"?<br>


<gallery perrow=4>
 
[[File:Still-av_01.jpg|border]]
[[File:Still-av_01.jpg|border]]
File:Still-av_01.png|border
File:Still-av_01.png
File:Still-av_02.png
File:Still-av_02.png
File:Still-av_03.png
File:Still-av_03.png
File:Still-av_04.png
File:Still-av_04.png
</gallery>
</gallery>
<gallery perrow=4>


[http://webuser.uni-weimar.de/~erdmann6/FM%20Audio-Video/schattenklang_PureData.mov movie]
[http://webuser.uni-weimar.de/~erdmann6/FM%20Audio-Video/schattenklang_PureData.mov movie]

Revision as of 09:57, 5 April 2010

Dokumentation der im Kurs Audio + Video entstandenen Projekte:

Anja Erdmann: Schatten->Klang

Idee

Die Idee für diese Arbeit entstand aus der Videoaufnahme einer Schattenprojektion
durch Sonnenlicht in meinen eigenen vier Wänden. Aus Licht und Schatten, bzw. ihren
Bewegungen sollen Klänge generiert werden. In diesem Fall auf Grundlage des Videos.
Das patch soll später ausgebaut werden um selbst erzeugte Schattenbilder/-bewegungen
live in eine Klangumgebung zu transformieren und zu verräumlichen.
(z.Bsp für: Installation with paper and fans)

Klanggenerierung

Die verwendeten Bildinformationen werden an einer horizontalen Linie ausgelesen.
Der Grauwert steuert einen Oscillator. Durch das Setzen einer kleinen Rampe mit dem
line~ Objekt entstehen die kurzen impulsartigen Geräusche.
Die Farbwerte bestimmen die Frequenzbereiche des "Granularsynthesizers".
Daraus resultiert das windartige Geräusch.

Umsetzung

Das Bild wird in Grauwerte umgewandelt und invertiert.
Ein "Zwielichtiges Schattenwesen"?


Still-av 01.jpg File:Still-av_01.png File:Still-av_02.png File:Still-av_03.png File:Still-av_04.png </gallery>

Gegenstände werden angeleuchtet und dann bewegt: eine Kleberolle

Audio-File: <flashmp3 id="Verkehrsstromaudio.mp3">Verkehrsstromaudio.mp3</flashmp3>

Florian Erdmenger: Doppelte Zeitreise

Ich möchte einen Patch bauen mit dem es möglich ist mehrere soundfiles(einzelne Wörter) zufällig anzuordnen, sodass sie einen neuen Sinn ergeben. Das ganze passiert nach einem Telefonat in die Vergangeheit( eine 30's Videosequenz mit einer Person am Telefon wäre ganz passend - !für Hinweise wäre ich dankbar). Um die Person(im Video) an das Telefon zu bekommen, ist es nötig eine zufällige bestimmte Schlüsselmelodie("Pastkey") nachzusummen. Ist das ziel ereicht, wird die Person dem Anrufer einen verschleierten Satz verraten , aus dem jeder seine ganz eigene Zukunft deuten kann. Dem Computer wird somit eine Art persönlichkeit/intelligenz verliehen. Zusätzlich möchte ich ein Headset in ein Telefonhörer einbauen den ich futuristisch gestalten werde. Weiterer Ausbau noch in Planung - werde versuchen video noch stärker zu integrieren...

Hallo Florian, eine Filmsequenz von einem Telefonat findest du bestimmt bei Archive.org --max 16:00, 31 March 2010 (UTC)

Johann Niegl: PDGame

Das PDGame ist ein Projekt, das auf spielerische Weise unterschiedliche Reize miteinander verknüpft. Es handelt sich dabei um ein interaktives Programm das auf auditiven Input visuell und auditiv reagiert.

  1. Prinzip
    Der Benutzer hat die Möglichkeit die Position eines schwebenden roten Balls mittels Töne (z.B. Pfeifen) zu kontrollieren. Je höher das Pfeifen desto höher schwebt der rote Ball. Von Zeit zu Zeit, mit ansteigender Geschwindigkeit und Frequenz, fliegen bunte Punkte durch das Bild. Es gilt grüne Punkte mit dem roten Ball aufzufangen und gelben Punkten auszuweichen. Die Anzahl der abgefangenen grünen Punkte wird gezählt und die dauer des Spiels wird gemessen. Beide Werte werden am Ende einer Partie (sobald der rote Ball mit einem gelben Punkt kollidiert ist) als Punktestand angezeigt.
  2. Konzept
    Das PDGame stellt eine neue Form der Interaktion im spielerischen Kontext vor. Der Benutzer hat die Möglichkeit das Geschehen ohne jegliche motorische Handlung zu kontrollieren. Es werden Sinne und Fertigkeiten angesprochen, die traditionell in Spielen eher unterfordert werden. So z.B. die Fähigkeit Tonhöhen gezielt durch Pfeifen zu erzeugen. Nicht eine gute Auge-Hand-Koordination, wie sie in den meisten Spielen trainiert wird, sondern eine Auge-Mund-Koordination wird benötigt um das Spiel zu meistern. Das PDGame stellt somit eine erfrischende Abwechslung zu traditionellen Programmen dar.
  3. Umsetzung
    Pure Data bietet die Möglichkeit auf schnelle und effektive Weise unterschiedlichen Input (visuel, auditiv) im Computer zu verarbeiten und in ein Programm mit einzubeziehen. Das geschieht beim PDGame auf unterschiedlichen Ebenen.

Die zentrale Funktion, bei der äußere Einflüsse eine Rolle spielen, ist die Kontrolle der Flughöhe des roten Balls mittels Pfeifen. Die Tonhöhe des Pfeifens wird durch ein Mikrophon aufgenommen und von dem Programm in den Y-Wert der Koordinaten des Balls umgerechnet. Dies geschieht mit einer gewissen gewollten Trägheit (mit der Hilfe eines sog. line-objekt), damit die Bewegungen des Balls nicht zu hektisch werden und einen "schwebenden" Charakter bekommen.

Eine weitere wichtige Rolle bei der Beeinflussung visueller Eigenschaften durch Klänge spielt die Musik. Diese besteht aus vier Elementen - Schalgzeug, Synthesizerflächen, Keyboards und Gesang. Die vier Elemente können im Programm unabhängig voneinander angesteuert werden. Das bedeutet, dass je nach Spielsituation mehr oder weniger der Elemente zu hören sind. Hauptauslöser hierbei ist die ansteigende Spielgeschwindigkeit. Je weiter die Partie fortgeschritten ist, desto schneller die Spielgeschwindigkeit, detso mehr Elemnte sind in der Musik zu hören.

Jedoch wird nicht nur die Musik vom Spielgeschehen beeinflusst, sondern andersherum beeinflusst auch die Musik selber das Erscheinungsbild von PDGame. Die oben genannten vier Elemente der Musik werden in den Parametern Tonhöhe und Lautstärke analysiert. Diese Daten können dann in Echtzeit dazu weiterverwendet werden andere Spielinhalte zu beeinflussen. So verändert sich z.B. die Helligkeit des Hintergrunds in Abhängigkeit der Tonhöhe der Synthesizerflächen. Oder der vom Benutzer gesteuerte Ball blinkt im Rhythmus des Schalgzeugs.

Auf ähnliche Weise funktionieren weitere Ereignisse im Programm: Signaltöne, beim Abfangen grüner Punkte oder bei einer Kollision mit einem gelben Punkt sowie sowie das Aufleuchten des Hintergrund abgebildeten Mondes bei dem Erhalt eines Bonuspunktes.

Video von PDGame:

<videoflash type="youtube">pfsOi5mMmqI|300|335</videoflash>

(Leider sind hier audio + video nicht ganz synchron. Das liegt an dem Aufzeichnungsprogramm.)

Laura Jozefini

Dieser Patch ist ein kleines Programm, das auf visuellen Input reagiert und diesen in einen abstrakten Bewegungsmelder umwandelt.

  1. Prinzip
    Der Nutzter des Patches kann mit Hilfe einer Kamera seine Bewegungen in abgewandelter Form aufzeichnen. Je länger und je mehr sich der Nutzer vor der Kamera bewegt, desto stetiger ist der Ausstoß von Partikeln. Die ursprüngliche Bewegung wird auf der einen Seite original dargestellt, auf der anderen Seite beeinflusst sie das Partikelsystem. Zudem wird der Ausstoß der Partikel aufgezeichnet und der Nutzr kann sich anschauen, wie viel er sich in der letzten Minute etwa bewegt hat.
  2. Konzept
    Der Patch ist eine ganz einfache und schnelle Form der Interaktion. Es ist ein Bewegungsmelder, der dem Nutzer ein schnelles Ergebnis liefert, ohne das dieser lange warten muss. Man muss nicht lange Grübeln und Nachdenken um ein Ergebnis zu erzielen. Eine zufällige Bewegung vor der Kamera reicht und schon hat man den Sinn des Ganzen verstanden. Wenn man mehr hübsche, farbige Partikel sehen möchte, muss man sich halt bewegen. Das Patch ist so eine ganz einfache und simple Methode der Unterhaltung.
  3. Umsetzung
    PD machte es möglich visuellen Input auf verschiedenste Art und Weise in das eigene Programm einzubinden und zu verarbeiten.

Die Hauptaufgabe des Patches ist es diesen visuellen Input auf Bewegungen allein zu reduzieren und dann in ein Partikelsystem umzuwandeln. Zuerst wird von der angeschlossenen Kamera ein komplettes Bild aufgenommen. Dieses wird dann durch die Verwendung von pix_movement, und der damit eingebauten threshold, auf die Darstellung von Bewegungen reduziert.

Die durch die Bewegungen entstehenden Farbwerte werden an das Partikelsystem gesand und bilden durch Mischung sich ändernde Farben der Partikelspheren. Damit jedoch ein deutlicher Zusammenhang zwischen dem Austoß von Partikeln und der dargestellten Bewegung erkenntlich wird, werden nur Partikel gebildet, wenn auch Bewegung vorhanden ist. Das wird durch das Ablesen des alpha-channels ermöglicht. Durch das Einbauen einer neuen threshold, die vom alpha-channel abhängig ist, kann eine true or false message an das Partikelsystem gesand werden und dort die Bildung der Partikel (am part_source Objekt) regulieren. Damit der Austoß und das Verschwinden der Partikel nicht zu schnell von statten geht und man auch was zum anschauen hat, wird die Geschwindigkeit der Partikel herabgesetzt (part_damp Objekt).

In einer weiteren Ebene des Patches wird eine zeitliche Modifikation des Ausstoßes der Partikel aufgezeichnet. Dort kann man sich praktisch auf abstrakte Weise ansehen, wie oft und wie lange man sich in der letzten Minute etwa vor der Kamera bewegt hat. Diese Ebene entsteht, indem im framebuffer aus einem bestimmten Pixel-Bereich des Partikelsystems ein Bild „genommen“ wird (pix_snap Objekt), da die Informationen der Partikel an sich nämlich nicht wieder in Pixel umgewandelt werden können. Dieses Bild wird dann im pix_rtx Objekt weiterverwendet. Das Endergebnis dieser Ebene ist eine Darstellung, in der die x-Achse mit der Zeit-Achse vertauscht ist. Man hat also eine sich immer wieder erneuernde Darstellung seiner eigenen Bewegung (in Partikeln) in der letzten Minute.

Um zu dem visuellen Input nicht nur ein visuellen Output zu haben, werden Farbwerte aus der Modifikationsebene für einen auditiven Output verwendet. Die Farbwerte werden auf einer dünnen Linie in der zeitlichen Darstellung abgelesen und man erhält nur Klänge, wenn in der Modifikation Partikel vorhanden sind. Man muss sich also bewegt haben. Aus diesen Farbwerten werden die Grauwerte rausgefiltert (pix_data Objekt) und nicht nur auditiv sondern auch visuelle in einem Graph wieder gegeben. Die Tonhöhe des Outputs ist mit einem Regler veränderbar.

Hier noch ein Audio-File: <flashmp3 id="Av_wsprojekt.mp3"> Av_wsprojekt.mp3</flashmp3>
Und ein Video in suuuper Qualität und ohne Ton, wenn man das unbedingt sehen will:
<videoflash type="vimeo">10554162|400|300</videoflash>

Mathieu Rathelot

I would like to make a radio drama with a Wave Field Synthesis system. This kind of system works with a PD patch with wich you can place a sound where you want in the space (XYZ). I need to create an automation in the PD patch for place all the sounds of the radio drama at the right time in a specific place. The listener could be inside the story with this system.

Matthias Breuer

Raummode

Ziel ist es, ein autonomes Gerät zu konstruieren, dass zwischen zwei parallelen Flächen eine stehende Schallwelle erzeugt. Mittels eines Oszillators, dessen Frequenz stetig inkrementiert wird, findet das Gerät die Frequenz mit der maximalen Amplitude, welche schliesslich die stehende Welle ist.

Bang-Server

Etwas mehr technisches. Der Bang Server soll eine Möglichkeit sein Puredata bangs mit Timestamp und optionalen Datenpaket dezentral zu verteilen. So kann eine Puredata Instanz ein Bang und Datenpaket an den Server senden, welcher diese dann an alle andern verbunden Client verteilt. Neben der Echtzeit Komponente soll es noch ein API geben mit dem man die letzten n Bangs erhalten kann.

Meredith Barnes: Stop yelling at me

a work-in-progress interactive animation video.

My aim was to create an interactive animation, in which the audience interacts with an animated drawn person on a screen. A person may interact with the animation by making a sound within a specified threshold, specific to the area in which the installation is set up. By making a sound within the threshold, a person will make part of an animated video play. In order to make the entire duration of the video play, the person must make continuous sound. The sound the interacting person makes is then played back to them after a delay.

  1. Concept
    The concept for this work is part playful, part pseudo psychological. When the entire installation is realised, the animated person will be saying to the participant ‘stop yelling at me’. The only way to make the entire animation play, and to fully interact with the work, will be to keep making sound or ‘keep yelling’ at the character against its requests. One will then hear back the sound or ‘yelling’ they have created. The installation is designed to test what lengths people will go to in interacting with an artwork. As the viewer hears back the sound they have made after a delay, they are reminded of their own choices. If I were to continue this project, I would also like to have various different animated possibilities, so that if someone kept making noise, the animated person could get angrier and angrier or perhaps sadder and sadder.
    The Pure Data patch is a simple patch using a microphone to detect sound within a threshold, and playing it back out of speakers after a delay. Once the sound is detected it causes the video to play with GEM. The video will continue to play if sound is detected in the previous second, otherwise GEM will receive the stop message.
  2. Influences
    Narinda shipowner: Help Yourself - interactive self-help desk, ‘Experimenta Playground’ exhibition, 2007 Carriageworks, Sydney.

Mirror States exhibition 2006, Campbelltown City Arts Centre, Sydney. In particular:

  • Alex Davies Dislocation 2005
  • John Tonkin Time and Motion Study 2006

Sebastian Wolf: Applaus

Ziel soll ein patch sein, der aus einem in-die-Hände-Klatschen etliche macht, aus dem Applaus einer einzelnen Person den einer Menschenmasse. damit man sich selbst applaudieren kann ;)

Vor allem auf technischer Ebene ist das eine Herausforderung. Gerade aufgrund der relativ komplexen Struktur des patches und der Verarbeitung des Inputs. In erster Linie wird das also ein Weg sein, tiefer in PureData einzutauchen.

Das Ganze geschieht im Wechselspiel zwischen Benutzer und Computer. So reagiert der Rechner auf jeden Beifall den man IHM gibt mit einem größereren und stärkeren Applaus seinerseits. Nun ist der Mensch wieder an der Reihe - die Maschine fordern, ihr etwas zum imitieren geben. Natürlich beschränkt sich das nicht nur auf schnödes Klatschen, auch andere Geräusche werden vom Programm aufgenommen, vervielfacht und verfremdet. Im Laufe der Zeit entstehen auf diese Weise interessante Klänge und abstrakte Geräuschkulissen. Das regt zum Ausprobieren und Herumspielen an. Auch der visuelle Output weckt Interesse – was passiert da, wie reagiert es auf mich?

Video folgt!