GMU:Bits, Beats & Pieces/Clemens: Difference between revisions

From Medien Wiki
No edit summary
 
(21 intermediate revisions by 2 users not shown)
Line 1: Line 1:
== Studie eines Einsatzes ==
===Idee===
Wir atmen ständig. Auch in unserer Kommunikation spielen Atemgeräusche eine wichtige Rolle - so auch in der Musik. Doch nicht nur für Sänger und Bläser ist die Atmung ein großer Bestandteil ihrer Musik, auch für andere Instrumentalisten wie Streicher stellt das gezielte Einatmen einen wichtigen Teil der Kommunikation mit anderen Musikern dar. Die Atmung wird dadurch ein Teil der Musik.
Um die Intensität und Wichtigkeit unterschiedlich starker Einsätze von Instrumentalisten und auch Dirigenten erfahrbar zu machen, wurden für das Projekt verschieden laute Einsätze von Musikern von Video-Plattformen aus dem Internet gesammelt und zurechtgeschnitten. Diese kann der Benutzer des Programms nun mit Hilfe seiner Atemgeräusche auslösen. Der Benutzer soll sich damit seiner eigenen Atmung spielerisch bewusst werden.


== Herzschlag ==
[[File:snif.jpg|thumb|500px|left|Erste Skizze, hier soll das Audiosignal noch mit einem Arduino verarbeitet werden]]
<br clear="both">


'''Idee'''
===Technischer Aufbau===
Ich möchte den Menschliche Puls und/oder die Geräusche, die beim Ein- und Ausatmen entstehen als Grundlage für einen Beat nehmen und diesen mit Farben visualisieren, um das ganze in Form und Farbe auf einem Oszilloskop dar zu stellen und als Grundlage für Musik benutzen. Der eigene Herzschlag als Metronom.
Mit einem an einer Brille befestigtem Lavallier-Mikrofon wird an der Nase des Benutzers der Luftstrom beim Ein- und Ausatmen aufgenommen. Durch ein Audio-Interface wird das so erzeugte Signal an einen PC weitergegeben. Mit Hilfe von Pure Data werden die Amplituden des eingehenden Signals gemessen und in 31 Lautstärke-Stufen klassifiziert. Je nach Lautstärke wird nun einer der 31 kurzen Videoclips von verschieden starken Einsätzen des Benutzers ausgelöst. Wichtig dabei ist das Tragen von Kopfhörern und eine relativ ruhige Umgebung, damit keine Rückkopplungen entstehen.


'''Aufbau'''
[[File:Skizze Aufbau.jpg|thumb|500px|left|Fertige Mikrofonbrille und technisches Setup]]
Mit einem einfachen Pulsmesser für Arduino wird direkt an der Haut der Puls gemessen. Die Daten werden nun an einen PC weitergegeben auf welchem mit Pure Data die einkommenden Zahlen verschiedene Farbflächen und Kickdrums in einem Video auslösen. Als Bildausgabe wird ein alter zu einem Oszilloskop umgebauter Fernseher benutzt, bei welchem Farbe und Ton nun als bunte pulsierende Kreise zu sehen sind.
<br clear="both">
Zu diesem Beat kann nun musiziert werden.


''/alternativ''
===Probleme und deren Lösungen===
Falls die Ausgabe der Daten mit dem Pulsmesser nicht wie erwünscht funktioniert werde ich ein Stethoskop mit einem Mikrofon versehen, dieses am Körper anbringen und die so entstehenden Audioinformationen nutzen. Aus diesen Audioinformationen möchte ich wiederum Midiwerte errechnen welche dann wie oben beschrieben verschiedene Sequenzen eines Videos mit Farben und Tönen auslösen.
Einer der wichtigsten Punkte des Projekts ist das Messen der Atmung des Benutzers. Zuerst wurde über Lösungen wie ein Sensorgurt, um die Veränderung des Brustumfangs beim Ein- und Ausatmen zu messen, nachgedacht. Der Einfachhalthalber und um dem tatsächlichen Atmen von Musikern näher zu kommen, wurde dann auf ein Mikrofon an der Nase zurückgegriffen. Der Arduino zur Verarbeitung der von einem Sensor ermittelten Daten kann wegfallen, da das Kategorisieren des Audio-Peaks in Pure Data sich als einfacher erwiesen hat.
Ein weiteres erhebliches Problem auf der Software-Seite war das Triggern der Videos. Damit das Programm immer das stärkste Einsatz-Video benutzt und nicht schon beim Anfang des Atemgeräusches ein schwächeres Video triggert, welches später ausgelöste Videos überlagert, muss das letztlich ausgelöste Video alle darunter liegenden Videoplayer deaktivieren. Dadurch ist eine kurze Verzögerung des Signals nötig, damit keine unerwünschten Videos angeschnitten werden. Diesen Delay bemerkt der Nutzer jedoch kaum.
 
[[File:Screenshot (13).png|thumb|500px|left|Main '''Pure Data'''-Patch]]
 
[[File:Screenshot (17).png|thumb|500px|left|Sub-Patch und GEM]]
<br clear="both">
 
==Demonstration des Projektes==
[[File:Demo v2.mp4]]
 
==Downloads==
* Main Patch: [[:File:1.01 Atem MAIN PATCH.pd]]
* Video Player: [[:File:avplayer~.pd]]
* Buffer File: [[:File:pix buffer filmopen.pd]]
 
(If you want to run the programm, you have to put all the files in one directory + the video- and soundfiles (named A01.avi, A01.aif, A02.aiv, A02.aif and so on (not included here due to copyright reasons))
 
I used Pure Data ver: 0.49.0 and GEM ver: 0.93.3
 
 
----
 
==shortened project description in english==
 
To refer to the importance of breathing in music, I wanted to use the sounds of inhaling and exhaling to trigger different breathing sounds from conductors and string ensembles.
With a microphone positioned under the nose, the airflow of inhaling and exhaling is measured. The data is now passed on to a PC. With the help of Pure Data, the incoming peaks trigger the found-footage videos of inhaling musicians depending on the volume level of the users inhaling.
 
 
Clemens Hornemann 2018/2019

Latest revision as of 17:13, 5 June 2019

Studie eines Einsatzes

Idee

Wir atmen ständig. Auch in unserer Kommunikation spielen Atemgeräusche eine wichtige Rolle - so auch in der Musik. Doch nicht nur für Sänger und Bläser ist die Atmung ein großer Bestandteil ihrer Musik, auch für andere Instrumentalisten wie Streicher stellt das gezielte Einatmen einen wichtigen Teil der Kommunikation mit anderen Musikern dar. Die Atmung wird dadurch ein Teil der Musik. Um die Intensität und Wichtigkeit unterschiedlich starker Einsätze von Instrumentalisten und auch Dirigenten erfahrbar zu machen, wurden für das Projekt verschieden laute Einsätze von Musikern von Video-Plattformen aus dem Internet gesammelt und zurechtgeschnitten. Diese kann der Benutzer des Programms nun mit Hilfe seiner Atemgeräusche auslösen. Der Benutzer soll sich damit seiner eigenen Atmung spielerisch bewusst werden.

Erste Skizze, hier soll das Audiosignal noch mit einem Arduino verarbeitet werden


Technischer Aufbau

Mit einem an einer Brille befestigtem Lavallier-Mikrofon wird an der Nase des Benutzers der Luftstrom beim Ein- und Ausatmen aufgenommen. Durch ein Audio-Interface wird das so erzeugte Signal an einen PC weitergegeben. Mit Hilfe von Pure Data werden die Amplituden des eingehenden Signals gemessen und in 31 Lautstärke-Stufen klassifiziert. Je nach Lautstärke wird nun einer der 31 kurzen Videoclips von verschieden starken Einsätzen des Benutzers ausgelöst. Wichtig dabei ist das Tragen von Kopfhörern und eine relativ ruhige Umgebung, damit keine Rückkopplungen entstehen.

Fertige Mikrofonbrille und technisches Setup


Probleme und deren Lösungen

Einer der wichtigsten Punkte des Projekts ist das Messen der Atmung des Benutzers. Zuerst wurde über Lösungen wie ein Sensorgurt, um die Veränderung des Brustumfangs beim Ein- und Ausatmen zu messen, nachgedacht. Der Einfachhalthalber und um dem tatsächlichen Atmen von Musikern näher zu kommen, wurde dann auf ein Mikrofon an der Nase zurückgegriffen. Der Arduino zur Verarbeitung der von einem Sensor ermittelten Daten kann wegfallen, da das Kategorisieren des Audio-Peaks in Pure Data sich als einfacher erwiesen hat. Ein weiteres erhebliches Problem auf der Software-Seite war das Triggern der Videos. Damit das Programm immer das stärkste Einsatz-Video benutzt und nicht schon beim Anfang des Atemgeräusches ein schwächeres Video triggert, welches später ausgelöste Videos überlagert, muss das letztlich ausgelöste Video alle darunter liegenden Videoplayer deaktivieren. Dadurch ist eine kurze Verzögerung des Signals nötig, damit keine unerwünschten Videos angeschnitten werden. Diesen Delay bemerkt der Nutzer jedoch kaum.

Main Pure Data-Patch
Sub-Patch und GEM


Demonstration des Projektes

Downloads

(If you want to run the programm, you have to put all the files in one directory + the video- and soundfiles (named A01.avi, A01.aif, A02.aiv, A02.aif and so on (not included here due to copyright reasons))

I used Pure Data ver: 0.49.0 and GEM ver: 0.93.3



shortened project description in english

To refer to the importance of breathing in music, I wanted to use the sounds of inhaling and exhaling to trigger different breathing sounds from conductors and string ensembles. With a microphone positioned under the nose, the airflow of inhaling and exhaling is measured. The data is now passed on to a PC. With the help of Pure Data, the incoming peaks trigger the found-footage videos of inhaling musicians depending on the volume level of the users inhaling.


Clemens Hornemann 2018/2019