[Glyphe] Multitouch et génération de sons – reacTIVision / processing from pixyLab on Vimeo.

Elle ne contient que l’explication des 3 concepts retenus.

Pour naviguer, un simple clic suffit. Un menu est présent en haut à gauche pour revenir à la page précédente ou au menu principal.

Lien de ce résumé : http://diplome.pixylab.com/concepts/

Format : Flash

Résolution minimum : 1024*768

Yahmaha Tenori-on

Véritable instrument de musique électronique, le Tenori-On est composé d’une grille de 16×16 leds que le joueur peut activer ou désactiver pour déclencher des sons de manière intuitive et visuelle. Il est possible de stocker des « partitions » dans l’appareil que l’utilisateur pourra déclencher à souhait, le tout au travers de 6 modes musicaux distincts.

Tenori-on

Une version flash allégée a été réalisée par André Michelle sous le nom de   »Tone Matrix » <– Démo jouable

Novation LaunchPad

LaunchPad est un périphérique à coupler avec le logiciel Ableton Live (création musicale complète). Il trouvera son application dans le DJing, la performance live ou la composition brute. LaunchPad est composé d’une grille de 64 boutons qui peuvent changer de couleur ainsi que de différents modes de visualisations (séquenceur, égaliseur…).

Novation Launchpad

Beatbearing

Bien qu’à priori assez limité dans son usage, « Beatbearing » surprend par son aspect et offre au séquenceur une esthétique et une facilité d’usage vraiment intéressante grâce à ses billes métalliques.

BeatBearing

reacTable

ReacTable un impressionnant projet de synthétiseur tangible. Le plateau est de forme circulaire sur lequel (les) joueur(s) vient placer des blocs, éléments du synthétiseur. En fonction de la distance, les blocs se raccordent entre eux et le joueur peut moduler les sons en pivotant ces objets. Ces raccordement se terminent au point central, représenté par un petit rond noir : « l’output » du synthétiseur. L’ensemble fonctionne grâce à des tags trackés par une caméra placée sous la surface. Celle ci peut également prendre en compte les effets lumineux générés par les blocs, ou la position des doigts du joueur.

reacTable

ReacTogon

Reactogon est un « arpeggiator » tangible, basé sur la logique des réactions en chaînes. Sur un plateau multitouch, le joueur disposé divers blocs :

« Note », qui couplé à une orientation permet de « lancer » un signal.

« Ricochet », qui permet de faire rebondir ce signal en déclenchant un son.

« Splitter », sorte de ricochet multi-directionnel.

« Stop », pour arrêter un son.

ReacTogon dispose également d’une barre pour agir sur le « pitch » du son ainsi que divers « fader » pour le volume et les effets.

ReacTogon

Ce projet aura d’ailleurs été à la base de l’influence de « JR Hexagone pro », application de création semi-assistée pour iPhone.

Audiopad

Proche du concept reacTable, Audiopad est une interface plutôt destinée a mixer la musique.

Audiopad

audiowiisual / wii scratching

Voici deux projets basés sur les interactions de la wiimote.

loopArena

loopArena est un environnement tactile principalement destiné au live ou à la performance. L’utilisateur peut ainsi contrôler des instrument MIDI tels un sampler ou un synthétiseur.

loopArena

Andy Huntington’s Beatbox

BeatBox est un système que l’on pourrait qualifier de « séquenceur pour objets réels ». L’idée est de marqué un rythme sur un bouton, et de placer un petit dispositif sur un objet voulu. Ce rythme sera reproduit en frappant sur l’objet en question. Très ludique et amusant.

Andy Huntington's BeatBox

Beatbox from Andy Huntington on Vimeo.
Ce projet fait suite à « TapTap », un projet tout aussi créatif.

tapTap from Andy Huntington on Vimeo.

Percussa Audio Cubes

Audio Cubes est un projet d’interface tangible permettant à l’utilisateur de créer des son ou d’appliquer divers effets à une piste grâce à un système basé sur des capteurs/récepteurs infrarouges. Ainsi la position, l’orientation, la distances (entre deux cubes ou entre un cube et un obstacle) seront déterminant pour agir sur le son. Audio Cubes est susceptible de fonctionner avec n’importe quel logiciel de création musicale.

Percussa Audio Cubes

Scrapple

Toujours dans le domaines des séquenceurs tangibles, scrapple utilise des formes géométriques simples à disposer sur une table dont les axes représentent le temps et le « pitch ».

Scrapple

Scrapple Installation (Brief Demo) from Golan Levin on Vimeo.

iPhone ocarina

Il existe aujourd’hui une grande quantité d’applications musicales pour iPhone. En voici une assez particulière :

iPhone ocarina, est, comme sont nom l’indique, une simulation d’ocarina pour le téléphone d’apple basé sur le souffle (micro) et la position des doigts (écran multitouch).

iPhone Ocarina

Quelques spécifications

Sources :

http://www.fubiz.net/

http://romk.fr/blog/musique/les-interfaces-visuelles-sonores

http://emi.precious-forever.com/

TouchLib

TouchLib est une librairie qui permet de créer des interactions tactiles multitouch avec l’aide d’une simple caméra ou webcam. Il est possible, grâce à une boite en carton, une plaque de plexiglas, un peu de papier classique et donc une caméra de réaliser et de paramétrer une dalle tactile. Cette libraire, comprenant quelques exemples déjà faits, permet donc de capter la pose du doigt, le déplacement et le relâchement grâce aux « blob » (tâche du doigt) ou à la lumière infrarouge. Les quelques tests que j’ai pu réaliser lors de mon voyage en Corée ont été très pertinents et l’ajout d’un vidéo projecteur peut permettre de travailler sur des surfaces gigantesques sans le moindre soucis.

TouchLib se programme principalement en C++ mais est compatibles avec d’autres langages plus abordables comme le flash, VVVV, pure data ou processing.

Détection des blobs

Dans le multitouch, chaque doit est "tracké"

Pour entrer un plus dans le détail…

TouchLib sert à analyser en temps réel le flux sortant de la caméra. Ces images sont alors traitées (contrastes, luminosité etc.) pour obtenir une image noire et blanche dans laquelle les zones blanches correspondent à la position des doigts. Ces positions sont alors détectées pour obtenir une position X/Y en temps réel.

Traitement de l'image

C’est ce genre de technologie (quelque peu modifiée) qu’aura utilisé Vivian Caccuri dans son installation « Submersed Songs ». L’idée étant de laisser la logique animale influer sur la musique grâce à la position de poissons. Leur déplacement permettaient ainsi d’agir sur la hauteur du son, sur l’ajout de samples etc. Une installation ayant simplement un but artistique, mais qui ouvre la voie à de nombreuses interactions.

Submersed Songs | Canções Submersas from ▲LEX on Vimeo.