Il était important de pouvoir dissocier chaque marqueur, ce que TUIO fait très bien ici.

getX(), getY() et getAngle() permettent de récupérer la position des marqueurs et getSymbolID() récupère l’identifiant du marqueur.

Voici donc un exemple dans lequel j’ai placé une zone de collision. Lorsque les carrés (représentation des marqueurs) rentrent dans cette zone, ils deviennent vert et les boutons de la partie basse deviennent actifs. Un clic sur un de ces boutons déclenchera alors un « tir » du carré (futur vaisseau) correspondant.

reacTIVision + processing : basic interactions from pixyLab on Vimeo.

Je commencerais à publier quelques codes quand ceux-ci seront un petit peu plus « propres ».

Je me suis donc tourné vers processing, qui présente une utilisation du protocole TUIO vraiment plus agréable et simple à exploiter.

Voici, ci dessous, un lien permettant de communiquer aisément entre reacTIVision et processing :

Téléchargement du client TUIO pour processing

Documentation

Après quelques test j’ai pu sans problèmes mettre en place une zone de collision, qui me permettra  de localiser des cartes munies de marqueurs fiduciaires, comme expliqué dans le second concept.

]]> http://diplome.pixylab.com/wordpress/2010/03/06/reactivision-processing/feed/ 0 http://diplome.pixylab.com/wordpress/2010/03/05/reactivision-tuio-flash-as3/ http://diplome.pixylab.com/wordpress/2010/03/05/reactivision-tuio-flash-as3/#comments Fri, 05 Mar 2010 18:16:23 +0000 Jérémie Biron http://diplome.pixylab.com/wordpress/?p=689 Voici un excellent moyen de tracker des marqueurs fiduciaires reacTIVision dans un environnement Flash (as3).

http://sourceforge.net/projects/reactivision/files/TUIO%201.0/TUIO-Clients%201.4/TUIO_Flash-1.4.zip/download

La démarche est assez aisée et elle permettra dans le cadre de mon projet d’assurer le positionnement des cartes vaisseaux. (Voir 2ème concept)

1. Télécharger l’environnement reacTIVision.

2. Imprimer des marqueurs fiduciaires.

3. Récupérer les fichiers pour réaliser la passerelle entre reacTIVision et Flash.

4. Lancer reacTIVision en prenant soin d’avoir une camera ou une webcam branchée.

5. Lancer le fichier « run.bat »

6. Lancer « TuioDemo.swf »

7. Prendre soin de d’autoriser les transferts de donnés dans les paramètres flash, sans quoi la connexion serait impossible.

8. Cliquer sur « Connect »

Et voici le résultat :

Ce système est seulement fait pour supporter des interactions « simples ». Un trop grand nombre de marqueurs pourra faire freezer l’application, cela reste tout de même largement suffisant dans pas mal de cas.

Les nouveaux mondes de la réalité virtuelle cherchent à nous immerger d’une manière de plus en plus complète et crédible. Aujourd’hui encore, le son ne participe que peu à l’immersion de l’utilisateur, pourtant les technologies sont là et le rendu audio en matière de spatialisation du son est tout bonnement impressionnant.

Qu’est-ce exactement que l’acoustique virtuelle ?

L’acoustique virtuelle ou « audio-spatialisation » est un procédé visant à rendre cohérent l’écoute du son dans un environnement donné. C’est-à-dire enregistrer et retranscrire le son en « imitant » une écoute « naturelle » et positionable dans un espace en réel 3 dimensions.

Les caractéristiques de l’acoustique virtuelle.

- La différence interaurale de temps, consiste à prendre en compte l’espace entre les deux oreilles de l’utilisateur générant un décalage (de l’ordre de 0.7 ms) de perception.

- La différence interaurale d’amplitude, correspond à la différence de volume entre les deux oreilles. Cette technique prend bien sûr en compte la distance et l’orientation de chacune des oreilles, mais également le taux de pénétration des ondes (graves / aiguë), la réflexion sur le corps (torse, épaules) ou encore l’effet de masque de la tête et de l’oreille externe.

- La gestion de la hauteur et des confusions avant/arrière lors de l’écoute.

Le résultat est saisissant. Même avec plusieurs sources sonores simultanées, il est possible de définir les positions exactes dans un espace tri-dimensionnel. Certains systèmes disposent même d’un « tracking » permettant un son actif lié à la position de l’utilisateur : Si je perçois un son derrière moi et que je me retourne, je le percevrais alors devant moi.

Je vous invites d’ailleurs à vous munir d’un casque stéréo et à faire l’essai d’une capture binaurale. Même sans avoir un casque permettant le retranscription précise des éléments dans l’espace, certains effets sont plus que saisissants :

On peut dès lors imaginer la place que pourrait trouver un tel dispositif dans un jeu vidéo immersif ou l’utilisateur est libre de se déplacer… Le jeu vidéo en est à ses balbutiements en matière d’immersion et il y a fort à parier que l’utilisation d’environnements sonores dynamiques (j’entends interaction avec la position et l’orientation du joueur) se rependent dans nos salons dans quelques années.

Sources :

http://hal.archives-ouvertes.fr/docs/00/17/42/30/PDF/These_NEpain.pdf

http://www.euphonia.fr/

Yahmaha Tenori-on

Véritable instrument de musique électronique, le Tenori-On est composé d’une grille de 16×16 leds que le joueur peut activer ou désactiver pour déclencher des sons de manière intuitive et visuelle. Il est possible de stocker des « partitions » dans l’appareil que l’utilisateur pourra déclencher à souhait, le tout au travers de 6 modes musicaux distincts.

Tenori-on

Une version flash allégée a été réalisée par André Michelle sous le nom de   »Tone Matrix » <– Démo jouable

Novation LaunchPad

LaunchPad est un périphérique à coupler avec le logiciel Ableton Live (création musicale complète). Il trouvera son application dans le DJing, la performance live ou la composition brute. LaunchPad est composé d’une grille de 64 boutons qui peuvent changer de couleur ainsi que de différents modes de visualisations (séquenceur, égaliseur…).

Novation Launchpad

Beatbearing

Bien qu’à priori assez limité dans son usage, « Beatbearing » surprend par son aspect et offre au séquenceur une esthétique et une facilité d’usage vraiment intéressante grâce à ses billes métalliques.

BeatBearing

reacTable

ReacTable un impressionnant projet de synthétiseur tangible. Le plateau est de forme circulaire sur lequel (les) joueur(s) vient placer des blocs, éléments du synthétiseur. En fonction de la distance, les blocs se raccordent entre eux et le joueur peut moduler les sons en pivotant ces objets. Ces raccordement se terminent au point central, représenté par un petit rond noir : « l’output » du synthétiseur. L’ensemble fonctionne grâce à des tags trackés par une caméra placée sous la surface. Celle ci peut également prendre en compte les effets lumineux générés par les blocs, ou la position des doigts du joueur.

reacTable

ReacTogon

Reactogon est un « arpeggiator » tangible, basé sur la logique des réactions en chaînes. Sur un plateau multitouch, le joueur disposé divers blocs :

« Note », qui couplé à une orientation permet de « lancer » un signal.

« Ricochet », qui permet de faire rebondir ce signal en déclenchant un son.

« Splitter », sorte de ricochet multi-directionnel.

« Stop », pour arrêter un son.

ReacTogon dispose également d’une barre pour agir sur le « pitch » du son ainsi que divers « fader » pour le volume et les effets.

ReacTogon

Ce projet aura d’ailleurs été à la base de l’influence de « JR Hexagone pro », application de création semi-assistée pour iPhone.

Audiopad

Proche du concept reacTable, Audiopad est une interface plutôt destinée a mixer la musique.

Audiopad

audiowiisual / wii scratching

Voici deux projets basés sur les interactions de la wiimote.

loopArena

loopArena est un environnement tactile principalement destiné au live ou à la performance. L’utilisateur peut ainsi contrôler des instrument MIDI tels un sampler ou un synthétiseur.

loopArena

Andy Huntington’s Beatbox

BeatBox est un système que l’on pourrait qualifier de « séquenceur pour objets réels ». L’idée est de marqué un rythme sur un bouton, et de placer un petit dispositif sur un objet voulu. Ce rythme sera reproduit en frappant sur l’objet en question. Très ludique et amusant.

Andy Huntington's BeatBox

Beatbox from Andy Huntington on Vimeo.
Ce projet fait suite à « TapTap », un projet tout aussi créatif.

tapTap from Andy Huntington on Vimeo.

Percussa Audio Cubes

Audio Cubes est un projet d’interface tangible permettant à l’utilisateur de créer des son ou d’appliquer divers effets à une piste grâce à un système basé sur des capteurs/récepteurs infrarouges. Ainsi la position, l’orientation, la distances (entre deux cubes ou entre un cube et un obstacle) seront déterminant pour agir sur le son. Audio Cubes est susceptible de fonctionner avec n’importe quel logiciel de création musicale.

Percussa Audio Cubes

Scrapple

Toujours dans le domaines des séquenceurs tangibles, scrapple utilise des formes géométriques simples à disposer sur une table dont les axes représentent le temps et le « pitch ».

Scrapple

Scrapple Installation (Brief Demo) from Golan Levin on Vimeo.

iPhone ocarina

Il existe aujourd’hui une grande quantité d’applications musicales pour iPhone. En voici une assez particulière :

iPhone ocarina, est, comme sont nom l’indique, une simulation d’ocarina pour le téléphone d’apple basé sur le souffle (micro) et la position des doigts (écran multitouch).

iPhone Ocarina

Quelques spécifications

Sources :

http://www.fubiz.net/

http://romk.fr/blog/musique/les-interfaces-visuelles-sonores

http://emi.precious-forever.com/

J’ai eu l’occasion de faire quelques tests afin de voir comment réagissait cette technologie.

Chacun est libre de faire son installation comme il le souhaite, trackmate étant assez souple d’utilisation. Pour ma part :

-Une table en verre fumé (coté fumé sur le dessus)

-Une camera bas de gamme placée sous la table (fonctionne également avec une webcam)

-Une lampe de bureau « pince à linge ».

A première vue trackmate est très bien documenté et en suivant les quelques étapes de réglages (définition de la taille de travail, balance des blancs…) on arrive très vite à une capture de tags de qualité.

Point vert pour le noir, bleu pour le blanc et les tags sont capturés

Plus qu’à découper les tags de la feuille imprimée et l’installation est prête à la reconnaissance de position / orientation.

Le trait rouge représente l'orientation du tag

Avec des réglages assez précis l’ensemble fonctionne bien, la capture est plutôt réactive et il est même possible de sauvegarder ses réglages.

Cependant ce qui fait la force d’une technologie de ce genre, c’est bien sur sa capacité a assurer des ponts avec d’autre langages et comme je l’ai dis il y a quelques jours, trackmate se base sur le protocole LusidOSC créer pour gérer des interfaces de type données spatialisées dont les librairies sont libre de droits. Si les librairies flash sont en court de développement, j’ai pu tester la passerelle vers processing qui marche parfaitement bien. Voici donc quelques scripts mis à disposition de chacun.

Tout d’abords un test basique de localisation dans l’espace :

Les points respectent la position des tags

Script plus graphique : Une spirale tourne dans la fenêtre, chaque tag vient agir sur une donnée, taille, nombre de palles, vitesse de rotation, couleur… Une simple inclinaison du tag et le tour est joué.

Chaque inclinaison de tag agit sur le graphique

Vous l’aurez comprit, on peut faire à peut prêt ce que l’on veut avec ces tags et les scripts qui suivent m’intéressent particulièrement puisqu’ils permettent de créer une interaction avec les sons.

Sequencer

Voici une application qui permet de simuler un séquenceur. L’utilisation est simple :

-Je choisis un tag que je place sur la zone « trackée ».

-Je lui applique un pattern de notes à jouer sur les divers instruments proposés.

-Je reproduit cette manipulation autant de fois que je souhaite de patterns.

-Je place les tags sur la zone trackée lorsque je souhaite activer les patterns.

Plus qu’à jouer avec le placement/suppression de tags et il devient possible de gérer un petit séquenceur avec une interface tangible.

Voici un sequenceur tangible !

PlaylistDJ

PlaylistDj est un script qui permet de jouer avec ses propres morceaux de musique de la manière suivante :

-Je place un tag sur la zone trackée.

-Je lui assigne un morceau de musique (ou un son) de mon répertoire

-Je répète l’opération autant de fois que je souhaite avoir de morceaux.

-Je place les tags voulus sur la zone trackée.

Il ne reste plus qu’à jouer avec les tags. Dès que l’un d’entre eux est placé sur la zone trackée, le morceau se lance. Si je monte le tag, le son augmente, si je le baisse, il diminue. La rotation permet enfin d’appliquer des effets aux morceaux musicaux.

Une nouvelle interface pour le DJing ?

Conclusion

Combiné a de petits objets sous lequel les tags sont placés, Trackmate / LusidOSC est une manière simple et efficace de fabriquer sa propre interface tangible. Pour peu que l’utilisateur dispose de quelques connaissances en programmation c’est un nouveau périphérique qui s’ouvre devant lui et dont la seule contrainte est l’imagination et la mise en forme à lui appliquer.

WAV (Waveform Audio Vector) : Fichier non comprimé (pas de perte de qualité) au poids très lourd, principalement utilisé pour travailler le son.

MP3 (MPEG-1 Layer III) : Fichier comprimé, poids très léger et grande compatibilité. Malheureusement ce format détruit la qualité du fichier, particulièrement mauvais dans les aiguës.

Ogg (Ogg Vorbis) : Tout comme le Mp3, l’Ogg Vorbis est un fichier comprimé, cependant ce dernier à la caractéristique d’être libre (pas de droits d’utilisation) et de disposer d’un meilleur algorithme de compression qui conserve mieux la qualité initiale du fichier.

Le format le plus utilisé aujourd’hui est bien sûr le mp3.

La généralisation s’est faite à grande vitesse, principalement grâce aux baladeurs numériques et aux échanges de fichiers, légaux ou non (de type p2p) sur internet. Ce format s’est principalement répandu « grâce » à la faible quantité de stockage des premiers baladeurs mp3. Il était à l’époque inconcevable de transporter dans sa poche des albums entiers au format WAV. Le premier baladeur mp3 disposait de 32mo de stockage, soit : un album très compressé au format mp3 ou … une piste WAV.

Mais alors pourquoi utilisons nous encore le fichier mp3 ?

Pour la même raison que l’on utilise MSN plutôt Jabber, ou Windows à la place de Linux : Par habitude et pour répondre aux standards. Le simple fait que l’appellation  »lecteur Mp3″ soit passé dans le langage courant nous incite à utiliser ce support pourtant largement inférieur au Ogg. Il n’est d’ailleurs pas rare de trouver des ordinateurs ou lecteurs incapables de lire ce dernier. Cette standardisation à des raisons historiques : n’ayant pas de concurrents à l’époque (années 90) le format mp3 s’est naturellement rependu et il est donc difficile aujourd’hui de s’en défaire.

Quel futur pour les formats musicaux  ?

Aujourd’hui la capacité de stockage des lecteurs de poche se comptent en dizaines de gigas, les débits internet se sont accélérés et il devient naturel de voir fleurir des fichiers mp3 aux taux de compression beaucoup plus faibles (donc plus volumineux), voir des albums au format WAV (ou autre).

Cependant, certains formats vont encore plus loin et s’ils sont encore méconnus, il y a fort à parier que le MT9 ou le MXP4 prennent de l’envergure dans les prochaines années.

MT9, MXP4… ?

Les formats de type MT9 ou MXP4 sont des formats dits de type « multipistes ». Le multipistes consiste à bénéficier d’un canal musical par instrument. Avec ce format l’utilisateur peux lui-même « mixer » sa musique et ainsi agir sur le volume de chaque canal pour adapter la musique au support ou simplement adapter le morceau à son envie et à ses goûts.

Il est possible de "mixer" soi-même un morceau grâce au MT9

L’intérêt va même plus loin avec le MXP4 puisqu’il est maintenant possible, grâce à la composition du format, de faire passer aisément le morceau d’une version acoustique à électrique, voir même de changer le timbre ou l’instrument un peu à la manière d’un fichier MIDI. Il est également possible pour l’artiste d’injecter de l’aléatoire dans son morceau et ainsi faire en sorte que l’écoute ne soit jamais identique.

L'iPhone à déjà son lecteur multipistes avec iKlax et des sources via iTunes

Le multipistes présente également un autre avantage, moins visible : celui visant à favoriser le développement de jeux et applications basés sur la musique. Si dans le passé il n’était possible d’agir (que) sur une partie de la musique, seulement en ayant les fichiers de masterisation du morceau, souvent difficile d’accès, il semble aujourd’hui possible de réaliser ses propres applications/jeux simplement avec les droits d’auteur adaptés et cela ne pourra qu’être bénéfiques aux structures de développement indépendantes.

Voici pour finir une petite application interactive que l’on peut trouver sur la page d’accueil du site du format MXP4 (mes excuses par avance, seul un morceau de Britney Spears est disponible) : 

Sources :

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.26.5956&rep=rep1&type=pdf

http://www.omf.paris-sorbonne.fr/IMG/pdf/Son_Beatles_multipiste.pdf

http://www.mxp4.com/

http://www.lesitedemika.org/ressources/fichiers_audio_video.pdf

http://genma.free.fr/spip.php?article209

http://www.reghardware.co.uk/2008/03/10/ft_first_mp3_player/?wink

http://pianoweb.free.fr/audio-mt9.html

http://www.infos-du-net.com/actualite/dossiers/130-mxp4-format-musique.html

CLARTE est à la pointe de ce qui se fait en matière de réalité virtuelle et voici une présentation de deux installations que j’ai personnellement testé et qui représentent sans aucun doute une piste prospective forte pour le domaine du jeu vidéo.

Aujourd’hui le salon Laval Virtual et CLARTE ont participé à faire de Laval un pôle majeur de la réalité virtuelle en Europe.

SAS Cube

Le « Sas Cube » est un système de visualisation de type « cave », réalisé en 2002 et permettant une immersion dans un environnement 3D  en taille réelle grâce à quatre écrans de 3×3 mètres disposés autour de l’utilisateur. L’utilisation de lunettes 3D stéréoscopiques, couplées à un système de « tracking », permet de se déplacer et d’agir naturellement dans un environnement numérique. Le Sas Cube est principalement fait pour être couplé à des applications utilisant le logiciel virtools.

Sas Cube

Voici d’ailleurs un projet réalisé début 2008 avec David Arenou pour le Sas Cube. Pinball est une application ou l’utilisateur prend place dans la boule de flipper et peut contrôler son mouvement à l’intérieur de la machine.

Pinball

WorkBench

WorkBench est une installation couplant un double écran (horizontal et vertical) avec un bras à retour de force « tracké » dans l’espace ainsi que des lunettes stéréoscopiques. WorkBench permet une immersion dans un univers 3D absolument prenante grâce au retour de force simulant des collisions avec l’environnement. Dans les visuels ci-dessous, on peut voir une application permettant de tester l’entrée d’un réservoir de voiture avec divers pistolets à essence. WorkBench permet ainsi de réaliser des tests matériels avant l’étape de production où la moindre erreur aurait un fort coût financier.

WorkBench

Les projets « muzitouch » de Guillaume Binard, orienté produit et de Rémi Engel, orienté interactivité, ont particulièrement retenus mon attention pour leur rapprochement avec la musique et leur manière de « jouer » avec celle-ci.

Muzitouch – Guillaume Binard

Muzitouch est un périphérique qui permet de :

Proposer une alternative au processus de choix lors de l’écoute musicale

Muzitouch est un objet à toucher, à parcourir pour déterminer un choix musical en fonction de l’état émotionnel dans lequel se trouve l’utilisateur. Une caresse vous orientera plutôt vers une musique calme tout comme un coup de poing déterminera choix plus agressif. L’auteur nous explique ceci :

Même si vous ne voyez pas ou plus, que vous ne savez pas lire, que vous êtes indécis ou concentré à faire quelque chose, la manière de toucher muzitouch est déjà un acte de choix surprenant…

Muzitouch, un péripherique musical à caractère émotionnel

Musique Tactile – Rémi Engel

Rémi est graphiste de formation. A travers ce projet de musique interactive, il nous propose une nouvelle manière, tactile, de jouer avec la musique. Se déclinant en plusieurs supports, « musique tactile » joue avec des concepts proches de plusieurs jeux connus. « Sergent » et ses mini-jeux avec les Beatles nous rappelle assez facilement « rhythm paradise » alors que « Ghost » et « Pygmee » se rapprochent plus d’un « electroplankton » et de ses multiples facettes de création semi-assistée. L’ensemble composé de graphismes rétros et parfois même un peu psychédéliques créant un univers tactile et sonore poussant le « joueur » à se faire une « expérience intime » de la musique. Selon l’auteur :

L’objectif  est de proposer une nouvelle manière de « consommer » l’expérience musicale, en prenant en compte la specificité de chaque morceau afin d’immerger l’utilisateur au coeur même de la composition.

Musiques Tactiles – Sergent from Remi Engel on Vimeo.

Musiques Tactiles – Ghost from Remi Engel on Vimeo.

Musiques Tactiles – Pygmee from Remi Engel on Vimeo.

www.rengel.fr

Tags et couleurs / Source : jeanbaptisteparis via Flicker

Trackmate une interface tangible à faire soi-même, utilisant le principe de la reconnaissance des tags. Ceux-ci peuvent être reconnus spatialement et sont capables d’analyser l’orientation de chaque objet « taggué » ainsi que leur couleur. L’utilisation se fait via une simple webcam grâce au protocole LusidOSC (protocole de spécialisation d’objets uniques).

Vue webcam / Source : jeanbaptisteparis via Flicker

Voici donc deux vidéos pour imager les possibilités de cette technologie. La première présente la simplicité d’installation et quelques exemples concrets d’utilisations. La seconde présente un projet plus complet d’un séquenceur.

Trackmate :: 5 ways to get started from adam kumpf on Vimeo.

Trackmate LusidOSC Sequencer Application from adam kumpf on Vimeo.

Source : http://trackmate.media.mit.edu/