Je me suis donc tourné vers processing, qui présente une utilisation du protocole TUIO vraiment plus agréable et simple à exploiter.

Voici, ci dessous, un lien permettant de communiquer aisément entre reacTIVision et processing :

Téléchargement du client TUIO pour processing

Documentation

Après quelques test j’ai pu sans problèmes mettre en place une zone de collision, qui me permettra  de localiser des cartes munies de marqueurs fiduciaires, comme expliqué dans le second concept.

]]> http://diplome.pixylab.com/wordpress/2010/03/06/reactivision-processing/feed/ 0 http://diplome.pixylab.com/wordpress/2010/03/05/reactivision-tuio-flash-as3/ http://diplome.pixylab.com/wordpress/2010/03/05/reactivision-tuio-flash-as3/#comments Fri, 05 Mar 2010 18:16:23 +0000 Jérémie Biron http://diplome.pixylab.com/wordpress/?p=689 Voici un excellent moyen de tracker des marqueurs fiduciaires reacTIVision dans un environnement Flash (as3).

http://sourceforge.net/projects/reactivision/files/TUIO%201.0/TUIO-Clients%201.4/TUIO_Flash-1.4.zip/download

La démarche est assez aisée et elle permettra dans le cadre de mon projet d’assurer le positionnement des cartes vaisseaux. (Voir 2ème concept)

1. Télécharger l’environnement reacTIVision.

2. Imprimer des marqueurs fiduciaires.

3. Récupérer les fichiers pour réaliser la passerelle entre reacTIVision et Flash.

4. Lancer reacTIVision en prenant soin d’avoir une camera ou une webcam branchée.

5. Lancer le fichier « run.bat »

6. Lancer « TuioDemo.swf »

7. Prendre soin de d’autoriser les transferts de donnés dans les paramètres flash, sans quoi la connexion serait impossible.

8. Cliquer sur « Connect »

Et voici le résultat :

Ce système est seulement fait pour supporter des interactions « simples ». Un trop grand nombre de marqueurs pourra faire freezer l’application, cela reste tout de même largement suffisant dans pas mal de cas.

Elle ne contient que l’explication des 3 concepts retenus.

Pour naviguer, un simple clic suffit. Un menu est présent en haut à gauche pour revenir à la page précédente ou au menu principal.

Lien de ce résumé : http://diplome.pixylab.com/concepts/

Format : Flash

Résolution minimum : 1024*768

Les nouveaux mondes de la réalité virtuelle cherchent à nous immerger d’une manière de plus en plus complète et crédible. Aujourd’hui encore, le son ne participe que peu à l’immersion de l’utilisateur, pourtant les technologies sont là et le rendu audio en matière de spatialisation du son est tout bonnement impressionnant.

Qu’est-ce exactement que l’acoustique virtuelle ?

L’acoustique virtuelle ou « audio-spatialisation » est un procédé visant à rendre cohérent l’écoute du son dans un environnement donné. C’est-à-dire enregistrer et retranscrire le son en « imitant » une écoute « naturelle » et positionable dans un espace en réel 3 dimensions.

Les caractéristiques de l’acoustique virtuelle.

- La différence interaurale de temps, consiste à prendre en compte l’espace entre les deux oreilles de l’utilisateur générant un décalage (de l’ordre de 0.7 ms) de perception.

- La différence interaurale d’amplitude, correspond à la différence de volume entre les deux oreilles. Cette technique prend bien sûr en compte la distance et l’orientation de chacune des oreilles, mais également le taux de pénétration des ondes (graves / aiguë), la réflexion sur le corps (torse, épaules) ou encore l’effet de masque de la tête et de l’oreille externe.

- La gestion de la hauteur et des confusions avant/arrière lors de l’écoute.

Le résultat est saisissant. Même avec plusieurs sources sonores simultanées, il est possible de définir les positions exactes dans un espace tri-dimensionnel. Certains systèmes disposent même d’un « tracking » permettant un son actif lié à la position de l’utilisateur : Si je perçois un son derrière moi et que je me retourne, je le percevrais alors devant moi.

Je vous invites d’ailleurs à vous munir d’un casque stéréo et à faire l’essai d’une capture binaurale. Même sans avoir un casque permettant le retranscription précise des éléments dans l’espace, certains effets sont plus que saisissants :

On peut dès lors imaginer la place que pourrait trouver un tel dispositif dans un jeu vidéo immersif ou l’utilisateur est libre de se déplacer… Le jeu vidéo en est à ses balbutiements en matière d’immersion et il y a fort à parier que l’utilisation d’environnements sonores dynamiques (j’entends interaction avec la position et l’orientation du joueur) se rependent dans nos salons dans quelques années.

Sources :

http://hal.archives-ouvertes.fr/docs/00/17/42/30/PDF/These_NEpain.pdf

http://www.euphonia.fr/

Yahmaha Tenori-on

Véritable instrument de musique électronique, le Tenori-On est composé d’une grille de 16×16 leds que le joueur peut activer ou désactiver pour déclencher des sons de manière intuitive et visuelle. Il est possible de stocker des « partitions » dans l’appareil que l’utilisateur pourra déclencher à souhait, le tout au travers de 6 modes musicaux distincts.

Tenori-on

Une version flash allégée a été réalisée par André Michelle sous le nom de   »Tone Matrix » <– Démo jouable

Novation LaunchPad

LaunchPad est un périphérique à coupler avec le logiciel Ableton Live (création musicale complète). Il trouvera son application dans le DJing, la performance live ou la composition brute. LaunchPad est composé d’une grille de 64 boutons qui peuvent changer de couleur ainsi que de différents modes de visualisations (séquenceur, égaliseur…).

Novation Launchpad

Beatbearing

Bien qu’à priori assez limité dans son usage, « Beatbearing » surprend par son aspect et offre au séquenceur une esthétique et une facilité d’usage vraiment intéressante grâce à ses billes métalliques.

BeatBearing

reacTable

ReacTable un impressionnant projet de synthétiseur tangible. Le plateau est de forme circulaire sur lequel (les) joueur(s) vient placer des blocs, éléments du synthétiseur. En fonction de la distance, les blocs se raccordent entre eux et le joueur peut moduler les sons en pivotant ces objets. Ces raccordement se terminent au point central, représenté par un petit rond noir : « l’output » du synthétiseur. L’ensemble fonctionne grâce à des tags trackés par une caméra placée sous la surface. Celle ci peut également prendre en compte les effets lumineux générés par les blocs, ou la position des doigts du joueur.

reacTable

ReacTogon

Reactogon est un « arpeggiator » tangible, basé sur la logique des réactions en chaînes. Sur un plateau multitouch, le joueur disposé divers blocs :

« Note », qui couplé à une orientation permet de « lancer » un signal.

« Ricochet », qui permet de faire rebondir ce signal en déclenchant un son.

« Splitter », sorte de ricochet multi-directionnel.

« Stop », pour arrêter un son.

ReacTogon dispose également d’une barre pour agir sur le « pitch » du son ainsi que divers « fader » pour le volume et les effets.

ReacTogon

Ce projet aura d’ailleurs été à la base de l’influence de « JR Hexagone pro », application de création semi-assistée pour iPhone.

Audiopad

Proche du concept reacTable, Audiopad est une interface plutôt destinée a mixer la musique.

Audiopad

audiowiisual / wii scratching

Voici deux projets basés sur les interactions de la wiimote.

loopArena

loopArena est un environnement tactile principalement destiné au live ou à la performance. L’utilisateur peut ainsi contrôler des instrument MIDI tels un sampler ou un synthétiseur.

loopArena

Andy Huntington’s Beatbox

BeatBox est un système que l’on pourrait qualifier de « séquenceur pour objets réels ». L’idée est de marqué un rythme sur un bouton, et de placer un petit dispositif sur un objet voulu. Ce rythme sera reproduit en frappant sur l’objet en question. Très ludique et amusant.

Andy Huntington's BeatBox

Beatbox from Andy Huntington on Vimeo.
Ce projet fait suite à « TapTap », un projet tout aussi créatif.

tapTap from Andy Huntington on Vimeo.

Percussa Audio Cubes

Audio Cubes est un projet d’interface tangible permettant à l’utilisateur de créer des son ou d’appliquer divers effets à une piste grâce à un système basé sur des capteurs/récepteurs infrarouges. Ainsi la position, l’orientation, la distances (entre deux cubes ou entre un cube et un obstacle) seront déterminant pour agir sur le son. Audio Cubes est susceptible de fonctionner avec n’importe quel logiciel de création musicale.

Percussa Audio Cubes

Scrapple

Toujours dans le domaines des séquenceurs tangibles, scrapple utilise des formes géométriques simples à disposer sur une table dont les axes représentent le temps et le « pitch ».

Scrapple

Scrapple Installation (Brief Demo) from Golan Levin on Vimeo.

iPhone ocarina

Il existe aujourd’hui une grande quantité d’applications musicales pour iPhone. En voici une assez particulière :

iPhone ocarina, est, comme sont nom l’indique, une simulation d’ocarina pour le téléphone d’apple basé sur le souffle (micro) et la position des doigts (écran multitouch).

iPhone Ocarina

Quelques spécifications

Sources :

http://www.fubiz.net/

http://romk.fr/blog/musique/les-interfaces-visuelles-sonores

http://emi.precious-forever.com/

J’ai eu l’occasion de faire quelques tests afin de voir comment réagissait cette technologie.

Chacun est libre de faire son installation comme il le souhaite, trackmate étant assez souple d’utilisation. Pour ma part :

-Une table en verre fumé (coté fumé sur le dessus)

-Une camera bas de gamme placée sous la table (fonctionne également avec une webcam)

-Une lampe de bureau « pince à linge ».

A première vue trackmate est très bien documenté et en suivant les quelques étapes de réglages (définition de la taille de travail, balance des blancs…) on arrive très vite à une capture de tags de qualité.

Point vert pour le noir, bleu pour le blanc et les tags sont capturés

Plus qu’à découper les tags de la feuille imprimée et l’installation est prête à la reconnaissance de position / orientation.

Le trait rouge représente l'orientation du tag

Avec des réglages assez précis l’ensemble fonctionne bien, la capture est plutôt réactive et il est même possible de sauvegarder ses réglages.

Cependant ce qui fait la force d’une technologie de ce genre, c’est bien sur sa capacité a assurer des ponts avec d’autre langages et comme je l’ai dis il y a quelques jours, trackmate se base sur le protocole LusidOSC créer pour gérer des interfaces de type données spatialisées dont les librairies sont libre de droits. Si les librairies flash sont en court de développement, j’ai pu tester la passerelle vers processing qui marche parfaitement bien. Voici donc quelques scripts mis à disposition de chacun.

Tout d’abords un test basique de localisation dans l’espace :

Les points respectent la position des tags

Script plus graphique : Une spirale tourne dans la fenêtre, chaque tag vient agir sur une donnée, taille, nombre de palles, vitesse de rotation, couleur… Une simple inclinaison du tag et le tour est joué.

Chaque inclinaison de tag agit sur le graphique

Vous l’aurez comprit, on peut faire à peut prêt ce que l’on veut avec ces tags et les scripts qui suivent m’intéressent particulièrement puisqu’ils permettent de créer une interaction avec les sons.

Sequencer

Voici une application qui permet de simuler un séquenceur. L’utilisation est simple :

-Je choisis un tag que je place sur la zone « trackée ».

-Je lui applique un pattern de notes à jouer sur les divers instruments proposés.

-Je reproduit cette manipulation autant de fois que je souhaite de patterns.

-Je place les tags sur la zone trackée lorsque je souhaite activer les patterns.

Plus qu’à jouer avec le placement/suppression de tags et il devient possible de gérer un petit séquenceur avec une interface tangible.

Voici un sequenceur tangible !

PlaylistDJ

PlaylistDj est un script qui permet de jouer avec ses propres morceaux de musique de la manière suivante :

-Je place un tag sur la zone trackée.

-Je lui assigne un morceau de musique (ou un son) de mon répertoire

-Je répète l’opération autant de fois que je souhaite avoir de morceaux.

-Je place les tags voulus sur la zone trackée.

Il ne reste plus qu’à jouer avec les tags. Dès que l’un d’entre eux est placé sur la zone trackée, le morceau se lance. Si je monte le tag, le son augmente, si je le baisse, il diminue. La rotation permet enfin d’appliquer des effets aux morceaux musicaux.

Une nouvelle interface pour le DJing ?

Conclusion

Combiné a de petits objets sous lequel les tags sont placés, Trackmate / LusidOSC est une manière simple et efficace de fabriquer sa propre interface tangible. Pour peu que l’utilisateur dispose de quelques connaissances en programmation c’est un nouveau périphérique qui s’ouvre devant lui et dont la seule contrainte est l’imagination et la mise en forme à lui appliquer.

En réalité virtuelle, un « tag » de type (par exemple) « QR Code » est une représentation graphique, un symbole décelable par programme d’analyse de flux vidéo. Ce symbole est alors « tracké » pour afficher des données riches, comme par exemple un objet en 3D. L’apparition des « mobiles tags » (tag à lire avec un téléphone portable) ont répandu cette technique qu’il est aujourd’hui facile de manipuler chez soit avec des bibliothèques dédiées. Quelques années plus tard,en 2008, le grand public pouvait jouer chez lui avec « Animaux du Futur » du Futuroscope, qui proposait de tester ces techniques simplement en imprimant des tags et en téléchargeant un programme de traitement vidéo.

Un QR code dans Google Maps

ARToolKit

ARToolKit est une librairie opensource (développée en 1999 par Hirokazu Kato) de « computer vision » (ordinateur qui voit) permettant le tracking d’objet en temps réel et l’interaction de ces derniers. Sa grande particularité ? Disposer d’un plugin Virtools, le logiciel d’interaction 3D de Dassault Systèmes, énormément utilisé dans le monde de la réalité virtuelle.

ARToolKit en action

ARToolKit sur Iphone

Papervision3D

Aujourd’hui il est possible de faire de la réalité virtuelle dans flash ! Des librairies (opensource) comme Papervision3D le permettent et font de cette technologie un outil de plus en plus accessible et simple d’utilisation. N’importe qui peut à présent allumer son PC, filmer des tags et jouer avec la réalité virtuelle comme le prouve ce test en ligne en donnant vie à un petit monstre sur son bureau.

Ci dessous, le projet « levelhead » de Julian Olivier qui montre ce qu’il est possible de faire avec en Computer Vision. De belles ouvertures pour le jeu vidéo !

levelHead v1.0, 3 cube speed-run (spoiler!) from Julian Oliver on Vimeo.