Explications techniques

Isadora version 3, Kinect 1414 ou 1473, webcam de l’ordinateur (ou externe)

Add on nécessaire : OpenNI Tracker
Attention, avec l'OS Apple, il n'est seulement compatible avec la puce M1. Il faut lancer Isadora 3 sous Rosetta. Cela permet d’émuler une version Intel (clic droit,lire les informations et cliquer sur l’option Rosetta).

Cet add on permet à Isadora de recevoir et interpréter les données de position du corps humain fournies par la Kinect. Il suit les articulations du corps en 3D. 
Il permet de reconnaître et suivre jusqu’a 6 squelettes (skeleton).
Des coordonnées (X,Y,Z) des différents membres du corps peuvent ensuite être utilisé, tels que les mains, le torse, la tête, etc. 


Je me suis concentré sur l’utilisation de 3 skeletons, afin d’avoir la possibilité de faire 3 manipulation de flux différent.
Pour être dans une certaine démarche de “peindre” une image dans l’espace, j’ai utilisé les coordonnées des mains de chaque skeleton.
Ces coordonnées envoyées dans un calculateur d’angle 3D permet d’extraire une valeur de distance qui ensuite est la valeur qui manipulera le projecteur propre a chaque skeleton (zoom, width ou intensity).

Les manipulations de chaque skeleton sur le flux video entrant, issu de la webcam de l’ordinateur passe par un projector propre à chacun, qui envoyé sur le même stage permet de composer une image finale.
Il a une superposition du depth map dessus (sur la video, va être les différentes couleurs de personnages), sur un autre projector mais sur le meme stage, va permettre de venir rajouter une couche de composition.

Lorsque que les spectateurs ou participants arrivent à un résultat qui leur convient, ils peuvent émettre un son fort qui permettra une impression d’écran du stage projeté.
Ceci est rendu possible par le sound watcher et un comparator pour le volume.
Le picture player envoi l’image sur un autre stage qui s’affiche sur le deuxième écran.

Clique ici pour voir le patch