Ona, bruno y Clara son tres personaje virtuales 3D preparados para animar y para moverlos en Real Time, allí en el escenario. Mientras Ona, renderizada previamente, canta y baila, en directo Clara o Bruno está siendo movido por un participante en tiempo real. O también, si Bruno baila y canta, Clara está siendo movida en tiempo real por otra/o participante.También puede estar cantando Clara y mover a Bruno u Ona.
Resumiendo, mientras un render está funcionando, junto a el, hay un personaje que está siendo movido por un humano, es decir, captura de movimiento en tiempo real.
Todo ese proyecto audiovisual en el que nos hemos sumergido ha sido ideado por <strong>VoctroLabs</strong>, la tercera empresa derivada, o Spin-Off surgida del Grupo de Tecnología Musical (GTM) de la Universidad Pompeu Fabra.
Trabajan en un software llamado Vocaloid, dicho software une letra y música, escribimos una letra, la colocamos en las notas que le corresponden y ¡A cantar! (O algo así, son unos genios).
Nuestra parte fue el modelado, animación y la captura en movimiento en tiempo real de los personajes; Inés Campos creó una cantante virtual ilustrándola con unos pantalones verdes y una camiseta estampada con el arte de Gaudí, el Trencadís, una cinta en el pelo y un gran aro en la oreja izquierda, unos ojos saltones con una gruesa sombra y un estilo único que solo Ona podía tener. Le quedó muy sexy.
A partir de este modelo que nos entregó, creamos el modelo en 3D de Ona, le animamos los gestos faciales y la pusimos a bailar.
Teníamos “algo” de Bruno y Clara, unos modelos en 3D que tuvimos que modificar para poder hacerles el Rigging, animarles los gestos faciales y crearles una coreografía acorde con las canciones que VoctroLabs habían creado, estas canciones las cantan Bruno, Clara y Ona mediante la tecnología Vocaloid.
Lo complicado fue la captura de movimiento en tiempo real y mezclarlo con los renders, pues bien, todo esto lo solucionamos con un sensor kinect. Gracias a él, pudimos mover los personajes que quisimos en tiempo real y de forma rapidísima, el sensor detectaba a la gente en cuestión de segundos, el personaje que era movido lo enviaba a través de VNC hasta el ordenador que mezclaba la información de MoCap, el render y lanzaba el mix a la pantalla de led.
La escuela de informática ESPAI de Barcelona, nos dejó al “Peke” un servidor equipado con una NVIDIA Quadro 4000, doble Xeon y 32 Gb de Ram para poder capturar el movimiento en tiempo real y realizar los renders, unos renders de los personajes estilo videojuego, ni realista ni muy digital. Gracias ESPAI, sin vosotros, nada de esto hubiera sido posible.
He formado equipo con Aleks, mi profesor de 3D. Me ayudó con la animación, modelado de los personajes y la caracterización de cada personaje para poder controlarlos mediante el sensor kinect, sin él, no me hubiera atrevido a hacer este reto, porque ha sido un reto.
Ha sido le proyecto más ambicioso que he hecho hasta ahora (año 2013), ha sido una mezcla de todo lo que he aprendido hasta ahora, Creación de un personaje + Animación 3D + Captura de movimiento en tiempo real + Vjing.
Ha sido el proyecto más difícil en el que me he metido y el que más “miedo” me ha dado, pero las ganas, la ilusión, y el cariño que les he cogido al equipo de VoctroLabs ha podido con todo eso, ha salido todo perfecto!
He conocido a grandes personas del mundo del espectáculo, a Sergi Ots, a Eugeni, a Barbara a nuestra bailarina Anabel y a todo el equipo de luz, vídeo y sonido que han hecho posible el espectáculo! 😉
