Realtime style transfer

Experimentando con una red neuronal que hace style transfer en tiempo real.

Cómo funciona: Capturo el video del Kinect en Touchdesigner, lo envío a través de spout a un programa que corre en consola y hace el style transfer. El resultado lo devuelvo a Touchdesigner usando spout. Al resultado le aplico la máscara que me entrega Kinect y altero la opacidad de esta máscara usando la posición del jugador en pantalla.

img

Referencias: Para el style transfer usé Neural VJ con algunos estilos ya entrenados en la red.

Rendimiento: Anda a 8 fps en promedio con una resolución de 640×480 en una Nvidia GeForce GTX 970.

Otros resultados

img

img

img