Sois la hostia. Había que decirlo y se ha dicho. A ver, en agosto digo yo, voy a
presentar algún tipo de reto así para el verano que pueda ser interesante y
mira, acabamos de ver el vídeo este de Deep New donde hablamos del modelo
Pix2Pix que es muy versátil, que te permite hacer muchas cosas interesantes
así que, oye, vamos a proponer este reto de Pix2Pix a ver qué se le ocurre a mi
audiencia. Tenemos la suerte además de contar que
Nvidia nos puede facilitar una tarjeta gráfica para sortear y motivar a
participar. Pongo un tutorial para que puedan saber un poco cómo poder
implementarlo y que la barrera de entrada sea más sencilla y nada, pues dejo que
estén trabajando hasta hace un par de semanitas.
Claro, yo cuando planteé este reto era consciente de que el reto era un reto
bastante complicado y que mucha gente de este canal pues a lo mejor nunca se ha
enfrentado a implementar algo así y la verdad que calculaba que iba a recibir un
entorno a 10, 15, 20 proyectos y la verdad que jamás me esperé recibir 40
proyectos que además estaban tan bien hechos, tan bien trabajados, tan bien
documentados, o sea, una auténtica pasada. Ha sido abrumador, he estado trabajando
todas estas dos semanas pues evaluando los proyectos y preparando el vídeo
porque más allá de que hoy vamos a presentar quiénes son los 10 candidatos
que pueden optar a ganar esta tarjeta gráfica, esos 10 proyectos que bajo mi
criterio pues son los más trabajados, los más interesantes, los que más
ajustaban a los criterios de selección. Quiero enseñaros todos los proyectos que
habéis presentado, ¿vale? Quiero hacer un vídeo donde salgan estos 40 proyectos, un
poco reconociendo también el trabajo que hay detrás de cada uno de estos
proyectos. Entonces, en este vídeo voy a enseñar las 40 ideas que me habéis
presentado en el concurso, en el reto de CCW PIX2PIX, no sé ni cómo se llamaba ya.
Y espero que estos 10 proyectos seleccionados pues sean del gusto de
todos y que sea muy alta también la participación en esta votación para
que así sea lo más democrático posible y que el ganador pues sea un proyecto que
esté merecido y validado por tal audiencia de DotCSW. ¿Cuáles son las
reglas del juego? Pues muy sencilla. Aquí abajo en la cajita de descripción voy a
dejar un link a un Google Form donde podéis votar por cada uno de los
proyectos que os guste, es decir, no solamente puede votar por un proyecto,
puede votar por todos aquellos que te hayan parecido interesantes. La votación
va a ser privada, hasta dentro de siete días no se va a publicar cuántos han
sido los votos recibidos por los proyectos y será eso dentro de una
semana cuando yo publique en redes sociales, tanto en Twitter como en
Instagram. Buen momento para seguirme por esas redes si no lo haces. ¿Quién es el
ganador? Igualmente en un futuro, pues en el próximo vídeo que suba el canal
también avisaré la parte del final, pero bueno, básicamente si quieres saber cuál
es el proyecto ganador en el momento en el que se decida, pues sígueme por
Instagram o sígueme por Twitter y listo. En cualquier caso, no quiero quitar más
protagonismo en este vídeo, los protagonistas son ustedes y todos los
proyectos que habéis presentado, así que vamos a empezar viendo quiénes son estos
diez proyectos seleccionados. Comienza el Pics2Pics de MODEI.
Comenzamos con Deep Weather Cleaner, un proyecto presentado por Geralt Morales,
quien hace uso de Pics2Pics para restaurar imágenes cuya visibilidad se
puede haber visto comprometida por condiciones atmosféricas de lluvia o
niebla, herramienta cuya utilidad, como dice él, podría encontrarse, por ejemplo, en
mejorar la visibilidad de las imágenes capturadas por un coche autónomo. La
arquitectura del modelo cuenta con una red neuronal convolucional que se va a
encargar primero de clasificar si la imagen es de niebla o lluvia, para
decidir así qué modelo Pics2Pics se va a encargar de la restauración. A partir
de ahí, la segunda fase consistiría en utilizar el modelo seleccionado para
obtener la imagen restaurada. Aquí podemos ver algunos de los resultados
que ha juntado en la documentación de imágenes pertenecientes al set de prueba,
tanto en condiciones de lluvia como niebla, y donde podemos ver cómo el
modelo sí ha sido capaz de generar imágenes donde la visibilidad es
notablemente mejor. Continuamos con el proyecto Timbre Transfer de Héctor
Martel, quien traslada el uso de Pics2Pics para la traducción de imágenes
a un dominio diferente, el del audio. El trabajo de Héctor se centra en, a partir
del espectrograma de una melodía interpretada con un determinado
instrumento, como un piano, el generar el espectrograma de salida, cambiando el
estilo de dicho audio, el instrumento, mientras se respeta su melodía. Con esto
lo que consigue es generar resultados que, para un input que se escucha así,
se obtiene un output que se escucha así,
haciendo una transferencia de estilo de piano al violín o de piano al
sintetizador, por ejemplo. Este trabajo no sólo es muy interesante, sino que
además Héctor se ha currado una documentación muy muy extensa en su
repositorio, al igual que un vídeo muy completo que recomiendo ver para conocer
todos los detalles de su trabajo. Un proyecto muy completo. Human Extractor es
el proyecto de Adrián Cabeza, quien hace uso del modelo Pics2Pics para
implementar una herramienta que permite el poder segmentar en una imagen la
silueta de una persona respecto al fondo. La utilidad de esta herramienta, como
podrán imaginar, tiene un valor directo para todos aquellos que alguna vez se
hayan tenido que afrontar a la tarea de siluetear una persona en Photoshop. Los
resultados que muestra Adrián nos permite ver cómo para una variedad de
imágenes se consigue un resultado más que aceptable, logrando quitar grandes
áreas del fondo y delimitando correctamente la figura de la persona. Si
esto te interesa y quieres probarlo con tus propias imágenes, que sepas que
estás de suerte, porque Adrián ha complementado su proyecto incluyendo una
demo online con la que puedes poner a prueba su funcionamiento. Podéis
encontrar el link para probarlo en la descripción de este vídeo. ¿Puede el
algoritmo Pics2Pics resolver un captcha? Con esta pregunta inicia su trabajo
Victor Vallarri, quien ha querido comprobar con su proyecto si el modelo
Pics2Pics era capaz de aprender a generar una imagen del texto contenido en un
captcha dado como input. Para ello ha utilizado un dataset donde para cada
imagen ha generado una imagen objetivo que contenía el texto legible de dicho
captcha. El objetivo de su proyecto sería que Pics2Pics aprendiera por una
parte a reconocer cuáles son los caracteres de la imagen de entrada y
posteriormente generar una versión legible de ésta. Tras el entrenamiento se
puede comprobar cómo efectivamente algunos de los captcha son resueltos en
su totalidad de manera satisfactoria, siendo capaz el modelo de generar una
imagen resultado donde el texto se corresponde al del captcha original y
siendo más fácilmente legible. Típica situación donde vas a sacarte una
fotografía, te repeinas, pones tu mirada más seductora y ¡boom! Al tomar la foto
descubres que justamente te ha pillado con los ojos cerrados. Pues no pasa nada
porque el proyecto Open Eyes de Jesús Martínez te trae la solución y es que
en este caso Jesús ha utilizado Pics2Pics para tomar una imagen de una
persona con los ojos cerrados y aprovechar los ojos abiertos de otra
imagen diferente para combinarlas. Será tarea de Pics2Pics la de tomar esta
imagen editada mal y rápido y de hacer las restauraciones correctas para
generar un resultado más realista de la persona con los ojos abiertos. Tras el
entrenamiento con un dataset de 48 imágenes editadas manualmente por Jesús
el resultado es un modelo que incluso tú mismo puedes probar a través de la demo
online que ha facilitado. Para la mayoría de casos obteniendo un resultado que se
acercaría al que se podría conseguir dedicando un tiempo de edición en
Photoshop. Person Remover es el proyecto de Javier Gamazo quien ha combinado las
arquitecturas Pics2Pics y YOLO para eliminar diferentes objetos a elegir de
una imagen. Primero Javier ha utilizado un modelo ya pre-entrenado de YOLO para
detectar los diferentes tipos de objetos contenidos en la imagen. A continuación
para cada objeto detectado los píxeles centrados han sido borrados dejando como
tarea para el modelo Pics2Pics el aprender a generar el contenido que
rellene dicho hueco a partir de los píxeles vecinos. Los resultados de
aplicar esto en imágenes son bastante notables consiguiendo borrar exactamente
los objetos que queramos, en este caso personas. Y más impresionante aún es el
resultado que nos muestra Javier de aplicar esto mismo sobre los fotogramas
de un vídeo donde no sólo se consigue borrar a las personas sino que además
se obtiene un efecto glitch muy de película de ciencia ficción. Cuando
tomamos una fotografía con flash directo es habitual que dicha imagen muestra una
iluminación poco natural con sombras duras y muchos contrastes, algo que
supone a lo que sería una fotografía con una luz más ambiental. Conseguir
convertir fotos iluminadas con flash a una iluminación más natural es la
transferencia de estilo que ha querido conseguir José Chávez con su proyecto
flash to ambient. En este trabajo se le ha facilitado como input al modelo
Pics2Pics una imagen tomada con flash que deberá de aprender a procesarla
eliminando contrastes y destellos que puedan ser molestos para obtener un
resultado más natural. Los resultados que ha juntado José en su documentación nos
muestra cómo efectivamente el modelo ha sido capaz de aprender a realizar
algunas de estas transformaciones. Una transferencia de estilo que de
perfeccionarse podría convertirse en una herramienta muy interesante para
fotógrafos. El siguiente proyecto es el de Sandro Ormeño quien le ha dado un uso
muy poco convencional al modelo Pics2Pics para resolver un problema de
búsqueda de camino. En el contexto que plantea para encontrar la ruta entre dos
puntos de un cementerio para personas de movilidad reducida. Problema que si nos
abstraemos sería el de resolver un laberinto. Y claro, aunque ya sabemos que
hay otros algoritmos que funcionan mejor para este tipo de problemas, la
propuesta de usar Pics2Pics es cuanto menos interesante. Como explica Sandro en
el vídeo que adjunta en su documentación y recomiendo ver, ha creado
diferentes tipos de laberintos con los que pueden entrenar a su modelo. El
resultado es que para varios de estos casos no visto durante el entrenamiento
el modelo Pics2Pics es capaz de generar una solución donde el laberinto ha sido
resuelto. Como digo, una aplicación muy curiosa que bien habría que comprobar
que no se deba a causa de algún tipo de overfitting, pues plantearía una
solución bastante interesante para este tipo de problemas y que me parece lo
suficientemente original para estar seleccionado. El proyecto Pics2Texture es
el trabajo de Fran Trapero con el que ha conseguido entrenar al modelo Pics2Pics
para la generación de texturas realistas usando como input las indicaciones
dibujadas con líneas negras. Como se puede observar lo conseguido por Fran le
permite obtener texturas bastante realistas respetando las directrices
dadas como input del detalle que deberían de tener las vetas de la
madera y donde el color utilizado de base permitiría obtener diferentes
acabados. En su documentación incluso podemos encontrar ejemplos con inputs
más complejos donde el resultado podría ser una primera aproximación al obtener
grabados personalizados en madera. El proyecto de Fran viene explicado
perfectamente en un vídeo extenso que recomiendo ver donde explica cómo ha
entrenado a la red y qué dificultades ha encontrado durante todo el proceso.
Proyecto que podría ser útil para obtener de manera sencilla texturas más
avanzadas y personalizadas para nuestras tareas de diseño gráfico. Y finalmente
acabamos con el trabajo de Giancarlo Jiménez quien le ha dado un doble uso
médico al modelo Pics2Pics con un proyecto en el que apuesta por generar
imágenes de mamografías sintéticas a partir de trazos con lo cual se podría
facilitar el acceso a estas imágenes, a este tipo de datos, que normalmente por
políticas de confidencialidad suele ser delimitado acceso. Y no sólo eso sino
que también el problema contrario, el de obtener a partir de una imagen de una
mamografía una representación más sencilla de trazos que represente las
características más importantes de la mama y que sirvan para simplificar el
proceso de diferenciación de las estructuras individuales de estas para
su posible análisis. En el vídeo que Giancarlo junta su trabajo puede ver una
descripción completa del problema y cómo lo ha abordado, así como la
utilización de la herramienta que ha implementado. Muy interesante. Y aquí
están los 10 proyectos seleccionados, los 10 proyectos candidatos, los 10
proyectos más currados, los 10 proyectos más interesantes, los 10 proyectos que
ya tienes disponibles aquí abajo para votar en la cajita descripción, ¿vale?
Puedes votar por cualquier proyecto que te haya gustado, no solamente tienes que
votar por uno, puedes votar por cualquiera. Y bueno, estos son los 10
proyectos seleccionados, pero no significa que sean los 10 únicos
proyectos que merezcan la pena ver. Y por eso he hecho una selección, un breve
resumen de los otros 30 proyectos que me habéis mandado y sobre todo me interesa
para que vean toda la variedad de cosas que se pueden hacer con un simple modelo
como el modelo Pix2Pix. Este es vuestro trabajo y aquí queda reconocido. Uno de
los principales usos que ha tenido Pix2Pix es la transferencia de estilo y
en ese sentido tenemos varios proyectos. Por ejemplo, Edge to Art, que es capaz de
traducir cualquier imagen a un estilo artístico que queramos, aprovechando la
extracción de bordes para favorecer la generación de contenido. O Dipsy Punk, que
consigue dar una estética cyberpunk a imágenes y vídeos y que además cuenta
con un bot en twitter al que puedes pedir que te retoco una foto. Tenemos el
proyecto de Bruno, quien consigue colorear una imagen en blanco y negro
desde el estilo de cómic y similar el proyecto Facial Composite, que consigue
generar una imagen de un rostro a partir de su boceto en blanco y negro.
Proyectos que como bien explica Josué en su trabajo Draw the Criminal, que de manera
similar genera una cara a partir de sus trazos, podría usarse para generar
imágenes de rostros a partir de retratos robots especificados por el
usuario. Tenemos también proyectos como el de Iván, que consigue colorear
imágenes de flores en blanco y negro con un resultado bastante bueno. Tenemos el
proyecto Pix2Pix Watercolor, que ha buscado aplicar un estilo artístico de
acuarela a las imágenes, o el proyecto de Juan Manuel, quien ha buscado dar
color a imágenes en blanco y negro. Tenemos varios proyectos con mapas muy
interesantes, como Pix2Plot, que busca convertir una imagen satelital a su
correspondiente mapeo tridimensional usando Pix2Pix para calcular el
relieve. Todo explicado además en un vídeo que acompaña su documentación muy
recomendable de ver. O también tenemos el proyecto de Agustin, que hace uso del
modelo para restaurar mapas de temperaturas y hacer predicciones a
futuro. Así como el proyecto de Alberto Sedecazado, quien buscaba convertir los
mapas de Pokémon a un estilo más realista y que ha acabado con un estilo
más parecido al de Silent Hill. Claro, si quisiéramos volver a darle vida a la
ciudad de Alberto, pues podríamos hacer crecer Zespet con Ggrasset, que toma
como input una imagen de terreno desertizado para regenerarlo con
zespet. O el proyecto Green Recovery de Samuel Paz, quien ha usado Pix2Pix para
volver a dar vida a aquellos bosques que han sido calcinados tras un incendio,
usando para el entrenamiento dado el bajo volumen de datos, una estrategia
similar a la vista en el vídeo de Deep Knewt para generarlo dataset. Y no para
aquí la cosa porque de ediciones faciales también tenemos unos cuantos
proyectos. Tenemos proyectos como el de Noel Nathan para conseguir cambiar el
color de pelo de una persona. Todo descrito en un vídeo muy simpático y
explicativo que también recomiendo ver. O el proyecto de José Manuel Arandia,
quien ha trabajado en usar Pix2Pix para generar peinados a partir de dibujos
sobre una imagen. O el proyecto de Miguel Ángel, que ha trabajado en la
eliminación automática de imperfecciones faciales como arruga o acné.
Y si no consigues quitar las imperfecciones, pues siempre puedes
pixelar automáticamente todas las caras de una imagen con el proyecto de Pablo
Pix2Pix2Pixel, automatizando un proceso que normalmente suele ser muy tedioso.
Y bueno, si quieres recuperar esas carates enfocadas, pues podríamos usar
el proyecto Pix2PixDeBlurrer de Alex, quien ha entrenado a Pix2Pix con buen
éxito para conseguir una mejor resolución de rostros desenfocados. O si
quieres poder generar tus propios rostros y controlarlos, pues echen un
vistazo a los proyectos sketchy y mimics de Ronnie, usando como entrada
landmarks faciales y texto de entrada. Y ya, si quieres acabar de trolear a tus
amigos con ediciones de rostro muy... eh... curiosas, pues puedes usar el trabajo de
Santiago Iglesias, quien ha creado un editor facial semántico. Proyecto que por
cierto ha continuado perfeccionando para alcanzar resultados de transferencia de
estilo en rostros muy interesantes. Y bueno, ahora que ya tenemos la cara
tratada, pues podemos generar directamente nuestro cuerpo entero con el proyecto de
Clayson Claus de generar el contenido de una silueta y posteriormente vestirla
con el proyecto Dress Up de Jorge Tapia, quien ha trabajado en una arquitectura
para poder vestir a una persona con otro tipo de prenda diferente al de la imagen
original. Con la persona creada y bien vestida ahora podemos usar el proyecto
de Ivette Juliana para poder generarnos un coche a partir de los trazos
dibujados y un paisaje donde poder conducir a partir de un boceto simple
dado como entrada. Y si nos ponemos más profundo, chiste, tenemos el proyecto de
Giorgio que usa Pix2Pix para calcular un mapa de profundidad a partir de una
imagen dada de un rostro, usando para ello modelos de cabeza drete donde
poder extraer tanto la imagen como su profundidad. Trabajo de motivación
similar al de Yuri, quien ha buscado reemplazar la cámara de profundidad del
Kinect a partir de inferir el mapa de profundidad de la imagen de una persona.
Y es que ya ven, las utilidades de Pix2Pix son múltiples. En el apartado de
audio nos encontramos con el proyecto de Antonio, quien ha creado el proyecto
Vocal2Song, donde se suministra el audio de un vocalista y se deja que sea el
modelo el que genere el espectrograma de dicha voz acompañado por música. O el
proyecto de Voice2Voice de Mark, que ha conseguido usar Pix2Pix para generar la
transferencia de estilo de un estilo de voz al de otra voz objetivo.
Trabajo similar al de Javier Morales, quien también ha trabajado en la generación de
audio. Finalmente nos encontramos con proyectos como MedCycleGant, el proyecto
de Vicente, que busca transformar imágenes médicas de resonancia magnética y de
emisión de positrones en imágenes de tomografía computada con el fin de
reducir costes, tiempo y mejorar la experiencia del paciente. Trabajo que
combinaría muy bien con el de Sergio, cuyo proyecto City2City, que busca en un
examen de tomografía computada generar las capas intermedias desconocidas que
no han sido escaneadas a partir de unas pocas capas claves, reduciendo así la
exposición del paciente a la radiación. Y aquí lo tenéis, una auténtica pasada,
los 40 proyectos que me habéis mandado a este reto, que en un principio me
parecía un poco descabellado y que ahora mismo no me arrepiento de nada.
Muchísimas gracias por haberlo trabajado, muchísimas gracias por prestaros a
participar, por todo el tiempo invertido, espero que estéis todos contentos con
el resultado de este vídeo, que es más vuestro que mío.
Simplemente espero que, si te ha gustado este vídeo, pues que vayas
abajo, le eches un vistazo a los diferentes proyectos, consultes el que
te haya interesado, consultes a los creadores y que esto sirva para dar
visibilidad un poco a toda esta gente que hay detrás de la cámara y que
vamos yo me quedo sorprendido, porque claro, normalmente no sé con quién
estoy hablando y me gusta saber que hay gente con tanto talento viendo
este canal. Cuando publiqué este reto, mucha gente en comentarios me dijeron
pues, oye, este vídeo no es para mí, este reto yo soy una persona que estoy viendo
tu canal, pero porque me interesa informarme un poco sobre lo que pasa
con el mundo del deep learning. Y es cierto, es cierto que la parte más
técnica de este canal, los data coffees y los tutoriales, pues no son consumidos
por la gran mayoría de la audiencia que está suscrita a este canal. Pero también
es cierto que esto es algo que quería hacer un poco como para dar pie a toda
esta gente que es más técnica a dar ese salto, a dar ese paso y que no sean
solamente espectadores pasivos de todo esto y que tengan la oportunidad pues de
afrontaros a un reto personal propio de ustedes con el incentivo de tener el
premio que era la tarjeta gráfica. Y espero que haya sido un paso suficiente
como para poder decir, oye, pues me ha afrontado este reto y a partir de ahora
pues puedo hacer más cosas y lo voy a estar compartiendo en redes, lo voy a estar
documentando, etcétera. Yo creo que esto ha sido algo interesante, ha sido un
experimento y espero que en el futuro pues hayan más retos en el canal, ya sean
con premios o no sean con premios, y que a ustedes pues les anime a dar ese salto
a la parte más práctica del mundo del deep learning. No me enrollo más, ya
sabéis que tenéis abajo el link para votar, lo voy a repetir de nuevo,
muchísimas gracias por participar, a los 40 participantes y nos vemos la próxima
semana con un nuevo vídeo. Muchas gracias y a votar.