Se ve bastante bien, y bien a lo mejor a simple vista no se observa tanto, bueno si se ve, se nota más
nitidez en los bordes. Alright, vale, esto es lo que yo venía buscando. Muy buenas a todos, bienvenidos
bueno si la intro, venga, venga, fuera intro. Bienvenidos a un nuevo vídeo al canal, un vídeo que iba a ser un poquito diferente
porque mirad, esta es la idea, en los últimos vídeos que hemos ido viendo en el canal les he ido presentando una serie de herramientas
que son bastante interesantes a la hora de remasterizar un vídeo. Vimos la super fluidez donde podíamos conseguir que un vídeo aumentara sus fotogramas
a 60 fotogramas por segundo, 120 fotogramas por segundo y también vimos la super resolución con el que podíamos conseguir que un vídeo aumentara su
resolución espacial de 720 a 4k o lo que quisiéramos.
Todo esto lo hacíamos utilizando herramientas de inteligencia artificial que yo ya les he ido explicando cómo funcionan y ahora se me ocurrió un poco
el intentar ponerlas a prueba, el utilizarla yo, para intentar remasterizar un vídeo, exactamente este vídeo de aquí.
Vale, este es un vídeo que es antiguo, tiene sus defectos, está en blanco y negro, está grabado a
1280 por 120p a 25 fotogramas por segundo, entonces el objetivo aquí es utilizar todas las herramientas que yo tengo a mi disposición, ya sean
funciones del Premiere, como del After Effects, como los modelos de deep learning que hemos ido viendo en el canal y ver qué podemos conseguir
al final, así que si te interesa vamos a empezar con ello. Entonces lo primero que vamos a hacer va a ser llevárnoslo al
Premiere, que es el programa que yo suelo utilizar para editar vídeos y lo que quiero hacer aquí de inicio va a ser
quitar un poco el tembleque que tiene el vídeo, el movimiento de la cámara, realización de movimiento,
estabilizador de deformación, lo aplicamos y en este caso lo que está haciendo el vídeo va a ser
analizar un poco toda la escena. Con esto ahora mismo nosotros tendríamos un resultado bastante bueno si bien hemos perdido un poco de
de resolución de la imagen original,
pero he de decir que para mí esto no es un problema porque una de las mejoras que quería hacer también a este vídeo es intentar
aumentar el tamaño de la escala para intentar rellenar la escena lo máximo posible porque considero que mantener una relación de aspecto
similar al de las pantallas con las que trabajamos hoy, es decir, si mantendremos esta
resolución panorámica, quizás el efecto final pues vaya a ser que la obra parezca que está más o mejor
remasterizada. En cualquier caso vemos que no todos los bordes negros los podemos evitar y
bueno tampoco vamos a solucionar porque en este caso
estos bordes negros pues nos obligaría a recortar bastante de la obra original que tampoco es algo que me interese. De momento el resultado no va
nada mal y eso que todavía no hemos utilizado ninguna herramienta de inteligencia artificial
pero lo que voy a hacer ahora pues va a ser
extraer este vídeo, exportarlo y vamos a empezar a procesarlo con nuestras herramientas de Machine Learning.
El primer paso que vamos a realizar es el de superfluidez,
aumentar el número de fotogramas por segundo del vídeo. El motivo de por qué he hecho este el primer paso es que si bien no va a generar
muchos más fotogramas que tener que procesar de cara a los siguientes pasos,
he comprobado que el modelo que vamos a utilizar ahora pues tiene bastantes limitaciones técnicas a la hora de trabajar con imágenes
de mayor resolución y esto significa que en cualquier caso pues tenemos que poner este paso antes que el de super resolución.
Así que bueno pues no nos queda otra. En este caso vamos a trabajar con el modelo Dime, Depth-Award Video Frame Interpolation,
que ya les expliqué cómo funcionaba intuitivamente en el vídeo de superfluidez.
Hay disponible en GitHub todo el modelo para descargar, para usarlo, para entrenarlo, pero por suerte
después de esto encontré que existe una aplicación que podéis descargaros y podéis utilizar
donde podemos aplicar este modelo. Es una aplicación que está en alfa, con lo cual puede fallar, que yo me he descargado y ya he utilizado
con algunas pruebas. Una vez se descarga la aplicación lo único que tenéis que tener es una tarjeta gráfica compatible con todas las dependencias, todos los
drivers que necesitas para poder comunicarte con la tarjeta gráfica,
instalados, y con eso ya podéis empezar a hacer pruebas. Para esto lo único que tenemos que hacer es buscar nuestro archivo, decirle en qué carpeta queremos
exportarlo, en este caso lo queremos en la misma carpeta
Remasterized y será en este menú de aquí en el que podremos elegir el número de fotogramas que queremos generar y yo en mi caso voy a
elegir por 8 ¿vale?
puede que sea excesivo pero yo en mi caso quiero aprovechar que la escena pues tiene un movimiento interesante del chico lanzando la manzana al aire
para coger ciertas áreas y pues
ralentizarlas y ponerlas a cámara lenta y ver que también funciona este modelo. Así que lo voy a hacer por 8, va a tardar mucho más y
nos va a exigir más tiempo de procesamiento
pero da igual ¿vale? Paga mi ordenador. Entonces el resto de parámetros lo podemos dejar igual, no nos interesa hacer un downscale del vídeo,
lo podemos dejar así y cuando tenemos todo configurado pues le podemos dar aquí a perform
render y empezará a trabajar. Y si no hay ningún problema
como me ha ocurrido por no tener el programa ejecutado como administrador pues debería de empezar a funcionar ¿vale?
Unas cuantas horas más tarde. Yo en este caso ahora ya hemos pues esperado 4, 5, 6 horas, no he llevado mucho la cuenta pero
ha terminado de trabajar esto y bueno yo en mi caso tengo una tarjeta gráfica potente, es una
2080 Ti, con lo cual el procesamiento pues aquí va bastante rápido. Podéis esperar
tiempos más lentos, menos lentos, lo dejáis toda una noche operar y ya está. Y el resultado finalmente va a ser esto de aquí, nos va a
generar una carpeta donde podremos encontrar los fotogramas originales
1016 fotogramas en total, los fotogramas interpolados
8120, 8 veces más lo que teníamos originalmente y un vídeo de salida que ya me copiado aquí fuera y que vamos a observar. Se puede ver que
el vídeo pues sí se ve fluido, obviamente no estamos apreciando todo lo bueno pero si lo
ralentizamos a la mitad de velocidad por ejemplo, vemos que no se notan los saltos ¿vale? Esto está bastante guay
porque vemos cómo efectivamente pues el modelo ha conseguido generar fotogramas intermedios
que hacen que se siga habiendo fluido incluso a cámara lenta. Voy a adelantar a ver el momento en el que lanza la manzana al aire
se ve bastante bien. Vemos aquí cuando lanza, que efectivamente no se notan saltos en el en el lanzamiento
está bastante guay. Venga, siguiente paso. El siguiente paso a realizar es el de super resolución
aumentar la resolución de cada uno de los fotogramas, aumentar su tamaño y en este caso pues lo que vamos a utilizar es un modelo que se
llama Teco Gun, que ya les introduje en el vídeo de super resolución y que a la vista de los ejemplos que nos muestran pues se pueden
conseguir resultados bastante interesantes. Yo he probado a descargarlo e instalarlo en mi ordenador y me he encontrado con que esto me genera
un problema de falta de memoria de mi tarjeta gráfica, donde tengo 11 gigas y es por ello que he buscado una alternativa
en este caso la alternativa es utilizar Google Collab, donde la infraestructura que vamos a utilizar no es la nuestra sino la que nos ofrece Google
de manera gratuita. Tenemos una tarjeta gráfica NVIDIA Tesla P4 con 7, 7 gigas, que es la que nos ofrece Google de manera gratuita
7 gigas de memoria. En este caso es poco y vamos a intentar forzar a tener un poco más con el siguiente truco. Si nosotros aquí metemos un bucle
infinito, donde vamos a generar una lista en la que cada vez añadamos un nuevo elemento y ejecutamos esto, acabaremos consumiendo todos los recursos
de esta máquina y claro en este caso Google se porta bastante bien y lo que noticia es, bueno, no pasa nada. Te dejaré una máquina con más memoria
RAM y con suerte a lo mejor nos tocó una máquina incluso con mejor GPU, así que vamos a comprobarlo. Aquí vemos que ha habido un fallo y dice
tu sesión ha fallado porque se ha usado toda la memoria RAM disponible, obtener más memoria RAM. Y ahora sí que sí tenemos 16 gigas de memoria en la GPU
con lo cual podemos trabajar de manera mucho más cómoda y con una mejor arquitectura de la que tengo incluso yo aquí en mi ordenador en casa.
Con esto las imágenes que he ido generando la guardo en Google Drive y en Google Collab vengo para acá y activo el Drive y con ello puedo conectarme
directamente a todos los archivos que tengo guardados en mi carpeta. Importamos el modelo de GitHub, instalamos las dependencias, cambiamos la configuración
para que utilicen la ruta de la carpeta de Google Drive para buscar las imágenes y con esto ya tendríamos todo configurado para empezar a ejecutarlo.
Cambiamos esto por 1 y lo ejecutamos y no sale un error como este que sucede porque Google Collab ahora por defecto utiliza la versión 2.0 de
sensor flow. Así que para solucionarlo pues tenemos que venir para acá, cambiar a la versión 1.x y volver a ejecutarlo. Y cuando empieza a funcionar
cada uno de los fotogramas se irá procesando e irá aumentando su resolución. Una jornada más tarde. Efectivamente ya ha pasado un día he tenido que dejar
todo esto procesando toda la noche y bueno tengo que decir que sí he tenido que ir procesándolo en diferentes jornadas porque el entorno de Google Collab
pues me estaba fallando cuando cargaba todos los fotogramas de golpe. Al final lo he hecho cada 3000 fotogramas, pero el resultado es que al final pues tengo en mi Google Drive
todos los fotogramas procesados en alta resolución. Y el resultado si bien a lo mejor a simple vista no se observa tanto, bueno si se ve, se nota más nitidez en los bordes
también algunos defectos de la propia compresión del archivo. Creo que se pueden observar mejor, pero esto se ve bastante más claro cuando nos acercamos
y comparamos el antes y el después. Este sería el antes y este es el después. Efectivamente sí podemos ver como en muchas zonas se recuperan
muchos más píxeles. Si comparamos los tamaños reales este de aquí lo he tenido que ampliar cuatro veces. La imagen original pues sería esta de aquí
este sería el tamaño original y el que estamos consiguiendo ahora después de la super resolución sería este de aquí. Entonces en este sentido la verdad que la cosa funciona bastante bien
y ya tendríamos la super fluidez conseguida con 8 veces más fotogramas, tendríamos la super resolución 4 veces ampliado y ahora nos faltaría el último procesamiento
que quizás es el más interesante que es darle color a esto. Como sabéis de todos los procesamientos que hemos ido haciendo pues en el canal podréis encontrar un video
donde intuitivamente se explica cómo funciona cada uno de estos métodos, excepto el que vamos a ver ahora que es el de poder darle a una imagen o a un video en blanco y negro
pues este estilo a color. Este es un video que acabará llegando al canal por eso les recomiendo que se suscriban, que sé que hay mucha gente que me ve que no está suscrita
y que también le deja la famosa campanita para que les llegue la notificación de ese video. Pero tengo que decir que este es un campo de estudio que todavía está emergiendo
y donde los modelos con los que contamos hoy en día tampoco son tan tan potentes. Podríamos decir que son modelos que están en beta y que funcionan relativamente bien
por eso podríamos asumir que este procesamiento que vamos a hacer ahora va a ser un poco más experimental pero bueno hemos venido a jugar así que vamos a ello.
Vamos a estar trabajando con un modelo que se llama The Old Defy de la gente de Fast.ai y es básicamente una librería que está muy bien documentada en github
y además que también cuenta con sus diferentes modelos en google colab para poder utilizarlos y es con lo que vamos a estar trabajando.
Yo he estado haciendo algunas pruebas probando a ver que tan bien funciona el modelo con este video que estaba en blanco y negro en mi canal y oye funciona bastante bien
en este sentido consigue sacar bien todo el color de mi cara distinguir qué partes son ojos y qué parte es piel e incluso los labios le da un toque rojizo que la verdad que se cuadra con mi color rojizo de labios.
En este sentido funciona bastante bien también he hecho otra prueba con un video similar con el que estamos trabajando hoy y el resultado es este de aquí quiero que lo vean porque fijaros que en realidad este modelo
el The Old Defy veo que tiene como mucha tendencia a realmente colorear las zonas blancas las zonas más luminosas las convierte en naranja y las zonas oscuras a zonas azules.
No son resultados realmente que parezca que estén coloreados de hecho fijaros como en este árbol se intuye un poco de verde pero tampoco conseguimos un efecto tan bueno.
Vale he encontrado algo mira en la página de la documentación hay tres modelos diferentes vale dos para imágenes y uno para vídeo yo los que he probado son para vídeos pero dentro del apartado de imagen he querido probar con un fotograma solo a ver si funcionaba mejor porque aquí abajo hay resultados bastante llamativos y he hecho un par de pruebas con estos dos modelos con el artístico que quizás es como un poco más exagerado el procesamiento y también con el stable y los resultados son estos de aquí.
Vale esto es lo que yo venía buscando a esto esto es lo que quería yo para jugar este es el artístico y aquí ya podemos empezar a ver colores de verdad y que tiene sentido incluso con lo que estamos viendo las manzanas son rojas estas manzanas que son manzanas verdes son verdes estas zonas aquí que parecen uvas son verdes la cara del chico está bien coloreada tenemos hay cosas que no se corresponden pero esto ya es un resultado que a mí me satisface bastante si lo comparamos con el no artístico aquí vemos cómo de nuevo empieza a aparecer un poco más esta tonalidad más
gastada y a ver si yo tuviera que votar por una por elegir una para el procesamiento sería obviamente la artística entonces una alternativa pues sería tomar todos los fotogramas que ya tenemos en imágenes e ir pasándolas una a una por el modelo artístico que es el que nos interesa para mejor aún creo que
puede encontrar en el modelo de procesamiento de vídeo una forma de meter el modelo con los parámetros del artístico que es el que nos interesa así que clonamos el repositorio instalamos las dependencias instalamos la librería fastai vale este método de aquí que es el que nos va a dar el objeto el modelo colorizador y es el que viene en este notebook he visto la documentación que lo podemos cambiar por este de aquí get artistic videocolorizer que es el que realmente nos interesa así que le damos lo ejecutamos lo descargamos vale y no de error porque no encuentra el propio modelo
artístico entonces para eso lo que vamos a hacer es ir de nuevo a la documentación nos vamos a meter en el de imágenes artístico y vamos a copiar esta celda de aquí que es el que se encarga de descargar el modelo que a nosotros nos interesa lo copio lo pego aquí lo ejecuto descargamos
y damos de nuevo a tomar el modelo y ahora efectivamente sí que no nos va a dar ningún
problema y podremos utilizar el modelo colorizer artístico con vídeo y podemos usar este método que
he encontrado en el código y que está oculto que es colorize from path para directamente hacer
el coloreado desde una carpeta que nosotros tengamos en google drive de nuevo le damos a ejecutar y
empezar a solo a procesar cada uno de los fotogramas del vídeo para ir dando el color el resultado lo
vamos a ver ahora pero antes quiero dejaros con un mensaje muy importante del sponsor de este vídeo
sí soy el sponsor de mi propio canal te gusta la inteligencia artificial te gusta el machine
learning crees que el contenido que hago tanto en youtube como otras plataformas como twitch te
aporta realmente cosas de valor a nivel profesional o a nivel de autorrealización a lo mejor te ha
ayudado a conseguir un nuevo trabajo a descubrir qué carrera quieres estudiar o simplemente te
está descubriendo nuevas facetas del mundo tecnológico que desconocías entonces deberías
de estar apoyando 12 a través de los diferentes medios de financiación con los que cuenta este
canal ya sea a través de twitch prime o el método que yo recomiendo a través de patria ya sabéis
que aquí abajo en la cajita descripción tenéis un enlace directo a mi patria donde ya somos 150
personas que estáis apoyando que este contenido exista y bueno básicamente en estos meses complejos
que estamos viviendo estamos viendo cómo nosotros los divulgadores que estamos en youtube pues no
podemos salir de casa a realizar la divulgación fuera que suele ser el método con el que más
ingresos recibimos y al mismo tiempo últimamente estamos viendo cómo los ingresos por publicidad
también están cayendo sábate que antes nos estamos yendo a pique si alguna vez habéis sentido la
necesidad de que este canal aporta algo de valor en vuestras vidas y me habéis querido invitar una
cerveza o una comida o a lo que sea este es el momento de mostrarlo a través de patria tenéis
aquí abajo el enlace y ya que estoy señalando aquí abajo también pues sí lo reconozco es solamente
este vestido de traje de arriba bueno volvemos al vídeo con esto ya estaría listo el procesamiento
tendríamos el resultado en google drive lo descargamos lo pasamos por nuestro software
de edición favorito para hacer retoques finales si queréis de color o algo y ahora sí que sí
tendríamos el vídeo finalizado remasterizado después de añadirle súper fluidez súper
resolución color estabilización y este es el resultado final
ah
Y hasta aquí el vídeo de hoy. Me interesa muchísimo saber vuestras opiniones, qué os
ha parecido el procesamiento. Yo decir que es la primera vez que lo hago y seguramente
si repitiera todo este proceso pues encontraría mejoras que hacer o forma diferente de hacer
las cosas, a lo mejor pondría una cosa antes que la otra. También pensad que los modelos
con los que estamos trabajando pues podríamos fine tunearlos, ajustarlos mejor al tipo de
datos que estamos analizando, al tipo de vídeo para conseguir resultados mejores. Hay muchos
tipos de mejoras que podríamos aplicar aquí para un mejor resultado. Pero bueno, esto
al final era un formato un poco experimental donde yo quería enseñaros cómo usar estas
herramientas, cómo poder trabajar con ellas. Y me interesa mucho saber también qué opináis
de este tipo de formato para este tipo de vídeos donde yo pruebo estos modelos de deep
learning y intentamos sacar resultados interesantes y también saber que me podéis compartir por
Twitter vuestras remasterizaciones y probáis a hacerlo, espero que sí. Pasadme resultados,
yo iré compartiendo aquellos que sean más interesantes a través de mi Twitter o Instagram
y nada más. Ya sabéis que podéis apoyar este contenido a través de Patreon, lo vuelvo
a repetir y que seguiremos con mucha más inteligencia artificial en el próximo vídeo.
Muchas gracias y hasta la próxima.