Hoy te quiero contar por qué esto me parece igual de impresionante que esto.
Y no me entendáis mal, sé que el trabajo de Boston Dynamics durante la última década
ha sido impresionante, con robots humanoides como Atlas que han ido progresando en agilidad,
en robustez, en capacidad de hacer cosas impresionantes que nos fascinan y no tan repelús a partes
iguales.
Pero aún así hay algo en estos pequeños robots de DeepMind que debería de impresionarnos
aún más.
Sí, también estamos viendo a robots humanoides erguidos en sus dos patitas cumpliendo la
tarea para la que han sido diseñados.
También vemos agilidad, movimiento, acción y… hey, eso es tarjeta roja.
Bueno, da igual.
Aquí la pregunta es ¿qué hacen a estos robots algo tan interesante?
Pues la cosa está en que aquí, a diferencia de los robots de Boston Dynamics, la tarea
que tienen que cumplir, en este caso jugar al fútbol, ha sido una tarea que ha aprendido
de forma automática la inteligencia artificial.
Vamos, lo de siempre.
A ver, esto ya lo expliqué en este vídeo de aquí, pero lejos de lo que podamos pensar,
los robots de Boston Dynamics aún no se apoyan tanto en la tecnología de deep learning como
podríamos pensar.
Sí, por ejemplo usan deep learning para mejorar sus capacidades de visión y para poder entender
mejor el entorno que les rodea o las diferentes herramientas con las que tienen que interactuar,
pero mucho de su comportamiento depende de un catálogo de movimientos preestablecidos
donde el robot en cada situación predice qué quiere hacer, cómo se quiere mover,
y de ahí elige el movimiento más adecuado y lo adapta según las circunstancias.
Por ejemplo, ¿podría atlas improvisar la escalada del andamio pero trepando por sus
barras metálicas?
Pues no, si es que no tiene ninguna skill de escalada preprogramada en su catálogo
de movimientos.
La tendencia es que a futuro los robots de Boston Dynamics pues cada vez sean más autónomos,
siendo capaces de generalizar gran parte de sus acciones tras un proceso de aprendizaje
automático que no les haga depender del diseño manual de estas acciones.
Pero sí, desafortunadamente a día de hoy muchas de estas actuaciones todavía dependen
de un escenario perfectamente diseñado a las expectativas del propio robot, y eso nos
lleva a estos robotitos de aquí.
Estamos viviendo un periodo histórico, donde la inteligencia artificial cada día es mejor
en sus capacidades de percibir el mundo, de poder razonarlo, de desarrollar cierto sentido
común y expresarse con nosotros usando el lenguaje natural.
Incluso su capacidad de entender el mundo le lleva a saber cómo tiene que usar ciertas
herramientas para desempeñar mejor las tareas que le solicitamos.
Claro, con esto la pregunta es, ¿cuándo será capaz la inteligencia artificial de utilizar
una herramienta tan útil como un cuerpo robótico?
Una interfaz con el mundo físico que le permita manipular objetos, ser más autónomo
o alimentar su conocimiento del mundo interactuando con él.
La inteligencia artificial integrada en un cuerpo real.
A esta idea de meter la inteligencia artificial dentro de un cuerpo robótico es lo que se
denomina embodiment, o traducido al español encarnación, aunque bueno, aquí carne y
hueso hay poca.
Y esto es un desafío por muchos motivos.
Y primero es porque dejar que una máquina aprenda la locomoción de un cuerpo determinado,
que tiene tantos puntos de movimiento que deben de ser controlados, pues no es nada
sencillo.
Pero este es un reto que en los últimos años, gracias a la aplicación del deep learning
en los procesos de aprendizaje por refuerzo, lo que se conoce como deep reinforcement learning,
pues ha conseguido avanzar con paso firme.
Literal.
Hemos visto numerosos ejemplos que nos demostraban que, bueno, al igual que nosotros en base
sea ensayo y error podemos aprender a ponernos en pie y andar para luego evolucionar hasta
ser un humano 100% ágil y funcional, pues la inteligencia artificial en simulación
también podía lograr esto.
Y esto es un éxito, pero solo una parte del problema.
Y es que tener una política de comportamiento que funcione en tu simulación, sí, permitirá
a la inteligencia artificial ser ágil, habilidosa, robusta incluso a los efectos perversos de
tu entorno.
Pero todo esto en tu simulación.
Pero cuando esto te lo llevas del mundo simulado al mundo real, pum.
Tú rires que tu robot se vuelve casi igual de ágil que tú un sábado noche.
¿Qué está pasando aquí?
Pues esto es algo que le sonará mucho a quien haya trabajado en robótica y es que el mundo
real es muy complejo.
En una simulación tú puedes aproximar físicas, iluminaciones, la mecánica de tu robot, pero
cuando esto lo trasladas al mundo real aparecen los problemas.
Ay, que no habíamos contado con el reflejo que hace la luz del sol sobre el cuerpo metálico
del robot y ahora está cegando a la cámara.
Ah, que no habíamos simulado correctamente la fricción que se produce entre diferentes
tipos de materiales.
Ah, o a lo mejor los actuadores que estás utilizando pues tienen una latencia diferente
a la que tú habías configurado y ahora pues toda la política de comportamiento que había
aprendido la inteligencia artificial cuando te lo llevas al mundo real falla.
Las cosas en el mundo real fallan.
¿Por qué?
Pues porque la simulación no deja de ser una aproximación de la realidad.
Y para comprobar esto DeepMind… ¿Qué?
Ah, que ya no se llaman DeepMind, sino que al unir fuerzas con el equipo de Google Brain,
como respuesta a los avances que ha dado OpenAI con Microsoft, ahora han pasado a llamarse
Google DeepMind.
Ah, vale, vale.
Pues para comprobar esto DeepMind ha puesto no a uno, sino a dos robots en un uno contra
uno de fútbol.
Veamos.
Cada uno de estos robots cuenta con veinte puntos de articulación que controlan todo
su movimiento.
Movimiento que, como hemos dicho, no será aprendido en el mundo físico real, sino en
una simulación.
Aquí cada robot recibe como input la información de su propio cuerpo, de sus veinte actuadores.
Y también información importante de cómo se desenvuelve el juego, pues por ejemplo
la posición y velocidad de la pelota y también la de su oponente.
Y claro, esto es una cosa que tenemos que tener en cuenta.
En esta primera versión del proyecto, los robots no están teniendo que hacer el esfuerzo
intelectual de aprender a percibir el mundo con sus cámaras.
Aquí la tarea es más sencilla y ya le estamos dando la información del partido procesada
como parte de su input.
Y esto, como podréis imaginar, es más sencillo, pero bueno, DeepMind también ha mostrado
que está trabajando en una ampliación de este proyecto donde sí están enseñando
a los robots a aprender a jugar al fútbol solo usando la información visual captada
por sus cámaras.
Algo que sería ideal para darle mayor autonomía a estos robots en el futuro.
Ahora, la pregunta del millón, ¿cómo conseguimos que estos robots aprendan a jugar al fútbol?
Sería espectacular poder coger un trozo de chatarra y marcarle como objetivo, hey, tienes
que marcar goles y que con esto ya aprenda toda la movilidad de ponerse en pie, correr,
caminar, chutar el balón, pero esto no funciona así, ni para el robot, ni para ti.
Porque en la mayoría de casos, cuando llegas al campo de juego, como mínimo ya sabes mantenerte
en pie y ejecutar algunos movimientos básicos con tu cuerpo y a partir de ahí ya aprendes
a jugar al fútbol, pues el proceso de aprendizaje de esta inteligencia artificial es bastante
parecido.
En este proyecto, DeepMind primer optimizó el aprendizaje de sus robots para dos tareas
básicas.
Una de ellas era levantarse del suelo, lo cual es bastante útil, y la otra era aprender
de alguna forma a chutar el balón.
Así de forma independiente enseñaron a sus robots ambas habilidades, pero no sin dificultades,
si es que como suele pasar muchas veces en estos setups de aprendizaje por refuerzo,
cuando tú estableces un objetivo, la inteligencia artificial suele encontrar formas de hacer
trampas.
Así por ejemplo en la tarea de chutar el balón, pues la inteligencia artificial encontró
una estrategia que era válida, donde hacía la croquetilla por el suelo hasta llegar al
balón y lo chutaba, algo que sí cumple con su objetivo, pero no es lo que estamos buscando.
Y son en estos casos cuando nos damos cuenta que en inteligencia artificial es casi tan
importante el objetivo que le fijamos a la IA a cumplir, como saber limitar correctamente
pues cual puede ser los límites de su comportamiento.
En este caso pues sería el no tirarse al suelo.
Cuando ya tenemos esto, pues podemos utilizar esta información aprendida, alzarse en pie
y poder chutar el balón, para reforzar y guiar su aprendizaje en la segunda parte del entrenamiento.
Ahora sí, la hora de la verdad.
Un entrenamiento donde su objetivo se va a volver cada vez más y más complicado al
ponerle ante él a un oponente cada vez más y más inteligente.
¿Quién?
Pues a versiones de sí mismo.
Aquí usaremos versiones previas de la inteligencia artificial, versiones menos entrenadas, para
enfrentarse contra la gente uno versus uno.
Lo interesante es que al competir el robot contra versiones anteriores de sí misma en
esta idea de autojuego o selfplay, es que a medida que el robot mejora también lo harán
sus oponentes, lo que resulta en un proceso de aprendizaje automático que fomentará
una mejora constante en sus habilidades.
Así de esta forma en este punto del entrenamiento la gente aprenderá cada vez movimientos más
avanzados y tácticas y estrategias de juego cada vez más inteligentes, como por ejemplo
la defensa o la anticipación de los movimientos del oponente.
Y no es precioso ver a la inteligencia artificial aprendiendo todo esto solo jugando contra
sí misma.
Esto es espectacular.
Y sería suficiente si no fuera por un pequeño detalle.
Y es que todo esto ha sido aprendido dentro de la simulación.
Y por muy espectaculares que sean tus habilidades aquí, el partido real se juega en el mundo
físico.
Mundo físico donde, como hemos dicho antes, todo puede pasar.
Y en este punto me puedo estar imaginando vuestra pregunta de, bueno, si es tan lioso
transferir este conocimiento aprendido por la inteligencia artificial de la simulación
al mundo físico real, ¿por qué no directamente dejar que la I aprenda en un campo de fútbol
real con los robots reales en el mundo físico real?
Y la respuesta está que entrenar en un mundo simulado pues sí nos permite poder entrenar
a velocidades sobrehumanas, pudiendo ejecutar millones y millones de episodios de entrenamiento
en cuestión de horas.
Algo que evidentemente en el mundo real no podríamos hacer.
Y todo esto si mencionar todos los costes en hardware que tiene asociado entrenar en
un mundo físico donde los robots se rompen.
Entonces, ¿qué?
Bueno, pues la solución que ha aplicado DeepMind en este caso al problema de transferencia
de conocimiento es una solución que no es nueva en el mundo del aprendizaje por refuerzo,
y es la randomización.
Te pregunto, ¿quién crees que tendría mejores capacidades deportivas?
El jugador que siempre ha jugado en su estadio bajo techo, o el que ha aprendido a jugar
en diferentes estadios con diferentes climatologías con mucho calor, mucho frío, contra uno,
contra cien, en diferentes modos de juego, bueno, pues parece obvio que si en tu proceso
de entrenamiento has sufrido de factores aleatorios que han ido variando, que el resultado
sea un proceso de aprendizaje donde tú ahora, tu rendimiento deportivo, sea mucho más flexible
y mucho más adaptable a nuevas circunstancias.
Diremos, un entrenamiento mucho más robusto.
Pues en simulaciones y en robótica ya hemos visto en el pasado ejemplos donde, añadiendo
aleatoriamente perturbaciones a los materiales, los colores, los movimientos, pues ha acabado
consiguiendo transferencias mucho más robustas del mundo simulado al mundo real.
Y un ejemplo de ello es este proyecto de aquí de OpenAI.
Ahora, de forma similar, DeepMind en este proyecto ha seguido la misma idea, aplicando
aleatoriedad no solo a las circunstancias del robot en su entrenamiento, pues por ejemplo
aprender a jugar al fútbol dándole empujones de cuando en cuando.
Además, aquí también han añadido aleatoriedad en el comportamiento de sus sensores, de sus
actuadores, de la fricción con el suelo, es decir, añadiendo al proceso de entrenamiento
perturbaciones aleatorias que hagan que cuando transfiramos esta política de comportamiento
al mundo físico real, cuando ocurran estas perturbaciones aleatorias dadas por la realidad,
pues el robot las pueda asumir de forma robusta.
Y esto es lo impresionante de este trabajo de DeepMind, que el proceso de entrenamiento
de sus robots ha sido tan robusto que el proceso de transferencia de conocimiento del mundo
simulado al mundo real se ha podido hacer a la primera, sin necesidad de calibración,
sin reentranamientos, a la primera, o como nos gusta decir en la jerga de la guía, zero
shot.
La transferencia a zero shot es un logro muy importante en el aprendizaje por refuerzo,
porque cuando consigues que un modelo entrenado en una simulación pueda ser transferido
de esta manera, esto indica que el algoritmo ha aprendido a generalizar lo suficiente como
para lidiar con las diferencias y las incertidumbres que pueden surgir en el mundo real, sirviendo
de puente para poder seguir entrenando a inteligencias artificiales cada vez más potentes en entornos
simulados y obteniendo como resultado robots capaces de sobrevivir en la gran complejidad
del mundo real.
Y eso será muy importante en un futuro próximo.
O a lo mejor, queremos de verdad robots que sean ágiles y robustos.
Seguro que...
Y Carlos, ¿qué también juegan al fútbol?
Pues evaluados en su capacidad de jugar, los robots de DeepMind demostraron haber aprendido
habilidades necesarias para esto.
Por ejemplo, estos robots corrían un 156% más rápido que las rutinas preprogramadas
por humanos en estos robots por defecto.
También conseguían levantarse del suelo un 63% más rápido o chutar el balón un 24%
más rápido.
Recordemos, estrategias aprendidas por la inteligencia artificial sin apenas intervención
humana.
Y es que para mí, esta es una de las grandes tareas pendientes para el desarrollo a futuro
de la inteligencia artificial, hacer funcionar a toda la rama del aprendizaje por refuerzo
y que luego esto sirva de llave para poder hacer esta idea de encarnación de la inteligencia
artificial en cuerpos robóticos reales.
Aún queda muchísimo por hacer y de hecho las cosas no están tan maduras como estamos
viendo en otros campos del deep learning como es la IA generativa de imágenes o generación
de texto.
Son paradigmas diferentes, pero ¿y si os dijera que parte del conocimiento aprendido de grandes
modelos como GPT-3 y GPT-4 se está empezando a aplicar de forma efectiva en el campo del
aprendizaje por refuerzo?
Y si os dijera que la capacidad de aprendizaje y de adaptación de la inteligencia artificial
en contextos de aprendizaje por refuerzo, en los últimos meses se empieza a semejar
bastante a las capacidades de adaptación humana.
Y si os dijera, y esto hace tiempo que no lo hago, que todo esto os lo voy a contar
en un próximo vídeo.
Pues ahí vosotros me diríais, Carlos, saca el vídeo ya, no nos hagas esperar, esto no
se hace, pareces Quantum Fracture, pero bueno, yo os puedo recomendar que os suscribáis
en este canal para no perderos ningún contenido sobre la actualidad de la inteligencia artificial.
Además importante quiero recordaros que mañana se va a celebrar el Google I.O., el gran evento
que celebra Google donde seguramente veamos muchas novedades en inteligencia artificial
como respuesta a todo lo que ha ocurrido en los últimos meses con OpenAI, Microsoft y
todo lo demás.
Seguramente veamos novedades sobre Bart y cómo se integra en muchos de los productos
principales de Google, muchas novedades que vamos a estar cubriendo mañana en directo
aquí en el canal.
Así que tenemos una cita, tranquilo, se va a quedar resubido si no podéis acudir a
ver el directo mañana, pero va a ser súper, súper interesante.
Con esta información, chicos, chicas, nos vemos con más inteligencia artificial aquí
en YouTube.
Podéis apoyar todo este contenido a través de Patreon con una suscripción mensual.
Y oye, tenéis aquí un par de vídeos súper interesantes que no os podéis perder.
Un beso.
¡Lo tenemos!