Hola a todos chicos y chicas, bienvenidos a DotCSV, el mejor canal de Inteligencia Artificial
de esta zona de YouTube, no he dicho que zona es, así que posiblemente sea cierto.
Y bueno, bienvenidos al primer Data Coffee oficial, si no sabes exactamente de que se
trata esto, que está pasando, posiblemente te hayas perdido el video anterior que subí
el pasado domingo como motivo de celebración de los 1000 suscriptores.
Te invito a que vayas a verlo y te enteres exactamente de lo que estamos haciendo.
Este es el primer Data Coffee oficial y lo vamos a utilizar para cubrir una noticia muy
interesante que se publicó la semana pasada, el 19 de octubre, en la revista Nature.
Se trata de una publicación realizada por DeepMind, que para aquellos que no lo conozcan
es la empresa de Inteligencia Artificial de Google con base en Londres, y que es una empresa
que se encarga de hacer investigación con respecto a la Inteligencia Artificial.
En este caso ellos han cubierto muchos titulares con una Inteligencia Artificial que han desarrollado
que se denomina AlphaGo, que desde 2015 viene realizando una serie de hitos en el campo
de la Inteligencia Artificial que ha cubierto muchos titulares, así que posiblemente te
suene de algo.
La primera cosa que quiero que entiendan es que dentro del campo de la Inteligencia
Artificial desde hace décadas suele ser muy habitual el utilizar juegos para demostrar
qué nivel de maduración tiene el campo en un determinado momento de la historia.
Por ejemplo en 1950-1960 creo recordar que ya se creó la primera Inteligencia Artificial
que sabía ganar al Tic Tac Toe, que es el 3 en raya, típico.
Posterior a esto tenemos el caso de Deep Blue, que ganó a Kasparov campeón del mundo del
ajedrez en 1927, como sabrán de mi primer video, y esta progresión siguió siendo así
hasta que se llegó a un punto en el que ya nos encontramos con una serie de desafíos
que se creían que no podrían ser resueltos por Inteligencia Artificial.
Por ejemplo es el caso del Go.
El Go es un juego milenario japonés, si no me equivoco, japonés o chino, creo que es
japonés.
Podemos buscarlo.
Vale.
Chino, japonés y coreano.
A diferencia de juegos como el ajedrez, que el tablero tiene 8x8, es decir 64 casillas,
el tablero de Go es mucho más complejo, tiene 19x19 casillas, con lo cual tenemos una cantidad
de posibles movimientos muy elevada y además también la libertad de colocar fichas es
mucho más flexible que la de un talero de ajedrez, con lo cual al final no podemos utilizar
la fuerza bruta para resolver una partida de Go intentando ir por todas las posibles
estrategias y buscando aquella que sea más efectiva.
Eso no es posible con la manera convencional, de hecho la típica frase que se dice, siempre
que se habla del tema de AlphaGo y Go es, hay más posibles movimientos en una partida
de Go que átomos en el universo.
Te apuesto a que no podrás ver un video que sea de AlphaGo que no digan esta frase.
Volviendo al asunto, esta limitación computacional que ofrece la partida de Go es una limitación
y a la vez es un reto muy interesante porque al fin y al cabo un humano que juega una partida
de Go realiza un proceso cognitivo que le permite ganar frente a otras personas.
Un campeón de Go tendrá en su cabeza una serie de estrategias que no implica resolver
todas las posibles partidas y sin embargo es capaz de desempeñar un buen rendimiento
jugando al Go, por lo tanto esto de repente se convierte en un desafío muy interesante
para el campo de la inteligencia artificial que va a intentar descubrir cuáles son esos
mecanismos que permiten a un humano poder jugar bien y lo va a intentar implementar dentro
de una máquina.
Esto señoras y señores fue el reto que asumió DeepMind.
El primer paso se produjo en 2015 cuando DeepMind publicó la primera versión de su inteligencia
artificial, AlphaGo, la que denominaron AlphaGo Fan.
El nombre venía dado por el campeón de Europa de aquel momento que era Fan Hui, que fue
aquella persona que fue derrotada por el sistema de inteligencia artificial, lo cual ya fue
un primer gran paso para demostrar que sí se podía diseñar una inteligencia artificial
que fuera capaz de dominar este juego por encima de las capacidades humanas.
Esto ya activó todas las alertas del sector y ya se empezó a hablar de un gran hito que
había realizado DeepMind y yo creo que eso fue lo que les motivó a plantear el siguiente
reto que se produjo en 2016 y que fue el gran torneo que realizaron entre AlphaGo y Lee
Sedol.
Lee Sedol era reconocido como uno de los mejores jugadores de Go del mundo tras haber ganado
una serie de campeonatos internacionales y también hay que mencionar que la versión
que trajeron aquí era una versión mejorada de la anterior, de la AlphaGo Fan habíamos
pasado a la AlphaGo Lee, que era la versión que iba a derrotar al campeón del mundo Lee
Sedol.
Y tras cinco partidas AlphaGo pudo ganar 4 a 1 con lo cual en ese momento pasó a convertirse
AlphaGo Lee en el campeón mundial de Go, una inteligencia artificial, lo cual es súper
súper interesante.
Pero sin embargo dentro de este torneo se produjeron una serie de cosas que yo creo
que a los que nos interesa la inteligencia artificial nos hizo confirmar nuestro convencimiento
de que la inteligencia artificial puede ser mucho más de lo que en principio pudiera
parecer.
Estoy hablando por ejemplo del famoso movimiento 37 que se produjo en la partida número 2
si no recuerdo mal y no voy a entrar mucho en detalle de cómo funciona el Go porque
tampoco soy experto, pero por lo que tengo entendido hay una serie, cuando tu jugas profesionalmente
hay como una serie de reglas y estrategias que uno debe seguir o no debe seguir, es decir
si tu estás jugando por ejemplo en un lado del tablero suele ser habitual colocar una
ficha en la línea 3 o en la línea 4, pero moverte a la izquierda de esas líneas pues
ya te lleva a considerarse que estás haciendo una estupidez o que realmente no tienes ni
idea de cómo estás jugando.
Pues sucede que en la partida número 2, en el movimiento 37, de repente la inteligencia
artificial AlphaGo Li colocó una de estas piedras en una posición bastante inesperada.
Incluso los propios comentaristas que estaban siguiendo el evento se puede ver como durante
un momento el propio comentarista coloca él mal la ficha pensando que había visto mal
la posición, luego mira la pantalla de nuevo, confirma que la posición que ha puesto AlphaGo
es la que es y coloca la ficha y se queda muy muy extrañado.
En ese momento se pensó que la inteligencia artificial había fallado.
Li Sedol, el campeón, creo que supo intuir que no era un error sino que era algo más
complejo porque en ese mismo momento su reacción ¿cuál fue?
Levantarse y irse.
Se levantó, salió de la sala, creo que se fue a fumar un cigarro afuera y luego volvió
y siguió jugando.
¿Y qué pasó?
¿Fue un movimiento errático o fue algo más?
Bueno, 50 movimientos más tarde se pudo observar que esa ficha que había colocado AlphaGo en
esa posición había servido para apoyar una estrategia ofensiva que culminaría 50 movimientos
más tarde.
Es decir, una capacidad de planificación y de desarrollar una estrategia tan avanzada
que el propio Li Sedol cuando terminó todo este evento tuvo que reconocer que no sentía
pena por haber sido derrotado sino que tenía mucha curiosidad por entender los insights
de estas partidas porque para él había sido bastante estimulante jugar contra alguien
que realmente pudiera suponer un desafío y que demostrara maneras diferentes de las
que los humanos estamos acostumbrados a realizar.
Esto fue 2016, posterior a esto hubo otro evento, se produjo hace poco, creo que fue
este año en marzo, abril, por ahí en el que ya DeepMind asumía que AlphaGo era el
campeón del mundo sin ninguna duda y entonces ya querían poner a prueba un poco más el
sistema y realizaron diferentes torneos, AlphaGo contra AlphaGo, AlphaGo y un humano
contra AlphaGo y otro humano, es decir, humano máquina en simbiosis, funcionando juntos
para ver si podían desarrollar estrategias más creativas e incluso AlphaGo contra 5
campeones de Go del mundo que ya, bueno eso, pues... no sé yo si se podría considerar
una partida justa pero bueno aún así AlphaGo pudo ganar sin mucho problema y bueno eso
ya permitió observar que sí, que la inteligencia artificial podía dominar un juego tan complejo
como era el Go, por lo cual tras este último evento, DeepMind confirmó que ya se iban
a centrar en utilizar a AlphaGo o el aprendizaje que habían desarrollado con AlphaGo en otro
tipo de dominios que pudieran ser más relevantes para la sociedad, por ejemplo medicina.
Pero, ¿qué pasó la semana pasada? Bueno, una nueva publicación confirmó que DeepMind
había seguido trabajando en este sistema y que habían desarrollado una nueva versión
de AlphaGo. Estamos hablando del nuevo sistema denominado AlphaGo 0. AlphaGo en las versiones
anteriores se les suministraba una serie de información de cuáles eran estrategias
buenas a seguir, de cuáles eran buenas combinaciones de fichas en el tablero, es decir, información
supervisada de nuestro conocimiento humano sobre cómo se debería de jugar al Go.
Sin embargo, esta versión de AlphaGo deja de lado toda esta información y basa su
aprendizaje simplemente en aprendizaje reforzado. Aprendizaje reforzado es el único aprendizaje
que no expliqué en mi vídeo anterior, pero que bueno, ya lo explicaremos en algún vídeo
futuro, pero adelanto ya que es un tipo de aprendizaje que se basa en premiar aquellos
comportamientos que permiten a la inteligencia artificial acercarse a un resultado correcto.
Es decir, la dinámica de aprendizaje de AlphaGo 0 es que internamente parte de un estado
aleatorio completamente aleatorio, es decir, que coloca las fichas en el tablero al azar
y lo que va a hacer es que va a jugar partidas contra sí mismo e internamente se va a ir
reconfigurando para que aquellos comportamientos que le permiten ganar una partida contra sí
mismo se vayan reproduciendo en el futuro. Esto es súper interesante y es la base del
aprendizaje reforzado y por primera vez hemos visto cómo una versión de AlphaGo basada
en aprendizaje reforzado ha podido superar a todas las versiones anteriores en rendimiento.
Me gustaría pararme un poco en explicaros cómo funciona exactamente internamente estas
inteligencias artificiales. Voy a partir de lo que era la arquitectura anterior, la de
AlphaGo Li y la de AlphaGo Fan, que son bastante parecidas y a partir de ahí les explicaré
cuáles son las diferencias de este sistema nuevo. Cuando nos referimos a estos sistemas,
lo correcto es hablar de eso, de sistemas, porque en realidad internamente no se trata
de un único algoritmo, sino que hay un conglomerado de algoritmos que funcionan uno sobre otro
y se van retroalimentando permitiendo que el aprendizaje surja. En el caso de AlphaGo
Fan y en el caso de AlphaGo Li, internamente lo que habían eran dos redes neuronales superpisadas
y un árbol de bújeda de Markov. Posiblemente si no conoces un poco de cómo funciona todo
esto estarás diciendo, no sé lo que me estás diciendo, pero mira, es muy sencillo.
Cambio de batería. Como iba diciendo, si tú quisieras desarrollar una inteligencia artificial
que fuera capaz de ganar un juego como el 3 en raya, una estrategia a seguir podría
ser decir, bueno, tengo el tablero vacío y empiezo a jugar yo. Si yo coloco una pieza
por ejemplo en el centro, ¿qué puedo hacer luego mi adversario? ¿cuáles son sus posibilidades?
Bueno, puede colocar aquí, aquí, aquí, aquí. Si él coloca en este sitio, luego
qué podría ser yo, podría colocar aquí, aquí y luego qué haría él y luego qué
haría yo. Así, así, así, hasta que llegas a un estado final en el que sabrías si has
ganado o has perdido. Visto así parece muy sencillo. Lo único que tendrías que hacer
es elaborar un árbol con todas las posibilidades, como dijimos antes, y recorrer este árbol
hasta ver qué situación te lleva a una victoria segura. Pero claro, como ya hemos comentado,
esto no es tan fácil porque en el caso de juegos más complejos como el ajedrez o como
el Go, este árbol de búsqueda suele ser muchísimo más grande, tanto que es imposible
recorrer todas las ramas del árbol para saber exactamente cuál es la combinación idónea
para ti. Por eso lo que utiliza AlphaGo es un mecanismo
diferente que se denomina árbol de búsqueda de Markov. Lo que hace el árbol de búsqueda
de Markov, y recuerda todo lo que tenga de Markov significa que por algún lado aparece
el término aleatorio, lo que hace el árbol de búsqueda de Markov es, si el sistema se
encuentra actualmente en un estado determinado, es decir, en una posición determinada en
el tablero, lo que hace el árbol de Markov es coger y decir, bueno, si en el siguiente
turno yo tengo esta serie de posibilidades, si yo por ejemplo opto por esta opción de
aquí, ¿qué pasaría si aleatoriamente siguiera moviéndome por este árbol de búsqueda hasta
llegar a un estado final? ¿Ganaría o perdería? Vale, y si hago este otro movimiento, ¿qué
pasaría si me moviera aleatoriamente por este árbol hasta el final? ¿Ganaría o perdería?
Esto lo hace muchas veces ya que moverte aleatoriamente por el árbol no requiere para nada tanta
computación como recorrer todo el árbol completo, entonces lo realiza muchas veces
y observa que determinados movimientos tienen mayor probabilidad de ganar que otros movimientos,
con lo cual así ya tiene una forma no de saber cuál es el movimiento óptimo que realizar,
pero sí cuál es el movimiento más probable que le podría llevar a un estado de ganar.
Esto es lo que realiza AlphaGo internamente con su árbol de búsqueda de Markov, pero
no solo utiliza esto, sino que también se apoya en dos redes neuronales supervisadas.
Una de estas redes neuronales supervisadas lo que hace es aprender a partir de la situación
del tablero cuál es la probabilidad de que ganes o de que pierdas. Esta información
es muy útil porque la puede utilizar el propio árbol de búsqueda de Markov para moverse
por el árbol de forma más eficiente, sabiendo si los movimientos que están realizando le
permitirán acercarse hacia una victoria o hacia una derrota.
Y por otra parte también tenemos otra red neuronal supervisada que se encarga de ofrecerle
al árbol de búsqueda de Markov este conjunto de posibles movimientos iniciales a partir
de los cuales empezar a simular todo su recorrido por el árbol. Es decir, a esta red neuronal
se le ha dado inicialmente información de cuáles son aquellos movimientos y estrategias
habituales en una partida de Go, y a partir de ahí ha ido aprendiendo cuáles son aquellos
movimientos que permiten maximizar la victoria y son los que se le ofrecen al árbol de búsqueda
de Markov.
Quizás todo este sistema planteado así como lo acabo de explicar es un poco complejo de
entender, pero bueno, quédate con la idea de cuáles son los componentes internos y
sobre todo de que funcionan, o al menos funcionó, en AlphaGo Li y AlphaGo Fan, pero ahora lo
que sucede es que AlphaGo Zero plantea una arquitectura interna diferente. Coge estas
dos redes neuronales que he comentado y las fusionan uno, ahora la función de ofrecer
posibles movimientos y la valoración de quién va a ganar o quién va a perder no la realizan
dos redes neuronales sino que la realizan uno.
Además, muy importante, estas redes neuronales ya no son supervisadas, ahora simplemente
su aprendizaje se va a basar en el comportamiento de la red neuronal tras competir contra sí
mismo, es decir, aprendizaje reforzado. En ningún momento se le ha dicho a la red neuronal
qué partidas son mejores y qué partidas son peores, en ningún momento se le ha dicho
cuáles son las estrategias que le van a permitir maximizar, las ha descubierto ella sola.
Y ahora la pregunta es, ¿qué crees que ha pasado? ¿Ha funcionado bien o no ha funcionado
bien? Pues obviamente si es noticia, es que ha funcionado muy bien.
El equipo de DeepMind realizaron un torneo similar al que realizaron en 2016, con las
mismas condiciones, como si fuera la Inteligencia Artificial y el humano pero sustituyamos a
ese humano por la nueva Inteligencia Artificial AlphaGo Zero y se dejó que jugaran 100 partidas,
sabes cuántas partidas ganó AlphaGo Zero? 100 partidas, 100 partidas.
Otra cosa impresionante es la cantidad de recursos que se destinaron durante la fase
de entrenamiento, porque por ejemplo AlphaGo Fan, que es la primera versión, necesitó
muchos meses para su entrenamiento y una cantidad de recursos que contaban con 176
GPUs para su entrenamiento. La versión siguiente, la de AlphaGo Li, consiguió reducir este
tiempo de entrenamiento y solo necesitó 48 TPUs, que para aquellos que no conozcan,
las TPUs son Tensor Processor Units, que son procesadores especializados para Inteligencia
Artificial para el cálculo con tensores, que es algo que utiliza internamente la Inteligencia
Artificial y que permiten un mayor rendimiento que la GPU. Pues AlphaGo Li utilizó 48 TPUs
y este sistema, que solo necesito 3 días para ser entrenado, solo utilizó 4 TPUs,
lo cual es bastante impresionante porque eso significa que dentro de poco, como sigamos
con esta proyección, vamos a ser capaces de entrenar este tipo de Inteligencia Artificiales
desde cero, es decir, desde un comportamiento aleatorio hasta un comportamiento super humano
podríamos decir, en cuestión de horas y con recursos como los que podríamos tener
en un ordenador normal. Y eso, señoras y señores, es impresionante.
Una cosa que quería comentar es que habría que fijarse en las implicaciones que tiene
el juego, es decir, hemos conseguido con Inteligencia Artificial, conseguir aprender desde la nada
a desarrollar un comportamiento super humano en el dominio de un campo tan específico
como es el Go, simplemente dejándole realizar muchísimas partidas y aprender de ellas a
un juego en el que solamente se le han explicado cuáles son las reglas básicas para poder
jugar. Entonces, si conseguimos por ejemplo plantear un dominio diferente, como por ejemplo
la secuenciación del génomo humano, pudiéramos plantearlo como si fuera un juego, construir
esta serie de reglas y permitir que una Inteligencia Artificial pueda desarrollarse entrenándose
contra sí mismo durante una serie de tiempos, podríamos conseguir un sistema que fuera
mejor que cualquiera de los humanos en secuenciar el génomo humano, o por ejemplo en detectar
células cancerígenas a partir de fotos, o piensan en las implicaciones, poder construir
Inteligencias Artificiales que sin necesidad del conocimiento humano puedan desarrollarse
hasta alcanzar un rendimiento mayor que el del mejor de los humanos en nuestra sociedad.
Es increíble. Y es por tanto una muy buena noticia y un gran paso hacia adelante el descubrimiento
que ha realizado DeepMind.
Es que incluso el equipo de DeepMind ha sido capaz de, a partir de los datos de las partidas
generadas por AlphaGo 0, de ir comprobando en qué momento AlphaGo 0 iba descubriendo
estrategias que son bastante conocidas por el desarrollo que ha tenido el Go durante
miles y miles de años en la cultura asiática, y han podido ser testigos de cómo AlphaGo
0 iba descubriendo estas estrategias milenarias y las iba descartando por otras estrategias
que AlphaGo consideraba mejores y que eran completamente novedosas. Es decir, esto es
increíble. Esto es increíble.
Y bueno, y esto era lo que quería comentar un poco en el café de hoy, a lo mejor me
he puesto en algún punto muy técnico, o a lo mejor no he entrado en suficiente profundidad
como alguno le gustaría. Me gustaría saberlo todo abajo en los comentarios, en la cajita,
podéis comentar, podéis criticarme, lo que haga falta.
Además también recuerden que comenté en el video anterior que utilizaría la parte
final de este tipo de videos para responder a alguna pregunta que les pueda interesar,
sobre inteligencia artificial, sobre el canal o incluso sobre mí.
Y hoy, como creo que se ha quedado un poco largo, traigo solamente una pregunta, pero
es una pregunta interesante, creo yo, que es de Robin Marín Hernández, que dice, ¿qué
significa.csv? Todavía no se me adapta el nombre, me toca buscarte en mis canales suscritos
y cada vez que veo ese de ciencia me acuerdo de este maravilloso canal. Creo que lo mejor
será poner la campanita. Saludos.
Un saludo, efectivamente dale a la campanita. Para aquellos que no lo sepan, la campanita
esta que aparece al lado del botón de suscritos, YouTube con sus cosas raras, pues introdujo
este cambio que la verdad que tiene a todo el mundo muy loco. Así que si no le has
dado a la campanita que está al lado del botón de suscribir, dale ahora.
Y bueno, respondiendo a tu pregunta, ¿qué significa.csv? Bueno, para aquellos que hayan
trabajado un poco en el campo de la inteligencia artificial o hayan trabajado con datos en
informática, sabrán que los diferentes tipos de archivos para manejar datos suelen ser
o conectarte directamente con una base de datos o podemos tener archivos xml, podemos
tener archivos JSON o podemos tener archivos.csv. Y de ahí viene.csv en inglés es.ccv,
lo cual a mí me resulta muy gracioso porque.ccv, además de ser los archivos que se utilizan
para almacenar datos que suelen ser muy habituales en el campo de la inteligencia artificial,
también coincidé con las iniciales de mi nombre, Carlos Santana Vega. Lo he tomado
como una seña de identidad.csv y me pareció que era un buen nombre para el canal.
Y bueno, esto era todo lo que quería comentar, quiero saber vuestra opinión y los comentarios,
qué les parece esta inteligencia artificial desarrollada por DeepMind, quiero saber si
les ha gustado el vídeo, si les ha quedado claro, quiero saber, quiero saber qué opináis.
Así que ya sabéis, abajo comentarios, manita arriba, un like para apoyar a este vídeo
y a este canal. Tenemos habilidad a un Patreon, como ya dije, también si estás interesado
puedes pasarlo, tienen el link en la descripción. Y nada más, nos veremos con un nuevo vídeo
muy pronto.