Hacer predicciones dentro del sector de la tecnología es una tarea bastante complicada,
sobre todo cuando vemos el ritmo frenético al que se mueve, en el que año tras año
y realmente mes a mes vemos como la tecnología más avanzada queda rápidamente desactualizada.
Y sin embargo, contamos con la ley de Moore, una de las predicciones más certeras y longevas
que han ido dando forma al mundo del hardware y que nos hace preguntarnos cosas como ¿por
qué? ¿por qué se cumple? ¿es realmente una ley? o ¿de dónde surge esta propiedad que hace que
cada año se cumpla la cita con la ley de Moore? Y más importante aún, ¿cuánto más va a durar?
Esto último es algo que se discute bastante porque podría definir el futuro de la computación y
es motivo por el cual surgen otras propuestas de leyes que buscan sustituir a la ley de Moore como
es la que te voy a presentar en el vídeo de hoy. Una ley que además está altamente relacionada
con el mundo de la inteligencia artificial. ¿Quieres saber de qué se trata? Perfecto,
ponte cómodo, prepárate un buen café porque comienza DotCSV Data Coffee Edition.
Era el año 1965 cuando un joven Gordon Earl Moore planteaba en la revista Electronics la
siguiente observación. Los circuitos integrados nos conducirán a maravillas como los ordenadores
domésticos o al menos a terminales conectados a una computadora central, controles automáticos
para automóviles y equipos de comunicación portátiles personales. Y efectivamente no estaba
para nada equivocado y es que el salto de pasar de grande válvula de vacío a pequeños transistores
que actúan como interruptores lógicos fue el paso necesario para iniciar la revolución de los
chips integrados que nos han llevado hasta donde estamos hoy. Es a partir de situar estos transistores
en pequeñas superficies reducidas con las que podemos implementar mucha de la lógica compleja
que pueblan a todos los dispositivos que utilizamos hoy en día, ya sea nuestro ordenador,
nuestro smartphone, la cámara que estoy utilizando ahora, todos los dispositivos de la revolución
computacional moderna. Estos son los chips o microchips y si de verdad queréis conocer cómo
podemos dar este salto de los transistores a finalmente acabar con un procesador tan complejo
como el que tenemos en nuestro ordenador, recomiendo ver este Data Coffee de aquí que
tendrá mucho sentido con el vídeo de hoy. En cualquier caso, para lo que nos importa hoy,
solo quiero que tengáis una idea en mente y es la siguiente. Y es que en un chip, entre mayor sea
el número de componentes con el que contemos, entre por ejemplo mayor sea el número de transistores,
mayor va a ser la capacidad de este chip de realizar computaciones más avanzadas,
más complejas. Algo que solemos resumir como que este chip tiene más poder de procesamiento.
De manera análoga y dada la temática del canal, podríamos pensar que esta capacidad de cómputo
que nos da el número de transistores podría ser similar a la capacidad de modelar que nos da el
número de parámetros en un modelo de deep learning. El contar con más parámetros nos permite que
nuestro modelo pueda encontrar lógicas más avanzadas, pueda modularizar su aprendizaje o
pueda almacenar más información en sus estados internos. Algo similar a lo que ocurre en un chip.
Y es por eso que la tendencia histórica ha sido que desde que se patentara el primer circuito
integrado con seis transistores, este número de componentes ha ido aumentando exponencialmente,
hasta contar hoy con chips que tienen millones y millones de transistores.
Y aquí nos podremos preguntar cómo ha sido realmente esta evolución histórica en el
número de transistores, cómo ha ido aumentando año tras año esta tendencia para poder intentar
predecir cómo va a continuar evolucionando en el futuro. La respuesta a esta pregunta nos la da la
Ley de Moore. Un ritmo de crecimiento que predecía que la complejidad de los chips, entendida esta
como el número de componentes que contenían, se iría multiplicando por un factor de dos cada año.
Una predicción que pasada la década, en 1975, Moore supo ver que no se cumplía exactamente al
ritmo que la había predicho. En este caso, observando los datos históricos, supo comprobar
que efectivamente sí, el número de componentes de un chip se multiplicaba por dos, pero esto
se daba cada dos años. O lo que es lo mismo, si cogemos una escala logarítmica y vamos colocando
cada uno de los procesadores que se sacaban al mercado, lo que acabaríamos viendo sería
una tendencia lineal que se podría prolongar hasta los días modernos. Esto era el nacimiento
de una de las leyes más influyentes dentro de la revolución tecnológica vivida en el siglo XX,
la Ley de Moore. Mientras tanto, la influencia de Gordon Moore no quedaba solamente en plantear esta
ley. Al hombre el tema le gustaba, le generaba inquietudes, los chips, los procesadores,
pequeñito, todo esto le gustaba, tanto que ayudó a cofundar una empresa que iba de esto.
¿Electrónica integrada, en inglés integrated electronics, acortado Intel? ¿Te suena esa empresa?
Seguramente todos conozcamos esta historia, el surgimiento de Intel, la ley de Moore,
el crecimiento exponencial de los microprocesadores, pero ¿alguna vez estás planteado por qué esto
se da así? ¿Qué factor hace que cada dos años el número de transistores de un chip se vea
duplicado? ¿Es esta una ley del universo que se va a cumplir con esta tecnología porque está
escrito así? ¿O hay otros factores que la hacen funcionar? Evidentemente hay otros factores y de
hecho el propio Moore ha sido el primer sorprendido de que esta ley se haya prolongado tanto en el
tiempo. De hecho, ni siquiera al propio Moore le gustaba este sobrenombre de ley que se le había
dado a una simple predicción empírica basada en datos históricos que tenía una fecha de
caducidad de 10 años. ¿Qué ha hecho que esto se prolongue tanto? ¿Por qué se sigue cumpliendo
la ley de Moore? Pues una forma interesante de verlo es que la ley de Moore se ha seguido
cumpliendo porque así lo ha querido el mercado. Eso es el mercado, amigo. Es decir, al final lo
que hizo Moore fue, en base a su conocimiento técnico y los datos históricos, hacer una simple
extrapolación de lo que podría ser el crecimiento normal del mercado. Pero claro, cuando pasa una
década y dos décadas y se sigue cumpliendo esta ley, esto pasa a convertirse en un objetivo de
diseño. Un objetivo que todos los participantes de este mercado saben que tienen que llegar porque
posiblemente haya otro competidor que sí lo haya alcanzado. La ley de Moore se convierte en un
objetivo de diseño. No es tanto una ley que se cumple por su carácter tecnológico, sino más bien
una ley que se cumple por su carácter económico. Es lo que se podría decir una profecía autocumplida.
Pero claro, que una predicción se convierta en un objetivo de diseño por parte de un mercado no
significa que se tenga que cumplir. Es decir, yo no puedo coger la velocidad de los coches que se
van sacando en el siglo XX extrapolar y decir que ahora en 2020 vamos a tener coches de miles y
miles de kilómetros por hora. No tiene sentido. Esto nos indica que tiene que haber otros factores
en juego. Y sobre esto recuerdo un artículo súper interesante que leí cuando hacía el máster en la
universidad de Helsinki que venía de la revista Communications of the ACM. Me cuesta mucho decir
las C's para la cantidad de C's que hay en la vida. Un artículo en el que concluían que
efectivamente la ley de Moore se seguía cumpliendo porque se había visto beneficiada también por
otras fuerzas exponenciales que se estaban dando en aquella época. Es decir, querer hacer cumplir
con la ley de Moore tiene bastante sentido. Todos queremos que nuestros chips vayan aumentando en
capacidad computacional año tras año. Pero claro, si no atendemos a todo el sistema podríamos estar
haciendo un crecimiento que podría estar generando cuellos de botellas en otros puntos que por
tanto harían inútil este esfuerzo. Por continuar con el símil de la inteligencia artificial sería
como aspirar cada año a hacer modelos con mayor número de parámetros sin pararnos nunca a pensar
si contamos con la infraestructura suficiente para poder entrenarlo o directamente si el pasar
de GPT-7 a GPT-8 no aporta un valor económico real a los usuarios de ese mercado. El crecimiento
que da la ley de Moore se tiene que acompañar de otros crecimientos. En este sentido encontramos
también otros patrones de crecimiento exponencial que van apuntalando el propio crecimiento predicho
por Moore y que van solucionando todos estos cuellos de botellas en materia de consumo eléctrico,
capacidad de memoria, ancho de banda de los sistemas de comunicación e incluso la demanda
del mercado. Es decir, si aspiramos a que cada dos años vamos a estar mejorando nuestros sistemas
productivos para hacer chips más avanzados, ¿quién va a pagar por las mejoras en los sistemas de
litografía, en los sistemas de arquitectura? ¿Quién va a pagar a los ingenieros? ¿Con qué
capital se paga si el mercado no encuentra un valor real en esos chips? Esto es interesante
como lo cuenta el artículo porque nos presenta una dinámica a la que estamos bastante acostumbrados
y es que normalmente el ciclo de vida de un producto suele presentar una función sigmoide,
es decir, inicialmente hay unos pocos usuarios interesados por un producto, esto luego crece
exponencialmente, entre más personas se ven interesadas por ese producto y ya cuando el
mercado está saturado, pues ese producto pasa a estabilizarse. Claro, por lo que hemos visto a las
empresas realmente lo que le interesa es seguir un crecimiento exponencial y lo que vamos viendo es
que nos van presentando innovaciones que concatenan estos ciclos exponenciales. Cuando un producto
parece que va a empezar a saturar ya te están sacando el siguiente producto que te tiene que
volver a interesar. Que tu teléfono es demasiado grande, lo hacemos pequeño. Que no quieres que
tenga botones, pantalla táctil. Que ahora como tiene pantalla táctil quieres que sea más grande,
más grande. Que como la pantalla es muy grande ahora quieres que se doble, que se doble y así todo
el rato, ¿vale? O sea, siempre vamos buscando maneras de seguir añadiendo innovación a nuestros
productos. Y son en conjunto todas estas fuerzas exponenciales de desarrollo, innovación, de
adaptación de la demanda, que es lo que va haciendo que realmente la ley de Moore se vea
apuntalada. Y que como ley que apoya su pata derecha en un sector tan innovador como es el
tecnológico y su pata izquierda en los mercados financieros que dan capital y que reinvierten
para seguir haciéndolo crecer de manera exponencial, esto tiene un crecimiento que no tiene límite,
al menos hasta que te chocas con la realidad, que son las leyes de la física. Que esas sí se tienen
que cumplir sí o sí. Y es que sí, la técnica de ir miniaturizando poco a poco cada año el tamaño del
transistor, pues está muy bien, se puede hacer, pero siempre tiene un límite. Y es el límite que nos
impone en este caso los amigos de Quantum Fracture y Javier Santolalla. La física aquí tiene algo que
decir. Problemas como por ejemplo el efecto túnel que hace que no podamos construir transistores más
pequeños porque directamente la física cuántica empieza a darnos problemas. Y esto plantea un
problema porque te imaginas un escenario donde de repente ya no podemos seguir miniaturizando el
tamaño de nuestros transistores y por tanto no podamos seguir teniendo este crecimiento exponencial
en la capacidad de cómputo de nuestros chips. ¿Qué haríamos entonces? ¿Cómo nos enfrentaríamos a
esta limitación? Pues la cosa es que esto ya ha ocurrido. Ya en el pasado nos hemos encontrado en
situaciones donde la propia física nos ha limitado el proceso de miniaturización de los transistores.
Por ejemplo, esto ocurrió en 2005 cuando llegamos al límite de la escala de Denard. La escala de
Denard es otra ley que en segundo plano ha trabajado en conjunto y de manera muy estrecha
con la ley de Moore y que nos indica que cuando nosotros reducimos el tamaño de los transistores,
cuando aumentamos la densidad de transistores en nuestros chips, el consumo energético se sigue
manteniendo constante. Esto es genial y cuando deja de cumplirse es un verdadero problema. Pero
claro, ¿qué pasó? ¿se paró el crecimiento del mercado? ¿dejamos de construir, de diseñar chips
cada vez más potentes? No, simplemente se cambió el paradigma. Dejamos de decir, oye, ¿por qué no
intentamos en vez de hacer cada vez un coche que sea más rápido para resolver todas las tareas?
¿Por qué no distribuimos esto en diferentes coches? ¿Por qué no intentamos buscar en vez
de un procesamiento en serie un procesamiento en paralelo? Y ahí fue cuando empezaron a surgir
todos los procesadores multicores que hoy en día pueblan nuestro mercado. En este caso pasamos a
intentar ganar capacidad computacional a través de aumentar la densidad de transistores en nuestros
chips a una alternativa de cambiar la propia arquitectura para poder tener más núcleos de
procesamiento y empezar a paralelizar nuestros algoritmos. Es el surgimiento de la era del multicore.
Por tanto, ¿ha muerto la ley de Moore? No realmente, lo que ha muerto ha sido la escala
de Dennard, pero seguimos añadiendo más transistores para generar más núcleos de
procesamiento. Lo que hemos introducido ha sido un cambio de paradigma en toda la industria. Ojo,
un cambio de paradigma que no solo afecta al chip, sino que afecta a todo el equipo,
a todo el sistema operativo que afecta al software que desarrollamos, que lo cambia todo.
Un cambio de paradigma que nos ha permitido durante 15 años más seguir acudiendo a nuestra
cita con la ley de Moore. Aunque poco a poco empezamos a ver que esto de nuevo se vuelve
a ralentizar. Cada vez más, incluso dentro de este paradigma multicore, nos cuesta alcanzar la marca
que Moore nos propuso hace ya 50 años. Y esto nos hace preguntarnos si realmente ya estamos ante
el fin de la ley de Moore. Si realmente todos estos titulares catastrofistas que cada año vemos
empiezan a tener razón. Bueno, en algún momento lo iban a tener. La respuesta es ambigua,
es difícil de dar. Pero lo que sí os puedo decir es que hay algo que se está horneando en la cocina.
Porque algo está ocurriendo. Ya que si bien a la industria parece que le cuesta cada vez más llegar
a su cita con la ley de Moore, al mismo tiempo vemos que hay otras empresas que parecen moverse
a ritmos diferentes. Como ejemplo os presento a Jensen Huan. Huan, Huan, Huan, Huan. CEO de la
empresa Nvidia, uno de los fabricantes que más responsabilidad tienen en el futuro de los chips
que se utilizan para el entrenamiento de inteligencia artificial. Escuchad bien lo que decía Huan en
2019 en una de sus conferencias.
Efectivamente parece que para determinados tipos de computación, como por ejemplo la inteligencia
artificial, el ritmo al que se incrementan las capacidades de computo no se van regiendo por
los avances que nos aporta la ley de Moore, sino que hay otros efectos que también entran en juego y
que hacen que las mejoras de rendimiento sean el doble cada año. Un ritmo mucho más acelerado que
lo que nos da Moore. ¿Qué significa esto? Pues que aquellas computaciones que se puedan aprovechar
de las mejoras de rendimiento que se dan en el mercado de las GPUs podrán ver evoluciones tan
impresionantes como las producidas en AlexNet, que hace muy pocos años requería de seis días para
poder entrenarlo y actualmente lo podemos hacer en sólo 18 minutos. Una mejora de rendimiento de más
de 500 veces. Factores de mejoras que en realidad dentro del campo de la inteligencia artificial
estamos muy acostumbrados a ver, tanto en procesamiento del lenguaje natural, en reconocimiento
de imágenes, mejoras que hacen que cada año nuestros modelos puedan ser entrenados con mayor
capacidad, con mayor número de parámetros y nos pueda aportar un mejor rendimiento. Solo haría
falta hacer un visionado de los vídeos de este canal para descubrir que efectivamente estas
fuerzas exponenciales también se están dando dentro del campo de la inteligencia artificial.
Y esto no es una opinión que yo os esté dando, sino que esto realmente son las observaciones
realizadas por el periodista Christopher Mintz en un artículo que se titula La ley de Juan es la
nueva ley de Moore. Y que si bien no va a pasar a la historia por ser un artículo bien escrito donde
se haga un análisis muy profundo, realmente podría pasarlo por ser ese artículo donde sacuñó por
primera vez la ley de Juan. En este caso relacionándola directamente con el CEO de la empresa Nvidia,
al igual que se hizo en el pasado con Moore e Intel. Ahora, lo que hay que entender es que la ley
de Juan realmente no basa sus mejoras únicamente en avances en el propio chip, sino que lo basa
en todo el stack, es decir, tanto en el chip como en la arquitectura, como en el software,
como en los avances de inteligencia artificial. Es todo en conjunto lo que permite que año tras
año la mejora de rendimiento a la hora de entrenar modelos de machine learning vaya mejorando
exponencialmente. Pero no hay que obviar una cosa que es bastante evidente y que es una crítica al
propio artículo de Christopher Means, y es que la ley de Juan no busca sustituir a la ley de Moore,
ya que la ley de Juan depende fuertemente de la ley de Moore. Es decir, los avances en el chip,
los avances en el procesador todavía se tienen que seguir dando para poder seguir encontrando
estas mejoras de rendimiento. Si la ley de Moore deja de funcionar, la ley de Juan también se verá
afectada. Y estoy de acuerdo en eso y también estoy de acuerdo con quien dice que realmente la ley
de Juan cuenta con muy pocos data points para poder llamar la ley, para empezar a ver que es una
profecía que se va a ir cumpliendo año tras año y que se pueda convertir en un objetivo como lo
ha hecho la ley de Moore. Yo quiero pensar que esto es más una estrategia de marketing mezclada
con los anhelos de buscar un sustituto para la ley de Moore, pero igualmente me parece interesante.
Interesante porque esto de nuevo nos está hablando de un cambio de paradigma que se está dando dentro
de la computación, donde al igual que en el pasado tuvimos que adaptarnos para poder coger nuestros
algoritmos y poder paralelizarlos en diferentes núcleos, ahora estamos buscando algoritmos que
se puedan sustentar en la paralelización de los datos. Es decir, ahora podemos contar con
algoritmos que directamente puedan tomar grandes conjuntos de datos y puedan distribuirlos a
diferentes núcleos para que en paralelo se pueda ir analizando cada uno de ellos. Es la naturaleza
que hace funcionar a todo el campo del deep learning. Por poner un ejemplo de actualidad,
podríamos pensar en el nuevo sistema de Alphafault, un sistema que es capaz de
conseguir encontrar la estructura tridimensional de las proteínas. Perfecto. En un contexto anterior,
tendríamos que pensar que si quisiéramos aprovechar el rendimiento de paralelizar
el algoritmo, pues cómo podríamos hacer que diferentes tareas se vayan cumpliendo en paralelo.
Por el contrario, a día de hoy, gracias a que esto se consigue utilizando redes neuronales,
sabemos que podemos escalar este sistema al número de núcleos que nos pueda aportar nuestra GPU,
porque directamente lo que estamos paralelizando es la distribución del análisis de datos. Las
redes neuronales actúan como el sustrato sobre el cual podemos plantear nuestro problema,
pudiendo paralelizarlo en un alto número de núcleos. Una distribución del procesamiento,
que además se beneficia, parece ser que exponencialmente de momento, de cada
mejora que se produzca en el stack, tanto en el hardware como en el software como en
la inteligencia artificial. Esta es la ley de Juan, una ley que lo que nos dice es que,
bueno, que si tú consigues vincular tu problema, tu computación a los chips,
al mercado que justamente una empresa como Nvidia te quiere vender, pues vas a conseguir
una mejora de rendimiento en los próximos años que podría ser superior a la que Moore nos podría
ofrecer. ¿Qué pensáis? ¿Es este el futuro de la computación? ¿Es este el software 2.0 del que no
paramos de escuchar? ¿O las mejoras de computación vendrán por otro lado como chips tridimensionales,
chips cuánticos o chips más especializados para cada tipo de tarea? Quiero saber vuestra opinión
porque este es un tema del cual no conozco tanto y me parece que es muy interesante el debate que
se pueda generar en comentarios, pero antes también os quiero hablar de la ley de DOT,
que históricamente nos habla de cómo el incremento en el número de patreons se va dando
linealmente con el número de suscriptores que tiene el canal y que por tanto nos dice que la
línea de crecimiento debería seguir por aquí, aunque hay titulares que dicen que la ley de DOT
ya está acabada. No sé qué opináis. Apoya del canal. También es una ayuda que permite que el
canal siga creciendo, que la industria DOT CSV siga creciendo año y año de manera no exponencial,
pero bueno, que siga creciendo. En cualquier caso, si te ha gustado el vídeo, deja abajo tu like. Si
echabas de menos los tatacoffees, dímelo. Yo ya me acabado mi café, normal, porque este vídeo lo
he grabado en casi tres días, pero no pasa nada. Nadie lo ha notado, que hay cortes por aquí y por
allá. Nos vemos en el siguiente vídeo con más Inteligencia Artificial aquí en DOT CSV.