Bienvenidos a un nuevo episodio del podcast de INNIC.
Esta semana venimos con otra tertulia, temas siempre que nos
interesan a nosotros, a los nerds de las startups y en este caso
muy técnico, el mundo del data.
Romero y yo vamos a hablar con Pao Ramón, el CTO de Factorial,
y Margon Zález, quien está liderando actualmente en
Factorial el proyecto de ordenación de todo nuestro
data.
Y precisamente de esto va a ir este episodio.
¿Cómo ordenar los distintos datos, fuentes de datos,
distintas fuentes de verdad, distintos lenguajes de negocio
con el que hablamos de los mismos conceptos o distintos
conceptos?
¿Cómo los unificamos y cómo esto sirve al negocio para
tomar decisiones?
Repasaremos la evolución histórica que han tenido los
distintos stacks tecnológicos para gestionar el data,
desde los data warehouses, Hadoop y más últimamente pues
todo lo que son desde el cloud, con los data lakes y las
distintas tecnologías, los tres clouds y data bricks,
snowflake.
Como no puede ser de otra manera,
también vamos a tener nuestras discusiones filosóficas sobre
qué hacer con los datos y cómo los datos contribuyen al negocio.
También finalmente vamos a acabar repasando cuál es la
evolución hacia dónde creemos que va el mundo del data y
cuáles son las herramientas, tecnologías, servicios,
empresas que van a dar soporte a este mundo.
Y el podcast de esta semana es posible gracias a vosotros,
a la gente que compartís el podcast con vuestros conocidos,
en social media, que nos envíais feedback y sobre todo aquellos
miembros que os suscribís a nuestro canal y nos ayudáis
económicamente a mantenerlo.
Y este podcast es posible también gracias a nuestro
sponsor corporativo, Factorial, el software de recursos
humanos que permite a las empresas automatizar la
burocracia, la gestión de empleados,
estructurar precisamente el data, el data de sus empleados,
documentos y datos estructurados de empleados y todos los flujos
que tienen que ver con ellos, ya sean flujos económicos,
de payroll, de variables, como flujos de performance,
desempeño y también procesos administrativos como serían
pues las vacaciones, las bajas médicas, etcétera.
Muchísimas gracias a vosotros y a Factorial por hacer
posibles de podcast y, sin más, os dejo con nuestras
paranoias sobre el mundo del data.
Bienvenidos a Startup Insights Stories de INNIC,
un podcast donde hablamos de startups, negocio y tecnología.
Bienvenidos una semana más al podcast de INNIC.
Yo soy Bernat Farrero y esta semana estoy con Jordi Romero.
¿Qué tal?
Con Paul Ramón.
Hola, buenos días.
Y con Margo González.
Gracias por invitarme.
Mark es especialista en data y hoy queremos hablar de data.
Hace tiempo que, bueno, hace un solo episodio que hemos
empezado a hacer podcast de tertulia,
donde discutimos de temas que nos interesan.
La verdad es que no tiene más, que son temas que realmente
le dedicamos tiempo internamente a discutir y,
sin ir más lejos, el data fue, en un momento dado,
un gran problema que tuvimos en Factorial que Paul resolvió
contratando a Mark.
Bueno, estamos en ello, estamos en ello.
Estamos resolviendo.
No podemos decir que no resuelve este problema y yo creo que
probablemente nunca lo podamos decir, como tal.
Pero bueno, el data.
El data es un espacio muy interesante.
Estamos viendo últimamente compañías que resuelven
problemas concretos de gestión de datos y que están saliendo
a bolsa y que valen centenares, bueno, decenas de billones,
casi 100 billones.
¿Qué lo que llegó a valer más de 100 billones?
Snowflake.
Snowflake.
Ahora volto a bajar.
Databricks, por no hablar del crecimiento de los tres clouds,
Google, Microsoft y Amazon, ¿no?
Entonces, esto es un espacio que realmente está cambiando
mucho, está creciendo mucho.
Antes comentábamos, hace 20 años,
cuántos jobs de, cuántos trabajos de data analysis
habían al mercado versus cuántos hay hoy.
Se habla mucho más de data.
Mark comentaba antes de empezar.
Venimos del mundo de la intuición y lo que antes era
intuición en todos, en cualquier nivel de la organización,
se está convirtiendo en análisis racional basado en,
efectivamente, en conocimiento histórico en datos.
Y yo siempre cuando veo emprendedores y me dicen,
no, es que vamos a hacer equit sistema de datos,
siempre pienso, bueno, o sea, basando en sus datos,
basándose en sus datos, siempre pienso, bueno,
eso es un problema de ricos lo que estás teniendo, ¿no?
Pero eso significa que ya tienes datos.
Cuando empiezas una startup, no tienes nada.
No tienes datos, ojalá tuvieras históricos,
no tienes absolutamente nada.
Sin embargo, ahora, a diferencia de hace años,
muy rápidamente empieza a poder analizar cosas.
Y ejemplos de esto son la interacción,
los eventos que genera un website, las visitas,
todo esto que antes tú hacías pruebas,
puedes hacer más o menos David Testings,
pero no podías, no tenías la capacidad de análisis que tienes
a día de hoy.
Entonces, data, se puede aplicar a todo, al mercado,
a entender las tendencias del mercado,
a solucionar problemas de clientes que antes solucionaban
de formas intuitivas y que ahora se pueden solucionar de formas
racionales utilizando su propio data.
Pero también hay internamente a la toma de decisiones
de cualquier compañía en todos los ámbitos.
Si nos vamos un poco a la historia,
¿qué ha pasado en los últimos años?
Marky Pau, en los últimos 20 años,
¿qué veis observado?
Desde que empiezan a aparecer los data warehouses,
¿qué ha cambiado?
¿Qué crees tú?
Básicamente, ha cambiado Google.
O sea, desde los 70, hay los data warehouses que te ayudaban,
que la compañía que quería invertir,
pues te ayudaban a entender lo que había pasado.
¿Quién usaba warehouses en los 70?
Todas grandes.
Sí, podemos tener desde compañías de logística,
compañías de comer.
O sea, una telefónica, por ejemplo,
una compañía que hace coches.
Exacto.
Y es todo Oracle, ¿no?
Sobretamente era el...
Básicamente.
Y aún siguen las licencias por ahí.
Pero sí, básicamente, quien quería invertir,
quien quería pasar de mefío de mi intuición como director
general, que tengo 40 años de experiencia en el sector,
bueno, vamos a ver si los datos me ayudan a entender realmente
bien qué pasó con el último modelo de los coches o las
prendas que estoy sacando, porque no se ven tanto.
¿Quién quería invertir en esto?
Monta un data warehouse, que costaba mucho de mantener.
¿Qué hizo un data warehouse?
Básicamente, una estructura de datos, una base de datos,
no deja de ser base de datos.
Pero que trabaja más con el histórico de los datos para
poder sacar información más de report, ¿no?
Para ponerlo así en plano.
Es decir, tú tienes tu base de datos de producto,
donde están todas tus transacciones de e-commerce,
básicamente tu lógica de negocio.
Y de ahí, pues para no atacar directamente al mismo servidor,
pues sacamos unos datos que los manipulamos,
los dejamos una forma de report y de ahí pues sacamos nuestro
report.
Eso es data warehousing clásico.
Entender qué ha pasado en el pasado.
Los datos crecen, cada vez como comentabas,
hay más datos de interacción, más datos de múltiples fuentes.
Incluso no solo transaccionales, no solo de behavior, ¿no?
Que es básicamente qué hace un usuario en la página web.
Sino que podemos también hablar de los datos que están
produciendo e-commerce con sus exceses.
Todo esto también es súper valioso, hay que importarlo.
Entonces, toda esta cantidad de datos,
específico de lo que hablaba de Google,
intentando hacer el crawling de todas las webs del mundo que
estaban creciendo un ritmo brutal,
pues se dan cuenta de que el sistema de tener estos datos
en memoria, como funciona la gana base de datos, no escala.
Y ellos, que son muy listos, pues sacan este sistema de
computación distribuida, donde utilizan máquinas sencillotas
para computar estos reports.
Y, básicamente, sacar al final su algoritmo de PageRank
para ordenar todas las páginas web.
O, ya, cuando se divide hasta esta tecnología,
gracias a Yahoo, que, básicamente,
copia los papers de Google, pues sacan todo el universo de
Hadoop.
Y aquí, pues, la gente se lo puede montar en sus datacenters,
premis, obviamente, para poder empezar a sacar esta
información.
O sea, la revolución aquí es pasar de una máquina donde está
toda la inteligencia, todo el histórico de los negocios.
Más que inteligencia, el histórico.
Inteligencia viene luego.
Pasamos de eso a decir, bueno, nos está costando mucho
procesar tanto volumen de información.
Necesitaremos una máquina brutal.
No es que cueste, es que no cabe.
No cabe ni en máquina física, por memoria,
porque ya los supercompetadores no te vas a montar un
malenostrum para computarte tus ventas de Amazon.
Y, como decías, las licencias también son caras,
van por cores, y eso no escala.
Un momento que te va a costar más entender esa información
de lo que el beneficio que podías sacar de esa información.
Con lo cual, a nivel puramente de arquitectura,
estamos hablando ahora, hay una revolución en el momento en
que se dice, bueno, vamos a descentralizar la gestión de
estos datos, o sea, el storage y el procesado de estos datos.
Correcto.
Y eso es Hadoop.
Eso es Hadoop.
Y, bueno, BigQuery privado, lo que tiene Google internamente,
que luego lo publica como BigQuery más o menos.
Y Hadoop, que es la versión open source de esto.
A BigQuery viene luego.
Sí, BigQuery es muy reciente.
Pero, en teoría, es lo que ellos usaban internamente
antes de Hadoop, ¿no?
BigQuery viene luego.
La base a BigQuery, sí que es más antigua,
que básicamente es.
Primero, necesito almacenar la información de forma fiable.
Es decir, que si se me rompe una máquina,
porque las máquinas que tenemos son sencillotas.
Cuando tienes muchas, algunas se rompen siempre, ¿no?
Se va a romper, los discos se van a quemar,
entonces no puedes perder datos.
Entonces, vamos a distribuir primero esa capa de almacenamiento.
Lo que hoy en día sería una Amazon S3, un Google Cloud
Storage.
Luego, vamos a ponerle una pequeña estructura, ¿no?
Igual que teníamos la tabla esta de producto.
Vamos a ponerle una mínima estructura.
Entonces, aquí salen, ahora se llama BigTable,
probablemente en el Vapor se llama Baigual,
en Hadoop se llama HBase, ¿no?
Y son monstruos que, en verdad, son monstruos.
Son muy difíciles de gestionar.
Donde intentan ya poner una estructura a estos datos,
pero te dan mucha libertad, ¿no?
Hay datos que, cuando empiezas a consumir,
datos que tienen tanto volumen, que pueden llegar rotos,
pues no quieres una base de datos que te constringa mucho.
Entonces, bueno, ¿qué danse ahí estas tecnologías?
Puedes decir, ¿dónde luego sale BigQuery?
¿Qué es cómo consultar a estos datos?
Porque ahora los tienes almacenados ahí.
Tienes que contratar a un ejército de desarrolladores,
y además son muy buenos, porque tienen que no solo
saber programar muy bien, sino que tienen que entender
cómo programo mis jobs, ¿no?
Para utilizar esta distribución.
O sea, no es tan fácil.
El nivel de complejidad sube, eso es súper inviable.
Entonces, eso hubiese matado al dictado para las empresas
mundanas, que no tienen esos recursos.
Sigue evolucionando la tecnología y esta distribución,
que de momento era un premis, es decir,
eran varias máquinas tuyas, pasan al cloud.
Entonces, yo creo que aquí es donde hay la gran revolución.
Cuando, de golpe, estas máquinas, esta tecnología,
estas bases de datos, esta tecnología de procesa de datos,
empieza a estar disponible a todo el mundo.
Y de forma elástica, creo que es lo más importante también.
O sea, al final aquí hablas de que tú quieres pagárselo
por lo que usas y quieres poder hacer computaciones muy bestias
cuando haces una pregunta, pero luego igual no quieres pagar
más, porque el caso de uso de un BI, el caso de uso de tener
preguntas, puede ser muy puntual.
O sea, no es como cuando tú tienes un servicio,
tienes que estar recibiendo muchas peticiones todo el rato.
O sea, igual hay cierto momento al día que necesitas respuestas.
En ese momento puedes tener mucha computación,
puedes sacar las respuestas y luego dejas de pagar.
Entonces, yo creo que ahí también es un punto donde todo mejora mucho.
Y no solo eso, sino que te darán las herramientas y a cocinadas
para que tú no tengas que hacer todo ese esfuerzo.
Hoy en día, una empresa pequeña, sin mucha inversión,
puede optar a toda esta tecnología que, como ha contado Marc,
es súper compleja y necesita de ingenieros muy especializados y muy
caros también, o sea, al final, y de repente tienes una API,
tienes una forma de utilizar ese herramienta,
incluso haciendo clicks en botones,
donde de repente tienes acceso a esa tecnología que antes no
hubiese tenido acceso.
De repente nos encontramos en un punto donde hay muchas más
empresas que se pueden permitir mirar al pasado y hacer
esas predicciones.
Y de ahí un poco, viendo a tu análisis de, ostias,
que hay muchos dataanálisis.
¿Qué ha pasado?
Bueno, la barrera de entrada ha bajado mucho y de repente pasa
a ser una opción viable.
El ROI que recibes de estas predicciones versus el coste
pasa a ser mucho más viable para las empresas.
No sé si hay algo más a añadir.
No, no.
Totalmente.
El caso de Datacentis para mí es antes alguien que venía de un
background más matemático estadístico, ¿no?
Muy buenos en analizar qué ha pasado.
No tenía la capacidad técnica para entender cómo gestionar
esos datos.
Ahora ya casi casi lo tienen todo hecho,
entonces se pueden dedicar más a la parte de negocio.
No tienes que preocuparte ni de infraestructura ni de la
gestión del software para gestionar estos jobs de forma
distribuida.
Entonces, la barrera de entrada baja muchísimo.
¿Cuál es la herramienta del Datacentis?
Es Python, es R, es SQL, es un mouse y va haciendo
clics en una interface.
¿Cómo interactúa con los datos de Datacentis?
Debería.
Debería ser Python, la realidad.
Es un programador.
Eso es lo que se debería.
O sea, tú deberías tratar.
¿Debería?
¿En qué sentido debería?
Moralmente.
No, no, simplemente de que te diría que todos los problemas
de machine learning, o sea, la razón por la que machine
learning no ha sido más popular antes es porque lo que
producían los Datacentis era muy difícil de poner en
producción.
Vamos a poner un ejemplo y vamos a justificar por qué
Python es un lenguaje de programación,
debería ser lo primordial, a la hora de, por ejemplo,
contratar un buen Datacentis.
Hasta ahora, si tú eres muy bueno haciendo tu modelo,
mejor que haces un modelo en R, genial.
¿Qué es hacer un modelo en R?
Básicamente, te pones a analizar un Datacent de entrada,
aplicas una serie de algoritmos que llevan conocidos desde
hace bastantes decenas de años.
Hay libros de los 80s que ya son muy parecidos a las
interpretaciones que hay actualmente.
¿Pero analizar qué tendencias o promedio?
Sí, básicamente es clasificación, regresión y poco
más.
Básicamente, puedes decir, ¿a qué se parece esto?
Si buscas que los datos te digan cosas de qué te puede
interesar mirar ahí.
Sí, por ejemplo, cuando hablamos de mirar al pasado,
pues decir, mira, esta secuencia de eventos, por ejemplo,
estas, en un comercio, digamos, de prendas,
podemos decir, ¿dónde cae esta camiseta?
¿Cuánto se va a vender?
¿Va a ser un top hit o va a ser algo más de nicho para
poder, por ejemplo, hacer maquillín?
Entonces, esto sería clasificación.
Decís, le pongo una etiqueta.
Eso es una rama de Machine Learning.
Luego, podemos decir regresión, ¿no?
Que es línea de tendencia.
Decir, bueno, ¿cómo estamos creciendo?
Vamos a seguir aquí para ver algún evento que podemos decir
que va a cambiar esta tendencia.
Entonces, hacer esto con R, jugar,
analizar los datos, bueno, porque quiero un poquito de
entender los algoritmos, pero saber un poco qué quieres sacar
y al final se saca.
Problema es que, luego, ponerlo en producción no es tan fácil,
porque ¿cómo sirves esta recomendación, esta tendencia,
esta clasificación? ¿Cómo clasificas elementos nuevos?
Porque es estático el análisis que haces con un R,
por ejemplo.
No está corriendo todo el rato.
Para esto, necesitas tirar de equipos de desarrollo.
El mismo equipo del baquén, el mismo equipo del front-end.
Es decir, necesitan entender qué hizo esta persona pasar el
código R a lo que tengas, Ruby, a lo que tú tengas en tu
baquén, y servir esto.
Entonces, el time to market de los modelos clásicos era
larguísimo.
Estamos hablando de años.
Perdón a mi inutilidad, pero realmente no entiendo el
ejemplo concreto.
O sea, vamos a un ejemplo para entenderlo mejor.
Todo lo es de un negocio de prendas,
que vende prendas de moda, ¿no?
Que quiere estimar cuál será la futura,
y ahora estamos hablando del futuro,
éxito de un producto que va a sacar.
Y para esto hace un análisis contra su histórico.
¿Qué tipo de análisis puede hacer?
Para poner ejemplos, ¿eh?
En este modelo R, en R, ¿qué tipo de análisis puede hacer?
Pues podríamos poner, por ejemplo,
coger atributos de esa prenda.
Sacados.
¿La que no existe todavía?
¿La nueva?
No.
Sí, a la nueva, ¿vale?
Podemos mirarla.
O sea, por colores, por tipo de prenda, por quiénes
enseña el cuello, lo que sea.
Si tiene un estampado floral, en función de esto,
puede ver un poco cómo el mercado ha respondido anteriormente
a veras parecidas.
Entonces yo le paso estos atributos nuevos, ¿no?
Pues mira, mi nueva camiseta tiene el cuello así,
es de manga larga y tal.
Dime cuánto, más o menos, cuánto stock necesito comprar
para poder optimizar ese precio de compra.
O sea, antes que esto, cuántas ventas voy a tener basado en
las ventas que he tenido en el pasado,
y eso va a conllevar una serie de decisiones como cuánto stock
o a qué precio la compras.
O a qué precio la compras.
No la pongo.
Ese tipo de cosas.
Vale, y esto para eso haces un modelo sobre estos datos
históricos que tienes, ¿no?
Correcto.
Tú decías estático versus dinámico.
No entiendo qué tiene que ver eso.
O sea, tú lo haces, tomas la decisión una vez,
cuando está haciendo la previsión del siguiente
lanzamiento de producto.
No necesitas tener, en este caso, concreto, ¿eh?
Bueno, esta es la pregunta, ¿no?
Nadie es que aún nos vamos al caso concreto o vamos a vivir
en la abstracción aquí.
En este caso concreto, la decisión se toma y se acaba.
Punto.
Sí, pero si quiero sacar otra camiseta muy parecida en seis
meses, tengo que hacerlo todo de nuevo.
O puedo cambiar y decir de manga larga a manga corta y que me
diga a ver qué ha pasado.
No lo sé, ¿eh?
Hay que la expertenes.
¿Qué pasa?
Normalmente los modelos hacen dinámicos, ¿no?
Que tú le pases una serie de parámetros.
Por ejemplo.
Esa acerta.
No, pero lo pones sencillo.
Pones el tipo de cuello, en ese caso, ¿no?
Anga, el fit y el estampado.
Dime, un poquito, ¿a qué se acercará?
Y ahí tiene un porcentaje.
Pues te deje de hacer cierto.
Cuando tú te miras el pasado, ocultas algunos datos del
pasado y pasas tu algoritmo, te vas a decir, ah, pues mira, sí.
Se vendió tan, o sea, está al 90% de lo que realmente se vendió
de verdad.
Ah, pues este modelo funciona al 90% de bien.
Entonces, me puedo fiar, más o menos, ¿no?
Tienen los modelos, se hacen viejos con el tiempo.
Pasan COVID, pasan cosas, ¿no?
Entonces, que el modelo no sabe.
Pero ha pasado.
Pero envejecen con el COVID.
Correcto.
Entonces, cualquier camiseta nueva te puede decir.
Esta parte es sencilla.
O sea, esta parte de modelado matemático es bastante
sencilla.
Si tienes un estadístico potente, un matemático, incluso
alguien de informática especial era en esto, es sencillo.
Llevarte esto para que lo hagas en tiempo real en tu web,
por ejemplo, para recomendar cosas un poquito más, ¿no?
¿Qué prendas, por ejemplo?
En función de esto, pues, te recomiendo esta prenda que va
a ser un hit, ¿no?
Y aún no ha salido.
Pues este tipo de cosas son difíciles, muy difíciles,
o eran muy difíciles de poner en producción.
Perdón, porque decíamos el time to market era larguísimo,
porque el equipo de desarrollo tenía que entender exactamente
de qué está hablando ese loco matemático.
El día de hoy esto cambia, es también facilita, ¿no?
¿Y por qué ha cambiado?
¿Cómo ha cambiado?
Porque los propios matemáticos locos, Datascientis,
ahora hablan de programación.
Por eso decía, un buen Datascientis debe tener una
buena base de programación.
Pero las capas de tecnología también han cambiado para
permitir que pase algo que antes no se podía hacer.
Aparte del cloud, el cloud es obvio.
Sí, es un tema interesante, bastante novedoso,
que lo que se trata es gestionar el ciclo de vida del modelo
de Machine Learning.
Y ahí hay varios temas.
En un momento que tú puedes meter este modelo en un código
que te lo puedes llevar a otro sitio,
puedes hacer muchas cosas y muy interesantes,
como ponerlo en contenedores y servirlo y escalarlo, ¿no?
Es decir, este contenedor se que puede responder a 10
peticiones por segundo de prendas recomendadas.
Bueno, si sé que te puede tener un pico en el Black Friday,
pues pongo 10.
De repente te funciona.
Si tienes que esperar que el equipo de Backend hiciera eso
a mano, pues igual es lo que van a dar.
La elasticidad de la potencia de cálculo existe ahora mucho
mejor que hace 5 años o 10 años.
Es exactamente igual a ingeniería de software.
Si tú quieres hacer una ingeniería de software,
software ha avanzado mucho.
Y hay muchas técnicas que ahora te permiten pues adelantarte
a esto, a escalar, a la seguridad.
Para explicarlo para el profano un poco, ¿no?
Lo que habéis dicho, o sea, has hablado de que puedes coger
un modelo de Machine Learning, meterlo en un contenedor y
servirlo.
Vamos a explicar qué caso de uso puede llegar a tener esto.
O sea, conviertes esta predicción de la que hemos hablado.
Por ejemplo, este ejemplo concreto,
lo conviertes en un servicio que todo el mundo puede utilizar
y preguntar en cualquier momento.
Por supuesto.
Claro, imagínate cuál quiere comer.
Se va a poner un portal de venta de vuelos.
Yo quiero hacer un modelo de, vamos a ver si vale la pena
ponerte una pantalla más, ¿no?
Porque ponerte una pantalla más sube la fricción.
Por tanto, una sección en la web, ¿no?
Antes de hacer el checkout.
Lo voy a poner más en el checkout.
Soy comiendo el avión.
No usas pantalla del avión.
Agencia de viajes, ¿no?
Vamos a pensar si vale la pena subirte tu fricción para
tu compra, por cierto.
Pero esto en on runtime, o sea, mientras estoy comprando un
vuelo decides cuántos pasos va a haber en el checkout o…
Sí, claro.
Es la parte interesante, ¿no?
Sí, sí, es interesante.
Obviamente tú puedes hacer el AVT test.
Lo que hablábamos, lo principio, hasta los tecníos,
tú puedes hacer el test y decir pues prefiero no recomendar añadir una maleta porque esto
al final me hace que la gente se raye y se pide o se ociona el asiento o cualquier cosa que
están haciendo las las aerolíneas no bueno pero igual puede tener mi algoritmo que en función de
tu perfil esos mis datos de entrada te voy a recomendar maleta o no maleta el check-in del
carrito ya no por ejemplo si estás comprando dos vietes de hombre mujer y luego un par de niños
pues igual ahí sí que tiene sentido entonces esa parte de recomendación es la interesante hacer
en tiempo porque ríes no porque eso me preguntaba quién compra todas estas cosas hasta que tuve un
niño y de repente me di cuenta que todos los productos de las aerolíneas estaban targueteadas
a los padres y tiene sentido que siempre pasas por el mismo fan el y antes de tener niños tenía
mismo fan el que ahora y obviamente mis necesidades han cambiado cuando haces una ib test no estás
teniendo en cuenta la infinita microsegmentación que puedes tener por cada caso de uso estás perdiendo
pasta por eso correcto entonces tú dices bueno voy a entrar en un modelo donde haya n variables
que se pueden dar que tienen n resultados y que poco a poco con un modelo de machine learning
voy a ir asociando los los variables y los resultados y voy a ir cambiando dinámicamente
las posibilidades que hay solo usas en este ejemplo usarías los datos de esa misma interacción
tipo se me ocurre si yo elijo un vuelo quizá tu detectas que elijo el más barato con lo
cual sabes que soy demografía voy a optimizar el presupuesto o el más cómodo en plan el que tiene
el la conexión más corta o tengo prisa o viajo por business no es exacto pero también podría
usar datos de fuera no si por las no sé si hay demografías de facebook si de google es y de
amazon y tal y sabes no no hombre de 30 y pico años con familia que trabaja en tecnología esto
también entra en el mix de n variables por supuesto pero la sabe el data scientist de esta
aerolínea no depende del equipo de la tasa de la aerolínea o sea si es suficientemente bueno
tu tienes experiencia haciendo esto tu has sido consultor con compañías no sé si con
aerolíneas pero con compañías que tienen acceso a muchos datos llegáis a usar este tipo de datos
tipo tú sabes mi nombre cuando yo viajo la aerolínea o sabes que soy un hombre de cierta edad
ahora cada vez menos trakin de cookies pero es que tampoco me hace falta porque al final con
cuatro clics que hagas más o menos voy a ver tu tendencia este puedo decir bueno yo no sé quién
es exactamente lo rápido en hacer el click una persona haciendo scroll arrastrando la bardita
del lado no hay mucha gente como yo que clique compulsivamente pero como mío te vas a parecer
a alguien que yo he visto antes entonces te pongo en el saco lo que hablábamos de clasificación y
ahí pues bueno para de familia está buscando unas vacaciones en verano te voy a recomendar un coche
porque dónde vas un coche grande familia maletero con el asillita con todo un tema un tema ético
ahí una zona gris donde la estadística es un poco es un poco brutal en cuanto que algo sea
estadísticamente correlacionado a veces nos gusta porque a veces ciertas acciones que haces te ponen
un saco que no corresponde no es muy muy típico el caso de facebook que tenía varias recomendaciones
que eran racistas no porque estadísticamente le salía el algoritmo le salían tenías que ser
racista depende qué perfiles en cierta gente se comportaba de una forma y te ponían un saco
que era una generalización pero estadísticamente la correcta las mujeres les preguntan una serie
de preguntas que se hacían directamente a la mujer entonces hay un tema que la estadística es bastante
brutal que refleja la sociedad actual no la no la que queremos o sea que también a veces hay que
vigilar un poco y de hecho google recientemente tuvo problemas porque tenía y twitter y facebook
están muy recientemente una posición que se encargaba de intentar controlar esto no la
ética de todo lo que hacen con el machine learning y bueno despidió una de estas personas y es un
tema bastante caliente en cuándo nos fiamos de la estadística del mundo actual versus al mundo
que queremos de una pregunta mar estoy flipando con todo lo que se me ocurre que podría hacer
esta era esta web de viajes hipotética no lo hacen o sea con firmas que las compañías con
cierto tamaño y que que se juegan mucho dinero a vender el vuelo al precio correcto la persona
correcta invierten tienen datas a entes tienen gente como tú que les ayuda a diseñar la
arquitectura de datos tal vale y bajando abajo no quién más hace esto a parte de amazon google
facebook e dreams booking etcétera quién más utiliza datos para tomar decisiones en real time
sobre su servicio hasta dónde baja pues a ver de todo el mundo podría hacerlo te diría que
actualmente ecomers ya están metidos gracias a gente como asos o amazon no no hay nada a hacer
ahí el orden que te salen los productos recomendaciones personalizadas para ti es tan
totalmente modelados no entonces ecomers hay muchos y hay mucha gente haciendo estas cosas
incluso y como es pequeñitos sí y si lo hacen ellos o hay algún día es que hay servicios ya
hay servicios lo que hablábamos ahora solo hace falta casi pasar tu lógica que no deja de ser
tus datos tu histórico y tú tú sabes lo que ha hecho tu público en los últimos últimos años para
poner un poco de temporalidad esto ellos son capaces de enriquecer por ejemplo tendencias de
en amazon no tendrías de compra en amazon entonces lo mezclan con tus productos saben etiquetar esos
productos no de servicios de amazon web services se alimentan de estos necesitas casi un 10% de datos
y tienes recomendaciones que están muy bien claro una recomendación aunque hacer que hacer
un 80% va a tener un impacto al principio de ponerlo no ponerlo bastante alto entonces si puedes
subir un 10% tu comerción a comprar pues creo que todos aquí firmamos el problema de esto vuelve
a ser el problema de tener los datos a amazon efectivamente tiene muchísimos datos no tu montas
tu ecomers y buena suerte teniendo podiendo entrenar a tiempo este algoritmo sin embargo lo
que sí que puedes acceder y eso es lo que google o facebook democratizan y lucrándose mucho con ello
es el los datos generales que tienen estas plataformas no y esto se utiliza mucho en
captación es lo que se llama las audiencias look alike que básicamente es un sistema de
autobidding que hacen ellos buscando estos mismos patrones con todos sus infinitos datos que tienen
de navegación de todo el internet y es increíble increíble lo bien que funciona a mí me acojó
a priori hacer esto porque digo ostia hay un algoritmo que está decidiendo cuánto me gasto
yo en publicidad en su plataforma ellos son los que en eligen los que deciden como perdona como
yo como negocio como negocio como negocio como individuo no como negocio que pago para publicitar
mi producto le estoy dando el poder de que ellos dejen qué campañas qué presupuesto que todo a
mí me pone nervioso pero cuando veo lo que funciona lo bien que funciona ya si que en blanco
literalmente es lo que pasa lo que pasa y así crece google de cada vez cerrar el último cuartel
no se lo habéis visto creciendo brutalmente bueno bueno por el dato y solo tienes que darle las
cosas que no saben básicamente cuándo convierte en plan mira este usuario me ha comprado por
verlo de 50 euros y ellos te optimizan absolutamente todo saliendo de google facebook amazon netflix
y todos los e-commerce si yo soy un emprendedor que estoy montando un netflix aquí no sé pero
tiene muchos datos netflix es muy famoso netflix su agorismo y youtube no es un concurso de un
millón de dólares buscar netflix recomendación y encontraréis artículo es brutal es brutal
las carácteras de las películas están personalizadas a vosotros en función de los de los
actores que más os gustan puede ser el un actor que simplemente no os gusta mucho de rock y sale
haciendo un cameo y eso lo va a poner porque seguís a de rock es brutal y volviéndolo del
sexismo no eres hombre te muestra una mujer de buen ver eres mujer te muestra un hombre de
cachas y conversó en redita a la calatura seguro que incrementa para unas personas muy simples
pero aparte de eso si soy un emprendedor que tengo un software de un sas para peluquerías por
ejemplo hay que pinta el data tengo que preocuparme por data tengo data me olvido por completo lo
pronto a todos ya bueno y puedo poner nuestro ejemplo que somos un sas no son los de peluquerías
si estamos hablando hemos hablado mucho de de big data y de cosas muy muy grandes hay problemas
con datos que son a escala más pequeña que no hace falta un tema tan estadístico que es que es
muy importante y los y lo y cada vez las empresas por muy pequeñas que sean se están dando cuenta
que que es muy relevante que es al final unificar el lenguaje de la empresa unificar las definiciones
y democratizar un poco la toma de decisiones basados basadas en datos no habéis escuchado
mil veces el somos una empresa data driven o tomamos decisiones de forma data driven que
vernal le pone muy nervioso volviendo el tema de intuición hay que tener ambos
de igualmente no al final paréntesis bob Iger el famoso ex CEO de disney dijo en disney nos
amamos los datos para nada imagínate que película hiciéramos si la hiciéramos usando data en lugar
de un director creativo de nos se cree no es que es que siempre hablamos presuponemos
paréntesis dentro de siempre presuponemos que existe una pregunta o sea ojo e ya ojo por
si si tenemos toda esta tecnología todos estos datos alguien tiene la pregunta la pregunta
bueno a pesar de esto no siempre es precio el futuro entonces también por eso digo a
pesar de que no tengas suficientemente datos históricos como para poder precio el futuro
con la cierta relevancia sí que hay un problema a veces tan básico como responder el presente
y muchas empresas cuando tú le preguntas a una empresa y tú le preguntas a diez personas a la
empresa y le dicen cosas distintas y luego tienes que ir al borde y a cuál de las diez pones para
decir que hay un trabajo que que yo que cada vez es más presente en el cual se habla de una de una
definición conjunta donde la empresa se junta y monta un catalog de datos donde se hacen esas
definiciones y se persisten en un sitio único de tal forma que cuando cualquier persona de
la empresa tenga esa pregunta y quieres hacerlo porque quieres que cualquier persona de empresa
pueda tomar decisiones por el final también cada vez vemos que las empresas intentan darle más
poder a managers a empleados o sea cualquier persona entonces cuando tú expones estos datos
a toda empresa sabes que van a obtener la misma respuesta por tanto pueden sacar conclusiones
similares o iguales entonces aquí hay un importante de unificación y democratización
aparte de eso hay un tema obviamente que tú no puedes exponer todos los datos a todos empleados
por temas de compliance o sea de tú mostrar datos sensibles de tus clientes por ejemplo no lo deberías
hacer vale por gdpr es que la gdpr te dice no que deberías solo mostrar los datos indispensables
por ejemplo para qué para servir al cliente para analizarlo y tomar mejores decisiones en el futuro
entonces ahí hay yo que es esta combinación de damos constrain no tener una única definición para
que toda empresa pueda responder a las mismas preguntas y el tema de no quiero darle acceso a
los datos de producción a toda empresa al final sí que yo creo que hay muchas empresas que adoptan
un equipo de data igual un poco más pequeño y no tan vicioso como predecir el futuro o big data o
cosas así pero sí que es más de decir puedo servir datos a toda empresa a un nivel de compliance
que no esté que esté respetando la privacidad de los clientes pero pero a la vez que todo el mundo
pueda hacerse preguntas y tener respuestas de forma fácil siguiendo con el ejemplo de la de la
empresa ficticia el otro día fue una reunión esa anécdota pero interesante donde precisamente el
título de la reunión era unificar conceptos vale porque efectivamente cada uno le llama
distinto cosas parecidas o a cosas o la misma cosa la semántica el antes del inicio de la
reunión preguntamos de qué esperamos de esta reunión definir el concepto visitante lit y
dil y cliente cliente ya lo dejamos para la siguiente reunión porque es otro gran mundo
pero en esta era era bastante muy ambicioso visitante vale a minuto 45 de la reunión todavía
estamos en visitante y no había ningún acuerdo y pedí que por favor dejáramos de esta reunión
porque no nos iba a llevar a ningún sitio pero y es normal o sea que es un visitante por ejemplo en el
caso de factoria no es un visitante de la página web es alguien que se ha registrado y ha dejado
los datos no estoy tendremos más datos igual sería un ritmo pero igual es un visitante a un webinar
que hemos hecho igual es alguien que está viendo un pdf que hemos generado y que está circulando
por ahí no es único no es único como saben el mismo entonces lo que estabas comentando tú
no de ostras en dentro de una organización hay muchos nombres para las cosas y hacer este
ejercicio de homogenización brutal es un trabajo con un coste importante y no siempre es necesario
también hay que tenerlo en cuenta a veces el 80 a 20 te funciona si si dos personas te dicen
número y más o menos si es un 80 por ciento ha curado y cuando uno sube lo resube y cuando uno
baja lo trabaja más o menos entonces puedes tirar por ahí para mí la forma de bloquear este tipo
de trade-offs normalmente es cuánto vamos a crecer siempre pregunto lo mismo soy muy muy pesado
cuánto vamos a crecer resolviendo este este bottleneck no que aparentemente ahora es tan
importante y de golpe todo el mundo y ha montado una reunión multidisciplinar con toda la gente
yo que vamos a conseguir con eso cuánto vamos a crecer con eso pero puede estar toda la vida
homogenizando y trabajando para generar vacos y generando datos y analizando me decimos más lejos
ayer hablé con el equipo de producto de air call y y me decía ostras una persona que era
tanta información pero me decía o sea tenemos tantos datos de los clientes que estamos bloqueados
y están definiendo el roadmap a tres años ahora mismo un saludo de aquí ánimos
y y están están bloqueados o sea tienen muchísimas fuentes de datos tienen un equipo de 400
personas y creciendo no había pensado pero es brutal claro se han dependido el ritmo no
es velar más pero saben quiénes son tus leads tus deals y aumentos la frecuencia contactos que
quizá la desvendido no se tienen muchos datos implícitos en el hecho de que hablas con un número
con otro claro brutal entonces es súper curioso escuchar cómo hablas de esto y el nivel de conformismo
con el status quo es decir bueno esto está bien es verdad que en una conversación en castellano si
hablamos de lo mismo con sinónimos vamos en la misma dirección pero si decimos cosas diferentes
nos pondríamos a discutir o pondríamos otra reunión para sentarnos y vamos a aclarar esto
porque no hacemos lo mismo con los datos pero porque a mí sólo me interesa una cosa marc que es
crecer también me interesa crecer si a mí esta conversación una cosa es mi interés mi curiosidad
analítica académica e intelectual que la tengo también y que puedo hacerlo a partir de las 8 de
la noche siempre le digo todo el mundo lo que va es que luego estoy yo solo nadie se queda las
cervezas para tener sus conversaciones tan interesantes pero durante el día esto va de crecer
entonces si tienes qué consigues con eso esos son como los trade-offs entre centralizar y
descentralizar los datos no tenemos que centralizar los datos porque bueno el crecimiento es una
capa y es datos tienes que definir o sea una de las cosas que es el dato es el único con mi interés
bueno pues perfecto ésta será tu north star muy bien genial correcto pero para llegar a esa métrica
es lo que nos pasó con con el mrr pues no era lo que decíamos pero incluso eso súper súper bien
incluso eso no me preocupa porque está mal pero está siempre igual de mal y entonces no no no no
es indeterministicamente determinado en concreto o sea no es por ejemplo temas de conversión o sea
conversión normalmente es un número de vídeo entre otro visitantes o delita cliente etcétera
si uno de los dos números está teniendo ciertas cosas en cuenta o no o no los tienes bien metricados
puedes sacar conclusiones erróneas no por ejemplo año pasado hicimos muy muy en detalle
es un ejemplo que le ha pasado a todas las empresas y que no le ha pasado vamos a contratar a
persona que tenga marketing vale porque lo dicen todas las empresas bajo la conversión red de forma
radical entonces teníamos un equipo de ingeniería mirando los correos mirando si el delivery mirando
si había un bag y tenemos ahí exacto eso cuesta dinero vale y no había forma todo todo teníamos
una pinta etcétera hasta que decidimos segmentar las visitas y ver qué visitas tenían que conversión
red y vimos que había una campaña de pait que estábamos invirtiendo dinero que llevaba muchos
visitantes y no había absolutamente ninguna conversión desde repente ahí mediante los datos
mientras una definición estandarizado de que es esta conversión red y que es lo que hay ahí
podemos determinar hay que apagar esta campaña de pago porque no solo no solo estamos pidiendo
si no que sino que me encanta bueno se entiende no no no y te digo por qué porque porque
es esta esta necesidad centralizadora del ingeniero y concretamente tú ya te tengo que
menos mal que la tienes porque eso nos da cierta homogenización pero o sea tú no estás
decidiendo sobre las campañas de pago no pero sí que se preocupa si baja la conversión rate porque
hay que hacer algo de las campañas de pago no el overall porque hay que haberta que dice
conversión rate ha bajado un montón la persona que que lidera estas campañas de pago tiene que
tener un mecanismo real time para ver la performance me da igual que sea el céntimo me da igual que
sea con un grado de error alto pero tiene que poder ver el impacto real de estas campañas que
además es real time no puedes a veces no tienes horas para parar o relanzar campañas no entonces
si esta persona no se está dando cuenta de este problema y me da igual que sea con un sistema
homogenizado centralizado datos está llevando está metiendo pasta en equips oportunidad de negocio y
debería estar generando oportunidades de demo en nuestro caso o de compra o de clientes no y eso no
está pasando esta persona que está metiendo pasta en esta oportunidad y está viendo que no está
generando negocio debería levantar el dedo cuando esto no pasa por cierto esta persona seguramente
ya no sigue en la compañía la empresa hipotética de siempre tengo un contra ejemplo imagínate que
hay un una campaña que da un montón de visitas muy baratas y que hay roi positivo pero mete mucho
ruido vale pauti quizá tiene un alarma que dice conversión rate global está bajando mierda
tenemos un problema la compañía hemos hecho un cambio en la web de botón de no sé que hemos
roto algo pero cuando pasa esto fallado todo es decir yo no digo de no trabajar con data digo
la persona de pie tiene que identificar el data necesario para tomar decisión pero si es bueno
a saco no es el que más le da estar metiendo ruido porque su infe no pero por eso por qué tiene que
estar homogenizado y hablar la misma lengua que el tío de costumers access que le importa un rábano
esto porque tiene otros objetivos de negocio porque alguien tiene que saber si hay un problema en el
conversión rate global porque un cómit lo ha roto todo o es que hay una campaña que añade
ruido esto hay que saberlo porque hay un problema en la conversión rate global claro que hay que
saberlo y es muy grave pues este es el ejemplo que pone claro es muy grave pero el problema no ha
sido el problema ha ido por otro lado y lo ha acabado viendo en el conversión rate global pero
no sólo eso al final tú imaginas que convierte muy bien de visitante alit no tienes un conversión
rate y va muy bien pero tienes otro otro parte del workflow que pasa en otro sistema que es por
ejemplo un salesforce un crm que es la conversión al cliente y de repente tienes información en un
sistema de hecho que son tres porque tienes a analytics que te dan las visitas tienes tus signups
que están tus baseatos y tienes el crm que está en otro sitio eso vemos más y más porque cada vez
compramos más y construimos menos que está guay porque tú en un mes montas un mvp montas una empresa
levantas capital y tanto market en dos meses puedes lanzar una empresa el tradeoff es que de
repente tienes la información distribuida en todos esos servicios que están geniales yo no quiero
construir un salesforce al final ni un sendes ni un intercom nada de nada pero de repente tienes una
necesidad que para tú poder saber de la visita al closing del crm pasas por diferentes sistemas y
ahí no te queda otra que juntarlo todo para poder ver esa esa figura de ahí sí que o tienes una
definición o es muy difícil decirlo que no te queda otra yo yo challencheo o sea el challenge a este
no te queda otra puede ser no puede ser depende de lo que de lo que quieras conseguir de tu
stoppers de si estás o no estás haciendo tu objetivo porque esto es lo importante estamos
aquí para hacer nuestro objetivo no y hoy es uno y mañana es otro y se va complicando la cosa y
cuando la persona de peit como lo mides lo mides sólo por su parte del funnel o lo mides de forma
entera porque al final intento simplificarlo al extremo no porque si tengo que darle la la en tu
en a esta persona estoy muerto y más que no con un ciclo de venta que no sea corto pero nos estamos
yendo al negocio y tenemos que hablar de pero está muy relacionado es claro relacionado está muy
relacionado es la base de cómo vas a tomar decisiones tú al final tú tienes tú tienes tu
panel no y tú vas a tienes un tiempo limitado vas a decidir dónde vas a invertir ese momento si en
el caso que miramos del hit está mal calculado y el doble tu conversión reino está mal tu problema
no está ahí invierte tus esfuerzas en otro sitio entonces es normal que odies el término de data
driven porque está definido muy al azar no en plan de mientras todos sabemos de lo mismo mientras la
north star nos diga que vamos bien pues todo bien no no sé si porque no se puede justificar el
analfabetismo de los datos es decir todos sabemos leer escribir castellano catalán les vale pero no
sabemos leer y escribir los datos no sé si tú no eres capaz de de sentarse y decir mira ésta es la
definición y estos son los datos reales visites leads lo que sea tienen esta definición y cada vez
que yo hago un dashboard encima de esto tiene esta pinta no sabes leer los datos bien y el equipo tech
o el equipo de fuentes externas o lo que sea tiene que saber escribir no vale no me tienes que
convencer de que el que exista un solo esquema de datos para toda la organización que todo el mundo
entienda es la hostia estoy convencido el 100% pero pero pero esto es jodido de nariz muy difícil
es muy difícil y más cuando vas contratando gente y vas incomple complicando la organización vale
entonces lo que tiene una startup que es un avión que que va volando a tres mil pies y que está
construyendo el avión al mismo tiempo a veces no tienes el lujo de decir vamos a parar esta frase de
vamos a parar pero esto es gusta mucho a los ingenieras no vamos a parar y vamos a parar y
no podemos permitir o sea generalmente las startups no se pueden permitir parar y como
no puedes parar tienes que gestionar con los traders y las incertidumbres y la simetría de
información y la descentralización y todo esto pasa pasa y vives con ello yo vivo y duermo de puta
madre te seguro que esto no me quita el sueño me quitan el sueño de otras cosas y sé que es un
problema no es que no sepa que es un problema o sea yo yo veo yo voy de un departamento a otro
y veo cómo están hablando distinto de la misma cosa pero pienso cuál es el coste que me genera
hoy en homogenizar eso deja de hacer lo que estáis haciendo dejate producir dejate de empujar la
compañía y poneros de acuerdo en los conceptos todos cuánto me va a costar esto claro y eso es lo
que lo pongo en la en y lo hago y muchas veces lo hago pero pero no siempre depende es un tradeoff
con eso hay ciertos datos que sí que quieres validar al final algo como el mrr pues si quiere
interesa y es importante que todo mundo habla de la misma regla hay cosas como compresión rate que
puede ser un 80 por ciento de fiable y a te vale está claro está claro pero la introducción por
ejemplo sí que ha tenido un impacto grande cuando la attribución es la otra la otra batalla problemas
de atribución claro hemos llegado a final de un quarter y decir ostras lo que más nos ha crecido el
negocio es el outbound vamos a doblar el equipo de outbound o es las campañas de pete vamos a meter
más bachete en pete oye son dos decisiones muy diferentes ahí te la juegas porque si la tomas
con un dato malo correcto te vas a comer el error el próximo tal y luego justificarlo
y yo veo que hoy voy a ser el contrario pero tampoco os te de acuerdo con esa la atribución
de la otra gran las compañías dedican la mitad de su tiempo a discutir sobre la tribución imagina
tenemos 100 mil euros por inversión invertimos en outbound o en pete si yo te digo donde lo
metemos la gente se está en la mitad del tiempo discutiendo esta venta la traído yo
o esta venta la traído él y a mí lo que me interesa es que esta venta exista bueno y como
la siguiente la siguiente más y como tener más y como entonces donde metes los 100 mil euros a lo
que te ha traído una o lo que pasa y lo que pasa en las compañías o sea primero todo estamos
creciendo como queremos si o no esto es la pregunta estamos creciendo si no estamos creciendo vamos
a ver por qué no si estamos creciendo bien bien todos o sea a mí que se pelea la gente por la
atribución si estamos creciendo me da igual donde venga crece pero tú quieres crecer más quiero
crecer más siempre más todavía correcto vale entonces la pregunta es cada uno de esta de
esta gente tiene una forma igual volvemos al caso del pey tiene una forma directa una forma de
correlacionar su venta con no porque la atribución parte de la base de que es unívoca y lo que
pasa en internet hoy en día muchas veces es que todas las ventas y multitouch vale y claro y tú
si quieres retribuir o quieres reconocer el mérito alguien tienes que tener tienes que crear un
criterio unívoca porque si no todos hemos ido todos pero hay un maje de error pero si te equivocas
de mucho hay un problema de negocio enorme yo intento establecer o sea no no busco la pureza
nos ha pasado en el pasado en esta empresa y si es un problema se soluciona bueno cuando es
mucha la diferencia claro cuando es mucha se convierte en un en una de las acciones y aquí está
la factura pero pero para la gente que está empezando pues igual vale la pena parar un momento
para empezar todo el mundo habla de los mismos conceptos de hecho yo una crítica es el parar
o sea no hace falta yo creo que hay anteriormente igual te decía que sí por el la forma que se
ha hecho un buen trabajo estos años machacándote no ver anteriormente si creo que había había más
dificultad y a la hora de plasmar estos modelos estas definiciones etcétera pero yo creo que de forma
muy dinámica puedes puedes ir incorporando estos learnings on the go uno tenéis que estar parándolo
todo en absoluto ha dicho nosotros hemos ido haciéndolo poco a poco y en las partes más críticas
pues que sí que teníamos un interés de determinación única cojimos al siefo por banda
hicimos el tal en cinco minutos que hemos hecho y luego pues lo lo picamos y ya tenemos una definición
única y si la cambiamos se cambia rápido no hace falta pararlo todo o sea con la tecnología de hoy
en día es realmente fácil hacerlo sin sin tener que parar el mundo pero seguramente meter diez
personas en una sala de reuniones para discutirlo no es la forma pero es otra conversación diferente
que hay cosas que requieren tener una fuente única de verdad sin ninguna duda por ejemplo los
contratos con los clientes tienes un compromiso con un cliente de dar un servicio a un precio y eso
es una fuente verdad y normalmente pues todo lo que es la contabilidad en general acostumbre a ser
una fuente verdad que se cruza con los bancos y con los movimientos transaccionales económicos que
tienen la empresa las nóminas que la gente cobra nosotros estamos en empleo y empleo y data no
los contratos firmados con los empleados y las nóminas pagadas cada mes son un híboca son fuentes
de verdad absoluta a partir de ahí hay cosas que no está tan claro cambiando de tercio y hablando
de parar datos que es esto de los datos en real time y streaming y los datos en bach porque antes
has mencionado la palabra streaming pero qué significa esto o los dos quién quiere venga tú
tienes el tú tienes la masterclass vale bach es un subset de streaming eso para empezar
que significa una cosa y la otra para empezar antes de empezar sí vale digamos que procesar
todos los datos de una vez y obtener un resultado es bach y es un subset de ir analizando los datos
a tiempo real básicamente pongamos un ejemplo no se calcular la edad media de todos tus empleados
puedes hacerlo en batch que es cojo todos los empleados una foto y hago una foto y calculo
la media o a medida que van llegando empleados o va pasando el tiempo lo voy calculando en real time
matemáticamente está estudiado que eso eso da por tanto se puede llevar a la algebra
relacional que básicamente es lo que hay detrás de las bases de datos por tanto
nosotros pudíamos construir cualquier sistema analítico en tiempo real eso es la teoría a
la práctica significa que hay un montón de problemas asociados a ello vale y que diría que
que aumentan esta discusión no aumentan de no no si este dato debía ser x no no a mí me sale
10 x porque lo calcula de una forma o la otra es básicamente la razón por la que no hemos
adoptado más sistemas en tiempo real actualmente se está diciendo que no es todo bueno en el real
time porque mi intuitión me parece que como más real time mejor es buenísimo pero se aumenta
también es complicado la consistencia si es un recto para la consistencia de datos si la
consistencia eventual hay otro momento dado claro o sea tú si tú hicieras un snapshot de tu cuenta
bancaria bueno se a final del día y los dinos que hay que tener mucho dinero entonces no nos
daríamos cuenta pero si si te van si tú sacas el momento que sacas y no está registrado no vas
a ver que hay algo un problema o al revés recibes un pago en ese momento no está ahí te
dirías cuenta de decir esto no hay un problema entonces en el real time se acantó en estos
problemas no cuando tú tienes un sistema en real time y hay un problema por detrás que ha fallado
lo que sea porque son los regladores que se rompen y fallan y se actualizan y se rompen se generan
discusiones de decir a aquí hoy esta campaña de marketing hemos empezado hoy pues no está
funcionando no esperate igual viene de los datos entonces la gente se fija más del batch gente se
fija más de hacer una foto de decir qué pasó ayer es más fiable el batch pero que estás
diciendo no sólo que la gente se fija más si es binario el batch es binario o ha funcionado
bien o no funcionado bien el streaming pues se te puede romper un rato o puede ir sobre todo la
latencia puede ir cambiando o sea puede ir con una hora de retraso los eventos de decir joder pues
ayer las de la mañana estábamos mucho mejor menos determinístico bueno seguro que os ha
pasado en alguna web que le dais algún botón o algo refrescáis y no veis la acción que habéis
hecho y al cabo un rato parece y es un poco el problema de la consistencia eventual que tú
haces la escritura pero no sabes luego cuando haces la lectura no sabes cuando te va a venir ese
dato que es un poco para mí tú sigues bastante común porque es escala mejor básicamente entonces
no me queda nada claro hacia dónde va el mundo estamos yendo del batch al streaming nos quedamos
en el batch y ahora el batch está bastante bien dominado te diría que data bricks es un gran
impulsor de esto porque ha hecho que la gestión de ese batch esos esos jobs de análisis de datos
se hagan bastante sencillo sin tener que montar todo el pitote de jadub pero la tendencia es ir a
sobre todo acercarlo al real time el real time no existe real time netflix diría que hacen real
time y son cinco minutos porque porque entra que entras a una peli no te gusta te voy a recomendar
hacer otra cosa pues tengo un poquito de tiempo ahora no estamos hablando de segundos pero sí que
estamos hablando de algo que bueno pues que pueda tener un impacto en la sesión del usuario en ese
momento no que no hace falta que que vuelva la semana que viene a comprarse la segunda prenda de
ropa para que tú le puedas recomendar cositas que sean interesantes que se ha actualizado unos
empleados en factorial pues que te los muestre y no no te desaparezcan como comentaba pao tiende
y cada vez hay cositas más interesantes y sobre todo pues te diría que empiezan a ver estos nuevas
generaciones de arquitectura no donde pasábamos del data warehouse al data lake que no más hablaba
mucho de ello pero esto iba a preguntar yo venga nos metemos a ellos son los leaks son
repositorios únicos de datos y el problema que tienen o de la forma que se se empujaron hace unos
años cuando se pusieron de moda y todo el mundo todas grandes corporaciones tenían que hacer data
lakes es que si tu mierda tu metes mierda de entrada lo que te va a salir es mierda salida no no hay
mucho más entonces meter no almacenar datos por almacenar no suele ser una una buena estrategia
hay que tener cositas de gobernancia y aquí volvemos a la parte de poner un poco de gestión
poco de conocimiento común de qué tenemos guardado ahí que un poco para dar contexto la
filosofía del data lake era nos da igual tu manda toda la información aquí correcto la manda
es en crudo tú ponlo todo en un sitio y luego ya nos apañaremos y ya sacaremos datos de ahí nos
vamos a ir purificando y vamos y vamos a ir purificando era una idea de lántalo todo aquí a
diferencia de un web data warehouse que tenías que hacer un diseño una estructura aquí va al
cuadrado aquí va el triángulo o sea las piezas en su en su sitio y eso viene originado precisamente
por lo que hablamos antes de que cada vez usamos más servicios no y antes todo el mundo se hacía
su crm su rps y ahora tienes datos que vienen de stripe que vienen de analytics que vienen de
entonces hay juntas todas estas fuentes de datos en algunos casos datos de forma no estructurada
se pueden tener formas dispares algunos datos casi siempre tienes vídeos tienes de todo puedes
tener de todo puedes tener audios y si tú tienes una plataforma de podcast por ejemplo tienes audios
bueno esto es luego el otro tema que es datos estructurados versus datos complejos como pueden
ser audio vídeo documentos el atalex se lo come todo se lo come todo se lo come todo tú lo
almacenas ahí y claro eso y luego que lo es trabajo de marco de buena pregunta y esto que
define detalles para comunicar fuentes de datos con otros donde de donde venían los datos data
análisis que se básicamente picaban de teles de una base de datos que lo he dicho pero correcto
es un proceso de transformación de datos tú coges esos datos los les de un sitio las transformas
y los escribes en otro podías hacer lo mismo pero claro si estamos diciendo que aún hay más
disparidad de datos más volumen están en diferentes sitios pero eso es mucho más difícil de
de mantener entonces la gente que tienes que tener que eran esos data análisis que lo hacían con
SQL ahora son ingenieros de la hostia con conocimiento de escala nadie comprende solo su
inventor y claro eso es muy caro se te va un tío que te gestiona eso para encontrar el reemplazo
difícil entonces ahí están los principales problemas de los data lakes que almacenar por
almacenar pues realmente no es una buena estrategia o hay que almacenar con poco de estructura con un
poco de mínimo un repositor y un catálogo que te diga qué hay y en qué sitio y en qué estado
está se evoluciona se ponen capas al data lake y es mira esto es el rau hay una capa intermedia
donde por ejemplo gente más avanzada como desarrolladores pueden ir a buscar los datos y
hacer los primeros productos de datos data scientist van a ir a buscarlo ahí y luego hay una capa que
mucha gente llama gold que son datos ya que están agregados que tienen todo sentido donde se puede
poner esta este catálogo de datos y todo el mundo habla de lo mismo entonces cuando hablamos de
compañías son compañías con una estructura por tanto ahí puedes ir a buscar y hacer tus reports de
forma un poco más autónoma que antes que tenéis que ir a un data analyst a que te montará la base
de datos del report que querías mirar ahora estamos hablando de otra cosa versus el data
analysis que trabaja con python y que se genera su modelo y tal esto es otra escuela de pensamiento
no digamos que trabaja con datos secueles racionales y que se genera algún tipo de vista dice por vi
por encima de ello datos que se van procesando no yo lo que estoy entendiendo es que tienes el
roo que es toda la mierda y a chorro luego alguien hace un primer peinado y quita duplicados
tal y luego hace alguien un segundo peinado y los vincula o hace cálculos y tal este es el
de forma les da forma y los anonimiza hace lo que tenga que ser y ahí estamos hablando ya de esa
unificación de lenguaje que estábamos hablando antes y el usuario final depende de cómo de
técnico sea va una capa o la otra no el departamento por ejemplo y datos que gente que no necesita
mirar datos que sean personales de más gdpr y entra claro aquí hay todos los datos no aquí
todos los datos cómo gestiona del acceso estos datos los permisos la gdpr es la seguridad
esta es otra hora así es acabo de dar aquí un millón de conceptos ahí hay hay mucho
curro sobre todo si no has pensado bien desde el principio vale volviendo a lo que decíamos
del catálogo se hay que definir el principio la semántica que definir la principio de verdad
que que a mí me hechirría porque no sé qué es el principio o sea una start a pensar desde
a mí me gusta amazón que en cada anual letter decía where a day one no y a mí esto me gusta
where a day one no o sea hoy estamos el primer día significa que dentro de seis meses estaremos
en el primer día tenemos al principio cuánto antes pero el negocio cambia o sea las necesidades
cambian radicalmente más vale que pensemos siempre esa es mi conclusión en general hay que
pensar siempre para poner otro ejemplo en el catálogo gdpr si tú tienes este saco de datos
infinito que casi te diría cómo vas a poner ahí a hacer algo un proceso que busque esos
datos personales y te los saque es difícil es difícil borrarlos y es difícil que cuando yo
te pida oírame lo que sabes de mí es que te de absolutamente todos los datos porque
posible que cosas que no sé que están relacionadas contigo que en otras puede volver porque no
tengo la forma rápida de llegar y luego te viene la auditoría y te dice hui estos todos son son
personales y no las has devuelto entonces si gdpr por ejemplo la auditoría se mete ahí en el data
leica se podría eso es como el ratoncito peres son los padres son los padres
no pero es verdad es muy difícil solventar estos problemas a posteriori se puede pero
suele ser con soluciones muy costosas que vas a tirar de muchos recursos de de amazon es más
fácil no entonces es más fácil si lo piensas bien desde el principio ponerle un sentido entonces
los accesos vienen por ahí si tú te dedicas a decir mal pues estos datos estos departamentos
pueden tienen que tener acceso porque son de que sé perro lo que sea eso sí que se puede gente que
departamentos de marketing simplemente pues no con con agregados y en plan mía estos demográfics
funciona bien y estos no creo que es que es suficiente no pregunta porque estamos hablando
de mucho concepto abstracto puedes explicar cómo se monta un data lake sin el detalle que
tecnologías son esto porque yo no sé si es un maíe se cuele es un s3 es un snowflake o sea que
que lo montas o lo compras también exacto cómo se hace un data lake
el hambre es pregunta muy trampa es pregunta muy trampa porque lo podemos separar entre inputs
donde guardas las historias el paro tiene claro la metáforas que vienen ríos de datos y desbocan
algún sitio esos ríos de datos pueden ser de varios de varios sitios un muy común es poner un
Kafka vale que es donde tú vas mandando todos los eventos todo tu stream de eventos es una base
de eventos donde básicamente permite comunicar a varios sistemas de tu infraestructura donde
tú vas lanzando eventos y varias gente puede escuchar a estos eventos y alguien ha hecho
clic aquí alguien ha hecho una compra lo que sea cualquier cosa esto es un tipo de input que puede
ir a un data lake ahora también hay los itl que ha dicho no es este beber información de fuera
que esto afortunadamente ya no hay que picar la mano tienes tienes providers que te lo te lo sacan
hay 5 train y stitch creo que son los más populares donde tú le dices estraín directamente de forma
periódica te vas sacando la información y te la ablocando en tu api y te lo guarda en una base
de datos con una con una forma más o menos estructurada a veces hay duplicados lo que
son los chorros que decíamos y te lo va dejando ahí todo tirado correcto hay ríos que bajan y
ríos que suben por lo que no todos van de momento donde es ahí donde se guarda esto correcto y el
último es tu propia base de datos de producción también puedes beber de ahí también de forma
puede ser un isecuel o un mongo y pues puede ser lo más real time o menos ahora también hay mucha
más tecnología de poder estar escuchando los cambios de tu acertos de forma más más rápida o
puedes hacer snapshots pues lo que decíamos más tipo bach y al final totalmente esto lo guardas en un
sistema de archivos distribuido vale que esto es lo que comentaba no que es una de los grandes
breakthroughs que ha habido en data y unas razones por la que estamos hablando hoy en día de datos
que es porque en lugar de una sola máquina hemos conseguido guardar archivos en muchos sitios y esto
en el clauro hoy en día pues s3 en el caso de amazon pues google y a sur tienen tienen su propio
etcétera es una cosa que flipeos en realidad se están montando csv a chorro bueno pero en
quizás siendo se se hubes muchos a saco o sea toda esta con su fabricación y son ficheros de
se hubes millones de ellos correcto esto es el data lake a veces casi casi siempre los escalas
en formatos un poco más por ejemplo como parquet que es un cv moderno es un sistema
columnar de en lugar de guardar la información por filas de guardar por columnas así cuando
yo quiero sumar cosas o quiero hacer un average o que hacer tipos de preguntas de agregados es mucho
más eficiente que no hacerlo por por filas unos unos formatos más populares pero son ficheros en
un s3 o similar correctamente correcto y luego que eso es una tal idea y probablemente entra
en la definición es un data lake si es lo que ha montado la mayoría de corporate si es lo que
te vas a amazon y pones data lake formation te va a montar en un s3 si tiene problemas muchos vale
porque meterlo meter ficheros en un sitio es una receta para un desastre porque tienes que
tener punteros a ellos es que tener dónde está cada cosa porque claro es como abrir una almacena
decir bueno bien el armario pero si hablas de la nación del warhouse de amazon dices
donde voy a buscar mis productos hay mucha cosa y hay que etiquetar las cosas claro primero
por las versiones bien no se ocurren todo de mierdas que hay que hacer con con eso conceptualmente
un data lake debería ser algo más lógico debe ser un agregado de fuentes de infonocio vale está
muy guay ese tres porque es muy barato y puedes hacer copias de la base de datos así tienes el
histórico de cómo estaba esto hace un mes que es una cosa que no tienes de la base de datos de
producto o sea se actualiza se actualiza yo lo que cómo estaba ese usuario a que tenían el perfil
hace un mes no tengo ni idea un play en un gusto que sea no entonces ese tres ha sido la solución
pero cazca cada vez toma más más protagonismo pero sobre todo el tema de microservicios no
ahora ya no se producen base de datos pronuncien eventos señales entonces lo puedes meter ahí y
para mí es el conjunto la tarea que debería ser el conjunto de todo es una mierda porque es súper
abstracto otra vez claro estoy intentando aterrizar todo muy abstracto pero una pregunta que es más
difícil acceder al dato almacenarlo o que es más caro accederlo recuperarlo que que ahí viene
tu almacena todo porque están baratos el storage es mejor eso que nada es mejor eso que decir no
no podía montar menos súper bien y decíamos vamos a poner una estructura antes de guardarlo que
sobre el tema de warhouse que era primero decidir la estructura y luego lo guardabas ahora es más
fácil hacer on the fly porque guardas el dato tal cual y a pensar el luego exacto que forma le doy
por esos datos antes se pasan cuatro días limpiando los datos y sabiendo dónde irlo a buscar antes
que hacer modelos y si tú optimizaras esto optimizaras el storage sabrías cómo sacar
rendimiento a esos datos entes no es muy agile todo este concepto pero bueno no pero por eso
ves stocks como databrick subiendo tanto porque son gente que dice muy bien yo tengo la experiencia
de haber montado esto en muchísimas empresas he aprendido un montón pues te voy a ofrecer un
producto que se soluciona todos esos problemas y aquí sale delta lake y todo esto que básicamente
el nombre que le ponen es data lake house es decir un mix de las dos cosas se come todo pero tiene
una estructura por encima y encima hacer los updates para gdpr para borrados es rapidísimo hacer los
updates en streaming es súper sencillo por tanto como las puma hay algún movimiento abstracto
de estos que les gustan que defienda que los datos existen solo una vez
y acceder a ellos solo no replicarlos sino que exista un solo dato una vez
pero por qué el data lake por qué volver a juntarlo un ejemplo de negocio antes pago puesto
tres ejemplos has dicho sales force zendesk y intercom yo está pensando nosotros usamos habspot
para las tres cosas por esta razón para solo tener un dato porque para no tener el mismo cliente en
las tres herramientas preferimos una herramienta que quizá es peor en las tres cosas pero que tienen
una pequeña ventaja que sólo tenemos un cliente y más vale que esté bien el dato de cliente no sea
a nivel de negocio es fácil pues la idea el final es al final es salvo a comprar 10 herramientas que
individualmente son muy buenas pero no hay forma de cruzar la información y tengo hacer
integraciones tengo hacer historias o voy a comprar una lingüin por ejemplo en factoria
fuimos a hacer el only one porque queríamos centralizar datos y queríamos y nosotros construyendo
no lingüen por eso el problema de datos porque es nuestra visión podríamos haber hecho solo
solo gestión de vacaciones o solo ats pero luego cuando quieres juntar ambas o lo centralizas o tienes
que estar haciendo llamadas y si cruzando que sería un coste infumables no lo vas a hacer entonces
ahí pero eso ya es un poco más a nivel de proveedores entonces si en el caso de habspot hace
tres cosas muy bien pero no hace todo entonces yo preguntaba sobre el tema de la seguridad de los
datos en esto opinión estaba en un webinar me pusieron un ejemplo de una metáfora buenísima
decía la seguridad es como los frenos del coche tú podías ir muy lento y no los necesitarías pero
la seguridad de hacer ir poder acelerar y frenar en caso de que cuando lo necesitas poder frenar y
la seguridad es eso a final si a ti se te empiezan a filtrar los datos como en caso de facebook
si a tu reputación va a bajar mucho y cuando estén diciendo entre factorial y otro competidor
te van a decir bueno pues esta gente no tenía filtraciones igual lo tienen mejor montado y pueden
tener una castaña detrás pero es muy importante dar esa confianza no es la razón por la que apel
apoga tanto por esa privacidad no que hay muchos anuncios de no somos la empresa de privacidad
compro un iphone y todos sus datos están seguros bueno yo no sé si es la verdad hay alguna forma
tecnología técnica para garantizar esto existen servicios hay mil años cuando cuando estás
trabajando el tema de seguridad a nivel de datos hay mil mil historias desde cómo se transmite
cuáles el top que es lo que hay hay que poner el stack o sea cómo la seguridad siempre son
capas y idealmente quieres todas capas cubiertas porque si tienes un agujero en alguna capa por
lo por lo demás no se cuele desde la transmisión de datos de la transmisión de datos yo pongo mi
paz o lo que sea pues como cómo se transmite el dato hasta cómo lo guardo a dónde lo replico
quien tiene acceso a la administración hay hay mil historias y todo el mundo lo hace regular
tirando para mal no hay una tecnología un servicio para garantizar todo hay un servicio para
cada cosita correcto y luego rezar la seguridad yo creo todos los expertos en ciber seguridad que
se llama llegan al consen de que no existe la seguridad existe la molestia al ladrón no
después modestar más que otro pero cualquier persona con suficiente determinación acaba
llegando a lo que quiere llegar con más presupuesto más tiempo más recursos al final o sea todo el
mundo acaba prengando para intentar que te elijan a otro me gustaría pensar que sí que lo puedes
ver pero el cien pero al final hombre sí y tienen problemas de seguridad todo el mundo tiene
problemas de seguridad sí pero bueno hay problemas y problemas
y si no no está claro que que no se filtra la prensa
no que ya tienes que hacer lo mejor que todos los demás para que seas el más complicado de
piratear o de hackear o de brichear aquí el clout es tu aliado si tienes gente buena que ya está
trabajando en clout y sabes utilizar es lo mismo montar el clout no le des demasiado libertad a los
los equipos para ir montando a pues a mí me gusta mi query pues me monto en google cuando yo soy
trabajando en amazon me intenta converger siempre es más fácil de seguridad pero hay algún momento que
para ir acabando el el futuro que nos depara que imagináis en el futuro del data habéis dicho
que en centralización o un solo dato versus múltiples datos no vamos a centralizar los
datos esto no lo veis claro crees que siempre existirán múltiples servicios que te vendrán
que comunicarse a tiempo y bien sql por ejemplo versus otras sistemas para para acceder al dato
que consideráis es la tendencia la tendencia es sql se cuela curiosamente que se se cuestionó en
su día y ha vuelto a vuelto es un lenguaje universal es como el inglés a la hora de hacer
los datos y manipularlos parece que va bien mucha gente lo conoce de poder reciclar muchos data
analysis no es difícil de aprender gente de marketing gente de ventas hay gente que lo está
usando para hacerse sus propios repos y ahora es esto el service para mí si tú una empresa data
driven será esa que que todo el mundo todos los empleados son autónomos a la hora de hacer
sus nuestro equipo de productos a ver se cuela por ejemplo y ataca directamente al data leak haciendo
preguntas de se cuela yo cuento tendencias pues hay ya lo mencionar era una tendencia más a real
time eso seguro cada vez hay más tecnología cada vez es más fiable y todo mejor y otra cosa que
estoy viendo es que hasta ahora hemos hablado del data lake como una destinación y una tendencia que
sí que veo y le veo mucho potencial es el direct también como como hacia la redicción donde tú
agregas esa información y donde tú puedes devolver ciertos datos a estos siglos el ejemplo claro de
yo tengo mucha información sobre mis clientes la agrego todo en un sitio y de repente puedo
hacer un modelo donde me los ordene y lo devuelvas información al crm para que el equipo de ventas
pueda decidir llamar sólo a los a los leads que tiene más más más oportunidades de cerrar
pues de los ríos que suben y bajan correcto y el que sube yo veo es una tendencia que está
empezando ahora y que yo le veo mucho potencial donde de repente el data lake ya no es una
destinación sino que es es una pieza central donde entran cosas pero también salen cosas hacia
afuera y luego que ahí también es un terreno no tan explorado y a menos desde mi parte de cto de
una de una empresa v2b le veo mucho potencial si que habrá una fuente de verdad en el futuro
digamos no un árbitro de la verdad una fuente arbitrar lógica digamos pero no aunque existan
múltiples fuentes de datos no correo vale no sé si nos hemos dejado algo desde data yo he aprendido
cosas y la verdad es que he aprendido bastante nos hemos dejado algún tema relevante no no
pues nada muchísimas gracias seguiremos discutiendo sobre edita seguro hasta la semana que viene somos
un ecosistema de startups tech de barcelona creadores de camalón equipo y factorial entre otras
ofrecemos más de 5000 metros cuadrados de co-working a startups y organizamos eventos diarios para
discutir negocio y tecnología hasta la saciedad desde idnc fan invertimos en equipos con capacidad
de construir grandes productos y negocios te esperamos.