GitHub Copilot dice la gente de GitHub que mejora la calidad de tu código. Esto es lo que dicen según los datos. Vamos a comentar esto porque estas cosas a veces hay que pillarlo un poco con palillos. Pero dice que la inteligencia artificial fundamentalmente ha cambiado como desarrollamos software en los últimos dos años.
Y dice que GitHub Copilot ha ayudado a desarrolladores a ser un 55% más rápidos y que algunas investigaciones anteriores apuntaban que el 85% de desarrolladores se sienten con más confianza de su código y el 88% se sienten que están en su zona cuando están utilizando GitHub Copilot.
Porque tienes como que buscar menos y directamente así. Bueno, ahora la pregunta es, ¿el código es mejor? ¿Realmente se mejora la calidad del código? Y esto es lo que dice este estudio.
Ha mejorado la funcionalidad. Dice que los desarrolladores que utilizan GitHub Copilot han tenido acceso a un 56% más oportunidades de pasar todos los unit tests en el estudio que han hecho.
O sea, que dice GitHub Copilot ayuda a desarrolladores a crear código más funcional. Mejora la legibilidad. Dice que haciendo pruebas a ciegas totalmente, el código que ha sido escrito por GitHub Copilot tenía menos errores de legibilidad y le permitía a los desarrolladores escribir un 13% más de líneas.
Que tiene mejor calidad porque dice que también pasaban más los tests de calidad y luego tendríamos que tenían más posibilidades de ser aprobados, que se podían fusionar ante los cambios y tal.
Aquí tenemos un poco los datos. Ahora yo os daré un poco mi opinión. El tema es que dice que utilizando GitHub Copilot tienes más posibilidades de pasar tests unitarios.
¿Vale? Si no utilizaba GitHub Copilot, en el caso de estudio, el 62% de la gente, los que no utilizaban Copilot, el 62% no le pasaban todos los tests y al 40% sí le pasaban todos los tests.
Pero si utilizaba GitHub Copilot era más bien al revés. Claro, ¿qué pasa? Aquí es donde viene ahora, ojo cuidado con esto. Ojo cuidado porque yo he dicho, ¿y en qué se han basado?
O sea, ¿en qué se han basado en esto? Han hecho un estudio con 25 desarrolladores. 25 desarrolladores es muy poco. 25 desarrolladores es un estudio que han hecho en una sala, en su casa, en la habitación de, o sea, en la empresa de GitHub, ¿vale? Y ya está.
25 desarrolladores, claro. Además, 25 desarrolladores en un código controlado, que puede ser que GitHub Copilot ya lo conociese entonces, ¿no?
Entonces, claro, 25 desarrolladores sacar todas estas métricas. Bueno, a ver, que puede ser interesante que, bueno, dice, en la primera fase, claro, es que aquí pone 25 desarrolladores.
Pone, en la, los 25 desarrolladores que han pasado el código y han pasado 10 unos tests de la primera fase de estudio fueron asignados de forma random, ¿vale?
Claro, que estos sean 25 desarrolladores es poco. Pero luego, luego, sí que parece que pone por aquí parte del estudio, fijaos, metodología.
En la primera fase del estudio reclutamos 243 desarrolladores con al menos 5 años de experiencia con Python.
Luego se le asignó de forma aleatoria que utilizasen GitHub Copilot o no.
Cada grupo completó un ejercicio de código diferente, ¿vale?
Entonces, recibimos, al final recibieron soluciones de 200 desarrolladores, 104 con Copilot y 98 sin Copilot.
Pero claro, luego parece que solo hay partes, solo hay partes que a lo mejor no hicieron todo, no sé.
Pero al final tampoco, 200 desarrolladores no me parece que tampoco sea mucho, sinceramente.
La verdad es que este tipo de estudios es interesante. A ver, yo no tengo ninguna duda que el tema de la inteligencia artificial a mí me ayuda un montón.
Pero también es verdad que es que da mucho la sensación muchas veces que los estudios que se intentan hacer sobre como inteligencia artificial,
de cómo te ayuda la productividad y todo esto, a veces, no voy a decir que estén sesgados, porque a ver, una opinión puede estar sesgada y tiene sentido.
Las opiniones, es normal que estén sesgadas porque al final son opiniones.
Y bueno, pues, una opinión está basada en una experiencia propia y tal.
Pero claro, un estudio es un poco más peligroso porque al final le está dando como una objetividad.
Estoy seguro de que Jacopalo también me ha ayudado muchas veces.
Es como la titulitis, un poco, ¿no?
Un estudio de este tipo, para que sea representativo, debería rondar decenas de miles de usuarios.
Claro, pero este tipo de estudio, ¿cómo lo haces con decenas de miles de usuarios? Es muy complicado.
Es muy complicado.
Entonces, yo creo que para hacer este tipo de estudios, o sea, yo no lo haría.
Entiendo por qué lo hacen.
Además, otra cosa que me parece un poco polémica, porque lo he estado mirando, porque, hostia, voy a mirar a no sé qué, no sé cuánto.
Pero claro, yo no he encontrado el estudio, ¿sabes?
O sea, sí que pone como para más preguntas y tal, puedes enviar a press, arroba github.
Yo la verdad es que cualquier estudio tiene que estar publicado.
No digo que, no pongo en duda que lo pondrían, ¿eh?
No pongo en duda que seguramente si le escribes y tal.
Pero creo que estaría bien, realmente, que estuviese puesto ahí el estudio con PDF y todo, ¿no?
Porque si no, queda un poco, bueno, bueno, ¿cómo ha sido el estudio y tal?
Y esto es una cosa que cada vez más veo en el tema de inteligencia artificial.
Que se sustentan en estudios un poco...
Ay, complicado.
O sea, no todos.
Me refiero al tema este de mejora la productividad, no sé qué, en un 35%.
Y me recuerda a las promesas que muchas veces vimos con Devin.
¿Y dónde está Devin?
Claro que Copilot, dice Copilot Rules.
Copilot, o sea, a mí me encanta Copilot.
Pero por eso creo que no le hace falta esto, ¿no?
A lo mejor creo que debería con otras cosas...
Mira, aquí tenemos a Review of OpenAI y cómo hemos...
No sé qué, no sé cuánto.
12 de septiembre.
¿Os acordáis de Devin que parecía que iba a acabar con el...?
De hecho, era el nombre.
Era como que era el Software Engineer y no sé qué, no sé cuánto.
O sea, todavía está cerrado.
Las cosas como son.
Creo que muchas veces hay como más hype, ¿no?
O sea, más hype de decir...
No, no, pero mira cómo se evalúa esto.
Mira cómo se evalúa esto.
Mira...
Pero no, o sea, es que no quiero que lo evalúes.
O sea, quiero que me des acceso y que me dejes de poner estas gráficas de que constantemente
esto va con una curva que parece que la siguiente va a llegar a 99, pero luego la realidad es que
o no sale o cuando sale tiene horrores o que...
Que esto no quiere decir, porque luego me vienen los haters de la inteligencia artificial y me dicen
es que tú odias la inteligencia artificial, si yo la utilizo un montón.
Lo que no me gusta es el hecho de basar como los beneficios en este tipo de...
Vamos a poner un montón de gráficas y ya está, ¿no?
O vamos a hacer unos estudios así muy controlados y tal.
Cuando yo creo que lo mejor, por ejemplo, y no es por hacerles publicidad, pero a mí me encanta SuperMaven.
O sea, no se ponen ahí a decir...
Tenemos un estudio que indica que...
Mira, de hecho, su único estudio es que no te va a reemplazar una inteligencia artificial.
¿Por qué una inteligencia artificial no va a sustituir ningún no sé qué, no sé cuánto?
Y no se ponen a decirte realmente de...
Pueden hacer benchmarks de rapidez y tal, pero bueno, puedes probar el producto y si te gusta bien y si no, pues ya está.
Pero no está como, no, 98% ahora de esto.
Eso es lo que creo yo, ¿no?
No estoy escuchando audífonos.
Bueno, ahora será un poquito más fuerte.
Que usan esos estudios para atraer inversores y los engañan para hacerlos creer que su producto es el mejor.
Puede ser.
Es casi una estafa y normalmente terminan siendo fraudes.
Claro, el tema es que luego salen otros estudios.
La inteligencia artificial no va a solucionar tu problema de productividad por ti, ¿vale?
Y entonces este estudio, que este sí que tiene por ahí el PDF, por cierto, te dice que el hecho de utilizar temas con inteligencia artificial, en este caso como Geekhack o Pilot, no ayuda a mitigar el riesgo de burnout, no tiene cambios en la eficiencia y según su estudio, que también hay que tener en cuenta, te dice que incrementa un 41% el ratio de bugs.
Y que además, pues tiene un montón de trade-off al largo plazo.
Y en este caso, bueno, pues hay diferentes casos de estudio que está súper bien, me parece que está genial y además que te diga, pues también con datos y tal.
Aquí tienes como los diferentes experimentos, los controles que han hecho.
Claro, al final es, bueno, y a quién crees de todo esto, ¿no?
A quién crees de lo que te dice una cosa, lo que te dice otra, porque si no, luego no te puedes crear ninguno.