Pensábamos que la IA nos ayudaba a programar más rápido: este estudio demuestra que estábamos equivocados

Los chatbots de Inteligencia Artificial (IA) han irrumpido en nuestras vidas para ayudarnos a realizar algunas tareas del día a día como resumir documentos, redactar correos electrónicos e incluso programar aplicaciones o juegos. De hecho, hasta ahora pensábamos que la IA había revolucionado el mundo de la programación, pero un reciente estudio ha demostrado que no es así y que, a pesar de que parezca mentira, programamos más rápido sin la ayuda de la IA.

La IA ralentiza a los desarrolladores un 20 %, según el METR

Como podemos leer en la revista Time, recientemente el METR, una compañía de análisis de mercado especializada en los agentes de IA, ha publicado un informe que evalúa el grado en el que la Inteligencia Artificial acelera el trabajo de los desarrolladores de software y los resultados no son los que imaginas.

Para llevar a cabo este estudio, el METR midió la velocidad de 16 desarrolladores que trabajaban en proyectos de software complejos, algunos de ellos lo hicieron ayudándose de asistentes de IA y otros sin apoyo de los mismos.

Cuando terminaron de realizar sus tareas diarias, los desarrolladores que se apoyaron en agentes de IA tenían la sensación de que la IA había acelerado su trabajo en un 20 %, pero la realidad no era esa, ya que las mediciones realizadas mostraron que la IA los había ralentizado un 20 %.

De hecho, David Rein, miembro del personal del METR aseguró que no esperaba, para nada, obtener este tipo de resultados:

Tenía muchas dudas de que valiera la pena realizar este estudio, porque pensé que obviamente veríamos una aceleración significativa.

La respuesta técnica que explica los datos obtenidos con estas mediciones es bastante sencilla: a pesar de que los LLM (grandes modelos de lenguaje) son buenos codificando, no son lo suficientemente eficientes como para intuir exactamente lo que quiere un desarrollador y responder perfectamente de una sola vez. Esto quiere decir la IA puede requerir de varios intentos para lograr escribir el código que quiere crear el desarrollador.

Asimismo, algunos de los participantes en este estudio también ofrecieron varias hipótesis que explican estos resultados. En concreto, Quentin Anthony, uno de los 16 codificadores que participaron en el experimento, afirmó lo siguiente:

Los LLM son un gran botón de acceso directo a la dopamina que puede solucionar su problema. ¿Sigues presionando el botón que tiene un 1% de posibilidades de arreglarlo todo? Es mucho más divertido que la agotadora alternativa. También es fácil dejarse llevar por las redes sociales mientras espera que su LLM genere una respuesta.

Por último, los autores de este estudio explicaron que no deberíamos generalizar los resultados del mismo, ya que, primero, este experimento solo mide el impacto de los LLM en los codificadores experimentados, no en los nuevos, los cuales podrían beneficiarse más de la ayuda de la IA y segundo, los desarrolladores de software todavía están aprendiendo a aprovechar al máximo las capacidades de los chatbots de IA para programar.