El peligro de preguntarle a ChatGPT si tenemos cáncer: "Se inventa las cosas"

Todo el mundo habla de ChatGPT. O, mejor dicho, todo el mundo habla con ChatGPT. Para quien no conozca este programa, se trata de un sistema de chat con inteligencia artificial que está sorprendiendo a personas de los cinco continentes. Su funcionamiento es aparentemente sencillo: puedes lanzarle cualquier duda y te responderá como un ser humano. Millones de usuarios ya lo están utilizando para que les ayuden en tareas de programación, a redactar e-mails, traducir textos, escribir artículos científicos o, en ocasiones, preguntarle acerca de información más sensible, como temas médicos. Y, pese a que suele acertar en sus respuestas, voces expertas han advertido que fiarse de la información que aporta conlleva riesgos muy graves.

Un estudio de la Facultad de Medicina de la Universidad de Maryland (Estados Unidos) publicado en la revista científica Radiology que ChatGPT proporciona información correcta sobre la prevención del cáncer de mama la gran mayoría de las veces, pero todavía no está listo para reemplazar al médico o a una simple búsqueda en Google. Y es que, en varias de las preguntas que le realizaron los investigadores, la inteligencia artificial proporcionó información errónea o, incluso, inventada.

Cabe destacar que las respuestas de ChatGPT se basan en el "preentrenamiento" del chatbot con una masiva cantidad de datos, lo que incluye información poco fiable recopilada de internet o de los propios usuarios que la utilizan. Y cuanto más se usa, más información recaba la inteligencia artificial. Las cifras son astronómicas: esta tecnología se lanzó en noviembre de 2022 y, en un plazo de dos meses, alcanzó la cifra récord de 100 millones de usuarios mensuales, según un informe del banco de inversiones UBS.

El nuevo estudio, en el que participó el doctor Paul Yi, profesor asistente de Radiología Diagnóstica y Medicina Nuclear en la Universidad de Maryland, evaluó la capacidad del chatbot de responder a 25 preguntas "fundamentales" sobre las pruebas de detección del cáncer de mama. Estas cuestiones corresponden con dudas que las pacientes exteriorizan con frecuencia sobre el cribado de esta enfermedad oncológica. Los investigadores hicieron cada pregunta tres veces a ChatGPT, para ver si las respuestas variaban y cómo lo hacían.

Los resultados del estudio se saldaron con que el chatbot ofreció respuestas adecuadas a 22 preguntas y respuestas poco fiables a 3 de ellas. Además, otras 2 preguntas recibieron respuestas incoherentes entre las tres veces que se le planteó la misma cuestión. "Descubrimos que ChatGPT respondía correctamente a las preguntas el 88% de las veces, lo cual es bastante impresionante. También tiene la ventaja añadida de resumir la información de forma digerible", aplaudió Yi. Dicho esto, apuntó que en cuestiones sobre salud y la medicina, una tasa de error de incluso apenas un 10% podría resultar nociva. De hecho, advirtió de que muchas veces "se inventaba las cosas".

En una nota positiva, ChatGPT respondió correctamente a preguntas sobre los síntomas del cáncer de mama, quién está en riesgo y preguntas sobre el coste, la edad y las recomendaciones de frecuencia relativas a las mamografías. No obstante, sus respuestas tienen un alcance limitado. "Incluso cuando técnicamente son correctas, pueden ofrecer una perspectiva sesgada", alerta Yi. Por ejemplo, cuando preguntaron por las pruebas de detección del cáncer de mama, la respuesta que ofreció el chat fue una mera transcripción de las recomendaciones de la Academia Americana Contra El Cáncer (American Cancer Society), omitiendo los consejos de otros grupos médicos.

Además, proporcionó una respuesta obsoleta sobre la planificación de una mamografía en torno a la vacunación contra la Covid-19. El chatbot aconsejó retrasar esta prueba vital para la detección temprana del cáncer de pecho entre cuatro y seis semanas después de vacunarse, un protocolo que ya se modificó en febrero de 2022. A esto hay que sumar que dio respuestas "inconsistentes" a las preguntas sobre el riesgo de contraer cáncer de mama y sobre dónde alguien podría obtener una mamografía. En cuanto a la pregunta "¿cómo prevengo el cáncer de mama?", dio respuestas inventadas e, incluso, basadas en artículos científicos ficticios que no existen.

"Por supuesto", declaró Yi, "la precisión de la información en línea siempre ha sido un problema. La diferencia respecto a ChatGPT es la forma en que se presenta. Y el atractivo de la tecnología, su tono conversacional, también puede resultar bastante convincente". Esto es un problema serio y por eso alerta de que las personas deberían tomar precauciones a la hora de utilizar cualquier tecnología nueva.

Otros casos: "ChatGPT podría hacer que los pacientes con cáncer cometieran errores"

Otro estudio publicado en Clinical and Molecular Hepatology realizado por investigadores del Cedars-Sinai (Estados Unidos), planteó 164 preguntas a ChatGPT sobre cirrosis y cáncer de hígado. Los resultados concluyeron que el chatbot puede ayudar a mejorar los resultados sanitarios de los pacientes al proporcionar información fácil de entender sobre conocimientos básicos. Sin embargo, la inteligencia artificial solo respondió correctamente a cerca del 77% de las preguntas. Además algunas eran "correctas pero inadecuadas", por lo que se concluyó que el asesoramiento que puede dar un médico especialista es superior.

Un estudio similar del Huntsman Cancer Institute (Estados Unidos) preguntó a ChatGPT sobre cáncer en general. El 97% de las respuestas eran correctas. Sin embargo, los investigadores alertaron de que algunas podrían interpretarse incorrectamente. "Esto podría dar lugar a algunas decisiones erróneas por parte de los pacientes con cáncer. Aconsejamos precaución a la hora de recomendar a los pacientes utilizar chatbots para obtener información sobre el cáncer", advirtió Skyler Johnson, uno de los autores.

La mejor forma de utilizar ChatGPT en Medicina

La inteligencia artificial falla más cuando la pregunta es amplia y vaga. Así lo sostiene Subodha Kumar, profesor de Estadística, Operaciones y Ciencia de Datos de la Facultad de Negocios Fox de la Universidad de Temple, en Filadelfia (EE UU). La pregunta "¿cómo prevengo el cáncer de mama?" sería uno de esos casos, pues para responderla de forma correcta, ChatGPT tendría que aportar y acortar mucha información disponible en internet.

"Mientras más precisa es la pregunta más fiable será la respuesta", asegura. "Cuando el tema es complejo, las fuentes de datos abundan (y en algunos casos son cuestionables), por lo que las respuestas serán menos fiables y es más probable que estén sesgadas". Es por ello que, cuanto más complicado es el tema, advierte Kumar, más probable es que ChatGPT "alucine". Siendo este el término que se utiliza para describir la tendencia documentada del chatbot a "inventarse cosas".

Kumar enfatizó que las respuestas ofrecidas por ChatGPT son solo tan buenas como la información que se le ha introducido y que se le continúa introduciendo. "Y no hay garantía de que se introduzca información precisa". Con el paso del tiempo, el chatbot reunirá más datos, incluso de los usuarios, señala Kumar, así que es posible que la precisión pueda empeorar, en lugar de mejorar. "Cuando el tema es la atención de la salud, esto puede resultar peligroso", concluye.

Ambos investigadores piensan que ChatGPT y tecnologías similares tienen un gran potencial. Para Kumar, el chatbot podría, por ejemplo, ser un buen "dispositivo de asistencia" para que los médicos busquen rápidamente información sobre un tema, pero que también tendrían que contar con el conocimiento para poner la repuesta en perspectiva. Kumar añadió que "desaconsejaría al consumidor promedio que lo use para obtener información sobre la atención de la salud".

En cualquier caso, la realidad es ya imparable. ChatGPT llegó a los titulares de la prensa estadounidense cuando varios estudios comprobaron que podría aprobar el examen de acceso a la Universidad con "excelentes calificaciones", así como pasar la prueba equivalente al MIR en Estados Unidos y tener un rendimiento "comparable al de un estudiante de Medicina de tercer año en cuanto a evaluación de conocimientos médicos".