Chatbots de IA pueden proporcionar información médica engañosa
Una investigación liderada por el Instituto Lundquist para la Innovación Biomédica en el Centro Médico Harbor-UCLA sugiere que aproximadamente la mitad de las respuestas generadas por cinco chatbots de inteligencia artificial (IA) de uso común podrían conducir a los usuarios a tomar decisiones médicas ineficaces o perjudiciales si no cuentan con orientación profesional.
El estudio, reportado en BMJ Open, evaluó las versiones web gratuitas disponibles en 2024 de Gemini, DeepSeek, Meta AI, ChatGPT 3.5 y Grok. Para ello, los investigadores diseñaron 50 prompts adversarios que representaban consultas reales que el público podría realizar sobre temas de salud, incluyendo vacunas, cáncer, células madre, nutrición y rendimiento atlético.
Tras analizar 250 respuestas, los investigadores las categorizaron según criterios predefinidos, encontrando que el 50% eran problemáticas: un 30% se consideraron «algo problemáticas» y un 19.6% fueron calificadas como «altamente problemáticas». Los resultados indicaron que las preguntas abiertas fueron las que generaron las respuestas más problemáticas.
En cuanto al desempeño de los modelos específicos, se observó que Grok produjo una proporción desproporcionada de respuestas altamente problemáticas. Por el contrario, Gemini fue el modelo que generó la menor cantidad de respuestas altamente problemáticas y la mayor cantidad de respuestas no problemáticas.
El análisis por temas reveló que los chatbots mostraron una mayor precisión al responder sobre cáncer y vacunas, mientras que fueron menos precisos en temas de nutrición, rendimiento atlético y células madre.
El estudio también destacó que las listas de referencias proporcionadas por los modelos eran limitadas o inexactas. Además, se señaló que las respuestas suelen presentarse con un tono confiado y autoritario, aunque requieren de ciertos conocimientos para ser interpretadas correctamente, estando orientadas a usuarios con educación universitaria.