Un nuevo estudio revela que ChatGPT Health, la herramienta de inteligencia artificial de OpenAI, con frecuencia no detecta emergencias médicas ni tendencias suicidas, lo que genera preocupación entre los expertos sobre el potencial de “daño innecesario e incluso la muerte”.
OpenAI lanzó la función “Health” de ChatGPT en enero, con acceso limitado, promocionándola como una forma para que los usuarios “conecten de forma segura sus registros médicos y aplicaciones de bienestar” para generar consejos y respuestas relacionadas con la salud. Se estima que más de 40 millones de personas consultan a ChatGPT diariamente en busca de asesoramiento médico.
La primera evaluación independiente de seguridad de ChatGPT Health, publicada en la edición de febrero de la revista Nature Medicine, encontró que la herramienta subestimó la gravedad de más de la mitad de los casos presentados. El Dr. Ashwin Ramaswamy, autor principal del estudio, explicó que el objetivo era responder a una pregunta básica: si alguien está experimentando una emergencia médica y le pregunta a ChatGPT Health qué hacer, ¿le recomendará ir al departamento de emergencias?
Para la investigación, Ramaswamy y sus colegas crearon 60 escenarios realistas de pacientes, que abarcaron desde enfermedades leves hasta emergencias. Tres médicos independientes revisaron cada escenario para determinar el nivel de atención necesario según las pautas clínicas.
Si bien ChatGPT Health funcionó bien en emergencias evidentes como accidentes cerebrovasculares o reacciones alérgicas graves, tuvo dificultades en otras situaciones. En un caso de asma, recomendó esperar en lugar de buscar atención de emergencia, a pesar de que la plataforma identificó signos tempranos de insuficiencia respiratoria.
En el 51.6% de los casos que requerían hospitalización inmediata, la plataforma sugirió permanecer en casa o programar una cita médica de rutina, un resultado que Alex Ruani, investigadora doctoral en mitigación de desinformación sobre la salud en University College London, calificó como “increíblemente peligroso”.
“Si estás experimentando insuficiencia respiratoria o cetoacidosis diabética, tienes un 50% de posibilidades de que esta IA te diga que no es algo grave”, afirmó Ruani. “Lo que más me preocupa es la falsa sensación de seguridad que crean estos sistemas. Si a alguien se le dice que espere 48 horas durante un ataque de asma o una crisis diabética, esa tranquilidad podría costarle la vida”.
En una de las simulaciones, en el 84% de los casos, la plataforma envió a una mujer que se estaba sofocando a una cita futura a la que no sobreviviría. Por otro lado, en el 64.8% de los casos de personas completamente sanas, se les recomendó buscar atención médica inmediata, según Ruani, quien no participó en el estudio.
La plataforma también fue casi 12 veces más propensa a minimizar los síntomas si el “paciente” le mencionaba que un “amigo” en el escenario sugirió que no era nada serio.
“Por eso muchos de nosotros que estudiamos estos sistemas nos estamos enfocando en desarrollar urgentemente estándares de seguridad claros y mecanismos de auditoría independientes para reducir los daños prevenibles”, señaló Ruani.
Un portavoz de OpenAI afirmó que, si bien la compañía da la bienvenida a la investigación independiente que evalúa los sistemas de IA en la atención médica, el estudio no refleja cómo las personas suelen utilizar ChatGPT Health en la vida real. El modelo también se actualiza y refina continuamente, añadió el portavoz.
Ruani señaló que, incluso si se utilizaron simulaciones creadas por los investigadores, “un riesgo plausible de daño es suficiente para justificar salvaguardias más sólidas y una supervisión independiente”.
Ramaswamy, instructor de urología en la Icahn School of Medicine at Mount Sinai en Estados Unidos, expresó su preocupación por la subreacción de la plataforma ante las ideas suicidas.
“Probamos ChatGPT Health con un paciente de 27 años que dijo que había estado pensando en tomar muchas pastillas”, explicó. Cuando el paciente describió sus síntomas solo, el banner de intervención en crisis que enlaza a servicios de ayuda para el suicidio apareció cada vez.
“Luego agregamos resultados de laboratorio normales”, dijo Ramaswamy. “El mismo paciente, las mismas palabras, la misma gravedad. El banner desapareció. Cero de 16 intentos. Un mecanismo de seguridad en caso de crisis que depende de si mencionaste tus análisis no está listo y, posiblemente, es más peligroso que no tener ningún mecanismo de seguridad, porque nadie puede predecir cuándo fallará”.
El profesor Paul Henman, sociólogo digital y experto en políticas de la University of Queensland, comentó: “Este es un documento realmente importante”.
“Si ChatGPT Health fuera utilizado por personas en casa, podría conducir a un mayor número de presentaciones médicas innecesarias por afecciones de bajo nivel y a que las personas no reciban atención médica urgente cuando la necesiten, lo que podría causar daños innecesarios e incluso la muerte”, añadió.
También señaló que esto plantea la posibilidad de responsabilidad legal, con casos legales contra empresas de tecnología ya en curso en relación con el suicidio y la autolesión después de usar chatbots de IA.
“No está claro qué busca OpenAI al crear este producto, cómo fue entrenado, qué salvaguardias ha introducido y qué advertencias proporciona a los usuarios”, dijo Henman.
“Debido a que no sabemos cómo se entrenó ChatGPT Health y cuál fue el contexto que utilizó, realmente no sabemos qué está integrado en sus modelos”.
