Un hombre de 60 años, sin antecedentes de enfermedad mental, acudió a un servicio de urgencias hospitalarias insistiendo en que su vecino lo estaba envenenando. En las siguientes 24 horas, experimentó alucinaciones que empeoraron e intentó escapar del hospital.
Los médicos finalmente descubrieron que el hombre estaba consumiendo diariamente bromuro de sodio, una sal inorgánica utilizada principalmente para fines industriales y de laboratorio, incluyendo la limpieza y el tratamiento de aguas.
Lo compró por internet después de que ChatGPT le indicara que podía usarlo en lugar de la sal de mesa, debido a su preocupación por los efectos de la sal en su dieta. El bromuro de sodio puede acumularse en el organismo, causando una condición conocida como bromismo, con síntomas que incluyen alucinaciones, estupor y deterioro de la coordinación.
Casos como este han generado preocupación en Alex Ruani, investigador doctoral en desinformación sanitaria en la University College de Londres, ante el lanzamiento de ChatGPT Health en Australia.
Un número limitado de usuarios australianos ya tiene acceso a la plataforma de inteligencia artificial, que les permite “conectar de forma segura sus registros médicos y aplicaciones de bienestar” para generar respuestas “más relevantes y útiles”. Los usuarios de ChatGPT en Australia pueden unirse a una lista de espera para acceder al servicio.
“ChatGPT Health se presenta como una interfaz que puede ayudar a las personas a comprender la información médica y los resultados de las pruebas, o a recibir consejos dietéticos, sin reemplazar a un profesional de la salud”, explicó Ruani.
“El desafío es que, para muchos usuarios, no es evidente dónde termina la información general y comienza el consejo médico, especialmente cuando las respuestas suenan seguras y personalizadas, incluso si son engañosas.”
Ruani señaló que ha habido demasiados “ejemplos alarmantes” de ChatGPT “omitiendo detalles de seguridad clave, como efectos secundarios, contraindicaciones, advertencias sobre alergias o riesgos relacionados con suplementos, alimentos, dietas o ciertas prácticas”.
“Lo que me preocupa es que no hay estudios publicados que evalúen específicamente la seguridad de ChatGPT Health”, afirmó Ruani. “¿Qué indicaciones de los usuarios, rutas de integración o fuentes de datos podrían conducir a información errónea o perjudicial?”
Sign up: AU Breaking News email
ChatGPT está desarrollado por OpenAI, que utilizó la herramienta HealthBench para desarrollar ChatGPT Health. HealthBench emplea a médicos para probar y evaluar el rendimiento de los modelos de IA al responder a preguntas de salud.
Ruani explicó que la metodología completa utilizada por HealthBench y sus evaluaciones “están en su mayoría sin revelar, en lugar de estar detalladas en estudios revisados por pares independientes”.
“ChatGPT Health no está regulado como un dispositivo médico o una herramienta de diagnóstico. Por lo tanto, no existen controles de seguridad obligatorios, no hay informes de riesgos, no hay vigilancia posterior a la comercialización y no se exige la publicación de datos de pruebas.”
Un portavoz de OpenAI declaró a Guardian Australia que la empresa ha colaborado con más de 200 médicos de 60 países “para asesorar y mejorar los modelos que impulsan ChatGPT Health”.
“ChatGPT Health es un espacio dedicado donde las conversaciones sobre salud se mantienen separadas del resto de tus chats, con sólidas protecciones de privacidad por defecto”, añadió el portavoz.
Los datos de ChatGPT Health están encriptados y sujetos a protecciones de privacidad por defecto.
El intercambio con terceros se realizará con el consentimiento del usuario o en circunstancias limitadas descritas en la política de privacidad de OpenAI.
La directora ejecutiva del Consumers Health Forum de Australia, Dra. Elizabeth Deveny, señaló que el aumento de los costos médicos de bolsillo y los largos tiempos de espera para ver a los médicos están impulsando a las personas a recurrir a la IA.
Deveny afirmó que ChatGPT Health podría ser útil para ayudar a las personas a controlar enfermedades crónicas bien conocidas y a investigar formas de mantenerse saludables. La capacidad de la IA para proporcionar respuestas en diferentes idiomas “ofrece un beneficio real a las personas que no dominan el inglés”, dijo.
A Deveny le preocupa que las personas tomen los consejos proporcionados por ChatGPT Health al pie de la letra y que “las grandes empresas tecnológicas globales se estén moviendo más rápido que los gobiernos”, estableciendo sus propias reglas en torno a la privacidad, la transparencia y la recopilación de datos.
“Esto no es una pequeña organización sin fines de lucro que experimenta de buena fe. Es una de las empresas tecnológicas más grandes del mundo.
“Cuando las plataformas comerciales definen las normas, los beneficios tienden a fluir hacia las personas que ya tienen recursos, educación y conocimientos del sistema. Los riesgos recaen sobre aquellos que no los tienen.”
Deveny señaló que la falta de acción por parte de los gobiernos ha dejado a los consumidores de salud para navegar por la transformación social provocada por la IA en gran medida por su cuenta.
“Necesitamos salvaguardias claras, transparencia y educación del consumidor para que las personas puedan tomar decisiones informadas sobre si y cómo utilizan la IA para su salud”, dijo.
“Esto no se trata de detener la IA. Se trata de actuar antes de que los errores, los sesgos y la desinformación se repliquen a gran velocidad y escala, de formas que son casi imposibles de deshacer.”
