chatgpt

El uso indebido de chatbots de inteligencia artificial como ChatGPT, Gemini y Copilot en la atención médica se considera el peligro tecnológico para la salud más significativo para 2026, según la organización sin fines de lucro de seguridad del paciente ECRI. Cada año, la organización elabora una lista de los 10 peligros principales basándose en las respuestas a encuestas a sus miembros, revisiones de la literatura, pruebas de dispositivos médicos en su laboratorio e investigaciones de incidentes de seguridad del paciente.

Los periodistas pueden descargar un resumen ejecutivo del informe para obtener más información e ideas para sus reportajes. El informe identifica lo que ECRI considera los peligros potenciales más graves y ofrece recomendaciones para reducir los riesgos de daños a los pacientes.

Preocupación por los chatbots de IA

Los chatbots mencionados anteriormente, como Gemini y Copilot, no están diseñados específicamente para aplicaciones de atención médica, advirtieron los expertos de ECRI durante una transmisión web de enero. “No son dispositivos médicos. No están aprobados ni regulados por la FDA para ese propósito”, dijo Rob Schluth, director de proyecto principal de seguridad de dispositivos en ECRI. Sin embargo, dado que estas herramientas se están integrando cada vez más en nuestras vidas, “estamos descubriendo que muchas personas en el sector de la salud o con problemas de salud recurren a estas herramientas en busca de consejos sobre afecciones médicas, tratamientos u otras cuestiones relacionadas con la atención médica, lo que plantea algunos riesgos”.

Además de buscar información sobre afecciones médicas, los clínicos pueden utilizar los chatbots para identificar posibles opciones de tratamiento para un paciente o crear notas. El personal del hospital puede utilizarlos para tomar decisiones de compra o para obtener ayuda al redactar informes, según los expertos.

No se trata de que los chatbots en sí mismos “se hayan vuelto repentinamente peligrosos”, dijo Marcus Schabacker, M.D., Ph.D., presidente y director ejecutivo de ECRI, sino de que cuando la respuesta de un chatbot “parece útil y definitiva, la gente empieza a confiar en ella sin cuestionarla necesariamente”.

Los modelos de lenguaje grandes (LLM) como estos están diseñados para responder de una manera que mantenga a los usuarios comprometidos, según el personal de ECRI durante la transmisión web, y no para cuestionar o corregir suposiciones erróneas que puedan introducirse en las consultas. Los chatbots también pueden cometer errores o fabricar o “alucinar” información, ya que tienen una tendencia a presentar información que consideran que el usuario quiere escuchar. También están diseñados para sonar definitivos, y no para decir “no estoy seguro” o “lo siento, no puedo ayudarte con esto”, dijo Schabacker.

Una idea errónea común es que los LLM entienden lo que dicen, dijo Christie Bergerson, Ph.D., analista de seguridad de dispositivos en ECRI. En cambio, predicen la siguiente palabra basándose en patrones y datos con los que han sido entrenados, explicó. Identifican palabras que suelen aparecer en conversaciones sobre un tema determinado y las forman en frases, dijo. Las respuestas se basan en predicciones y probabilidades estadísticas.

Los chatbots aún pueden ser útiles para ayudar a generar ideas, obtener información de fondo o explicar temas complejos, según los expertos, pero los usuarios deben verificar la información y “consultar con un experto humano antes de tomar medidas o tomar decisiones basadas en la respuesta de un LLM”, dijo Bergerson.

AHCJ ha cubierto las preocupaciones relacionadas con el uso de chatbots de IA y la salud mental a través de publicaciones de blog y un seminario web el otoño pasado.

Otros peligros tecnológicos para la salud

Completando la lista de los 10 peligros principales, se encuentran los siguientes problemas que pueden afectar la seguridad del paciente:

2. Falta de preparación para un evento de “oscuridad digital”, o pérdida repentina de acceso a los sistemas electrónicos y la información del paciente.

Los ciberataques, los desastres naturales, las interrupciones de los proveedores y los fallos internos del sistema podrían potencialmente paralizar una instalación de atención médica, según el informe, lo que podría retrasar el tratamiento o poner en peligro la seguridad del paciente. Los sistemas de salud deben fortalecer la planificación de la recuperación ante desastres, incluido el establecimiento de procedimientos de inactividad, contar con procesos de copia de seguridad de datos confiables y garantizar la preparación a través de capacitación y simulacros de seguridad, escribieron los autores.

3. Productos médicos de calidad inferior y falsificados

Los productos falsificados están llegando a los mercados estadounidenses “con una frecuencia alarmante”, según escribieron los autores, y aquellos que funcionan según lo previsto pueden causar daños. Animaron a los proveedores de atención médica a fortalecer sus cadenas de suministro, exigir productos de alta calidad e implementar medidas para proteger a los pacientes y al personal de productos defectuosos.

4. Fallos en la comunicación de retiradas de productos para tecnologías de control de la diabetes en el hogar

Los monitores continuos de glucosa y otros dispositivos han mejorado la calidad de vida de las personas con diabetes, pero pueden producirse daños si las retiradas de productos y las actualizaciones no llegan a los pacientes y cuidadores de manera oportuna. Los usuarios domésticos de estas tecnologías deben ser proactivos a la hora de identificar y responder a los avisos de seguridad sobre sus dispositivos y aplicaciones, según los autores, y los proveedores y fabricantes deben proporcionar información clara sobre la seguridad de los productos.

5. Conexiones incorrectas de jeringas o tubos a líneas de pacientes

Las conexiones inapropiadas de jeringas o tubos a líneas de pacientes destinadas a diferentes usos pueden provocar que medicamentos, soluciones, nutrición intravenosa o gas se introduzcan en la línea incorrecta, con consecuencias graves. Los autores del informe animaron a los hospitales a adoptar el uso de dispositivos de conexión de seguridad.

6. Subutilización de tecnologías de seguridad de medicamentos en entornos perioperatorios

Los errores de medicación pueden ocurrir en varios puntos antes, durante y después de los procedimientos quirúrgicos, según los autores. Los medicamentos administrados suelen ser opioides u otros medicamentos de “alta alerta”. Las organizaciones de atención médica deben incorporar herramientas como sistemas de administración de medicamentos con código de barras, donde los trabajadores de la salud escanean la pulsera del paciente y la etiqueta del medicamento para asegurarse de que coincidan.

7. Instrucciones de limpieza de dispositivos inadecuadas

No limpiar y desinfectar/esterilizar adecuadamente los dispositivos médicos reutilizables entre usos puede propagar infecciones o provocar daños en los dispositivos u otros daños, según los autores. El reprocesamiento puede ser complicado por la amplia variación en las instrucciones proporcionadas por los fabricantes. Las organizaciones de salud deben considerar las instrucciones de reprocesamiento antes de realizar pedidos.

8. Riesgos de ciberseguridad de los dispositivos médicos heredados

Los dispositivos y sistemas más antiguos basados en software que ya no se actualizan con protecciones de ciberseguridad suficientes brindan una oportunidad para que los piratas informáticos exploten. Los sistemas de salud podrían considerar desconectar dichos dispositivos de sus redes, utilizar herramientas de seguridad para administrar las vulnerabilidades o planificar el reemplazo de los dispositivos, según los autores.

9. Implementaciones de tecnología de la salud que provocan flujos de trabajo clínicos inseguros

Implementar tecnologías de atención médica sin que los usuarios comprendan completamente cómo usarlas puede contribuir a varios daños a los pacientes, especialmente si los usuarios recurren a soluciones alternativas inseguras. Los sistemas de salud deben realizar análisis exhaustivos del flujo de trabajo antes de implementar nuevas tecnologías e instituir programas de capacitación integrales, según los autores.

10. Mala calidad del agua durante la esterilización de instrumentos

No mantener la calidad del agua durante la desinfección/esterilización de instrumentos expone a los pacientes a patógenos potencialmente infecciosos o puede provocar que los instrumentos se corroan o se manchen con residuos. Los sistemas de salud deben evaluar rutinariamente la limpieza de los dispositivos procesados y muestrear la calidad del agua.

Recursos