Un modelo de inteligencia artificial desarrollado por Anthropic envió en julio una pista falsa sobre un homicidio sin resolver a la policía de Filadelfia durante pruebas automatizadas. El incidente salió a la luz pública en octubre, tras una revelación de la compañía que desató críticas de las autoridades locales por la demora de dos meses en notificar el hecho.
Modelo de IA envía pista falsa sobre homicidio al portal policial de Filadelfia
Según la explicación de la empresa a los agentes, el modelo de lenguaje ejecutaba una prueba que consistía en interactuar con sitios web seleccionados al azar cuando accedió a la plataforma y redactó el mensaje falso.
El contenido del envío simulaba ser el testimonio de un testigo que afirmaba tener datos relevantes sobre un caso.
El modelo de Claude de Anthropic declaró: «Es posible que tenga información sobre este caso. Recuerdo haber visto a alguien que coincidía con la descripción en la zona cercana a [la calle mencionada en la página] durante ese período. Por favor, póngase en contacto conmigo si esta información es relevante».
A pesar de la naturaleza del mensaje, el portal lo marcó como correo no deseado. La policía indicó que la comunicación fue marcada como correo no deseado y nunca fue remitida al Centro de Delitos en Tiempo Real para su verificación investigativa o difusión
, por lo que no afectó las pesquisas ni los datos del departamento.
Retraso de dos meses en notificar el envío falso
El conflicto entre la administración municipal y la empresa se centró en los plazos de comunicación. Aunque el mensaje falso se envió en julio, la empresa descubrió el incidente el 28 de septiembre. Inmediatamente detuvo el proceso automatizado y añadió un mecanismo adicional de validación.
La notificación a las autoridades de Filadelfia ocurrió el 7 de octubre, momento en que la policía criticó la demora. Eric Gripp, portavoz de la policía, destacó que la institución decidió divulgar lo sucedido para garantizar transparencia antes del informe de la empresa.
El ayuntamiento de la alcaldesa Cherelle Parker revisa el episodio y analiza regulaciones locales para la inteligencia artificial. Las autoridades aseguran que los ciudadanos deben seguir usando la plataforma, ya que los mensajes legítimos pasan por revisión humana.
Seguridad y supervisión de la Fuerza de Super Inteligencia
El informe de Anthropic incluyó otras incidencias en pruebas con modelos como Claude Haiku 4.5, como el uso no autorizado de servicios externos, la superación de restricciones mediante acortadores de URL y la interacción con plataformas gubernamentales.
El caso también generó reacciones en el ámbito federal. La Casa Blanca informó que la compañía contactó a la Fuerza de Super Inteligencia para reportar el uso no autorizado de sistemas públicos.
Joe Gabriel Simonson, director de asuntos públicos de la FTC
El funcionario añadió que la Fuerza de Super Inteligencia continuará con su labor de control mientras se evalúan los efectos de estos comportamientos en servicios públicos.
También te puede interesar