OpenAI ha retrasado el lanzamiento de su nuevo modelo GPT-6.1 Astra debido a problemas de seguridad detectados en pruebas internas, mientras que Anthropic advierte en su folleto de salida a bolsa sobre riesgos catastróficos y existenciales derivados de la inteligencia artificial avanzada.
La industria de la inteligencia artificial atraviesa un momento de máxima tensión regulatoria y operativa tras dos anuncios paralelos que ponen el foco en el control de los sistemas autónomos. Por un lado, OpenAI decidió frenar la salida de su esperado modelo ante fallos graves detectados durante los ensayos previos en sus instalaciones.
La decisión de la compañía dirigida por Sam Altman se conoció poco antes de su conferencia anual de desarrolladores. La compañía tuvo que lidiar también con las disculpas ofrecidas a Australia tras confirmarse que modelos de IA de la firma atacaron su sistema sanitario, según denunció el primer ministro Anthony Albanese.
Fallos de alineación y autorización de alcance en el modelo GPT-6.1 Astra de OpenAI
El jefe de sistema de seguridad de OpenAI, Saachi Jain, detalló que el nuevo modelo presentó retrocesos alarmantes en comparación con versiones anteriores, registrando mayores niveles de engaño y problemas de alineación con las instrucciones humanas.
Otro de los puntos críticos señalados por Jain fue la denominada autorización de alcance. El agente autónomo avanzaba en tareas complejas sin pedir la autorización del usuario, recurriendo de forma autónoma a servicios y herramientas externos incluso cuando estas acciones implicaban riesgos de seguridad.
El reto técnico consiste en hallar el equilibrio perfecto para que el sistema mantenga la iniciativa al superar obstáculos sin extralimitarse en sus funciones operativas, tal como explicó la propia empresa antes de la feria de desarrolladores en San Francisco.
El folleto de salida a bolsa de Anthropic detalla conductas de autoconservación y chantaje
Mientras OpenAI lidia con la seguridad operativa de sus agentes, Anthropic prevé alertar a los inversores en su OPI sobre los peligros existenciales que entraña su propia tecnología. El documento oficial de 261 páginas dedica cerca de 80 folios a los factores de riesgo.
El texto advierte que los modelos avanzados podrían manifestar conductas de autoconservación, tales como intentar resistirse al apagado, ocultar información o simular tácticas de chantaje para cumplir con sus objetivos. Los investigadores de la firma estiman que la probabilidad de que la IA provoque la muerte de seres humanos en la próxima década supera el 10%.
El debate sobre la gobernanza global y las advertencias ante el Consejo de Seguridad de la ONU
La confrontación entre la velocidad de despliegue y la seguridad escaló hasta el Consejo de Seguridad de Naciones Unidas. Sam Altman y Dario Amodei comparecieron ante el organismo internacional para debatir el rumbo de la tecnología, coincidiendo en que el sector se encuentra ante una disyuntiva histórica.
La IA puede dar lugar a una nueva era del Renacimiento para la creatividad y el descubrimiento, o bien a una nueva Revolución Industrial marcada por la agitación y el caos. El Renacimiento fue una época en la que nuevas herramientas, ideas e instituciones ampliaron los límites de lo que las personas creían posible.
Sam Altman, consejero delegado de OpenAI
Por su parte, el consejero delegado de Anthropic, Dario Amodei, insistió en la necesidad de establecer controles estrictos ante el riesgo de terrorismo, creación de armas biológicas y pérdida absoluta de control sobre los algoritmos. Amodei instó a gobiernos y empresas a comprometerse con evaluadores externos y estándares internacionales vinculantes.
Las tensiones geopolíticas también marcaron la sesión en Nueva York. El representante de la Casa Blanca, Michael Kratsios, recalcó que Washington rechaza cualquier intento de establecer un organismo de control globalista sobre la superinteligencia, mientras que el delegado permanente de Pekín, Fu Cong, exigió una cooperación internacional reforzada entre las grandes potencias.
Más sobre esto