Los principales desarrolladores, OpenAI y Anthropic, han instado a los legisladores a regularlo, aunque algunos sugieren, quizás con cierto cinismo, que esta medida pretende afianzar su dominio sobre sus rivales. En cualquier caso, las acusaciones de gran repercusión han causado preocupación.
Su afirmación más fuerte fue que quienes desarrollan estos sistemas consideran seriamente la posibilidad de que una IA avanzada termine representando una amenaza para la propia humanidad.
Confirmed details from the source coverage
El escenario que preocupa a Coxon es hipotético y mucho más avanzado: la denominada superinteligencia con automejora recursiva. La idea consiste en que un sistema alcance suficiente capacidad para contribuir a diseñar versiones mejores de sí mismo o sistemas sucesores.
El temor de algunos especialistas es que ese ciclo provoque un aumento de capacidades demasiado rápido para que los humanos puedan supervisarlo adecuadamente.
Coxon sostiene que sistemas futuros podrían llegar a superar ampliamente las capacidades humanas en áreas como programación, investigación científica o ciberseguridad y, eventualmente, adquirir capacidad para obtener recursos o ejercer influencia en el mundo real.
Context that stayed inside the record
Para él, el problema fundamental es que el progreso continúa mientras permanece abierta la pregunta de cómo garantizar que una inteligencia superior siga objetivos compatibles con los intereses humanos. Un investigador de Anthropic respalda la preocupaciónLa advertencia adquirió mayor relevancia porque no quedó únicamente en las palabras de un exempleado.
Evan Hubinger, responsable de Alignment Science de Anthropic, respondió públicamente a Coxon y confirmó que comparte una parte sustancial de sus preocupaciones. Hubinger afirmó que personalmente sitúa en más del 10 % la probabilidad de que una IA provoque la desaparición de la humanidad durante la próxima década.
Su preocupación se concentra en sistemas futuros y, especialmente, en un escenario de automejora recursiva.
Lectura relacionada