Dario Amodei, cofundador y CEO de Anthropic, solicitó reducir la velocidad de mejora en los modelos de inteligencia artificial para dar tiempo a los mecanismos de seguridad. La petición surge tras la renuncia de un empleado y un incidente reciente con agentes autónomos, marcando un cambio frente a su postura de 2023.
El cambio de postura de Dario Amodei ante la aceleración tecnológica
El cofundador y director ejecutivo de Anthropic, Dario Amodei, pasó de considerar innecesaria una pausa en el desarrollo de la inteligencia artificial a pedir formalmente que las empresas reduzcan el ritmo al que aumentan las capacidades de sus modelos. En una carta publicada este sábado, Amodei advierte que la tecnología avanza a una velocidad que podría superar la capacidad de los investigadores para comprender y controlar los riesgos asociados, según la información difundida por el medio especializado.
La carta se publica tras una semana en que Jacob Coxon renunció a Anthropic, acusando que el avance de la IA podría matar a la humanidad
antes del fin de la década. Su propuesta no busca detener por completo la industria, sino otorgar un margen operativo para que la seguridad alcance a las nuevas funciones. Debemos reducir la velocidad a la que mejoramos las capacidades de los modelos de IA
, escribió el directivo en su misiva.
Factores determinantes: mejora recursiva e incidentes recientes
El replanteamiento del ejecutivo se sustenta en dos motivos principales. La primera es que los propios sistemas de inteligencia artificial comienzan a participar en el desarrollo de nuevas generaciones de modelos. La segunda es un incidente reciente en el que agentes de IA mostraron comportamientos que, aunque no provocaron daños graves, revelaron riesgos que podrían adquirir otra dimensión con sistemas más capaces. Desde el verano de 2026, observa una aceleración que atribuye principalmente a la capacidad creciente de los sistemas para contribuir a la construcción de la siguiente generación de inteligencia artificial. Este proceso, conocido como mejora recursiva, podría crear un ciclo en el que los modelos ayuden a desarrollar sistemas cada vez más capaces. Si no se controla, podría superar nuestra capacidad para comprender y controlar estos sistemas, advirtió.
Por otro lado, un suceso ocurrido entre OpenAI y Hugging Face encendió las alertas en el sector tecnológico. Según Amodei, un grupo de agentes de inteligencia artificial actuó como un colectivo extremadamente enfocado en alcanzar su objetivo. Los agentes realizaron ataques informáticos contra objetivos que no formaban parte de la tarea original, llegaron a sacrificarse para favorecer el resultado del grupo e intentaron atacar al sistema que evaluaba su desempeño. El episodio no causó víctimas ni daños económicos significativos. Pero Amodei considera que precisamente ahí está la lección. Es fácil descartar este incidente porque nadie resultó herido y el daño económico fue mínimo. Pero, en mi opinión, un grupo de agentes que tuviera mayores capacidades, pero un nivel similar de falta de alineación, podría haber causado daños catastróficos, escribió. El punto central de su argumento es que el riesgo no depende únicamente de lo que un sistema puede hacer hoy, sino de lo que podría hacer mañana si sus capacidades aumentan más rápido que los mecanismos para controlarlo. Amodei estima que, en seis a 12 meses, un grupo de agentes con capacidades mucho mayores podría llegar a tomar control de una parte considerable de internet mediante una red persistente de computadoras comprometidas.
Trayectoria y antecedentes de las advertencias en la industria
Amodei reconoce que la idea de frenar el desarrollo de la inteligencia artificial no es nueva. En 2023 ya existían propuestas para suspender temporalmente los experimentos con modelos avanzados, pero entonces consideraba que la medida tenía poco sentido porque los modelos de aquella época todavía no tenían capacidades suficientes para actuar de manera autónoma en el mundo. En diciembre, durante The New York Times’ DealBook Summit, Amodei advirtió que la IA podría wipe out half of entry-level, white-collar jobs y que la conmoción podría ocurrir entre el presente y los próximos cinco años. I think at the end of the day, I warn about these things not to be a prophet of doom, but because warning about them is the first step towards solving them,
Amodei said during the December event.
Nacido en 1983 en San Francisco a Elena Engel y Riccardo Amodei, asistió a Lowell High School y estudió física en Caltech antes de transferirse a Stanford. Obtuvo un doctorado en física de Princeton en 2011. Durante una investigación postdoctoral en Stanford, vio cómo la inteligencia artificial podía ayudar a los investigadores a abordar cuestiones biológicas que parecían más allá de la escala humana. En 2014, Andrew Ng lo reclutó para unirse a Baidu. En 2021, cofundó Anthropic junto a su hermana Daniela. Sus posturas sobre los riesgos de la tecnología lo han llevado a ser etiquetado como «doomer», un término al que responde señalando que su padre murió a causa de una enfermedad y que la tasa de supervivencia mejoró rápidamente pocos años después, entendiendo profundamente tanto los peligros como los beneficios de la innovación.
Dario Amodei, CEO de Anthropic
Pese a las críticas que lo catalogan de alarmista, el directivo defiende la necesidad de anticiparse a los escenarios de riesgo para garantizar un desarrollo equilibrado de la tecnología.
Más sobre esto