Mrinank Sharma, director del equipo de investigación de salvaguardias de Anthropic, ha presentado su renuncia. Sharma compartió una extensa nota de renuncia en X, anteriormente Twitter, donde anunció que hoy, 9 de febrero, es su último día en la compañía. “Hoy es mi último día en Anthropic. He renunciado. Aquí está la carta que compartí con mis colegas, explicando mi decisión”, escribió Sharma en su publicación.
Anthropic anunció su ‘Equipo de Investigación de Salvaguardias’ en febrero de 2025. En una publicación de blog, la empresa explicó que, tras el lanzamiento de los Clasificadores Constitucionales, estaban entusiasmados de anunciar este nuevo equipo. Se enfocarán en temas como la robustez ante ataques de jailbreak, el red teaming automatizado y el desarrollo de técnicas de monitoreo efectivas, tanto para el uso indebido como para la desalineación de los modelos.
El equipo está actualmente liderado por Mrinank Sharma, y sus miembros son Erik Jones, Meg Tong, Jerry Wei, Euan Ong, Alwin Peng, Ted Sumers, Taesung Lee, Giulio Zhou y Scott Goodfriend.
En la extensa nota dirigida a sus colegas en Anthropic, Sharma compartió su trayectoria en la empresa. “Llegué a San Francisco hace dos años, después de terminar mi doctorado y con el deseo de contribuir a la seguridad de la IA”, escribió. La carta también aborda el dilema que parece enfrentar y que pudo haber desencadenado su decisión de dejar la compañía. Aquí está la carta de renuncia compartida por Mrinank:
Estimados colegas,
He decidido dejar Anthropic. Mi último día será el 9 de febrero.
Gracias. Hay mucho aquí que me inspira y ha inspirado. Por mencionar algunas cosas: un deseo y una motivación sinceros para afrontar una situación tan desafiante y aspirar a contribuir de manera impactante y con alta integridad; la voluntad de tomar decisiones difíciles y defender lo que es bueno; una cantidad irrazonable de brillantez e ingenio intelectual; y, por supuesto, la considerable amabilidad que impregna nuestra cultura.
He logrado lo que quería aquí. Llegué a San Francisco hace dos años, después de terminar mi doctorado y con el deseo de contribuir a la seguridad de la IA. Me siento afortunado de haber podido contribuir a lo que tengo aquí: comprender la servilidad de la IA y sus causas; desarrollar defensas para reducir los riesgos del bioterrorismo asistido por la IA; poner esas defensas en producción; y escribir uno de los primeros casos de seguridad de la IA. Estoy especialmente orgulloso de mis recientes esfuerzos para ayudarnos a vivir nuestros valores a través de mecanismos de transparencia interna; y también de mi proyecto final sobre cómo los asistentes de IA podrían hacernos menos humanos o distorsionar nuestra humanidad. Gracias por su confianza.
Sin embargo, me queda claro que ha llegado el momento de seguir adelante. Constantemente me encuentro reflexionando sobre nuestra situación. El mundo está en peligro. Y no solo por la IA o las armas biológicas, sino por una serie de crisis interconectadas que se desarrollan en este mismo momento. Parece que nos estamos acercando a un umbral donde nuestra sabiduría debe crecer a la par de nuestra capacidad para afectar al mundo, para no enfrentar las consecuencias. Además, a lo largo de mi tiempo aquí, he visto repetidamente lo difícil que es dejar que nuestros valores realmente gobiernen nuestras acciones. He visto esto dentro de mí mismo, dentro de la organización, donde constantemente nos enfrentamos a presiones para dejar de lado lo que más importa, y en toda la sociedad también.
Es al sostener esta situación y escuchar lo mejor que puedo que lo que debo hacer se vuelve claro. Quiero contribuir de una manera que se sienta plenamente en línea con mi integridad, y que me permita aportar más de mis particularidades. Quiero explorar las preguntas que me parecen verdaderamente esenciales, las preguntas que David Whyte diría que “no tienen derecho a desaparecer”, las preguntas que Rilke nos insta a “vivir”. Para mí, esto significa irme.
No sé qué vendrá después. Pienso con cariño en la famosa cita zen “no saber es lo más íntimo”. Mi intención es crear un espacio para dejar de lado las estructuras que me han sostenido en estos últimos años y ver qué podría surgir en su ausencia. Me siento llamado a escribir que aborde y se involucre plenamente con el lugar en el que nos encontramos, y que coloque la verdad poética junto a la verdad científica como formas igualmente válidas de conocimiento, ambas de las cuales creo que tienen algo esencial que contribuir al desarrollo de nuevas tecnologías. Espero explorar un título en poesía y dedicarme a la práctica del discurso valiente. También estoy emocionado de profundizar en mi práctica de facilitación, coaching, construcción de comunidad y trabajo en grupo. Veremos qué sucede.
Gracias y adiós. He aprendido mucho al estar aquí y les deseo lo mejor. Les dejo con uno de mis poemas favoritos, The Way It Is de William Stafford.
Buena suerte, Mrinank
