Aran Nayebi, profesor asistente en el Departamento de Aprendizaje Automático de la Escuela de Ciencias de la Computación de la Universidad Carnegie Mellon (CMU), bromea sobre cómo su robot aspirador tiene un “cerebro” más grande que el de sus dos gatos. Sin embargo, mientras que el aspirador solo sigue una ruta preestablecida, Zoe y Shira saltan, juegan e investigan la casa con verdadera autonomía.
“Observo cómo juegan y saltan con flexibilidad”, afirma Nayebi. “Sus cerebros son mucho más pequeños que el del Roomba, pero estos animales poseen una notable capacidad de acción.”
Esta curiosidad natural observada en los animales inspiró a Nayebi y a sus colegas de CMU a crear un sistema capaz de explorar su entorno sin que se le indique explícitamente qué hacer. Este trabajo sugiere un futuro en el que “científicos agentes de IA” autónomos podrían analizar grandes conjuntos de datos complejos sin sesgos humanos, descubriendo patrones y perspectivas que de otro modo podrían permanecer ocultos.
Nayebi y su equipo han creado un pez cebra virtual que actúa como un pez cebra real, sin entrenamiento previo. Este pez cebra virtual replicó la actividad cerebral similar a la de un animal y exhibió autonomía similar en un entorno simulado.
Esa autonomía es fundamental para desarrollar agentes de IA para la exploración abierta sin objetivos claramente definidos, es decir, para crear científicos agentes de IA. “Si construimos científicos de IA, podríamos aumentar la probabilidad de esos momentos de serendipia en el descubrimiento científico, como el descubrimiento de la penicilina”, explica Nayebi. “En biología, por ejemplo, los datos tienen muchos componentes conectados que se influyen mutuamente, y los agentes de IA son mejores para manejar más información.”
Estos agentes también podrían superar a los humanos al no tener los sesgos inherentes a las personas. La biología ha demostrado que los humanos tienden a interesarse por las narrativas y a construir historias que a menudo pueden conducir a conclusiones engañosas o poco sólidas. Nayebi señala que un agente de IA se centra intrínsecamente en lo que respaldan los datos.
Nayebi y su equipo eligieron el pez cebra debido a investigaciones previas de biólogos sobre las células gliales en sus cerebros. Inicialmente, las células gliales eran poco estudiadas, pero los biólogos descubrieron que estas células desempeñan un papel en la capacidad del pez cebra larval para nadar y explorar su entorno.
Cuando biólogos interrumpieron (opens in new window)la capacidad del pez cebra para usar su cola, este ya no pudo nadar y entró en un estado de pasividad inducida por la futilidad, lo que significa que intentó nadar con fuerza, se dio cuenta de que no podía y dejó de moverse por un tiempo. Después de un tiempo en este estado pasivo, el pez cebra lo intentó de nuevo, y fueron las interacciones con las células gliales las que le ayudaron a intentarlo de nuevo.
Nayebi y su equipo utilizaron esta investigación previa para desarrollar un método computacional que permite a un agente de IA explorar y adaptarse a su entorno sin recompensas externas ni datos etiquetados. Su pez cebra larval simulado utiliza un modelo llamado Model-Memory-Mismatch Progress (3M-Progress) para comprender su mundo.
El componente de memoria del modelo es doble. Es tanto una memoria actual, como las experiencias en tiempo real de su mundo, como una “memoria previa relevante desde el punto de vista etológico”, que es una memoria previa de cómo debería funcionar su mundo, por ejemplo, si el pez cebra mueve la cola, se moverá a través del agua. La discrepancia ocurre cuando hay una nueva experiencia sensorial que no coincide con la memoria previa, lo que provoca que actualice su modelo, o su comprensión del mundo.
“Nuestra investigación muestra que los enfoques existentes de la curiosidad intrínseca no son lo suficientemente flexibles para capturar la exploración real de los animales”, afirma Reece Keller, estudiante de doctorado en el Neuroscience Institute (NI)(opens in new window) y el Robotics Institute (RI)(opens in new window). “Incorporar primitivas de memoria, que son supuestos fijos sobre el mundo que el agente puede recordar y consultar más tarde, proporciona la flexibilidad suficiente para construir un objetivo intrínseco que no solo captura el comportamiento de exploración del pez cebra, sino que también predice la actividad cerebral a nivel de célula única a partir del cerebro artificial de nuestro agente. Esto es importante porque enfatiza que la inteligencia animal se basa en una gran cantidad de supuestos biológicos.”
3M-Progress es un algoritmo de motivación intrínseca, lo que significa que proporciona a un agente de IA su propia motivación incorporada para explorar en lugar de depender de recompensas externas. Por ejemplo, un robot aspirador es un agente de IA basado en recompensas. No explora el espacio; crea un mapa y luego es “recompensado” cuando limpia eficazmente el área mapeada. El pez cebra simulado no está simplemente buscando nuevos estímulos o ruido blanco. En cambio, la señal de discrepancia impulsa al agente hacia una exploración significativa y similar a la curiosidad.
“En el pasado, la gente ha entrenado a un roedor virtual tomando videos de roedores corriendo, rastreándolos y luego entrenando políticas de aprendizaje por refuerzo para imitar ese movimiento directamente en el video”, explica Nayebi. “Pero aquí no hacemos eso. Entrenamos a este pez cebra virtual con un objetivo 3M-Progress. Este pez cebra virtual no ha visto cómo se mueven los peces cebra reales, y no estamos tratando de forzar que su ‘cerebro’ coincida directamente con los datos. En cambio, creamos un entorno simulado, lo dejamos explorar y evaluamos su comportamiento después.”
Los investigadores recrearon entonces la situación de investigaciones anteriores que condujo a la pasividad inducida por la futilidad para ver si el pez cebra simulado entraría en ese estado sin entrenamiento previo. Descubrieron que el pez cebra virtual mostró un comportamiento similar a la pasividad inducida por la futilidad. Nayebi afirma que este resultado es significativo porque el pez cebra virtual exhibió este tipo de comportamiento sin ningún conocimiento previo del estado.
“Lo que aprendimos de investigaciones anteriores es que la conexión neural glial es simplemente la forma en que la biología concreta esa computación de discrepancia, cuando la experiencia vivida no se alinea con las expectativas”, explica. “En los peces cebra larvales de la vida real, las células gliales son el circuito que calcula la discrepancia y luego suprime el movimiento del pez. Lo que encontramos con nuestro pez cebra simulado es que cuando entrenamos el modelo para rastrear básicamente su progreso, está aprendiendo a hacer algo similar, donde se da cuenta de que es inútil y luego suprime sus acciones y luego comienza de nuevo. Se obtiene un comportamiento cíclico, y eso es la pasividad inducida por la futilidad.”
Recrear este comportamiento en un agente de IA ayuda a los investigadores a comprender y acercarse un paso más a la recreación de la autonomía similar a la de los animales en los agentes de IA. Nayebi afirma que este trabajo es solo el comienzo, y a medida que los investigadores aborden problemas más complejos que el cerebro también ha resuelto, las soluciones se asemejarán cada vez más a cómo funciona realmente el cerebro, porque hay muy pocas soluciones.
Además de Nayebi y Keller, el equipo de investigación de CMU incluyó a Alyn Kirsch, estudiante de maestría en RI; Felix Pei, estudiante de doctorado en NI; y Xaq Pitkow, profesor asociado de NI. El equipo también incluyó a Leo Kozachkov, profesor asistente en la Universidad de Brown.
Nayebi afirma que los próximos pasos del equipo incluyen explorar cómo se puede aplicar la autonomía a diferentes encarnaciones, no solo a los peces cebra.
