El miedo a la inteligencia artificial proviene de la opacidad en sus capas internas, pero una nueva hipótesis de investigación sugiere que las redes neuronales ya son más transparentes y comprensibles de lo que se creía, según el investigador Nick Cammarata.
La inteligencia artificial ha avanzado de forma vertiginosa, pero sigue operando como una caja negra. Sabemos exactamente qué datos ingresan y qué respuestas emiten los modelos, mas resulta complejo descifrar con exactitud qué ocurre en sus capas internas. Pioneros de la industria como Geoffrey Hinton y Yoshua Bengio han reconocido abiertamente esta limitación técnica desde hace años.
Personalmente, no creo que lleguemos a interpretar nunca lo que sucede dentro de las redes neuronales por razones fundamentales, aunque podemos obtener algunas pistas interesantes. Mi esperanza reside más bien en conseguir que el proceso por el que la IA llega a sus respuestas pueda descomponerse en partes interpretables.
Yoshua Bengio, Instituto para el Futuro de la Vida
En una entrevista concedida a Wired en 2019, Geoffrey Hinton fue aún más directo al afirmar que la industria carece de una comprensión absoluta sobre el funcionamiento profundo de estos sistemas según lo reportado por Xataka. Varios años después, figuras actuales de la industria como Sam Altman y Dario Amodei reiteran que persisten barreras importantes para interpretar el razonamiento interno de los modelos de lenguaje modernos.
La hipótesis de Nick Cammarata sobre la transparencia neuronal
Nick Cammarata, un investigador especializado en interpretabilidad mecanicista que trabajó previamente en OpenAI, publicó un artículo titulado Las redes neuronales ya son transparentes
en la web de la empresa Goodfire. En el artículo, difundido el 15 de octubre, argumenta que los sistemas actuales podrían ser considerablemente más sencillos de descifrar que sus predecesores.
El planteamiento desafía la idea dominante de la superposición, la cual dictaba que las neuronas artificiales almacenaban múltiples conceptos de forma caótica porque el número disponible de unidades era limitado.
¡Me alegra mucho ver esto de Nick!
Sam Altman, exjefe en OpenAI
Cómo funcionan las neuronas polisemánticas y la generalización recursiva
El estudio de la polisemia neuronal busca explicar por qué una misma neurona artificial se activa ante conceptos que parecen desconectados, como las facciones de un gato y la parte delantera de un automóvil. Mientras que la teoría tradicional culpaba a una mezcla desordenada por falta de espacio, la nueva hipótesis sostiene que el fenómeno obedece a la detección de patrones visuales compartidos.
El impacto en la seguridad y las incógnitas pendientes
Comprender cómo se construyen las abstracciones internas permite trazar la evolución de una respuesta desde las reglas más básicas hasta la predicción final. Aunque los modelos actuales cuentan con una complejidad inmensa de capas y parámetros ajustables, sus arquitecturas modernas organizan las representaciones de forma estructurada.
A pesar de lo prometedor de esta línea de investigación, el propio planteamiento carece de una demostración definitiva para todos los grandes modelos de lenguaje.
Más sobre esto