La versión original de esta historia apareció en Quanta Magazine.
Entre las múltiples capacidades que poseen los humanos, ¿cuáles son verdaderamente únicas? El lenguaje ha sido un candidato principal al menos desde Aristóteles, quien escribió que la humanidad era “el animal que tiene lenguaje”. Incluso cuando los modelos de lenguaje grandes, como ChatGPT, replican superficialmente el habla ordinaria, los investigadores buscan determinar si existen aspectos específicos del lenguaje humano que simplemente no tienen paralelo en los sistemas de comunicación de otros animales o dispositivos de inteligencia artificial.
En particular, los investigadores han estado explorando hasta qué punto los modelos de lenguaje pueden razonar sobre el lenguaje en sí mismo. Para algunos en la comunidad lingüística, los modelos de lenguaje no solo no tienen capacidades de razonamiento, sino que no pueden tenerlas. Esta visión fue resumida por Noam Chomsky, un destacado lingüista, y dos coautores en 2023, cuando escribieron en The New York Times que “las explicaciones correctas del lenguaje son complicadas y no se pueden aprender simplemente ‘marinando’ en grandes cantidades de datos”. Estos investigadores argumentaron que los modelos de IA pueden ser hábiles en el uso del lenguaje, pero no son capaces de analizarlo de manera sofisticada.
Esta perspectiva fue desafiada en un reciente artículo de Gašper Beguš, lingüista de la Universidad de California, Berkeley; Maksymilian Dąbkowski, quien recientemente obtuvo su doctorado en lingüística en Berkeley; y Ryan Rhodes de la Universidad de Rutgers. Los investigadores sometieron a una serie de modelos de lenguaje grandes, o LLM, a una variedad de pruebas lingüísticas, incluyendo, en un caso, hacer que el LLM generalizara las reglas de un lenguaje inventado. Si bien la mayoría de los LLM no lograron analizar las reglas lingüísticas de la manera en que los humanos lo hacen, uno mostró habilidades impresionantes que superaron ampliamente las expectativas. Fue capaz de analizar el lenguaje de la misma manera que un estudiante de posgrado en lingüística, diagramando oraciones, resolviendo múltiples significados ambiguos y utilizando características lingüísticas complicadas como la recursión. Este hallazgo, según Beguš, “desafía nuestra comprensión de lo que la IA puede hacer”.
Este nuevo trabajo es tanto oportuno como “muy importante”, dijo Tom McCoy, un lingüista computacional de la Universidad de Yale que no participó en la investigación. “A medida que la sociedad se vuelve más dependiente de esta tecnología, es cada vez más importante comprender dónde puede tener éxito y dónde puede fallar”. El análisis lingüístico, añadió, es el campo de pruebas ideal para evaluar el grado en que estos modelos de lenguaje pueden razonar como los humanos.
Complejidad Infinita
Uno de los desafíos de someter a los modelos de lenguaje a una prueba lingüística rigurosa es asegurarse de que ya no conozcan las respuestas. Estos sistemas se entrenan típicamente con enormes cantidades de información escrita, no solo la mayor parte de Internet, en docenas, si no en cientos de idiomas, sino también cosas como libros de texto de lingüística. Los modelos podrían, en teoría, simplemente memorizar y regurgitar la información que han recibido durante el entrenamiento.
Para evitar esto, Beguš y sus colegas crearon una prueba lingüística en cuatro partes. Tres de las cuatro partes implicaron pedir al modelo que analizara oraciones especialmente diseñadas utilizando diagramas de árbol, que fueron introducidos por primera vez en el libro fundamental de Chomsky de 1957, Estructuras Sintácticas. Estos diagramas descomponen las oraciones en sintagmas nominales y sintagmas verbales y luego los subdividen aún más en sustantivos, verbos, adjetivos, adverbios, preposiciones, conjunciones y así sucesivamente.
Una parte de la prueba se centró en la recursión, la capacidad de incrustar frases dentro de frases. “El cielo es azul” es una oración simple en inglés. “Jane dijo que el cielo es azul” incrusta la oración original en una ligeramente más compleja. Es importante destacar que este proceso de recursión puede continuar indefinidamente: “María se preguntó si Sam sabía que Omar escuchó que Jane dijo que el cielo es azul” también es una oración gramaticalmente correcta, aunque incómoda.