Home Tecnología¿La IA nunca nos automatizará del todo? Limitaciones y alucinaciones de los agentes de IA.

¿La IA nunca nos automatizará del todo? Limitaciones y alucinaciones de los agentes de IA.

by Editor de Tecnologia

Las grandes empresas de inteligencia artificial prometieron que 2025 sería “el año de los agentes de IA”. Sin embargo, resultó ser el año de hablar sobre ellos, posponiendo esa transformación radical para 2026, o quizás incluso más allá. Pero, ¿qué sucedería si la respuesta a la pregunta de cuándo nuestras vidas estarán completamente automatizadas por robots de IA generativa que realicen nuestras tareas y, esencialmente, dirijan el mundo, fuera, como aquella viñeta de The New Yorker, “¿Qué tal nunca?”.

Ese era, en esencia, el mensaje de un artículo publicado discretamente hace unos meses, en pleno auge del llamado “año de la IA agéntica”. El estudio, titulado “Hallucination Stations: On Some Basic Limitations of Transformer-Based Language Models” (Estaciones de alucinación: sobre algunas limitaciones básicas de los modelos de lenguaje basados en transformadores), argumenta matemáticamente que “los LLM son incapaces de llevar a cabo tareas computacionales y agénticas más allá de una cierta complejidad”. Aunque los detalles técnicos escapan a muchos, los autores –un antiguo director de tecnología de SAP que estudió IA con uno de los pioneros del campo, John McCarthy, y su hijo adolescente, un prodigio– desmitifican la visión optimista de los agentes de IA con la solidez de las matemáticas. Incluso los modelos de razonamiento más avanzados, que superan la simple predicción de palabras de los LLM, no solucionarían este problema fundamental.

No hay solución viable

“No hay forma de que sean confiables”, afirma Vishal Sikka. Tras una carrera que incluye su paso por SAP, como CEO de Infosys y miembro del consejo de administración de Oracle, actualmente dirige una startup de servicios de IA llamada Vianai. “¿Deberíamos descartar, entonces, la idea de agentes de IA que gestionen centrales nucleares?”, le pregunto. “Exactamente”, responde. “Quizás puedan ayudar a archivar documentos o tareas similares para ahorrar tiempo, pero habrá que aceptar que cometerán errores”.

leer más  Reto de la Tuerca de Rueda TikTok: Riesgos y Víctimas

La industria de la IA no comparte esta opinión. Un área donde la IA de agentes ha logrado avances significativos es la codificación, que experimentó un crecimiento notable el año pasado. Esta semana, en el Foro de Davos, Demis Hassabis, director de IA de Google y ganador del Premio Nobel, informó sobre progresos en la reducción de las alucinaciones, y tanto las grandes empresas tecnológicas como las startups están impulsando la narrativa de los agentes. Ahora cuentan con nuevos argumentos. Una startup llamada Harmonic anuncia un avance importante en la codificación de IA, basado en principios matemáticos y que supera los estándares de fiabilidad existentes.

Harmonic, cofundada por Vlad Tenev, CEO de Robinhood, y Tudor Achim, un matemático formado en Stanford, asegura que esta mejora en su producto, Aristotle, demuestra que es posible garantizar la fiabilidad de los sistemas de IA. “¿Estamos condenados a un mundo donde la IA solo genera información errónea que los humanos no pueden verificar? Sería un caos”, señala Achim. La solución de Harmonic consiste en utilizar métodos formales de razonamiento matemático para validar los resultados de un LLM, codificándolos en el lenguaje de programación Lean, reconocido por su capacidad para verificar la corrección del código. Hasta la fecha, Harmonic se ha centrado en un objetivo específico: su misión principal es la búsqueda de la “superinteligencia matemática”, y la codificación es una extensión natural de esta búsqueda. Tareas como la redacción de ensayos históricos, que no pueden verificarse matemáticamente, quedan fuera de su alcance, al menos por ahora.

Sin embargo, Achim no cree que la fiabilidad de los agentes sea un problema tan grave como sugieren algunos críticos. “Diría que la mayoría de los modelos actuales poseen la inteligencia necesaria para planificar un itinerario de viaje”, afirma.

leer más  Samsung Bixby: Nuevo Asistente IA Rival de Gemini

Dos perspectivas, o quizás una convergencia

Existe un consenso general en que las alucinaciones seguirán siendo un desafío persistente. En un artículo publicado en septiembre pasado, científicos de OpenAI reconocían: “A pesar de los avances significativos, las alucinaciones siguen siendo un problema importante y persisten incluso en los modelos más recientes”. Para demostrarlo, solicitaron a tres modelos, incluido ChatGPT, que proporcionaran el título de la tesis del autor principal del estudio. Los tres inventaron títulos falsos y todos indicaron incorrectamente el año de publicación. En un blog sobre el artículo, OpenAI admitía a regañadientes que “la precisión nunca alcanzará el 100% en los modelos de IA”.

Actualmente, estas imprecisiones son lo suficientemente graves como para frenar la adopción generalizada de agentes en el ámbito empresarial. “Todavía no se ha demostrado un valor real”, indica Himanshu Tyagi, cofundador de Sentient, una empresa de IA de código abierto. Advierte que lidiar con las alucinaciones puede interrumpir los flujos de trabajo, anulando gran parte del beneficio que podría aportar un agente.

You may also like

Leave a Comment

This site uses Akismet to reduce spam. Learn how your comment data is processed.