Investigadores chilenos explican cómo la IA procesa textos largos
Un equipo del CENIA presentará en la conferencia NeurIPS un estudio que diferencia entre mecanismos de atención "posicional" y "simbólica" en modelos de lenguaje, explicando por qué los segundos permiten generalizar a secuencias más largas que las de entrenamiento.
Actualización automatizada basada en fuente oficial
Qué pasó
Un equipo de investigadores del Centro Nacional de Inteligencia Artificial (CENIA) presentará un estudio en la conferencia NeurIPS (Conference on Neural Information Processing Systems), que se realizará en Sídney, Australia, entre el 6 y el 12 de diciembre. La investigación explica por qué algunos modelos de Inteligencia Artificial pueden procesar textos de mayor longitud que aquellos con los que fueron entrenados.
Los modelos de lenguaje actuales, como los que utilizan los asistentes de IA, se basan en una arquitectura llamada Transformer. Esta contiene componentes denominados "cabezas de atención", que deciden en qué partes del texto se enfoca el sistema. El equipo de CENIA distinguió dos tipos: las cabezas posicionales, que se fijan en la ubicación de un elemento (por ejemplo, la tercera palabra de una oración), y las cabezas simbólicas, que siguen un contenido específico (como una letra) sin importar su posición.
Para su investigación, el equipo entrenó un modelo de 12 capas con dos ejercicios: uno numérico, que dependía de las posiciones, y otro con letras, que dependía de los símbolos. En un trabajo previo, ya habían diseñado un método para medir la tendencia de cada cabeza de atención, asignándole un puntaje posicional y uno simbólico. Al analizar modelos abiertos como Llama o Gemma, observaron que las cabezas de las primeras capas tienden a ser más posicionales que las de las capas intermedias y finales.
El hallazgo principal aborda por qué los grandes modelos de lenguaje (LLM) a veces no logran generalizar a textos más largos que los usados en su entrenamiento, una limitación impuesta por los costos de cómputo. El estudio demostró que el modelo resolvía bien las tareas solo cuando sus cabezas de atención se especializaban. A partir de esto, los autores caracterizaron algorítmicamente cada mecanismo y formularon una predicción matemática: el mecanismo simbólico es más robusto para procesar secuencias largas. Esta predicción fue confirmada experimentalmente.
Por qué importa
Tecnología: El estudio aporta una explicación formal sobre la capacidad de los LLM para generalizar a contextos largos, un problema de frontera en la industria. Este conocimiento puede guiar el diseño de arquitecturas de IA más eficientes y capaces, al permitir optimizar el comportamiento de las cabezas de atención durante el entrenamiento para favorecer mecanismos simbólicos, que son más robustos.
Lo confirmado
- Un equipo del CENIA expondrá un estudio sobre IA en la conferencia NeurIPS en Sídney, Australia.
- La presentación se realizará en un formato de póster entre el 6 y el 12 de diciembre.
- El artículo se titula “Positional versus Symbolic Attention Heads: Learning Dynamics, RoPE Geometry, and Length Generalization”.
- Felipe Urrutia, investigador de CENIA y la UC, es el primer autor del trabajo.
- La investigación diferencia entre cabezas de atención "posicionales", que atienden a la ubicación, y "simbólicas", que atienden al contenido.
- El estudio concluyó que el mecanismo de atención simbólica es más robusto para procesar textos de mayor longitud que los utilizados durante el entrenamiento del modelo.
- Para el experimento, los investigadores entrenaron un modelo de inteligencia artificial de 12 capas.
- La conferencia NeurIPS congrega anualmente a más de 10.000 expertos del sector tecnológico y académico.
Lo que falta saber
- ¿Cuál será la fecha y hora exacta de la presentación del póster dentro del período de la conferencia entre el 6 y 12 de diciembre?
- ¿En qué fecha específica fue presentado el trabajo previo, “Decoupling Positional and Symbolic Attention in Transformers”, en la conferencia ICLR 2026?
Qué observar ahora
- La presentación del estudio en la conferencia principal de NeurIPS en Sídney, entre el 6 y el 12 de diciembre.
Fuentes
CENIA — Centro Nacional de Inteligencia Artificial ·