El problema fundamental que aborda este análisis es la selección de la arquitectura Transformer más eficiente para tareas de clasificación en sistemas de IA agentica. Tradicionalmente, los encoders (como BERT) son preferidos para clasificación debido a su capacidad bidireccional, mientras que los decoders (LLMs causales) se usan para generación. Sin embargo, cuando un LLM decoder se "abusa" para una tarea de clasificación, surge la pregunta de si una arquitectura encoder-only o encoder-decoder sería superior en términos de rendimiento y eficiencia computacional. La relevancia actual radica en la proliferación de modelos de lenguaje grandes (LLMs) y la necesidad de optimizar su despliegue para tareas específicas de inferencia, donde la latencia y la precisión son críticas.
Este estudio busca desentrañar los trade-offs inherentes entre la bidireccionalidad de los encoders y la naturaleza causal de los decoders, especialmente cuando se consideran las implicaciones de costo computacional y escalabilidad con la longitud de la secuencia de entrada. La hipótesis subyacente es que la bidireccionalidad podría ofrecer ventajas en precisión, pero a un costo de latencia, mientras que la eficiencia de los decoders, especialmente con mecanismos de atención optimizados, podría ser competitiva en ciertos escenarios.
Arquitectura del Sistema
El análisis compara cinco diseños basados en arquitecturas Transformer. El modelo base v19 es un decoder-only basado en Qwen3.5, que utiliza capas Gated DeltaNet para la atención, lo que le confiere un costo computacional lineal con la longitud del prompt ($O(N)$). Este diseño se caracteriza por su naturaleza causal, donde cada token solo atiende a tokens precedentes.
Se evalúan dos diseños encoder-decoder (b1, b2) basados en T5Gemma 2, con configuraciones de 1B+1B y 4B+4B parámetros respectivamente. Estos modelos combinan un encoder bidireccional con un decoder causal, siguiendo la arquitectura original del Transformer. Finalmente, se examinan dos modelos encoder-only (e1a, e1b) basados en el encoder de T5Gemma. e1a es un encoder estándar, mientras que e1b es una versión optimizada para latencia que incorpora un "masked state cache", permitiendo la evaluación paralela de múltiples preguntas y la reutilización del estado. Los encoders-only utilizan capas de atención completa, resultando en un costo computacional cuadrático con la longitud del prompt ($O(N^2)$). La optimización e1b es análoga al uso de KV cache y prefix cache en decoders, una técnica de memoización para resultados incrementales.
| Capa | Tecnología | Justificación |
|---|---|---|
| compute | Transformer | Arquitectura fundamental para los modelos de lenguaje, proporcionando el mecanismo de auto-atención para procesar secuencias. |
| compute | Qwen3.5 | Modelo base utilizado para la arquitectura decoder-only (v19), incorporando capas Gated DeltaNet para eficiencia. |
| compute | T5Gemma 2 | Modelo base utilizado para las arquitecturas encoder-decoder (b1, b2) y encoder-only (e1a, e1b). vs ModernBERT, ettin-encoder-1b |
| compute | Gated DeltaNet | Mecanismo de atención utilizado en el modelo v19 (decoder-only) para lograr un costo computacional lineal con la longitud del prompt. vs Full Attention |
| cache | Masked State Cache | Optimización de rendimiento en el modelo e1b (encoder-only) para permitir la evaluación paralela de preguntas y la reutilización del estado, similar al KV cache en decoders. |
Trade-offs
Ganancias
- ▲ Latencia (encoder-only vs decoder-only)
- ▲ Precisión (encoder-decoder 8B vs decoder-only 2B)
Costes
- ▲ Escalabilidad de latencia con longitud de prompt (encoder-only)
- △ Generalización sin masked state cache (encoder-only)
Fundamentos Teóricos
La discusión sobre las arquitecturas Transformer y sus variantes (encoder-only, decoder-only, encoder-decoder) se basa directamente en el trabajo seminal "Attention Is All You Need" de Vaswani et al. (2017), que introdujo el mecanismo de auto-atención y la arquitectura Transformer. La distinción entre encoders bidireccionales y decoders causales es fundamental en este paper. Los encoders, como BERT (Devlin et al., 2018), aprovechan la información contextual de ambos lados de un token para construir su representación, lo que es ideal para tareas de comprensión y clasificación. Los decoders, por otro lado, están diseñados para la generación secuencial, donde la información futura no está disponible.
El trade-off observado entre la complejidad computacional cuadrática de la atención completa ($O(N^2)$) y la complejidad lineal de mecanismos como Gated DeltaNet ($O(N)$) resuena con la investigación en eficiencia de Transformers, buscando reducir la complejidad de la atención para secuencias largas. Este es un campo activo de investigación, con trabajos como "Reformer: The Efficient Transformer" (Kitaev et al., 2020) o "Linformer: Self-Attention with Linear Complexity" (Wang et al., 2020) que exploran alternativas para mitigar el costo cuadrático de la atención estándar. La observación de que un algoritmo $O(N^2)$ puede superar a uno $O(N)$ para tamaños de entrada pequeños es un principio clásico de análisis de algoritmos, donde las constantes ocultas en la notación Big O pueden dominar para entradas pequeñas, un concepto bien establecido en la teoría de la complejidad computacional.