La eficiencia computacional en la inferencia de modelos de lenguaje grandes (LLMs) es un desafío fundamental, especialmente para despliegues en dispositivos con recursos limitados (edge computing). Los modelos densos, aunque potentes, imponen una carga significativa en la latencia y el consumo de energía. Este artículo aborda este problema mediante la implementación de una arquitectura Mixture-of-Experts (MoE) que permite un modelo de gran tamaño nominal (24B parámetros) pero con un número reducido de parámetros activos por token (2B).
Esta estrategia se alinea con la búsqueda de modelos más eficientes que puedan operar localmente, preservando la privacidad y reduciendo la dependencia de la infraestructura en la nube. La capacidad de ejecutar agentes de IA complejos directamente en el dispositivo del usuario representa un avance significativo en la democratización de la IA y la habilitación de nuevas clases de aplicaciones interactivas y sensibles a la latencia. La evolución de arquitecturas como MoE es una respuesta directa a las limitaciones de la Ley de Moore en el contexto de modelos de IA cada vez más grandes.
Arquitectura del Sistema
LFM2.5-24B-A2B mantiene una arquitectura MoE con 40 capas y 64 expertos por bloque MoE, utilizando un enrutamiento top-4, lo que significa que para cada token de entrada, solo cuatro expertos son activados. Esto reduce drásticamente la carga computacional durante la inferencia en comparación con un modelo denso de tamaño similar. La arquitectura incorpora una hibridación de convoluciones cortas con gating y Grouped Query Attention (GQA), optimizando el procesamiento de secuencias y la eficiencia de atención.
Las mejoras clave en esta versión incluyen la extensión de la ventana de contexto de 32,768 a 131,072 tokens, lo que permite al modelo procesar y razonar sobre información mucho más extensa. Además, se duplicó el vocabulario del tokenizador de 65K a 128K tokens mediante una expansión in-place, mejorando la tokenización de idiomas no latinos. El pre-entrenamiento se escaló de 17T a 33T tokens, seguido de una fase de mid-training en dos etapas: la primera con 2T tokens en datos de alta calidad enfocados en razonamiento y código, y la segunda con 300B tokens en datos de contexto largo. La inclusión de llamadas a herramientas y trayectorias multi-turno durante el entrenamiento prepara al modelo para cargas de trabajo agentic. La estrategia de 'chain of thought' explícita se adopta para mejorar la calidad de las respuestas, aprovechando la alta velocidad de decodificación del modelo.
Flujo de Inferencia de LFM2.5-24B-A2B (MoE)
- 1 Entrada de Token El tokenizador procesa la entrada de texto, generando tokens.
- 2 Capa MoE Los tokens pasan por una capa Mixture-of-Experts.
- 3 Router Top-4 Un router selecciona los 4 expertos más relevantes para cada token.
- 4 Activación de Expertos Solo los 4 expertos seleccionados procesan el token en paralelo.
- 5 Agregación de Salida Las salidas de los expertos se combinan (ponderadas por el router).
- 6 Generación de Cadena de Pensamiento El modelo produce una secuencia de razonamiento explícito.
- 7 Generación de Respuesta Final Basado en la cadena de pensamiento, se genera la respuesta definitiva.
| Capa | Tecnología | Justificación |
|---|---|---|
| compute | Mixture-of-Experts (MoE) | Permite un modelo de 24B parámetros con solo 2B activos por token, reduciendo la carga computacional durante la inferencia. vs Modelos densos de tamaño similar (e.g., 24B parámetros activos), Modelos más pequeños y densos con menor capacidad de razonamiento 40 capas, 64 expertos por bloque MoE, top-4 routing |
| compute | Gated Short Convolutions | Componente arquitectónico para el procesamiento eficiente de secuencias dentro de las capas del Transformer. |
| compute | Grouped Query Attention (GQA) | Mecanismo de atención optimizado para reducir el costo computacional y de memoria en la inferencia de Transformers. vs Multi-Head Attention (MHA), Multi-Query Attention (MQA) |
| orchestration | llama.cpp | Framework para inferencia eficiente en CPU y dispositivos edge, utilizando checkpoints GGUF. Soporte para GGUF checkpoints |
| orchestration | MLX | Framework de inferencia optimizado para hardware Apple Silicon. |
| orchestration | vLLM | Servidor de inferencia acelerado por GPU para alto throughput en producción. vs TensorRT-LLM, TGI (Text Generation Inference) |
| orchestration | SGLang | Framework de serving de alto rendimiento para GPU. Utilizado para benchmarking de throughput en GPU |
| orchestration | ONNX | Estándar abierto para representar modelos de machine learning, permitiendo inferencia cross-platform en diversos aceleradores. |
Trade-offs
Ganancias
- ▲ Velocidad de inferencia en dispositivos edge
- ▲ Eficiencia de memoria en dispositivos edge
- ▲ Calidad de respuesta en tareas de razonamiento y uso de herramientas
- ▲ Privacidad y autonomía (inferencia on-device)
Costes
- △ Rendimiento en benchmarks intensivos en conocimiento (GPQA Diamond, HLE, AA-Omniscience)
- △ Rendimiento en benchmarks de codificación (SWE-Bench Verified, SciCode)
Fundamentos Teóricos
La arquitectura Mixture-of-Experts (MoE) tiene sus raíces en trabajos académicos que datan de la década de 1990, como los de Jacobs et al. (1991) y Jordan y Jacobs (1994) sobre redes neuronales con expertos locales. Estos trabajos exploraron la idea de dividir un problema complejo en subproblemas más simples, asignando a cada uno un 'experto' especializado. La evolución moderna de MoE en LLMs, popularizada por modelos como Switch Transformers de Google (Fedus et al., 2021), aplica este principio a gran escala, donde los 'expertos' son subredes neuronales dentro de las capas de un Transformer.
El enrutamiento top-k, donde solo un subconjunto de expertos se activa por token, es una técnica clave para mantener la eficiencia computacional. Esto se relaciona con el concepto de 'sparsity' o escasez en redes neuronales, que busca reducir la cantidad de operaciones y parámetros activos sin sacrificar el rendimiento. La extensión de la ventana de contexto y la optimización de la inferencia en el borde se conectan con la investigación en modelos eficientes y la computación ubicua, un campo que busca llevar la capacidad de procesamiento más cerca de la fuente de datos para reducir la latencia y mejorar la privacidad, en línea con los principios de la computación distribuida y el edge computing.