El desarrollo de modelos de lenguaje grandes (LLMs) ha alcanzado un punto de inflexión donde la escala de parámetros y la eficiencia computacional deben converger para habilitar capacidades agénticas avanzadas. Inkling 2 Small aborda este desafío mediante la adopción de una arquitectura Mixture-of-Experts (MoE), que permite escalar el número total de parámetros mientras se mantiene un costo de inferencia manejable al activar solo un subconjunto de expertos por token. Esta aproximación es crucial para resolver el problema fundamental de la computación de cómo procesar y generar información compleja de manera eficiente, especialmente en tareas que requieren razonamiento de largo horizonte y multimodalidad.
La integración de entrenamiento agéntico y capacidades multimodales (visión) en un modelo MoE representa un avance significativo. Históricamente, los modelos se han especializado en tareas unimodales o han requerido arquitecturas complejas para fusionar modalidades. Inkling 2 Small busca unificar estas capacidades, permitiendo al modelo interactuar con entornos complejos, interpretar retroalimentación visual y realizar tareas de codificación y optimización de kernels de GPU de manera autónoma. Esto es particularmente relevante en la era actual de la IA, donde la demanda de sistemas más autónomos y versátiles es creciente.
Arquitectura del Sistema
Inkling 2 Small se basa en una arquitectura Mixture-of-Experts (MoE) con 594B parámetros totales y 17B parámetros activos por inferencia. Esta configuración permite una gran capacidad de modelo con una carga computacional reducida en comparación con un modelo denso de tamaño similar. El modelo incorpora un codificador de visión de 292M parámetros basado en Perception Encoder, que procesa entradas de imagen utilizando parches de 20x20 píxeles con pooling espacial de 2x2, intercalando tokens de imagen con tokens de texto para una representación multimodal unificada.
El proceso de entrenamiento se divide en cuatro fases. La fase inicial (H1) abarcó 8.4 billones de tokens de lenguaje natural, código e imágenes, ejecutándose en racks NVIDIA GB300 NVL72 con alta paralelización de expertos y entrenamiento nativo en NVFP4. La fase H2 añadió 3.8 billones de tokens de datos de mayor calidad con un contexto de 512K. Las fases H3 y H4 se centraron en datos de formato de despliegue, incluyendo 320 billones de tokens de trayectorias de razonamiento y agente con 1M de contexto, y 34 billones de tokens de trayectorias de agente de alta calidad, respectivamente. Estas trayectorias fueron muestreadas de modelos anteriores y filtradas por corrección y alineación. El entrenamiento de Reinforcement Learning (RL) se realizó en una única ejecución unificada de 1,075 pasos y más de 17 millones de rollouts, utilizando el objetivo StableReinforce para tolerar la "staleness" y soportar tareas de largo horizonte con longitudes de contexto de 256K y compactación de trayectorias. La infraestructura de RL utiliza NVFP4 MoE para entrenamiento y muestreo, CUDA graphs para eficiencia de GPU, y offloading de KV-cache a DRAM para mantener altas tasas de acierto de caché de prefijo.
Flujo de Entrenamiento de Inkling 2 Small
- 1 Fase H1: Pre-entrenamiento inicial 8.4T tokens (lenguaje, código, imagen) en NVIDIA GB300 NVL72, NVFP4.
- 2 Fase H2: Datos de alta calidad 3.8T tokens de datos nuevos y de mayor calidad, 512K contexto.
- 3 Fase H3: Datos de despliegue y razona... 320B tokens de trayectorias de agente y razonamiento, 1M contexto.
- 4 Fase H4: Trayectorias de agente de al... 34B tokens de trayectorias de agente filtradas por corrección y alineación.
- 5 RL Unificado 1,075 pasos, 17M+ rollouts en 9 días. StableReinforce, 256K contexto.
- 6 Monitoreo y Alineación Monitoreo síncrono y asíncrono de tool calls y rollouts para seguridad y alin...
| Capa | Tecnología | Justificación |
|---|---|---|
| compute | NVIDIA GB300 NVL72 racks | Infraestructura de hardware para el entrenamiento distribuido de modelos MoE con alta paralelización de expertos. NVFP4 native training |
| data-processing | Mixture-of-Experts (MoE) | Arquitectura de modelo que permite escalar el número total de parámetros (594B) mientras se mantiene un número menor de parámetros activos (17B) por inferencia, optimizando el costo computacional. vs Dense Transformer models 594B total parameters, 17B active parameters |
| data-processing | Reinforcement Learning (RL) | Metodología de entrenamiento utilizada para mejorar las capacidades agénticas del modelo, incluyendo codificación autónoma y optimización de kernels, a través de recompensas basadas en el rendimiento y el enfoque del problema. Unified RL run, StableReinforce objective, agentic RL grader |
| data-processing | Perception Encoder (Bolya et al., 2025) | Codificador de visión de 292M parámetros para procesar entradas de imagen, permitiendo capacidades multimodales. 20x20-pixel patches, 2x2 spatial pooling, interleaved with text tokens |
| cache | DRAM KV-cache offloading | Mecanismo para mantener una alta tasa de acierto de caché de prefijo (93%+) en cargas de trabajo agénticas de largo horizonte, reduciendo la latencia y mejorando la eficiencia de la inferencia. Sticky routing, 5:3 sampler:trainer ratio |
Trade-offs
Ganancias
- ▲▲ Capacidad de modelo (parámetros totales)
- ▲ Eficiencia computacional (parámetros activos)
- ▲ Rendimiento en tareas agénticas (codificación, autoresearch, visión, conocimiento)
- ▲ Capacidades multimodales (visión)
- ▲ Alineación y seguridad del modelo
Costes
- △ Sencillez en la comunicación y elección de herramientas
- △ Experiencia de chat optimizada (organización, presentación, sobre-reacción a consultas de seguridad)
- ▲ Soporte de audio
Fundamentos Teóricos
La arquitectura Mixture-of-Experts (MoE) tiene sus raíces en trabajos académicos que buscan mejorar la capacidad de los modelos sin aumentar linealmente los costos computacionales. El concepto de MoE fue introducido por Jacobs et al. en "Adaptive Mixtures of Local Experts" (1991), donde se propuso combinar múltiples redes neuronales ('expertos') con una red de 'gating' que aprende a asignar entradas a los expertos más apropiados. Esto permite que el modelo sea grande en capacidad pero disperso en activación, un principio clave para la escalabilidad de LLMs como Inkling 2 Small.
El entrenamiento por Reinforcement Learning (RL) en tareas de codificación y optimización de kernels se conecta con el campo del aprendizaje por refuerzo profundo, popularizado por trabajos como "Playing Atari with Deep Reinforcement Learning" de Mnih et al. (2013). La aplicación de RL para generar código y optimizar sistemas es una extensión natural de estos principios, donde el modelo aprende a tomar decisiones secuenciales para alcanzar un objetivo, como pasar pruebas unitarias o mejorar métricas de rendimiento. La inclusión de un "RL grader" que evalúa el enfoque del modelo, no solo el resultado final, refleja conceptos de aprendizaje por refuerzo basado en procesos, donde la calidad de la trayectoria de decisión es tan importante como el estado final.