El problema fundamental que aborda este avance es cómo aplicar modelos de Machine Learning de alta complejidad y precisión, tradicionalmente reservados para etapas de ranking con conjuntos de candidatos reducidos, a la escala masiva de la etapa de recuperación de anuncios. En un entorno donde el pool de candidatos crece exponencialmente debido a herramientas de IA generativa, la eficiencia computacional se convierte en un factor crítico. La tesis central es que las ganancias más significativas en rendimiento y eficiencia no provienen de optimizar el modelo, el sistema o el hardware de forma aislada, sino de un enfoque de co-diseño integrado que considera los tres elementos como un stack unificado.
Históricamente, la etapa de recuperación se ha limitado a modelos más simples para cumplir con las restricciones de latencia y throughput, dejando la "deep modeling quality" a la etapa de ranking. Sin embargo, el ROI de pequeñas mejoras en la recuperación es muy alto. Este trabajo demuestra que, al repensar la interacción entre software y hardware, es posible romper este compromiso, logrando un rendimiento cercano al de ranking con una fracción de los FLOPs, y escalando a un throughput sin precedentes de miles de millones de anuncios por segundo por GPU.
Arquitectura del Sistema
La nueva arquitectura de Meta Andromeda se basa en tres innovaciones sinérgicas. Primero, el modelo de recuperación adopta una arquitectura Mixture-of-Experts (MoE) inspirada en LLMs, que reduce los FLOPs de inferencia en aproximadamente 300x en comparación con el modelo anterior, mientras mantiene un rendimiento cercano al de ranking. Esta arquitectura utiliza un "ensemble" de torres de usuario especializadas para capturar intereses diversos y una estrategia de codificación conjunta para los anuncios, con una red de "gating" basada en atención que enruta dinámicamente los candidatos a los expertos de usuario más relevantes.
Segundo, el sistema implementa una fusión completa de kernels en la GPU. En lugar de despachar múltiples kernels pequeños para operaciones de modelo y lógica de sistema, toda la computación por interacción usuario-anuncio se ejecuta en un solo paso. Esto elimina la materialización de tensores intermedios a la HBM (High Bandwidth Memory), que era un cuello de botella dominante debido al tráfico de terabytes por segundo. Los resultados intermedios permanecen en registros de GPU y memoria compartida, maximizando la utilización del ancho de banda de la GPU.
Tercero, se aplica una estrategia de co-ubicación de la lógica de negocio. Operaciones como el "index matching" (aplicación de reglas de segmentación de anunciantes) y la selección "top-K", que tradicionalmente se ejecutaban en CPUs locales y se comunicaban con los servicios de scoring de GPU remotos, ahora se ejecutan en la misma GPU. Esto reduce el tráfico de red en aproximadamente 100x, pasando de un régimen limitado por la red a uno limitado por la computación de la GPU. La implementación del "index matching" en GPU requirió rediseñar la estructura del índice para ejecución paralela en GPU, manteniendo la fidelidad semántica de las reglas de segmentación de producción.
Flujo de Recuperación de Anuncios en una Sola GPU
- 1 Solicitud de Usuario Características del usuario y consulta de segmentación compacta
- 2 Index Matching (GPU) Evalúa la lógica de segmentación del anunciante en la GPU, filtra candidatos
- 3 Fused Kernel (GPU) Ejecuta el modelo MoE y la lógica del sistema en un solo kernel, sin HBM inte...
- 4 Scoring (GPU) Puntúa cada anuncio elegible con rendimiento cercano al de ranking
- 5 Top-K Selection (GPU) Selecciona los K mejores candidatos en la GPU
- 6 Resultados Finales Devuelve solo los K mejores anuncios al usuario
| Capa | Tecnología | Justificación |
|---|---|---|
| compute | NVIDIA GH200 Grace Hopper Superchip | Hardware de aceleración principal para la inferencia del modelo y la lógica del sistema. Proporciona alto rendimiento computacional y ancho de banda de memoria (HBM). |
| compute | Mixture-of-Experts (MoE) Architecture | Modelo de inferencia de recuperación de anuncios. Permite una mayor expresividad del modelo con una reducción significativa de FLOPs en comparación con arquitecturas densas, adaptándose a la escala de recuperación. Reducción de 300x en FLOPs de inferencia vs. modelo 2024. |
| data-processing | Fused GPU Kernel | Optimización a nivel de sistema para combinar múltiples operaciones de modelo y lógica de sistema en un solo kernel de GPU. Elimina el cuello de botella del ancho de banda de memoria al evitar la materialización de tensores intermedios a HBM. |
| orchestration | Co-location Strategy (Index Matching, Scoring, Top-K on GPU) | Estrategia de arquitectura de sistema para ejecutar toda la pipeline de recuperación (filtrado, scoring, selección) en una única GPU. Reduce el tráfico de red y los cuellos de botella de comunicación entre CPU y GPU. Reducción de 100x en tráfico de red. |
Trade-offs
Ganancias
- ▲▲ Throughput de recuperación de anuncios
- ▲ Calidad del modelo de recuperación
- ▲▲ Eficiencia de inferencia (FLOPs)
- ▲ Utilización de hardware (GPU)
- ▲▲ Tráfico de red
Costes
Fundamentos Teóricos
Este trabajo se conecta con principios fundamentales de la computación y la arquitectura de sistemas. La adopción de una arquitectura Mixture-of-Experts (MoE) en la recuperación de anuncios refleja la evolución de modelos de lenguaje grandes (LLMs) y su capacidad para escalar la capacidad del modelo sin un aumento proporcional en el costo de inferencia, un concepto explorado en trabajos como "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer" (Shazeer et al., 2017). La idea de especialización y enrutamiento dinámico de expertos es una forma de gestionar la complejidad y la escala.
La optimización a nivel de sistema, particularmente la fusión de kernels y la co-ubicación de cargas de trabajo, resuena con los principios de localidad de datos y minimización de movimientos de datos, que son cruciales para el rendimiento en arquitecturas de memoria jerárquica. Esto se alinea con la búsqueda de la máxima utilización del hardware, un tema central en la arquitectura de computadoras de alto rendimiento. La colaboración con NVIDIA para optimizar kernels de GPU y el enfoque en el ancho de banda de memoria (HBM) como cuello de botella principal, en lugar de los FLOPs, subraya la importancia de la ley de Amdahl y la necesidad de identificar y optimizar la parte más lenta de la tubería, que en este caso era el movimiento de datos entre componentes y jerarquías de memoria.