El problema fundamental que GEM aborda es la ineficiencia y fragmentación de los sistemas de recomendación a gran escala, donde múltiples plataformas y objetivos de optimización operan con modelos predictivos aislados. Tradicionalmente, los modelos de recomendación no exhibían las mismas leyes de escalado que los LLM con arquitecturas Transformer, debido a la heterogeneidad masiva de características y la naturaleza dinámica de las distribuciones de datos de usuario. GEM resuelve esto al introducir una arquitectura de modelo de recomendación de estilo LLM, Kunlun, que, mediante un co-diseño profundo con hardware GPU de última generación, logra doblar la curva de escalado, permitiendo una complejidad de modelo 2.5 veces mayor y un aprendizaje de contexto más largo.
La relevancia de este enfoque radica en la capacidad de unificar el aprendizaje a través de múltiples superficies (Facebook, Instagram, Reels) y objetivos de optimización (CTR, CVR, instalaciones de apps, conversiones off-site) dentro de un único modelo fundacional. Esto no solo mejora la eficiencia computacional y la fiabilidad, sino que también permite una transferencia de inteligencia más efectiva a los modelos de servicio en tiempo real. La adopción de principios de diseño de LLM, como el aprendizaje de contexto largo y las leyes de escalado, a los sistemas de recomendación representa una evolución significativa en el campo, superando las limitaciones de los enfoques anteriores y habilitando mejoras de rendimiento sin precedentes en un ecosistema publicitario masivo.
Arquitectura del Sistema
La arquitectura de GEM se centra en Kunlun, un modelo de estilo LLM co-diseñado con hardware GPU para optimizar el rendimiento y la eficiencia. Kunlun unifica el modelado de secuencias de vida útil con interacciones cruzadas escalables específicas de recomendación. Su diseño incorpora tres avances clave: un marco arquitectónico unificado para manejar características heterogéneas y dinámicas, una arquitectura escalable mediante co-diseño profundo con hardware, y un escalado eficiente de secuencias para procesar contextos de interacción de usuario ultra-largos.
Cada capa de Kunlun integra componentes de Attention personalizados para capturar dependencias de comportamiento de usuario, un Summarization Component para extraer insights críticos de secuencias, y un Cross Interaction basado en Mixture-of-Experts (MoE) para modelar interacciones complejas. Para la escalabilidad, se utiliza Block Attention para reducir la complejidad computacional de cuadrática a lineal con respecto a la longitud de la secuencia, y Per-Example Feed-Forward Networks (pFFN) reformuladas en Generalized Dot-Product Attention (GDPA) para unificar operaciones y acelerar el entrenamiento. El paralelismo de expertos (Expert Parallelism) se emplea para escalar el componente de interacción cruzada. Para manejar secuencias ultra-largas, se implementan Component Skip Connection (CompSkip) para reducir FLOPS y Sequence Unification (OneSeq) para procesar secuencias de eventos heterogéneos de manera eficiente. El sistema también incorpora LoopFM, una representación estructurada post-entrenamiento que transfiere la memoria histórica profunda de GEM a modelos downstream, y Solaris, un mecanismo de precomputación especulativa para entregar embeddings frescos y en tiempo real a los modelos de servicio, mitigando la latencia de evaluación del modelo fundacional en la ruta crítica.
Flujo de Transferencia de Inteligencia Post-Entrenamiento
- 1 GEM Foundation Model Entrena con datos de todas las superficies y objetivos, generando representac...
- 2 LoopFM (Structured Representation) Comprime la inteligencia de GEM en representaciones compactas y las estructur...
- 3 Solaris (Speculative Precomputation) Precomputa embeddings de usuario-anuncio de GEM de forma asíncrona para futur...
- 4 Downstream Models Aprenden de las representaciones estructuradas de LoopFM y utilizan los embed...
- 5 Ad Serving Hot Path Recibe embeddings just-in-time de Solaris, mejorando la relevancia sin latenc...
| Capa | Tecnología | Justificación |
|---|---|---|
| compute | GPU Hardware (latest generation) | Proporciona la capacidad de procesamiento paralelo necesaria para entrenar modelos de escala LLM y ejecutar kernels personalizados. |
| compute | Custom Kernels (Jagged Flash Attention, GDPA, Block-Attention) | Optimización de bajo nivel para cargas de trabajo de recomendación en GPUs, mejorando la utilización de cómputo y la eficiencia. Mixed ultra-low precision training (MXFP8 attention and MLP) |
| orchestration | 5D Parallelism (2D FSDP + Expert Parallelism, Fully Sharded 2D Model Parallelism) | Estrategias de paralelismo topología-aware para distribuir el entrenamiento de modelos densos y dispersos a través de miles de GPUs, minimizando la sobrecarga de comunicación. Co-diseñado con la jerarquía de red multinivel de Meta. |
| data-processing | Cost-Free Data Mixing Strategy | Permite la carga virtual de datos de diferentes pipelines sin fusión física, adaptándose a ecosistemas de anuncios dinámicos y controlando las proporciones de mezcla. |
| data-processing | Domain Expert Framework | Permite el aprendizaje unificado y específico de dominio, donde expertos compartidos aprenden representaciones generales y expertos específicos capturan patrones de superficie. Construido sobre el marco arquitectónico Kunlun. |
| cache | Solaris (Speculative Precomputation) | Precomputa embeddings de modelos fundacionales para pares usuario-anuncio de forma asíncrona, actuando como una caché de inteligencia para reducir la latencia en la inferencia de modelos downstream. |
Trade-offs
Ganancias
- ▲ Model Complexity
- ▲ Intelligence Transfer Effectiveness
- ▲ End-to-End Training Efficiency
- ▲ Ad Performance (Conversion, CTR)
- ▲▲ Longer User Engagement Context
Costes
- ▲ Computational Cost for Real-Time Serving of Foundation Model
- ▲ Latency for Real-Time Evaluation
- ▲ Complexity of Co-designing Hardware and Software
Fundamentos Teóricos
La evolución de GEM y Kunlun se conecta con varios principios académicos fundamentales. La observación de que el rendimiento del modelo mejora con el tamaño del cómputo, los parámetros y los datos, especialmente con arquitecturas Transformer, se alinea con las leyes de escalado empíricas observadas en el campo de los Large Language Models (LLMs), como las descritas por Kaplan et al. (2020) en "Scaling Laws for Neural Language Models". La aplicación de estas leyes a los sistemas de recomendación, a pesar de sus características de datos heterogéneas y dinámicas, representa una extensión significativa de estos principios.
El uso de arquitecturas Mixture-of-Experts (MoE) para el componente de interacción cruzada tiene sus raíces en trabajos como los de Shazeer et al. (2017) en "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer", que permiten escalar modelos a un número masivo de parámetros sin un aumento proporcional en el costo computacional por inferencia. La técnica de Knowledge Distillation, mencionada para la transferencia de inteligencia, fue introducida por Hinton et al. (2015) en "Distilling the Knowledge in a Neural Network", permitiendo que modelos más pequeños aprendan de la salida de modelos más grandes. Finalmente, la idea de la precomputación especulativa (Speculative Precomputation) y el uso de contexto largo para mejorar la calidad de la predicción, aunque adaptados a RecSys, resuenan con conceptos de optimización de inferencia y mejora de la calidad en LLMs.