Meta Adaptive Ranking Model: Optimizando la Inferencia de LLMs para Recomendaciones de Anuncios a Escala Hyperscaler

El problema fundamental que aborda el Adaptive Ranking Model es el 'trilema de inferencia' en sistemas de recomendación a escala de hyperscaler: cómo equilibrar la creciente complejidad de los modelos (ahora a escala de LLM) con las estrictas restricciones de latencia sub-segundo y la eficiencia de costos requeridas para un servicio global. Los sistemas de recomendación de anuncios, a diferencia de los chatbots, no pueden tolerar latencias de segundos; cada milisegundo impacta la experiencia del usuario y el ROI del anunciante. La aproximación tradicional de un modelo 'talla única' o el escalado por fuerza bruta añadiendo hardware se vuelve insostenible económica y técnicamente.

Este desafío se agudiza con la adopción de modelos de lenguaje grandes (LLMs) y arquitecturas de deep learning para comprender mejor el interés y la intención del usuario. Estos modelos son inherentemente más costosos en términos de cómputo y memoria. La tesis central del Adaptive Ranking Model es que, en lugar de aplicar un modelo de máxima complejidad a todas las solicitudes, se puede lograr una eficiencia superior y mantener la calidad de la experiencia mediante un enrutamiento inteligente que alinee la complejidad del modelo con el contexto y la intención específicos de cada usuario y solicitud. Esto permite 'doblar la curva de escalado de inferencia', obteniendo los beneficios de los LLMs sin comprometer la latencia ni disparar los costos.

Históricamente, los sistemas de recomendación han evolucionado desde algoritmos basados en filtrado colaborativo y contenido, hasta modelos de factorización de matrices y, más recientemente, arquitecturas de deep learning. La integración de la 'inteligencia a escala de LLM' representa la siguiente frontera, pero exige una reingeniería fundamental de la pila de inferencia para operar bajo las restricciones de latencia y costo de un entorno de publicidad en tiempo real.

Arquitectura del Sistema

La arquitectura del Adaptive Ranking Model se basa en tres pilares interconectados: escalado de modelos eficiente en inferencia, co-diseño modelo-sistema y una infraestructura de serving reimaginada. El corazón del sistema es un mecanismo de enrutamiento de solicitudes inteligente que asigna dinámicamente la complejidad del modelo a la intención del usuario. Esto reemplaza el enfoque 'one-size-fits-all' por una estrategia adaptativa.

El primer pilar, 'Inference-Efficient Model Scaling', se enfoca en transformar los costos de escalado de lineales a sub-lineales. Esto se logra mediante la 'Request-Oriented Optimization', que computa señales de usuario de alta densidad una vez por solicitud (en lugar de una vez por candidato de anuncio) y las comparte entre candidatos. Esto incluye 'Request-Oriented Computation Sharing' y 'In-Kernel Broadcast optimization' que comparten embeddings a nivel de solicitud directamente dentro del kernel de la GPU. Para secuencias de comportamiento de usuario largas, 'Request-Oriented Sequence Scaling' procesa estas secuencias una vez por solicitud y las comparte, optimizando el almacenamiento con un 'high-efficiency key-value store' centralizado para logs de usuario.

El segundo pilar es 'Model/System Co-Design', que optimiza la utilización del hardware heterogéneo. Esto implica 'Selective FP8 Quantization' post-entrenamiento, aplicando FP8 solo en capas con alta tolerancia a la pérdida de precisión, para maximizar el throughput sin degradar la calidad. También incluye 'Hardware-Aware Graph and Kernel Specialization', donde se fusionan operadores que comparten entradas para minimizar el movimiento de datos entre HBM y SRAM, y se consolidan miles de operaciones pequeñas en kernels densos usando técnicas como 'Grouped General Matrix Multiply' y 'horizontal fusion'.

El tercer pilar es la 'Reimagined Serving Infrastructure'. Para manejar modelos con O(1T) parámetros, se utilizan optimizaciones de memoria que asignan tamaños de hash de embeddings basados en la dispersión de características y podan embeddings no utilizados. 'Unified Embeddings' permiten que múltiples características compartan una sola tabla de embeddings. Para superar los límites de memoria de una sola GPU, se emplea un mecanismo de 'multi-card sharding' que distribuye las tablas de embeddings a través de un clúster de hardware optimizado, utilizando optimizaciones de comunicación específicas del hardware. La resiliencia se asegura con 'accelerated model loading' (descarga multi-stream y caching remoto) y reglas de auto-escalado basadas en la utilización del 'streaming multiprocessor' para manejar el tráfico dinámicamente.

Fundamentos Teóricos

El problema de equilibrar la complejidad computacional con las restricciones de latencia y recursos en sistemas distribuidos es un tema recurrente en la informática, con raíces en la teoría de la complejidad computacional y la optimización de algoritmos. La idea de adaptar la complejidad de un algoritmo o modelo a las condiciones de entrada o recursos disponibles se remonta a conceptos como la computación adaptativa o los algoritmos online con garantías de rendimiento.

La optimización de la inferencia de modelos grandes, especialmente en el contexto de redes neuronales profundas, se conecta con trabajos fundamentales en cuantificación de modelos (quantization), poda (pruning) y destilación de conocimiento (knowledge distillation). La cuantificación selectiva a FP8, por ejemplo, se basa en principios de reducción de precisión que han sido estudiados en la comunidad de aprendizaje automático y procesamiento de señales para optimizar el uso de hardware especializado (como GPUs y TPUs) sin una degradación significativa de la calidad. Trabajos como los de Han et al. (2015) sobre 'Deep Compression' exploraron técnicas para reducir el tamaño y la complejidad de los modelos de deep learning, sentando las bases para muchas de las optimizaciones de eficiencia actuales.

El concepto de 'Request-Oriented Optimization' y la compartición de cómputo dentro del kernel de la GPU resuenan con principios de optimización de la localidad de datos y la reducción de la redundancia computacional, fundamentales en el diseño de algoritmos para arquitecturas paralelas y heterogéneas. La gestión de embeddings dispersos y su distribución a través de múltiples dispositivos se relaciona con la investigación en bases de datos distribuidas y sistemas de almacenamiento de clave-valor, donde la consistencia, la disponibilidad y la tolerancia a particiones (CAP theorem) son consideraciones clave. La distribución de tablas de embeddings a través de múltiples GPUs es una aplicación práctica de técnicas de sharding y particionamiento de datos para escalar más allá de los límites de un solo nodo, un concepto bien establecido en la literatura de sistemas distribuidos.