El problema fundamental que GenPage aborda es la optimización holística de la experiencia de usuario en interfaces complejas y estructuradas, como la página de inicio de Netflix, que tradicionalmente se construyen mediante pipelines de recomendación multi-etapa. Estos sistemas fragmentados a menudo sufren de objetivos desalineados entre sus componentes (generación de candidatos, ranking de filas, ranking de entidades), lo que dificulta la optimización a nivel de página completa y la captura de interacciones sutiles entre elementos.
La aparición y madurez de los Large Language Models (LLMs) ha demostrado la capacidad de los modelos generativos basados en la arquitectura Transformer para resolver tareas diversas a través de un paradigma de 'prompt-response'. GenPage aplica esta filosofía a la recomendación, tratando el contexto del usuario como un 'prompt' y generando la página de inicio completa como una secuencia de 'tokens'. Esto permite una optimización de extremo a extremo y una mayor flexibilidad, alineando el sistema más directamente con la satisfacción del usuario a nivel de página, en contraste con los enfoques que optimizan métricas a nivel de entidad de forma aislada.
Arquitectura del Sistema
GenPage se basa en una arquitectura Transformer de solo decodificador, similar a la de los LLMs modernos. La entrada al modelo es una secuencia de tokens que codifican el contexto del usuario (historial de engagement, atributos de perfil, contexto de la solicitud) y los tokens de la página generados hasta el momento. La salida es el siguiente token de la secuencia, que puede representar una fila o una entidad.
La representación de datos es crítica: se utiliza una tokenización personalizada y específica del dominio para la página de inicio de Netflix. Esto reduce la longitud de la secuencia de entrada/salida y permite un control granular sobre las reglas de negocio. Los tokens de contexto incluyen acciones del usuario (tipo, ID de entidad, timestamp, duración), atributos de perfil y contexto de la solicitud (hora del día, dispositivo). Las entidades y filas se representan como tokens individuales, serializados en orden de layout (izquierda a derecha, arriba a abajo).
El pipeline de entrenamiento sigue un enfoque de dos etapas: pre-entrenamiento y post-entrenamiento. El pre-entrenamiento utiliza un objetivo de predicción del siguiente token, enseñando al modelo el 'lenguaje' de las homepages exitosas a partir de datos históricos de producción. El post-entrenamiento refina el modelo para alinearlo con la satisfacción del usuario, utilizando Weighted Binary Classification (WBC) para optimizar predicciones de valor a nivel de token, o Reinforcement Learning (RL) para optimizar una recompensa agregada a nivel de página. Para RL, se entrena un modelo de recompensa separado y se utiliza un algoritmo Dr. GRPO con una penalización KL para mantener la política cercana al modelo pre-entrenado y evitar el 'reward hacking'.
Para el manejo de 'cold start' de entidades, se inyecta metadatos directamente en los tokens de contexto y se utiliza una fusión de embeddings semánticos (ID de entidad + contenido). La frescura del modelo se mantiene con una estrategia de entrenamiento incremental multi-cadencia. Las reglas de negocio se aplican en tiempo de inferencia mediante 'constrained decoding', enmascarando tokens no elegibles. Para la eficiencia en la inferencia, se emplea una estrategia de 'hybrid row decoding', donde solo las primeras entidades de una fila se generan autorregresivamente, y el resto se selecciona en un solo pase hacia adelante.
Flujo de Generación de Homepage en Tiempo Real
- 1 Solicitud de Usuario El usuario abre la aplicación Netflix o solicita paginación.
- 2 Contexto del Usuario Se recopila historial de engagement, perfil y contexto de la solicitud.
- 3 Tokenización de Contexto El contexto se convierte en una secuencia de tokens específicos del dominio.
- 4 Modelo Transformer El modelo genera autorregresivamente tokens de fila y entidad.
- 5 Decodificación Híbrida de Fila Primeras entidades autorregresivas, el resto en un solo pase.
- 6 Constrained Decoding Se aplican reglas de negocio (máscaras) a los logits para asegurar cumplimiento.
- 7 Homepage Generada La secuencia de tokens se traduce en la interfaz de usuario de la homepage.
- 8 Feedback del Usuario Interacciones del usuario se registran para el sistema de recompensas.
| Capa | Tecnología | Justificación |
|---|---|---|
| compute | Transformer (Decoder-only) | Modelo generativo central para la construcción de la homepage, procesando secuencias de tokens y prediciendo el siguiente token. vs Modelos recurrentes (RNNs, LSTMs), Modelos convolucionales (CNNs) |
| data-processing | Custom Tokenization | Conversión de datos de usuario y elementos de la homepage (filas, entidades) en secuencias de tokens discretos, optimizada para eficiencia computacional y control de producto. vs Tokenizadores de texto genéricos (ej. GPT-5 tokenizer) Reducción de longitud de secuencia (ej. 16 tokens a 4 tokens para eventos). |
| data-processing | Reward System (Internal) | Cuantificación del valor a largo plazo de las recomendaciones, asignando recompensas escalares a entidades y páginas basadas en el feedback del usuario, sirviendo como señal de supervisión. Alineado con la satisfacción del usuario a largo plazo mediante A/B testing online. |
| compute | Weighted Binary Classification (WBC) | Método de post-entrenamiento que convierte la generación en predicción de valor a nivel de token, optimizando una pérdida de entropía cruzada binaria ponderada. |
| compute | Reinforcement Learning (Dr. GRPO) | Método de post-entrenamiento para optimizar la recompensa a nivel de página, tratando la generación como un problema de toma de decisiones secuencial. vs Otros algoritmos de RL (ej. PPO, A2C) Uso de un modelo de recompensa dedicado y penalización KL para evitar 'reward hacking'. |
| data-processing | Semantic Embedding Fusion | Manejo de 'cold start' de entidades combinando embeddings de ID con embeddings basados en contenido semántico (sinopsis, géneros, etc.). vs Solo embeddings de ID, Solo embeddings de contenido Reemplazo aleatorio de ID de entidad con 'fallback token' durante el entrenamiento. |
| orchestration | Multi-cadence Incremental Training | Estrategia de entrenamiento para mantener el modelo actualizado con nuevas tendencias y adiciones al catálogo, combinando pases a gran escala con actualizaciones diarias incrementales. vs Reentrenamiento diario desde cero, Entrenamiento solo en ventanas históricas grandes Uso de un subconjunto de datos pasados para prevenir 'catastrophic forgetting'. |
Trade-offs
Ganancias
- ▲ Engagement del usuario
- ▲ Latencia de servicio de extremo a extremo
- ▲ Complejidad del stack de ML
- ▲ Flexibilidad y extensibilidad del sistema
- △ Diversidad de la homepage (con RL)
Costes
- △ Dependencia de resúmenes manuales para contextos largos
- △ Riesgo de 'reward hacking' con RL
- △ Necesidad de tokenización y reglas de negocio específicas del dominio
Fundamentos Teóricos
La arquitectura Transformer, central en GenPage, fue introducida en el paper "Attention Is All You Need" por Vaswani et al. (2017). Este trabajo sentó las bases para los modelos generativos modernos al proponer un mecanismo de atención que permite al modelo ponderar la importancia de diferentes partes de la secuencia de entrada, superando las limitaciones de las arquitecturas recurrentes y convolucionales en el manejo de dependencias a largo plazo.
El concepto de optimización de extremo a extremo y el uso de Reinforcement Learning para alinear modelos generativos con objetivos complejos se conecta con el campo de Reinforcement Learning from Human Feedback (RLHF), popularizado en el contexto de los LLMs. Aunque GenPage utiliza un sistema de recompensa interno en lugar de feedback humano directo, la filosofía de entrenar un modelo de recompensa y luego usarlo para guiar la política generativa a través de RL es un eco directo de este principio. La idea de tokenización específica del dominio para datos no textuales también tiene precedentes en la visión por computadora y la bioinformática, donde la representación eficiente de datos estructurados es crucial para el rendimiento del modelo.