El entrenamiento de modelos fundacionales de IA a escala de hyperscaler presenta un problema fundamental de la computación distribuida: cómo mantener la 'goodput' (rendimiento útil) y la fiabilidad en un sistema con millones de componentes interconectados, donde el fallo de una sola unidad puede detener una tarea de entrenamiento masiva. Este desafío se agrava por la necesidad de una coordinación de baja latencia entre GPUs, el consumo energético masivo y la gestión térmica.
Prometheus aborda esto mediante un enfoque holístico que integra hardware de GPU de última generación, una red de interconexión dedicada de alta velocidad, sistemas avanzados de gestión de energía y refrigeración, y una estrategia robusta de fiabilidad y recuperación de fallos. La evolución de arquitecturas de GPU como NVL72, que expande el dominio de fallo a 72 GPUs, exige un replanteamiento de las estrategias de resiliencia y mantenimiento.
La relevancia actual radica en la explosión de la demanda de computación para IA, que empuja los límites de la infraestructura existente. La construcción de supercúmulos como Prometheus es esencial para el avance de modelos de IA cada vez más grandes y complejos, y sienta las bases para futuras arquitecturas a escala de exaFLOPs.
Arquitectura del Sistema
Prometheus es un supercúmulo distribuido que integra cientos de miles de GPUs, con una proyección de alcanzar un millón. Se compone de múltiples generaciones de hardware NVIDIA GPU (Catalina GB200 NVL72, Clemente GB300 NVL72, y la futura Vera Rubin NVL72), cada una optimizada para FLOPS, ancho de banda HBM y capacidad de memoria. La arquitectura NVL72 agrupa 72 GPUs en un dominio unificado, interconectadas vía NVLink, que actúan como un único acelerador dentro de la misma red.
La red de interconexión es crítica y se divide en dos capas: una red de servicios web tradicional y una red dedicada de Back-End (BE) basada en Ethernet para comunicación directa GPU-a-GPU. Esta red BE utiliza una topología multi-capa de alta capacidad y baja latencia dentro de los edificios (hasta 20,736 GPUs por fabric) y una red de agregación (Backend Aggregation Network - BAG) de tipo hub-and-spoke para conectar fabrics entre edificios a distancias de hasta 100 km. Las fabrics evolucionaron de Disaggregated Scheduled Fabric (DSF) a Non-Scheduled Fabric (NSF) con switches Ethernet de 51.2T y Dynamic Load Balancing o Adaptive Routing. La gestión de energía se realiza mediante Dynamo Dimmer, un framework de power capping que ajusta dinámicamente los límites de potencia de las GPUs para evitar interrupciones, complementado con BBUs, CBUs y BESS. La refrigeración es una mezcla de Air-Assisted Liquid Cooling (AALC) y Facility Liquid Cooling (FLC) de circuito cerrado, optimizada para la densidad de potencia de los racks de GPU.
La fiabilidad se gestiona con un modelo de co-ingeniería con NVIDIA, telemetría en tiempo real y un 'failure domain' de 72 GPUs. Se implementa una estrategia de 'sparing' con GPUs de repuesto dentro del rack y racks de repuesto. La recuperación de fallos utiliza Parallelism-Aware Fault Tolerance (PAFT) para aislar fallos a réplicas de modelos y Checkpointing distribuido y asíncrono para guardar el estado del modelo, incluyendo gradientes y datos del optimizador, en almacenamiento multi-tier con delta checkpointing y staging en memoria.
Flujo de Recuperación de Fallos de GPU
- 1 Detección de Fallo Una GPU en un dominio NVL72 falla (ej. defecto de silicio, problema de memoria).
- 2 Aislamiento de Fallo (PAFT) Si el fallo es localizable a una réplica de modelo, se aísla la réplica afect...
- 3 Activación de GPU de Repuesto Una GPU de repuesto dentro del mismo rack NVL72 toma el lugar de la GPU fallida.
- 4 Reinicio desde Checkpoint El trabajo de entrenamiento se reinicia desde el último checkpoint guardado.
- 5 Resincronización La réplica recuperada se resincroniza con el resto del clúster.
- 6 Continuación del Entrenamiento El entrenamiento productivo continúa con una reducción temporal del throughput.
Gestión de Transitorios de Energía
- 1 Detección de Carga El clúster se acerca a su límite eléctrico o se detecta un pico de carga (30-...
- 2 Activación de Dynamo Dimmer El framework de gestión de energía ajusta los límites de potencia de las GPUs.
- 3 Respuesta de BBU/CBU Módulos de batería (BBU) y capacitores (CBU) manejan picos inmediatos.
- 4 Coordinación con BESS/Utilidad Sistemas de almacenamiento de energía (BESS) y proveedores de servicios públi...
- 5 Ajuste Gradual de Potencia La potencia de las GPUs se reduce gradualmente para mantener el entrenamiento.
- 6 Continuación Ininterrumpida El entrenamiento continúa sin interrupciones, aunque con potencia ajustada.
| Capa | Tecnología | Justificación |
|---|---|---|
| compute | NVIDIA GB200 NVL72 (Catalina) | Plataforma de GPU de primera generación para entrenamiento de modelos fundacionales, ofreciendo alta capacidad de cómputo y memoria. vs NVIDIA H100 (Grand Teton) Ariel variant: 2-rack configuration, 36 GPUs per rack, 72-GPU domain, 1:1 CPU-to-GPU ratio, 800G I/O per GPU. |
| compute | NVIDIA GB300 NVL72 (Clemente) | Plataforma de GPU de segunda generación, mejorando la capacidad HBM, el throughput FP4 y la aceleración de atención, con mayor eficiencia de despliegue. vs NVIDIA GB200 NVL72 Single-rack 72-GPU domain, 2:1 GPU-to-CPU ratio, NVIDIA ConnectX-8 SuperNICs delivering 800G per GPU natively. |
| networking | Ethernet (Back-End Network) | Red dedicada de alta velocidad y baja latencia para comunicación directa GPU-a-GPU, esencial para el entrenamiento de IA a gran escala. vs InfiniBand (implied by context of specialized AI networks) Multi-layer topology, DSF (Disaggregated Scheduled Fabric) to NSF (Non-Scheduled Fabric) transition, 51.2T Ethernet switches (Minipack3, Minipack3N). |
| networking | FBOSS | Stack de red de Meta que permite control, iteración rápida y optimización de las fabrics de red, así como visibilidad operativa a escala. vs Open-source network OS (e.g., SONiC) or vendor-specific OS |
| networking | Backend Aggregation Network (BAG) | Red de agregación multi-capa hub-and-spoke que conecta fabrics de edificios a través de distancias largas (2 km a >100 km). vs Single-layer large-scale fabric Arista 7800-series chassis, Broadcom Jericho3 silicon, 800G-ZR coherent optics for long-haul links. |
| orchestration | Parallelism-Aware Fault Tolerance (PAFT) | Mecanismo de recuperación de fallos que aísla fallos a réplicas de modelos, permitiendo que el entrenamiento continúe con una reducción temporal del throughput. vs Full job restart on any fault |
| storage | Distributed Checkpointing Architecture | Sistema asíncrono para guardar el estado del modelo (gradientes, datos del optimizador) en almacenamiento multi-tier, minimizando el impacto en el throughput de entrenamiento. vs Synchronous checkpointing, local storage only Delta checkpointing, in-memory staging. |
| orchestration | Dynamo Dimmer | Framework de gestión de energía a nivel de clúster que ajusta gradualmente los límites de potencia de las GPUs para evitar interrupciones por picos de carga. vs Hard power capping, workload throttling Integración con BBUs, CBUs, BESS y coordinación con proveedores de servicios públicos. |
| observability | Continuous Telemetry and Automated Flagging | Sistema para monitorear la integridad de la señal NVLink y otras métricas de hardware, utilizando diagnósticos para aislar y clasificar fallos. vs Manual diagnostics, reactive fault detection L11 diagnostic burns, classification tools for transient vs. persistent faults. |
Trade-offs
Ganancias
- ▲▲ Ancho de banda y capacidad de cómputo
- ▲ Fiabilidad y 'goodput'
- ▲ Eficiencia energética y térmica
Costes
- ▲ Complejidad de ingeniería y operación
- ▲ Radio de explosión de fallos (NVL72 vs NVL8)
- ▲ Costo de infraestructura y mantenimiento
Fundamentos Teóricos
El desafío de construir sistemas distribuidos masivamente paralelos para el entrenamiento de modelos de IA se relaciona directamente con principios fundamentales de la computación paralela y distribuida. La necesidad de una comunicación de baja latencia y alto ancho de banda entre GPUs en un dominio NVL72 evoca los principios de las máquinas de memoria compartida distribuida y los sistemas NUMA (Non-Uniform Memory Access), donde la topología de interconexión es crítica para el rendimiento.
La gestión de fallos en un sistema de esta escala se alinea con la teoría de la tolerancia a fallos en sistemas distribuidos, como se explora en trabajos seminales sobre consenso distribuido y replicación de estado. El uso de checkpointing y recuperación de fallos es una aplicación práctica de técnicas clásicas para la resiliencia en computación de alto rendimiento, donde la interrupción de un trabajo largo es costosa. La optimización de la red para patrones de tráfico específicos de entrenamiento (data-parallel model replicas) refleja principios de diseño de redes de interconexión para supercomputadoras, donde la minimización de la contención y la latencia es primordial, a menudo inspirándose en topologías como Fat-Tree o Torus, aunque aquí adaptadas a Ethernet a gran escala.