El crecimiento exponencial de las cargas de trabajo de Inteligencia Artificial (IA) ha superado las capacidades de las arquitecturas de red tradicionales, exigiendo una reevaluación fundamental de cómo se diseñan y operan las infraestructuras de red a escala de hyperscaler. El problema central es cómo construir redes que puedan soportar clústeres de GPU masivos y densos en energía, con requisitos de ancho de banda y latencia extremadamente bajos, mientras se mantiene la resiliencia y la eficiencia operativa. Esto se agrava por la necesidad de escalar no solo dentro de un centro de datos, sino también a través de regiones geográficas y entornos heterogéneos (on-premise y cloud).
La respuesta de Meta a este desafío se centra en la innovación a través de la apertura y la estandarización, desde el hardware físico hasta los protocolos de transporte. La adopción de refrigeración líquida, el diseño de fabrics multi-plano, la optimización de protocolos RDMA y la estandarización de la capa de plataforma de switches son pasos críticos para habilitar la próxima generación de clústeres de IA a escala de gigavatios. Este enfoque busca democratizar las lecciones aprendidas en la construcción de infraestructura a hiperescala, fomentando un ecosistema abierto que pueda afrontar colectivamente los desafíos de la era de la IA.
Arquitectura del Sistema
La arquitectura de red de Meta para IA se basa en varios pilares interconectados. En la capa física, se introduce el rack IcePack, un sistema de refrigeración líquida que alberga blades de switch IceCube de 102.4 Tbps. Estos switches, basados en ASICs como Broadcom Tomahawk6C o NVIDIA Spectrum-6, utilizan FBOSS (Meta's open-source network operating system) y OCP SAI (Switch Abstraction Interface) para la abstracción del hardware. Esto permite una duplicación del ancho de banda sobre las plataformas de 51.2T, gestionando la densidad térmica.
La Flattened Planar Fabric (FPF) es una arquitectura de fabric multi-plano que conecta cada GPU a ocho switches independientes (uno por plano) a través de enlaces de 100G. Esta topología de Clos de 2 niveles (en lugar de 3) reduce los saltos de red y la latencia. La FPF implementa balanceo de carga a nivel de NIC, distribuyendo paquetes a través de los ocho planos, y un plano de control combinado (switches y hosts) para la tolerancia a fallos. Para la interconexión de clústeres a través de regiones, se utiliza la capa de agregación de backend (BAG), un super-spine basado en Ethernet a escala de petabits. BAG utiliza eBGP para señalización de ancho de banda de enlaces y balanceo de carga adaptativo, y FBOSS mide la longitud real de los cables para optimizar la gestión de buffers. Para distancias aún mayores, se ha desplegado Segment Routing over IPv6 (SRv6) utilizando FBOSS en la red troncal regional. Finalmente, MetaRoCE es un protocolo de transporte RDMA de código abierto optimizado para patrones de tráfico de comunicación colectiva en fabrics Ethernet a gran escala, proporcionando control de congestión y semántica de fiabilidad.
Flujo de Datos en Flattened Planar Fabric (FPF)
- 1 GPU Genera tráfico de comunicación colectiva.
- 2 NIC (Host) Balancea la carga de paquetes en hardware, distribuyéndolos a través de 8 pla...
- 3 Switch (Plano N) Recibe una porción del tráfico, lo reenvía a su destino.
- 4 Plano de Control (Host/Switch) Detecta fallos en planos y redirige el tráfico para tolerancia a fallos.
- 5 Red de 2-Tier Clos Minimiza saltos y latencia para la comunicación entre GPUs.
| Capa | Tecnología | Justificación |
|---|---|---|
| networking | IcePack | Rack de red de primera generación con refrigeración líquida para alta densidad de potencia y eficiencia térmica. Basado en el estándar OCP ORV3-HPRv1. |
| networking | IceCube | Blade de switch de 102.4 Tbps para IcePack, ofreciendo 128x800G de capacidad de conmutación no bloqueante. Basado en Broadcom Tomahawk6C o NVIDIA Spectrum-6 ASIC. |
| networking | Flattened Planar Fabric (FPF) | Fabric multi-plano de escalado de backend para clústeres de GPU, reduciendo latencia y aumentando resiliencia. vs Topologías de Clos de 3 niveles (NSF fabric) Cada GPU se conecta vía 8 enlaces de 100G a 8 switches diferentes; balanceo de carga a nivel de NIC. |
| networking | MetaRoCE | Protocolo de transporte RDMA de código abierto optimizado para redes de clústeres de IA sobre Ethernet, con control de congestión y fiabilidad. vs InfiniBand, Otros protocolos RDMA específicos de proveedor |
| orchestration | OSPA (Open Switch Platform Architecture) | Iniciativa OCP para estandarizar la capa de plataforma de switches, reduciendo el esfuerzo de integración de hardware. Co-liderada por Meta, Microsoft y Alibaba; especificación v1.0 enviada a OCP. |
| networking | FBOSS | Sistema operativo de red de código abierto de Meta, utilizado en IceCube y para la gestión de la red troncal regional con SRv6. Utiliza OCP SAI; permite la auto-integración de plataformas de switches por parte de los proveedores. |
| networking | SRv6 (Segment Routing over IPv6) | Habilita ingeniería de tráfico flexible y operaciones simplificadas en redes troncales regionales de Meta. Desplegado en plataformas de switches de buffer poco profundo con Cisco SiliconOne. |
| networking | Tahan | Switch de escalado basado en Ethernet para aceleradores MTIA 300, unificando fabrics de escalado y escalado horizontal. vs Tecnologías propietarias de interconexión de aceleradores Basado en Broadcom Tomahawk 5 ASIC (51.2 Tbps); utiliza el mismo transporte RoCE sin pérdidas. |
Trade-offs
Ganancias
- ▲ Densidad de potencia y eficiencia térmica
- ▲▲ Ancho de banda de red
- ▲ Latencia de red
- ▲ Resiliencia de clústeres de GPU
- ▲ Costo de infraestructura
- ▲ Flexibilidad de ingeniería de tráfico
- ▲ Unificación de fabrics scale-up y scale-out
Costes
- △ Complejidad de diseño y operación de refrigeración líquida
- ▲ Esfuerzo de estandarización y colaboración con la industria
- ▲ Gestión de la heterogeneidad entre entornos on-premise y cloud
Fundamentos Teóricos
La evolución de las arquitecturas de red para IA a hiperescala se conecta directamente con principios fundamentales de la computación distribuida y la teoría de redes. La adopción de topologías Clos, como la FPF de 2 niveles, se basa en trabajos seminales sobre redes de interconexión para supercomputadoras, buscando minimizar la latencia y maximizar el ancho de banda biseccional. El balanceo de carga a nivel de NIC y la distribución de tráfico a través de múltiples planos reflejan conceptos de striping y paralelismo inherentes a los sistemas distribuidos, donde la redundancia y la distribución de la carga son clave para la resiliencia y el rendimiento.
La gestión de la congestión en redes RDMA, como la implementada en MetaRoCE, se inspira en décadas de investigación sobre control de congestión en TCP/IP, adaptando algoritmos para entornos de baja latencia y alta ráfaga. La necesidad de gestionar la latencia y el ancho de banda a través de grandes distancias en la capa BAG y con SRv6 resuena con los desafíos de la computación de alto rendimiento (HPC) y los sistemas distribuidos geográficamente, donde el teorema CAP (Consistency, Availability, Partition tolerance) y el PACELC (Partition tolerance, Availability/Consistency, Latency, Efficacy, Cost) dictan compromisos fundamentales en el diseño de sistemas. La estandarización a través de iniciativas como OSPA y ESUN busca reducir la complejidad y el costo, un objetivo constante en la ingeniería de sistemas a gran escala, a menudo abordado mediante la abstracción y la modularidad, principios que se remontan a los primeros diseños de sistemas operativos y arquitecturas de software.