NVL72 es una plataforma de computación de alto rendimiento y escalabilidad de NVIDIA, que representa una unidad de escala de rack para cargas de trabajo intensivas en IA y High-Performance Computing (HPC). Consiste en un chasis que integra 72 GPUs NVIDIA H100 Tensor Core, interconectadas mediante la tecnología NVIDIA NVLink de cuarta generación y la red InfiniBand Quantum-2. Este diseño permite que todas las GPUs operen como una única unidad de computación masivamente paralela, proporcionando un ancho de banda de memoria y una capacidad de procesamiento sin precedentes dentro de un solo rack, optimizado para modelos de lenguaje grandes (LLMs) y simulaciones complejas.
En el mundo real, NVL72 se implementa en centros de datos a gran escala y supercomputadoras para abordar las demandas crecientes de entrenamiento de modelos de IA de miles de millones de parámetros y simulaciones científicas intensivas. Por ejemplo, proveedores de servicios en la nube y organizaciones de investigación utilizan NVL72 para acelerar el desarrollo de IA generativa, la investigación de fármacos, el análisis climático y la física de partículas. Es el bloque fundamental para construir sistemas aún más grandes como NVIDIA DGX SuperPOD, donde múltiples NVL72 se interconectan para formar clústeres de computación masiva, como los utilizados por OpenAI para entrenar sus modelos GPT o por Meta para sus investigaciones en IA.
Para un arquitecto de sistemas, NVL72 es crucial porque define una unidad de escalabilidad y rendimiento para infraestructuras de IA y HPC. La elección de NVL72 implica un trade-off entre el costo inicial y la densidad de cómputo, la eficiencia energética y la complejidad de la gestión. Permite consolidar una potencia de cómputo extrema en un espacio físico reducido, simplificando la interconexión y reduciendo la latencia en comparación con la construcción de clústeres con nodos discretos. Sin embargo, requiere una infraestructura de refrigeración y energía robusta. Los arquitectos deben considerar NVL72 al diseñar sistemas para cargas de trabajo que demandan comunicación de baja latencia entre GPUs y un ancho de banda de memoria masivo, evaluando si el costo de capital y operativo se justifica por la aceleración del tiempo de entrenamiento y la capacidad de manejar modelos de mayor escala.