Comunicación inter-GPU: NVLink, InfiniBand, all-reduce
Identificar y disociar fases de carga de trabajo con perfiles de recursos distintos (ej. compute-bound vs. memory-bound) para optimizar la utilización de hardware.
La paralelización de cargas de trabajo de experimentación es crítica para acelerar la investigación y el desarrollo en ML, especialmente en la optimización de hiperparámetros y la búsqueda de arquitecturas.
La comunicación es un cuello de botella crítico en el escalado de cargas de trabajo de IA; las optimizaciones a nivel de primitiva son esenciales.