Expert Parallelism es un paradigma de paralelización donde un modelo computacional complejo se descompone en submódulos o 'expertos', cada uno especializado en una porción del problema o en un tipo específico de entrada. A diferencia del Data Parallelism (donde múltiples workers procesan diferentes lotes de datos con el mismo modelo) o Model Parallelism (donde un modelo se divide y distribuye entre workers), Expert Parallelism implica que cada experto puede tener una arquitectura o conjunto de parámetros únicos, entrenado para manejar un subconjunto específico del espacio de entrada o para realizar una función particular. Un 'gate' o 'router' aprende a dirigir las entradas a los expertos más apropiados, y sus salidas se combinan para producir el resultado final. Esto permite escalar modelos que son demasiado grandes para una sola GPU o nodo, o para mejorar la eficiencia al especializar el cómputo.
Un ejemplo prominente de Expert Parallelism se encuentra en los 'Mixture of Experts' (MoE) models, especialmente en el ámbito de los Large Language Models (LLMs). Sistemas como Google Brain con su trabajo en MoE para modelos de lenguaje, y más recientemente, modelos como el de Google Switch Transformer o el de OpenAI GPT-4 (según algunas especulaciones sobre su arquitectura interna), utilizan MoE para escalar el número de parámetros de manera eficiente. En estos sistemas, un 'router' aprende a enviar cada token de entrada a un pequeño subconjunto de expertos (redes neuronales feed-forward) de un conjunto mucho mayor. Solo los expertos activados para un token específico realizan el cómputo, lo que permite tener modelos con billones de parámetros sin incurrir en el costo computacional de activar todos los parámetros para cada inferencia o paso de entrenamiento.
Para un Arquitecto de Sistemas, Expert Parallelism es crucial porque ofrece una vía para construir sistemas de IA de escala masiva que serían inviables con otras estrategias de paralelización. Permite la creación de modelos con una capacidad y conocimiento sin precedentes, pero introduce desafíos significativos: el diseño del 'router' o 'gate' es crítico para la eficiencia y la calidad del modelo; la gestión de la carga de trabajo y el balanceo entre expertos se vuelve complejo, ya que algunos expertos pueden ser invocados con más frecuencia que otros; y la infraestructura de despliegue debe ser capaz de manejar la activación dinámica y selectiva de subcomponentes del modelo. La decisión de adoptar Expert Parallelism implica un trade-off entre la complejidad de la arquitectura y la infraestructura, y la capacidad de escalar el rendimiento y la capacidad del modelo a niveles que de otra forma serían inalcanzables, siendo una consideración clave para sistemas de IA de próxima generación.