La Kullback-Leibler Divergence (KL Divergence), también conocida como información de ganancia o entropía relativa, es una métrica en la teoría de la información que cuantifica la diferencia promedio de bits requeridos para codificar muestras de una distribución P, cuando se usa un código optimizado para una distribución Q. Matemáticamente, se define como la integral (o suma discreta) de P(x) * log(P(x) / Q(x)) sobre todos los valores de x. Es importante destacar que la KL Divergence no es una métrica en el sentido matemático estricto, ya que no es simétrica (D_KL(P||Q) ≠ D_KL(Q||P)) y no satisface la desigualdad triangular. Siempre es no negativa, siendo cero si y solo si las dos distribuciones son idénticas.
En el mundo real, la KL Divergence se utiliza extensamente en Machine Learning y Estadística. Por ejemplo, en el entrenamiento de modelos generativos como Variational Autoencoders (VAEs), una parte de la función de pérdida (loss function) es la KL Divergence entre la distribución latente aprendida por el encoder y una distribución de referencia (típicamente una normal estándar), lo que ayuda a regularizar el espacio latente. También se emplea en algoritmos de optimización como Expectation-Maximization (EM) para ajustar modelos de mezcla, y en el aprendizaje por refuerzo para medir la diferencia entre políticas. Otro uso es en la selección de características (feature selection) o en la compresión de datos, donde se busca una aproximación que minimice la pérdida de información.
Para un arquitecto de sistemas, comprender la KL Divergence es crucial al diseñar sistemas que involucran modelos de Machine Learning, especialmente aquellos que requieren cuantificar la similitud o diferencia entre distribuciones de datos o modelos probabilísticos. Permite evaluar trade-offs en la complejidad del modelo frente a la fidelidad de la aproximación. Por ejemplo, al elegir entre diferentes modelos de compresión de datos o al diseñar sistemas de recomendación que ajustan distribuciones de preferencias de usuario, la KL Divergence puede ser una métrica clave para optimizar. También es relevante en sistemas de monitoreo y observabilidad para detectar desviaciones significativas en la distribución de métricas o logs, indicando posibles anomalías o cambios en el comportamiento del sistema que requieren atención.