El incidente con VideoEncoder.encodeV2 en Netflix Stratum Resource Tuner (SRT) fue causado por una combinación de una reducción de recursos demasiado agresiva y la falta de mecanismos de auto-sanación robustos en las primeras etapas del sistema. Aunque el SRT estaba diseñado para combatir el sobre-aprovisionamiento y la "config drift", la implementación inicial de las reducciones de memoria y disco no consideraba adecuadamente la variabilidad a largo plazo de los patrones de carga.
La causa raíz fue la aplicación de una reducción del 50% en la memoria de una sola vez, basada en datos históricos que, aunque válidos en el momento, no capturaron la cola larga de la distribución de la carga o futuros cambios en el tráfico. Las salvaguardas iniciales, como los experimentos sintéticos y de producción, validaron la configuración para los patrones de tráfico observados durante el período de prueba. Sin embargo, no fueron suficientes para predecir un cambio significativo en el tráfico dos semanas después de la aplicación, lo que llevó a una tasa de reintentos del 60%.
La cascada de fallo se inició cuando el cambio de tráfico expuso la configuración de memoria sub-aprovisionada. El mecanismo de "retry with more resources" actuó como una red de seguridad, re-encolando las tareas en contenedores más grandes. Sin embargo, la alta tasa de reintentos indica que el sistema estaba constantemente luchando por encontrar recursos adecuados, lo que probablemente llevó a un aumento de la latencia y el costo. La ausencia de un rollback automático en esa etapa temprana significó que la intervención manual fue necesaria, prolongando el impacto del incidente y desviando recursos de ingeniería.
Este incidente subraya la dificultad de optimizar recursos en sistemas distribuidos a escala de hyperscaler, donde los patrones de carga pueden ser impredecibles y las configuraciones óptimas son dinámicas. La confianza excesiva en los datos históricos sin una validación continua y mecanismos de auto-reparación puede llevar a fallos, incluso con sistemas diseñados para mejorar la eficiencia.