El incidente inicial fue causado por un agotamiento de espacio en disco en el servidor principal, desencadenado por una afluencia repentina de usuarios intentando descargar archivos. La causa raíz de este agotamiento fue una configuración predeterminada de Nginx ('proxy_buffering on' y 'proxy_max_temp_file_size 1024m') que llevó al proxy a almacenar en caché archivos temporales en el disco raíz para cada descarga. Cuando múltiples usuarios intentaron descargar el archivo de 2.2GB, Nginx creó múltiples copias temporales, superando rápidamente la capacidad del disco de 40GB.
Las salvaguardas fallaron porque el monitoreo de disco, aunque presente (Grafana), solo alertó una vez que el disco ya estaba al 100%, sin dar tiempo para una intervención proactiva. Además, los intentos de liberar espacio fallaron inicialmente porque las herramientas como 'nix-collect-garbage' y las operaciones de ClickHouse requerían espacio temporal para ejecutarse, lo que no estaba disponible. La reubicación del /nix/store a un volumen separado fue una medida paliativa que alivió la presión inmediata, pero no resolvió la causa raíz del consumo de espacio por Nginx.
La segunda fase del incidente, la incapacidad de descargar archivos grandes, fue una consecuencia directa de 'proxy_max_temp_file_size' siendo menor que el tamaño del archivo, lo que impedía que Nginx manejara el archivo completo. La persistencia del problema de espacio en disco, incluso después de las correcciones iniciales, se debió a que los archivos temporales de Nginx, aunque 'deleted' del filesystem, seguían siendo referenciados por procesos de Nginx, ocupando espacio físico hasta que Nginx los liberara o se reiniciara. Esto es un comportamiento conocido de Linux con archivos abiertos y eliminados ('unlinked open files').