El incidente de bitdrift subraya cómo una configuración DNS aparentemente benigna puede convertirse en un punto de fallo catastrófico bajo cargas extremas y con conexiones persistentes. La causa raíz fue la política de enrutamiento 'Weighted' de Amazon Route 53, que, a pesar de su nombre, devuelve una única dirección IP por consulta DNS. A la escala de CloudFront, esto significaba que todos los nodos de borde resolvían el origen a un único Network Load Balancer (NLB) durante la duración del TTL del DNS, creando un efecto de 'thundering herd'.
Este problema se amplificó críticamente por el uso de conexiones gRPC persistentes. A diferencia de las solicitudes HTTP de corta duración, las conexiones gRPC son de larga duración y se acumulan en el origen que se resolvió en el momento de la conexión inicial. Esto significó que una configuración DNS que podría haber causado una leve distribución desigual con tráfico sin estado, provocó una sobrecarga catastrófica con conexiones persistentes. Incluso el escalado de los NLB de 2 a 6 IPs no mitigó el problema, ya que la política 'Weighted' seguía dirigiendo todo el tráfico a una única IP por ventana de TTL, haciendo que los NLB adicionales parecieran ineficaces.
Las salvaguardas fallaron porque la naturaleza del problema estaba oculta por la interacción entre el TTL del DNS y la persistencia de las conexiones. La adición de más capacidad de origen (NLBs) no se tradujo en una mayor capacidad efectiva porque el enrutamiento de DNS no estaba distribuyendo la carga de manera uniforme. La solución, un cambio a la política de enrutamiento 'Multi-Value Answer' de Route 53, que devuelve hasta 8 IPs por consulta DNS y las distribuye con comprobaciones de salud integradas, permitió que CloudFront distribuyera las conexiones de manera efectiva desde la primera resolución, eliminando el cuello de botella del origen único.