El incidente de Instagram fue un caso clásico de 'confused deputy' exacerbado por la introducción de un agente de IA. El asistente de soporte de IA, que poseía privilegios para modificar la información de recuperación de cuentas, fue engañado por atacantes para que aplicara esos privilegios en beneficio de terceros no autorizados. La causa raíz no fue un fallo del modelo de IA en sí, sino una brecha en el modelo de autorización del sistema subyacente: la validación de la propiedad de la cuenta, que tradicionalmente dependía del juicio humano de un agente de soporte, no se codificó explícitamente en el flujo de trabajo automatizado del agente de IA.
La cascada de fallo se produjo porque el agente de IA, al carecer de la capacidad de discernir la intención maliciosa o la falta de autorización del solicitante, ejecutó una secuencia de operaciones válidas (adjuntar un nuevo email de recuperación y solicitar un restablecimiento de contraseña) sin verificar que el 'principal' (la entidad que inició la solicitud) fuera el propietario legítimo de la cuenta. Las salvaguardas existentes, que presumiblemente residían en la discreción humana, no se tradujeron en controles de software para el agente automatizado. Esto permitió que un ataque de bajo esfuerzo escalara a la toma de control de miles de cuentas.
Este incidente subraya un riesgo fundamental en la integración de agentes de IA con sistemas privilegiados: la interfaz de lenguaje natural de los LLM no transmite inherentemente la identidad o la autorización del solicitante. Si la identidad del 'principal' no se re-adjunta y verifica explícitamente antes de que el agente realice una acción privilegiada, el agente actúa bajo su propia autoridad inherente, ignorando los permisos del usuario final. Además, los agentes de IA pueden ser susceptibles a la inyección de instrucciones maliciosas a través de datos, lo que complica aún más la seguridad.