La inferencia causal observacional (OCI) es fundamental para entender el impacto de diversas intervenciones en sistemas complejos, como el efecto de nuevas características en la retención de usuarios en plataformas de streaming. Sin embargo, la OCI es intrínsecamente compleja, requiere juicio experto y es propensa a errores debido a sesgos como el de los 'early adopters' y la falta de un 'ground truth' en datos reales. Este problema se agrava con la creciente delegación de análisis a agentes de software, que pueden producir resultados convincentes pero incorrectos sin una supervisión adecuada.
El desafío fundamental de la computación aquí es cómo construir sistemas automatizados que no solo realicen tareas analíticas complejas, sino que también incorporen mecanismos de validación interna y transparencia para permitir la auditoría y corrección humana. La solución de Netflix aborda esto mediante un workflow 'human-augmenting' que combina la automatización de agentes con diagnósticos rigurosos y la publicación de artefactos inspeccionables, permitiendo a los ingenieros Staff+ y arquitectos confiar en los resultados generados por IA para decisiones de negocio críticas. La necesidad de este enfoque se ha vuelto más apremiante con la proliferación de modelos de lenguaje grandes (LLMs) que, si bien son potentes, carecen de la capacidad intrínseca para aplicar el rigor metodológico requerido en inferencia causal sin un 'scaffolding' adecuado.
Arquitectura del Sistema
El workflow de inferencia causal de Netflix se basa en un marco 'agentic' que orquesta tres personas clave: el Principal (usuario humano), el Actor (agente de software que ejecuta el análisis) y el Critic (agente de software que evalúa y diagnostica). El Principal inicia el proceso con un plan de análisis inicial, especificando el contexto, los objetivos, las amenazas a la inferencia válida, los confounders a controlar, las herramientas permitidas y el modelo de datos.
El Actor toma este plan y lo refina en una especificación de análisis de datos. Utiliza un toolkit OCI preexistente de Netflix, que emplea 'doubly robust learning' para la estimación de efectos causales. Este toolkit incluye diagnósticos de diseño como 'covariate balance' (diferencia media estandarizada de covariables pre-tratamiento < 0.2), 'overlap' (propensity score entre 0.1 y 0.9), 'placebo outcome' (efecto nulo en variables pre-tratamiento) y 'sensitivity to hidden confounders'. El Actor genera artefactos inspeccionables por humanos y máquinas, como planes, especificaciones, gráficos y notebooks, y reporta cualquier remediación tomada ante fallos diagnósticos.
El Critic evalúa el análisis ejecutado, buscando puntos ciegos en el plan del Principal, verificando la alineación entre el plan, la especificación y la ejecución, y asignando un nivel de credibilidad a los resultados. También contrasta el análisis ejecutado con un 'Randomized Controlled Trial (RCT)' ideal y sugiere estrategias de medición alternativas. Para abordar fallos diagnósticos, como un 'overlap' deficiente, el workflow instruye al Actor a aplicar estrategias como el 'Crump-style trimming', que recorta unidades con 'propensity scores' fuera de un rango definido (ej. [0.1, 0.9]). Todos los artefactos generados por los agentes son versionados y almacenados para su auditoría y re-ejecución por los Principales. La implementación se basa en un 'oci-agent' de código abierto que utiliza software de código abierto como EconML para el aprendizaje automático causal.
Workflow de Análisis Causal con Agentes
- 1 Principal Provee plan de análisis inicial (contexto, objetivos, confounders, herramient...
- 2 Actor Refina el plan en una especificación de análisis de datos.
- 3 Actor Ejecuta análisis usando toolkit OCI (doubly robust learning) y diagnósticos d...
- 4 Actor Genera artefactos (planes, specs, plots, notebooks) y reporta remediaciones.
- 5 Critic Evalúa el análisis, verifica alineación, asigna credibilidad y sugiere mejoras.
- 6 Critic Identifica fallos diagnósticos (ej. poor overlap) y sugiere playbook (ej. tri...
- 7 Actor Re-ejecuta análisis con remediaciones (ej. Crump-style trimming).
- 8 Principal Inspecciona artefactos versionados y reportes del Critic para auditoría y eva...
| Capa | Tecnología | Justificación |
|---|---|---|
| data-processing | oci-agent (custom) | Orquestación del workflow de inferencia causal observacional, gestionando la interacción entre Actor y Critic. |
| data-processing | Netflix OCI Toolkit (custom) | Implementación de metodologías de inferencia causal, incluyendo doubly robust learning y diagnósticos de diseño. |
| data-processing | EconML | Librería de código abierto para aprendizaje automático causal, utilizada en la versión standalone del oci-agent. |
| compute | Claude Sonnet 4.6 | Modelo de lenguaje grande utilizado como base para los agentes Actor y Critic, con 'scaffolding' para guiar su comportamiento. |
| storage | File Store (internal) | Almacenamiento de artefactos generados por los agentes (notebooks ejecutados, reportes) para auditoría y re-ejecución. |
Trade-offs
Ganancias
- ▲ Reducción de 'toil' humano en tareas repetitivas de OCI
- ▲ Mejora en la credibilidad y robustez de las estimaciones causales
- ▲ Transparencia y auditabilidad de los pasos analíticos
- ▲ Capacidad para realizar análisis de sensibilidad y series temporales de forma automatizada
Costes
- △ Complejidad inicial en el diseño y mantenimiento del workflow agentic y su 'scaffolding'
- ▲ Dependencia de la calidad del 'scaffolding' para guiar a los LLMs
Fundamentos Teóricos
El concepto de 'target trial emulation' es central en este workflow, conectando la inferencia causal observacional con los principios de los ensayos clínicos aleatorizados (RCTs). Esta filosofía, popularizada por autores como Miguel Hernán y James Robins en epidemiología, postula que para cualquier pregunta causal observacional, se debe imaginar el RCT ideal que la respondería. Este ejercicio mental ayuda a identificar las suposiciones necesarias para una inferencia causal válida, como la 'unconfoundedness' (también conocida como 'ignorability' o 'conditional independence assumption').
Los diagnósticos de diseño, como el 'covariate balance' y el 'overlap', tienen raíces profundas en la literatura de inferencia causal. El 'propensity score matching' y el 'trimming' de unidades con 'propensity scores' extremos, como el 'Crump-style trimming', se basan en trabajos seminales de Rosenbaum y Rubin (1983) sobre 'propensity scores' y su uso para reducir el sesgo en estudios observacionales. La 'doubly robust learning' para la estimación de efectos causales, mencionada como parte del toolkit OCI, es un avance metodológico que combina modelos de resultado y de 'propensity score', ofreciendo robustez a la especificación errónea de uno de los modelos, un concepto explorado en profundidad por autores como Robins y Rotnitzky (1995) y Bang y Robins (2005).