La gestión de tareas de fondo y flujos de trabajo complejos en sistemas distribuidos a menudo introduce una sobrecarga significativa en la arquitectura. Tradicionalmente, esto implica la orquestación de múltiples componentes como cron jobs, colas de mensajes, workers y tablas de estado personalizadas para lograr durabilidad y tolerancia a fallos. Este enfoque dispersa la lógica del flujo de trabajo a través de la aplicación y la infraestructura, dificultando la auditoría, el mantenimiento y la consistencia.
pg_durable aborda este problema fundamental al integrar la ejecución duradera directamente en PostgreSQL. Al permitir que los flujos de trabajo se definan en SQL y se ejecuten con puntos de control transaccionales, el sistema simplifica drásticamente la arquitectura para cargas de trabajo que residen principalmente en la base de datos. Esto es particularmente relevante en la era de los datos, donde las operaciones de ETL, pipelines de IA y tareas de mantenimiento de bases de datos requieren una ejecución fiable y auditable sin la complejidad de un stack de orquestación externo.
Arquitectura del Sistema
pg_durable se implementa como una extensión de PostgreSQL, construida con pgrx, lo que significa que todo su runtime reside dentro del proceso del servidor PostgreSQL. La extensión expone un Domain Specific Language (DSL) en SQL que permite a los usuarios definir grafos de pasos de funciones. Estos pasos pueden incluir operaciones SQL estándar, llamadas HTTP (df.http()), lógica condicional (df.if()), uniones (df.join()) y bucles (df.loop()).
El corazón de pg_durable es un worker en segundo plano registrado en PostgreSQL. Este worker aloja el runtime de orquestación, que se basa en dos librerías Rust de bajo nivel: duroxide y duroxide-pg. Duroxide proporciona el framework de tareas duraderas, gestionando la reproducción determinista, los puntos de control y las sub-orquestaciones. Duroxide-pg actúa como el proveedor de estado para duroxide, persistiendo todo el estado del runtime (instancias de flujos de trabajo, historial de ejecución, colas de trabajo) en un esquema dedicado duroxide. dentro de PostgreSQL. Esto asegura que el estado del flujo de trabajo sea duradero y pueda recuperarse tras fallos del servidor o de pasos individuales, reanudando la ejecución desde el último punto de control persistido. Los flujos de trabajo definidos por el usuario se almacenan en el esquema df..
Ejecución de un Flujo de Trabajo Duradero
- 1 df.start() Usuario inicia un flujo de trabajo SQL, que se registra en df.instances.
- 2 Background Worker El worker de pg_durable detecta una nueva instancia de flujo de trabajo.
- 3 duroxide Runtime El runtime de orquestación (duroxide) carga el estado del flujo de trabajo.
- 4 Ejecutar Paso SQL El worker ejecuta el paso SQL actual definido en el DSL.
- 5 Checkpoint El estado del flujo de trabajo (incluyendo resultados y próximo paso) se pers...
- 6 Fallo/Reinicio Si ocurre un fallo, el worker se reinicia o reanuda.
- 7 Reanudar El worker carga el último estado de duroxide.* y reanuda desde el último chec...
- 8 Completado El flujo de trabajo finaliza, y su estado se marca como completado en df.inst...
| Capa | Tecnología | Justificación |
|---|---|---|
| storage | PostgreSQL | Base de datos principal para almacenar datos de negocio y el estado interno de pg_durable (instancias, nodos, variables, estado del runtime duroxide). shared_preload_libraries para cargar la extensión, esquema duroxide.* para estado interno. |
| compute | Rust | Lenguaje de implementación de la extensión pg_durable, duroxide y duroxide-pg, proporcionando seguridad de memoria y rendimiento. vs C/C++ (para extensiones de PostgreSQL) Uso de pgrx para la integración con PostgreSQL. |
| orchestration | pg_durable (duroxide/duroxide-pg) | Proporciona el runtime de orquestación duradera para flujos de trabajo SQL, gestionando checkpoints, reintentos y estado. vs Apache Airflow, Temporal, AWS Step Functions, Argo Workflows Configuración de worker en segundo plano y roles de usuario. |
-- A durable function that processes data in steps
SELECT df.start(
'SELECT id FROM documents WHERE processed = false LIMIT 100' |=> 'batch'
~> 'UPDATE documents SET processed = true WHERE id = ANY($batch)'
);CREATE EXTENSION pg_durable;
SELECT df.grant_usage('app_role');
-- Alternativa con rol de indirection
CREATE ROLE pg_durable_user NOLOGIN;
SELECT df.grant_usage('pg_durable_user');
GRANT pg_durable_user TO app_backend, etl_service;Fundamentos Teóricos
El concepto de ejecución duradera y tolerancia a fallos en sistemas distribuidos tiene sus raíces en la investigación de sistemas transaccionales y la computación distribuida. Principios como los de las transacciones ACID (Atomicity, Consistency, Isolation, Durability) son fundamentales para la persistencia del estado que pg_durable aprovecha. La idea de reanudar el trabajo desde un punto de control conocido tras un fallo se alinea con los conceptos de 'recovery management' en sistemas de bases de datos, donde los logs de escritura anticipada (WAL) y los puntos de control son mecanismos estándar para garantizar la durabilidad y la recuperación.
Aunque no se cita directamente, el diseño de pg_durable resuena con los principios de los 'workflow engines' y 'process orchestration' que han sido objeto de estudio en la informática desde hace décadas. La capacidad de definir un grafo de tareas y garantizar su ejecución fiable a pesar de fallos parciales es un problema clásico de la computación distribuida, abordado por sistemas como Sagas (Garcia-Molina & Salem, 1987) para transacciones de larga duración, o por frameworks más modernos de 'durable functions' que desacoplan la lógica de negocio de la gestión del estado y la resiliencia.