El problema fundamental que aborda este sistema es la dificultad de escalar y preservar el conocimiento especializado tácito dentro de grandes organizaciones. A menudo, la experiencia más valiosa reside en la mente de los expertos, lo que lleva a inconsistencias, cuellos de botella y la pérdida de conocimiento institucional con el tiempo. Los LLMs genéricos carecen del contexto organizacional profundo necesario para dominios de alto riesgo, donde la distinción entre lo que se 'puede' hacer y lo que se 'debe' hacer es crítica.
Este enfoque propone una solución que no solo externaliza el conocimiento, sino que también codifica la metodología de razonamiento de los expertos. Al estructurar el conocimiento explícitamente y separar la base de conocimiento de los procedimientos de razonamiento, el sistema permite que las correcciones de los expertos se traduzcan en actualizaciones permanentes y verificadas, construyendo una 'memoria institucional' que mejora iterativamente. Esto contrasta con los enfoques tradicionales de RAG que re-derivan el razonamiento en cada consulta, o los modelos de IA que requieren reentrenamiento costoso y opaco para incorporar nuevas informaciones.
Arquitectura del Sistema
La arquitectura se compone de cuatro capas interdependientes: un sistema de conocimiento estructurado, una capa de razonamiento basada en 'recetas' composables, un marco de evaluación riguroso y un bucle de auto-mejora automatizado. El 'segundo cerebro organizacional' se construye a partir de miles de documentos fuente que son destilados en archivos de conocimiento estructurados. Estos incluyen 'Position files' (posturas organizacionales autorizadas), 'Taxonomy and vocabulary files' (glosarios canónicos), 'Routing indexes' (mapeos deterministas de entradas a conocimiento relevante) y 'Gateway files' (pruebas de umbral para aplicar conocimiento especializado).
El conocimiento se organiza por densidad y frecuencia de uso: fuentes de alta densidad y uso frecuente residen en el wiki curado, mientras que fuentes dispersas y situacionales se manejan mediante RAG (Retrieval Augmented Generation) con búsqueda semántica o léxica. La capa de razonamiento utiliza 'recipes' imperativas, que son flujos de trabajo analíticos multi-paso. Estas recetas referencian archivos de conocimiento pero no contienen hechos de dominio, lo que permite la atribución limpia de fallos (¿conocimiento incorrecto o procedimiento defectuoso?). Las recetas se componen en pipelines, aplicando el principio de 'progressive disclosure' para optimizar el uso de la ventana de contexto del LLM. El bucle de auto-mejora automatiza la traducción de feedback experto en ediciones de archivos. Este proceso incluye diagnóstico (atribución de la causa raíz), compilación (ediciones mínimas con revisión adversarial independiente y validación estructural determinista), y evaluación (reproducción dirigida y pruebas de regresión). Cada corrección exitosa enriquece el conjunto de pruebas de regresión, asegurando que las mejoras sean permanentes y no introduzcan regresiones.
Ciclo de Auto-Mejora del Agente
- 1 Interacción Experto-Agente Experto humano interactúa con el agente, proporcionando feedback y correcciones.
- 2 Diagnóstico de Feedback El sistema analiza el feedback para atribuir la causa raíz (conocimiento o pr...
- 3 Compilación de Ediciones Sub-agentes generan ediciones mínimas en archivos de conocimiento/recetas.
- 4 Revisión Adversarial Agente independiente busca contradicciones o problemas en las ediciones propu...
- 5 Validación Estructural Linter verifica consistencia, referencias cruzadas y ciclos de dependencia.
- 6 Evaluación (Replay/Regresión) Pruebas dirigidas y de regresión verifican la corrección y ausencia de regres...
- 7 Revisión Humana (Pull Request) Experto humano revisa el diff auditado y aprobado.
- 8 Actualización y Enriquecimiento Archivos actualizados; escenario de fallo añadido a suite de regresión.
| Capa | Tecnología | Justificación |
|---|---|---|
| compute | Large Language Models (LLMs) | Proporcionan la base para el razonamiento y la generación de texto del agente. |
| storage | Archivos de Conocimiento Estructurados (YAML/texto) | Almacenan el conocimiento institucional en un formato legible por humanos y máquinas, con dependencias explícitas. vs Bases de datos de grafos, Bases de datos relacionales, Bases de datos vectoriales (para RAG puro) Frontmatter YAML para metadatos y dependencias (depends_on, referenced_by). |
| data-processing | Motor de Compilación Multi-Agente | Automatiza la traducción de feedback experto en ediciones de archivos, incluyendo diagnóstico, generación de diffs y revisión adversarial. vs Edición manual de archivos, Fine-tuning de LLMs |
| observability | Suite de Pruebas de Regresión Automatizada | Verifica que las correcciones funcionen y no introduzcan regresiones, enriqueciéndose con cada nuevo escenario de fallo. vs Pruebas manuales |
Trade-offs
Ganancias
- ▲ Consistencia en las evaluaciones
- ▲ Escalabilidad del conocimiento experto
- ▲ Reducción de la carga de trabajo de los expertos
- ▲ Audibilidad y trazabilidad del razonamiento
- ▲ Persistencia del conocimiento institucional
Costes
- △ Complejidad inicial de la arquitectura
- △ Mantenimiento de la base de conocimiento estructurada
Fundamentos Teóricos
Este sistema se conecta con principios fundamentales de la ingeniería de software y la inteligencia artificial. La separación explícita entre conocimiento declarativo (archivos de conocimiento) y conocimiento procedimental (recetas) es un concepto central en los sistemas expertos y la representación del conocimiento, remontándose a trabajos como los de Newell y Simon sobre sistemas de producción. La idea de un 'segundo cerebro' o base de conocimiento estructurada para agentes de IA resuena con el concepto de 'LLM Wiki' de Andrej Karpathy y el 'Open Knowledge Format' de Google, que abogan por el conocimiento pre-extraído, estructurado y progresivamente divulgado. La validación rigurosa y la auto-mejora con pruebas de regresión se alinean con las prácticas de ingeniería de software de integración continua y pruebas automatizadas, aplicadas aquí a la evolución de una base de conocimiento. El uso de múltiples agentes para la compilación y revisión adversarial refleja principios de sistemas multi-agente y verificación formal, donde diferentes componentes validan la consistencia y corrección de las modificaciones propuestas.