La verificación formal de pruebas matemáticas es un problema fundamental en la computación, que busca eliminar ambigüedades y errores en el razonamiento deductivo. Star Fleet Math aborda este desafío utilizando modelos de lenguaje grandes (LLMs) en conjunto con asistentes de pruebas formales como Lean 4. La tesis central es que la combinación de la capacidad generativa de los LLMs con la rigurosidad de los sistemas de prueba interactivos puede resolver problemas matemáticos abiertos que han resistido métodos tradicionales.
Históricamente, la verificación matemática ha dependido de la revisión humana, un proceso propenso a errores y lento. El desarrollo de asistentes de pruebas como Coq, Isabelle/HOL y Lean ha permitido la construcción de pruebas formalmente verificadas, pero a menudo requiere una intervención humana significativa. Star Fleet Math busca automatizar y escalar este proceso, aprovechando el progreso reciente en IA para generar y verificar pruebas de manera más eficiente.
Arquitectura del Sistema
Star Fleet Math se implementa como una aplicación de escritorio en TypeScript y Bun, controlando hasta 20 'starships' en paralelo. Cada 'starship' es un agente autónomo que ejecuta una instancia de GPT-5.6 en un servidor dedicado de 60 vCPUs y 120 GiB de memoria. Estos agentes están diseñados para trabajar en problemas matemáticos separados.
Cada 'starship' tiene acceso a varios recursos: ráfagas de CPU x86-64 de hasta 2,000 vCPUs para programas de búsqueda paralelizables, y ráfagas de GPU H100 para búsquedas masivamente paralelas. Para la recuperación de información, utilizan un corpus de teoremas y lemas de Lean 4, indexado y consultable en lenguaje natural mediante embeddings de Gemini-2 y una base de datos vectorial Chroma. También acceden a un índice de arXiv.org y repositorios de GitHub a través de Firecrawl.dev. La verificación de pruebas se realiza con un agente Claude Fable API, envuelto en un 'harness' que revisa las respuestas. Un sistema de memoria a largo plazo local, Ton 618, organiza las premisas verificadas de Lean 4 en un grafo de dependencias. Finalmente, cada 'starship' dispone de un entorno sandbox preinstalado con SAT/SMT solvers (CaDiCaL, kissat, Z3), Google CP-SAT, sistemas de álgebra computacional (SageMath, PARI/GP, GAP, Macaulay2) y toolchains completas de Rust, CUDA C++ y Lean 4.
Flujo de Resolución de Problemas por Starship
- 1 Selección de Problema Un 'starship' recibe un problema matemático abierto.
- 2 Búsqueda de Premisas Consulta el corpus de Lean 4 y arXiv.org usando embeddings y Chroma DB para t...
- 3 Generación de Hipótesis/Pruebas GPT-5.6 genera pasos de prueba o estrategias de solución.
- 4 Ejecución de Herramientas Utiliza solvers SAT/SMT, CP-SAT o sistemas de álgebra computacional en el san...
- 5 Verificación Formal (Lean 4) Intenta formalizar y verificar la prueba en Lean 4.
- 6 Revisión por Agente Fable Claude Fable API revisa la prueba formalizada para su validez.
- 7 Almacenamiento en Ton 618 Las premisas verificadas se añaden al grafo de dependencia de memoria a largo...
- 8 Revisión Humana (Opcional) Si es necesario, se solicita una revisión adicional a un humano vía iMessage.
| Capa | Tecnología | Justificación |
|---|---|---|
| compute | GPT-5.6 | Modelo de lenguaje grande para la generación de hipótesis, estrategias de prueba y código Lean 4. vs Claude Fable, Gemini-2 Instancia dedicada por 'starship' en servidor de 60 vCPUs. |
| compute | x86-64 CPU bursts | Ráfagas de hasta 2,000 vCPUs para programas de búsqueda que se shardean en miles de trabajos de un solo núcleo. vs AWS EC2 Spot Instances, Google Cloud Preemptible VMs |
| compute | H100 GPU bursts | Ráfagas de GPU para programas de búsqueda masivamente paralelos. vs A100 GPU, V100 GPU |
| storage | Chroma vector db | Base de datos vectorial para almacenar y buscar embeddings de teoremas y lemas de Lean 4. vs Pinecone, Weaviate |
| data-processing | gemini-embeddings-2 | Generación de embeddings para el corpus de Lean 4, permitiendo búsquedas semánticas en lenguaje natural. vs OpenAI Embeddings, Cohere Embeddings |
| data-processing | Firecrawl.dev | Indexación de arXiv.org y repositorios de GitHub para acceso a investigación y código. vs Custom web crawler, ArXiv API direct access |
| compute | Claude Fable API | Agente verificador de pruebas para revisar las respuestas generadas por los LLMs. vs GPT-4 for verification, Human review as primary Envuelto en un 'proof-verifier agentic harness'. |
| storage | Ton 618 | Sistema de memoria a largo plazo local que organiza las premisas verificadas de Lean 4 en un grafo de dependencias. vs Distributed knowledge graph, Relational database Local, basado en grafo de dependencias. |
| orchestration | TypeScript & Bun | Framework de desarrollo para la aplicación de escritorio y la orquestación de los 'starships'. vs Python & FastAPI, Go & gRPC Construido desde cero. |
| compute | Lean 4 toolchain | Asistente de pruebas formal para la verificación rigurosa de las soluciones matemáticas. vs Coq, Isabelle/HOL Preinstalado en el sandbox de cada 'starship'. |
| compute | SAT/SMT solvers (CaDiCaL, kissat, Z3), Google CP-SAT | Herramientas para la resolución de problemas de satisfacibilidad booleana, teoría de módulos y programación de restricciones. vs Custom constraint solvers Preinstalado en el sandbox de cada 'starship'. |
| compute | Computer algebra systems (SageMath, PARI/GP, GAP, Macaulay2) | Sistemas para realizar cálculos simbólicos y numéricos en álgebra y teoría de números. vs Mathematica, Maple Preinstalado en el sandbox de cada 'starship'. |
Fundamentos Teóricos
La integración de LLMs con sistemas de prueba formal se basa en principios de inteligencia artificial simbólica y conexionista. La capacidad de los LLMs para generar texto coherente y relevante se combina con la lógica deductiva de los asistentes de pruebas, un campo que se remonta a trabajos fundacionales en lógica matemática y verificación formal. El uso de bases de datos vectoriales para la búsqueda de teoremas se conecta con la recuperación de información basada en embeddings, un área activa de investigación en procesamiento de lenguaje natural.
El concepto de 'agentes' autónomos que interactúan con herramientas y bases de conocimiento resuena con la arquitectura de sistemas multi-agente y la investigación en razonamiento automatizado. La formalización de problemas matemáticos en sistemas como Lean 4 se inspira en el programa de Hilbert y en el desarrollo de lenguajes de prueba como Automath de N.G. de Bruijn (1968), que buscaban una verificación rigurosa de las matemáticas. La resolución de problemas como los de Erdős, que a menudo involucran combinatoria aditiva y teoría de números, se beneficia de la capacidad de los sistemas formales para manejar la complejidad y evitar errores sutiles que pueden pasar desapercibidos en pruebas manuales.