Qwenputer: RISC-V CPU embebido en los pesos de un LLM para computación determinista

El problema fundamental que Qwenputer aborda es la falta de determinismo y la dificultad para realizar operaciones lógicas y aritméticas exactas dentro de los Large Language Models (LLMs). Los LLMs son inherentemente probabilísticos y carecen de una capacidad nativa para la computación precisa y el almacenamiento de estado persistente, lo que los limita en tareas que requieren razonamiento simbólico o cálculos exactos. Tradicionalmente, estas limitaciones se han mitigado mediante la integración de herramientas externas (tool-use) o la generación de código para ser ejecutado en un entorno externo.

Qwenputer propone una solución radical: compilar una CPU completa directamente en los pesos del modelo. Esto transforma una parte del LLM en una máquina de Turing programable, capaz de ejecutar instrucciones de forma determinista. La clave de esta innovación reside en la manipulación de las capas Gated DeltaNet (GDN) de Qwen 3.5, que son RNN lineales, para funcionar como una RAM direccionable y exacta. Al configurar la 'gate' a 1 y la 'write strength' (beta) a 1, y utilizar 'one-hot key encoding', cada 'write' sobrescribe una fila exacta de la matriz de estado del GDN, y cada 'query' recupera un valor exacto. Esto convierte las capas GDN en una memoria de acceso aleatorio eficiente y de tamaño constante, a diferencia del KV cache de la atención tradicional que crece con la longitud de la conversación.

La relevancia actual de esta investigación es doble: por un lado, mejora significativamente las capacidades de los LLMs en tareas que requieren precisión y lógica, como la aritmética de números grandes, sin depender de inferencia probabilística o llamadas a herramientas externas. Por otro lado, abre nuevas vías para la investigación en seguridad e interpretabilidad de la IA, permitiendo la creación de monitores inmutables dentro del modelo o la ocultación de razonamiento en el estado RNN, lo que tiene implicaciones profundas para la auditoría y el control de los sistemas de IA.

Arquitectura del Sistema

La arquitectura de Qwenputer se basa en la modificación y extensión de un modelo Qwen 3.5 4B preexistente. El componente central es una CPU RISC-V de 32 bits (RV32IM con extensión Zba y una unidad de números grandes) que se compila directamente en 11 capas adicionales del modelo, situadas antes de las 32 capas originales de Qwen. Esta CPU no se entrena, sino que sus pesos se establecen directamente mediante un compilador que traduce la descripción del circuito de la CPU en fragmentos de capas de transformador: 'attention heads' para búsquedas, 'feed-forward units' para aritmética y 'DeltaNet heads' para la RAM.

La RAM se implementa utilizando las capas Gated DeltaNet (GDN) de Qwen 3.5. Estas capas, que son RNN lineales, se modifican para operar como una memoria de acceso aleatorio exacta. Esto se logra configurando el parámetro 'gate' a 1 (evitando el olvido del estado), el parámetro 'write strength' (beta) a 1 (asegurando la sobrescritura completa de valores) y empleando 'one-hot key encoding' para direccionar filas específicas de la matriz de estado del GDN. Cada instrucción de la CPU se traduce en una secuencia de tokens generados por el modelo: un token ADDR para la dirección de memoria, un token VAL para el valor y un token STEP para finalizar la instrucción. Estos tokens constituyen el 'execution trace' de la CPU, lo que significa que la CPU se ejecuta a medida que el modelo decodifica.

Para la persistencia de datos, se implementa un sistema de archivos experimental. Este sistema utiliza las capas DeltaNet para almacenar nombres de archivos (hashed en 1024 'slots') y el contenido de los archivos (ocho tokens por fila, encadenados). Esto permite 'guardar' y 'cargar' el estado del sistema de archivos entre conversaciones, proporcionando una forma de memoria a largo plazo para el LLM. Un pequeño 'driver' llamado RvChat se encarga de cargar el 'firmware' inicial en el estado GDN y de gestionar los tokens de traza para que no interfieran con las capas de Qwen. Las capas y pesos originales de Qwen 3.5 permanecen inalterados; los pesos de la CPU se añaden como dimensiones y capas adicionales.

git clone https://github.com/divagr18/qwenputer && cd qwenputer/experimental/riscv && uv sync --extra hf
hf download divagr1925/Qwen3.5-4B-Qwenputer --local-dir qwenputer-rv
uv run python -m chipformer.rv.chat qwenputer-rv --firmware tests/data/rv/calc-bridge.elf \
--ask "Use calc: what is 123456789 * 987654321?"

Fundamentos Teóricos

La idea de utilizar mecanismos de atención o redes neuronales recurrentes como memoria programable o asociativa no es nueva y tiene raíces profundas en la investigación de redes neuronales. El concepto de 'fast weights' o 'programmers' ha sido explorado en la literatura académica durante años. Un trabajo fundamental en esta área es el de Schlag et al. (2021), "Linear Transformers Are Secretly Fast Weight Programmers".

Este paper demostró que la atención lineal, que utiliza la regla delta para actualizar sus pesos, puede funcionar como una memoria asociativa. Qwenputer se basa en esta comprensión, pero va un paso más allá al hacer que esta memoria sea 'exacta' y 'direccionable' dentro de un modelo de producción. La capacidad de las RNN lineales para mantener un estado y actualizarlo de manera controlada es lo que permite esta implementación de RAM. La regla delta, en particular, es crucial porque permite actualizaciones de estado incrementales que, con los parámetros correctos (gate=1, beta=1, one-hot keys), se convierten en operaciones de lectura/escritura deterministas, emulando el comportamiento de una memoria de acceso aleatorio tradicional. Este enfoque conecta la arquitectura moderna de LLMs con principios de computación clásicos, demostrando cómo las propiedades de las redes neuronales pueden ser explotadas para construir componentes computacionales deterministas.