FP4 (Floating Point 4) es un formato de representación numérica de punto flotante que utiliza solo 4 bits para codificar un número. A diferencia de los formatos de mayor precisión como FP32 (single-precision) o FP16 (half-precision), FP4 sacrifica significativamente la precisión y el rango dinámico para lograr una densidad de datos y una eficiencia computacional extremadamente altas. Típicamente, un formato FP4 puede asignar 1 bit para el signo, 1 o 2 bits para el exponente y los bits restantes para la mantisa, aunque las implementaciones pueden variar (por ejemplo, 1-1-2 o 1-2-1). Su principal ventaja radica en la reducción drástica del consumo de memoria, el ancho de banda y los ciclos de reloj necesarios para operaciones aritméticas, lo que lo hace ideal para cargas de trabajo específicas.
La implementación de FP4 se encuentra predominantemente en hardware de inferencia de inteligencia artificial de última generación, especialmente en aceleradores diseñados para despliegues en el borde (edge devices) o en centros de datos con requisitos estrictos de eficiencia. Por ejemplo, algunas arquitecturas de GPUs y ASICs especializados para IA, como las de NVIDIA (en sus plataformas de inferencia) o Intel (en sus aceleradores Habana Gaudi), están explorando o implementando soporte para FP4. También se utiliza en procesadores neuromórficos y otros chips de IA de baja potencia donde la cuantificación extrema es aceptable para modelos de aprendizaje automático, particularmente en la fase de inferencia donde la robustez a la baja precisión es mayor que en el entrenamiento.
Para un arquitecto de sistemas, FP4 representa un trade-off crítico entre precisión y eficiencia. La decisión de adoptar FP4 es estratégica y debe basarse en una evaluación rigurosa de los requisitos del modelo de IA y las limitaciones del hardware. Permite desplegar modelos más grandes y complejos en entornos con restricciones de memoria y energía, o ejecutar inferencias a velocidades mucho mayores. Sin embargo, introduce el riesgo de degradación del rendimiento del modelo si este no es robusto a la cuantificación extrema. Un arquitecto debe considerar técnicas de cuantificación consciente del entrenamiento (quantization-aware training) y validación exhaustiva para asegurar que la pérdida de precisión no comprometa la calidad del servicio. Es una herramienta poderosa para optimizar el TCO (Total Cost of Ownership) de infraestructuras de inferencia a gran escala, pero requiere una comprensión profunda de las implicaciones algorítmicas y de hardware.