Finite State Entropy (FSE) es un algoritmo de codificación entrópica que pertenece a la familia de codificadores de estado finito. Fue introducido por Yann Collet y se destaca por su capacidad para lograr una compresión cercana al límite de Shannon (similar a la codificación de rangos o aritmética) mientras mantiene una velocidad de ejecución comparable o superior a los codificadores Huffman. FSE opera mapeando secuencias de símbolos de entrada a estados internos, y luego codificando esos estados. Su diseño asimétrico significa que la descompresión es inherentemente más rápida que la compresión, lo que lo hace ideal para escenarios donde los datos se comprimen una vez y se descomprimen muchas veces.
FSE ha encontrado una adopción significativa en sistemas que requieren compresión de alto rendimiento. Es el algoritmo de compresión entrópica subyacente en Zstandard (Zstd), un compresor de datos sin pérdidas desarrollado por Facebook (ahora Meta). Zstd es ampliamente utilizado en bases de datos (como RocksDB, ScyllaDB), sistemas de archivos (ZFS, Btrfs), y en la compresión de logs y datos de red debido a su excelente relación compresión/velocidad. Además, FSE se utiliza en formatos de imagen como JPEG XL y en algunas implementaciones de compresión de texturas para videojuegos, donde la velocidad de descompresión es crítica para el rendimiento en tiempo real.
Para un arquitecto de sistemas, comprender FSE es crucial al diseñar soluciones que involucran grandes volúmenes de datos y requisitos de rendimiento. La elección de un algoritmo de compresión como Zstd (que usa FSE) implica un trade-off estratégico: se obtiene una compresión muy eficiente y una descompresión extremadamente rápida a expensas de una compresión ligeramente más lenta. Esto es ideal para cargas de trabajo de lectura intensiva, como almacenamiento de objetos, caches distribuidas o bases de datos analíticas. Un arquitecto debe considerar el impacto en la latencia, el throughput y el uso de CPU al seleccionar una estrategia de compresión, y FSE ofrece una opción robusta para optimizar el almacenamiento y la transferencia de datos sin sacrificar el rendimiento en la descompresión.