Un Tensor Core es una unidad de ejecución de hardware programable, presente en las arquitecturas de GPU de NVIDIA (desde Volta en adelante) y otras arquitecturas de aceleradores, optimizada para realizar operaciones de multiplicación y acumulación de matrices (Matrix Multiply-Accumulate, MMA) de forma altamente paralela y eficiente. A diferencia de los núcleos CUDA o Stream Processors tradicionales que manejan operaciones de punto flotante de propósito general, los Tensor Cores están diseñados específicamente para manejar datos en formatos de baja precisión (como FP16, BF16, TF32, INT8, INT4), lo que permite un throughput significativamente mayor para las operaciones tensoriales que son el corazón de los algoritmos de Deep Learning y ciertas simulaciones científicas. Cada Tensor Core puede ejecutar una operación MMA en un solo ciclo de reloj, procesando múltiples elementos de matriz simultáneamente.
Los Tensor Cores son la base del rendimiento en sistemas de entrenamiento y inferencia de modelos de Deep Learning a gran escala. Se encuentran en las GPUs de NVIDIA de las series Volta (ej. V100), Turing (ej. RTX 2080, T4), Ampere (ej. A100, RTX 3090) y Hopper (ej. H100). Plataformas como TensorFlow, PyTorch y ONNX Runtime utilizan bibliotecas optimizadas como cuBLAS y cuDNN, que a su vez aprovechan los Tensor Cores para acelerar operaciones clave como convoluciones, multiplicaciones de matrices y transformadores. En el ámbito de la computación de alto rendimiento (HPC), también se utilizan para acelerar simulaciones científicas que pueden reformularse para aprovechar las operaciones de matriz de baja precisión, como ciertos métodos de álgebra lineal densa o simulaciones de dinámica de fluidos.
Para un arquitecto de sistemas, la comprensión de los Tensor Cores es crucial para el diseño de infraestructuras de IA y HPC. Su existencia implica que la elección de hardware de GPU no es solo una cuestión de número de núcleos CUDA o memoria, sino también de la presencia y generación de Tensor Cores, lo que impacta directamente en el rendimiento y la eficiencia energética para cargas de trabajo específicas. Un arquitecto debe considerar si las aplicaciones objetivo pueden beneficiarse de la precisión reducida y las operaciones de matriz aceleradas. La decisión de invertir en GPUs con Tensor Cores de última generación frente a opciones más económicas sin ellos (o con generaciones anteriores) es un trade-off entre costo, rendimiento y la capacidad de soportar modelos de IA cada vez más grandes y complejos. Además, la optimización del software para aprovechar estos núcleos (por ejemplo, mediante el uso de formatos de datos mixtos o bibliotecas específicas) es una consideración de diseño clave para maximizar el retorno de la inversión en hardware.