La demanda creciente de ancho de banda y capacidad de memoria, impulsada por cargas de trabajo intensivas en datos como la IA, ha llevado a la evolución de High Bandwidth Memory (HBM). Sin embargo, el escalado tradicional de HBM enfrenta limitaciones físicas y de consumo energético, especialmente en la interfaz entre el die base de HBM y el die de cómputo. El problema fundamental radica en cómo continuar aumentando el ancho de banda y la eficiencia energética de la memoria sin sacrificar el área del die de cómputo o la disipación térmica.
La propuesta de Samsung, al migrar el die base de HBM a un nodo de proceso lógico de 4nm, aborda este desafío fundamental. Esta decisión estratégica libera una cantidad significativa de área en el die base, que tradicionalmente estaba subutilizada. Al aprovechar esta área, Samsung busca redefinir la arquitectura de la memoria, integrando funciones que históricamente residían en el die de cómputo o en los dies DRAM individuales. Esto permite una mayor co-optimización entre memoria y cómputo, y abre la puerta a nuevas arquitecturas de sistemas distribuidos donde la memoria no es solo un almacén pasivo, sino un componente activo en el procesamiento de datos.
Arquitectura del Sistema
La arquitectura propuesta por Samsung para HBM4 y HBM4E se centra en la reasignación de funcionalidades al die base de HBM, que ahora se fabrica con un nodo lógico de 4nm. Este cambio de proceso libera área y permite una mayor densidad de transistores. La fase 1 de esta evolución implica la integración del controlador de memoria (Memory Controller) directamente en el die base de HBM. Esto permitiría una interfaz die-to-die personalizada con el die de cómputo, reemplazando la interfaz HBM estándar y reduciendo el área de PHY en ambos dies. El controlador de memoria gestionaría operaciones de bajo nivel como precharging, switching de bus y refresco de celdas DRAM, optimizando la programación de solicitudes de datos para maximizar el rendimiento y mantener la coherencia.
Adicionalmente, en la fase 1, se contempla la integración de bloques de SRAM en el die base para almacenar información de remapeo de celdas DRAM defectuosas. Esto mejora la flexibilidad de la gestión de redundancia, permitiendo el remapeo de celdas individuales o el uso de spares entre dies. La fase 2 explora la integración de más sensores para telemetría (temperatura, voltaje), bloques de prueba on-die para mejorar el rendimiento y la cobertura de pruebas, y PHYs de memoria externa para expansión de capacidad. También se considera la computación in-memory o near-memory, donde el área de cómputo en el die base podría realizar pre-procesamiento de datos o conversiones de formato. La fase 3, más ambiciosa, investiga el apilamiento de dies HBM directamente sobre el chip de cómputo (zHBM), utilizando TSVs para una interconexión de alta densidad y eficiencia energética, aunque con desafíos térmicos significativos.
Flujo de Solicitud de Datos con Controlador de Memoria Integrado
- 1 Compute Die Envía solicitud de datos de alto nivel (ej. 'GET data @ address X') a HBM.
- 2 HBM Base Die Recibe solicitud a través de interfaz die-to-die personalizada.
- 3 Memory Controller (HBM Base Die) Decodifica, encola y programa operaciones DRAM de bajo nivel (precharge, read...
- 4 DRAM Dies (HBM Stack) Ejecutan operaciones de memoria y acceden a los datos.
- 5 Memory Controller (HBM Base Die) Recopila datos y los prepara para el envío.
- 6 HBM Base Die Envía datos al Compute Die a través de la interfaz personalizada.
- 7 Compute Die Recibe los datos solicitados.
| Capa | Tecnología | Justificación |
|---|---|---|
| storage | HBM4/HBM4E | Proporciona memoria de alto ancho de banda, con el die base fabricado en un nodo lógico de 4nm para integrar lógica avanzada. vs GDDR6X, DDR5, HBM3 Uso de TSVs para interconexión vertical entre dies DRAM y el die base. |
| compute | Memory Controller | Gestiona operaciones de bajo nivel de DRAM, optimizando el acceso y la programación de solicitudes de memoria. Reubicado del die de cómputo al die base de HBM. vs Controlador de memoria en el die de cómputo (diseño tradicional) Integración en el die base de HBM usando un nodo lógico de 4nm. |
| storage | SRAM | Almacena tablas de remapeo para gestionar celdas DRAM defectuosas, mejorando la flexibilidad y el rendimiento de la redundancia. vs Gestión de spares a nivel de die DRAM (limitada) Bloques de SRAM dedicados en el die base de HBM. |
Trade-offs
Ganancias
- ▲ Eficiencia energética de memoria
- ▲ Densidad de integración en el die base de HBM
- ▲ Reducción de área PHY en el die de cómputo y HBM
- ▲ Flexibilidad en la gestión de redundancia de celdas DRAM
- ▲ Potencial para computación near-memory
Costes
- ▲ Mayor esfuerzo de integración para HBM personalizado
- ▲ Dependencia de un proveedor si no se estandariza el protocolo personalizado
- ▲ Desafíos térmicos para el apilamiento zHBM
- ▲ Complejidad de NUMA para computación near-memory
Fundamentos Teóricos
La evolución de HBM hacia una mayor inteligencia y capacidad de procesamiento en el die base se alinea con décadas de investigación en arquitecturas de memoria y computación. El concepto de computación near-memory o in-memory ha sido un tema recurrente en la academia, buscando superar el 'Memory Wall' o 'Von Neumann Bottleneck', donde el rendimiento del sistema es limitado por el ancho de banda y la latencia entre la CPU y la memoria. Trabajos seminales como los de D. Patterson y J. Hennessy sobre arquitecturas de computadores han destacado la importancia de la jerarquía de memoria y la optimización de accesos a datos.
La idea de integrar lógica de control y procesamiento en la memoria se remonta a propuestas de 'Processing-in-Memory' (PIM) o 'Intelligent Memory' de los años 90 y 2000, como los sistemas Active Pages o los estudios de la Universidad de California, Berkeley sobre Smart Memories. Estos trabajos exploraron cómo mover ciertas operaciones computacionales, especialmente aquellas con alta localidad de datos, más cerca de los bancos de memoria para reducir el movimiento de datos y mejorar la eficiencia energética. La propuesta de Samsung de reubicar el controlador de memoria y la lógica de remapeo, así como la exploración de computación near-memory, son aplicaciones directas de estos principios, adaptados a las capacidades de fabricación modernas y a las demandas de las cargas de trabajo actuales.