La evaluación precisa de la calidad de video es un problema fundamental en la computación multimedia, crucial para optimizar la eficiencia de codificación y la experiencia del usuario. VMAF (Video Multimethod Assessment Fusion) aborda esto combinando características elementales de calidad con un regresor entrenado en datos subjetivos. Sin embargo, la evolución de codecs (como AV2), la diversidad de dispositivos de visualización (teléfonos, 4K) y la aparición de nuevos casos de uso (streaming en vivo, cloud gaming) exigen una mejora continua en la capacidad de las métricas para correlacionarse con la percepción humana.
La versión inicial de VMAF (v0) presentaba limitaciones, como la subóptima cuantificación del tradeoff entre artefactos de compresión y escalado, una generalización limitada para distintas distancias de visualización, y una incapacidad para capturar ciertos artefactos visuales como el banding y las distorsiones de croma. Estas deficiencias podían llevar a decisiones de codificación subóptimas, afectando la calidad percibida por el usuario. VMAF v1 surge como una respuesta a estas deficiencias, buscando una mayor fidelidad a la percepción humana y una mayor adaptabilidad a un panorama tecnológico cambiante.
Arquitectura del Sistema
VMAF v1 mantiene la arquitectura fundamental de fusionar características elementales con un Support Vector Regressor (SVR) entrenado, pero introduce mejoras significativas en las características de entrada y en la modelización de la percepción. Se ha añadido el componente AIM (additive impairments) de la formulación original ADM para complementar el DLM (Detail Loss Metric), mejorando la sensibilidad a artefactos como el blockiness. La modelización de la distancia de visualización se ha generalizado ajustando la función de sensibilidad al contraste espacial (CSF) utilizada en DLM, basada en el modelo CSF de Barten, en lugar de una función de mapeo post-procesamiento. Esto permite que un único modelo sea entrenado y aplicado a diversas condiciones (ej. teléfono, 4K@3H, 4K@1.5H).
Para abordar artefactos específicos, VMAF v1 integra CAMBI (Contrast Aware Multiscale Banding Index) como una de las características elementales para detectar el banding. Las distorsiones de croma se capturan modificando SpEED-QA y aplicándolo a los canales de croma. El modo NEG (no-enhancement gain), que preserva la intención creativa al reducir el efecto de operaciones de mejora de imagen, ahora está habilitado por defecto. Finalmente, la característica de movimiento se ha mejorado con un umbral empíricamente derivado y la opción de medir diferencias de movimiento en una ventana temporal más amplia para manejar mejor secuencias de alta velocidad de fotogramas. Se ha eliminado VIF (Visual Information Fidelity) por su complejidad computacional y su impacto marginal en la precisión tras las otras mejoras, y se han implementado optimizaciones algorítmicas y de software para CAMBI y la medición de croma a menor escala, resultando en una reducción de la complejidad computacional.
| Capa | Tecnología | Justificación |
|---|---|---|
| data-processing | VMAF (Video Multimethod Assessment Fusion) | Métrica de calidad de video perceptual utilizada para evaluar y optimizar la codificación de video. vs PSNR, SSIM, MS-SSIM VMAF v1 introduce modelos específicos para 1080p@3H, Phone (5H), 4K@1.5H y 4K@3H, ajustando las características elementales según la distancia de visualización normalizada. |
| data-processing | Support Vector Regressor (SVR) | Algoritmo de aprendizaje automático utilizado para fusionar las características elementales de calidad en una única puntuación VMAF. vs Redes neuronales, Random Forests |
| data-processing | DLM (Detail Loss Metric) | Característica elemental de VMAF que penaliza la pérdida de contraste y detalle. Modulado por la función de sensibilidad al contraste espacial (CSF) para adaptarse a diferentes distancias de visualización. |
| data-processing | AIM (Additive Impairments) | Componente añadido en VMAF v1 para complementar DLM, mejorando la sensibilidad a artefactos distractores como el blockiness. Linealmente combinado con DLM. |
| data-processing | CAMBI (Contrast Aware Multiscale Banding Index) | Característica elemental integrada en VMAF v1 para detectar y cuantificar artefactos de banding. Incluye optimizaciones algorítmicas y de software para reducir la complejidad computacional. |
| data-processing | SpEED-QA (Spatial Efficient Entropic Differencing for Image and Video Quality) | Modificado y aplicado a los canales de croma en VMAF v1 para capturar artefactos de croma. Medido a una escala inferior para reducir la complejidad sin afectar la precisión. |
Trade-offs
Ganancias
- ▲ Precisión en la evaluación de calidad perceptual
- ▲ Generalización a diferentes condiciones de visualización (distancia, tamaño de pantalla)
- ▲ Detección de artefactos específicos (banding, croma)
- ▲ Eficiencia computacional
Costes
- △ Regresiones menores en la correlación con datos subjetivos en algunos datasets específicos
Fundamentos Teóricos
El problema de la evaluación de la calidad de video se remonta a los fundamentos de la psicofísica visual y la teoría de la información. La idea de combinar múltiples características perceptuales para predecir la calidad subjetiva tiene raíces en trabajos pioneros sobre modelos de calidad de imagen y video. El uso de un Support Vector Regressor (SVR) para fusionar estas características se alinea con los avances en aprendizaje automático para problemas de regresión no lineal. La incorporación de la función de sensibilidad al contraste espacial (CSF) se basa directamente en la investigación de Peter G.J. Barten (1999) sobre la sensibilidad del ojo humano al contraste y sus efectos en la calidad de la imagen, un principio fundamental en la visión computacional y el procesamiento de imágenes. La distinción entre pérdidas de detalle y deterioros aditivos, como en el trabajo de S. Li et al. (2011) sobre ADM, es un marco teórico clave para descomponer y cuantificar diferentes tipos de distorsiones visuales. La mejora de VMAF v1 es una aplicación directa de estos principios académicos para resolver problemas de ingeniería a gran escala.