Optimización de RAG para Documentación Técnica con Imágenes: Indexación de Descripciones Textuales

El problema fundamental que aborda este enfoque es la ineficiencia económica y técnica de procesar imágenes directamente con modelos multimodales en cada consulta dentro de un sistema RAG a escala. Los modelos de visión son costosos y tienen limitaciones de payload, lo que los hace inviables para millones de consultas diarias, especialmente cuando la mayoría de las imágenes son ilustrativas y no requieren un análisis pixel a pixel en tiempo real. La tesis es que la información contenida en las imágenes, ya sea ilustrativa o portadora de datos críticos (load-bearing), puede ser efectivamente transformada en texto una única vez durante la indexación, desacoplando así el procesamiento visual de la inferencia en tiempo de consulta.

Históricamente, los sistemas de recuperación de información se han centrado en texto. La explosión de los LLMs y los modelos multimodales ha abierto nuevas posibilidades, pero también ha expuesto cuellos de botella de rendimiento y costo en la integración de datos no textuales. Este trabajo propone una solución pragmática que alinea la naturaleza de la información visual en documentación técnica con las capacidades y limitaciones actuales de los sistemas de IA a gran escala, priorizando la eficiencia sobre la complejidad de un enfoque puramente multimodal en tiempo real.

Arquitectura del Sistema

La arquitectura propuesta invierte el flujo de procesamiento tradicional de RAG multimodal. En lugar de enviar imágenes crudas al modelo en tiempo de consulta, se introduce una fase de pre-procesamiento intensiva en la etapa de indexación. Durante la indexación, cada imagen se somete a un proceso de filtrado inicial para eliminar ruido (logos, avatares, banners decorativos) mediante heurísticas (formato, tamaño, relación de aspecto) y un clasificador zero-shot basado en embeddings multimodales. Las imágenes que superan este filtro son luego procesadas por un modelo de lenguaje de visión (Vision Language Model, VLM) de bajo costo (ej. GPT 5.4 mini) para generar una descripción textual o una transcripción de su contenido.

Crucialmente, este VLM recibe contexto textual circundante (párrafos antes y después de la imagen) para generar descripciones más precisas y útiles. Estas descripciones se almacenan como chunks de texto separados en el índice de recuperación, en lugar de incrustarse directamente en los chunks de texto originales. En tiempo de consulta, el retriever recupera los chunks de texto relevantes junto con las descripciones de imágenes relevantes. El LLM final solo interactúa con texto, viendo las descripciones de las imágenes y citando la imagen original por su URL. Este diseño desacopla el costo computacional del procesamiento de imágenes, que es un costo único de ingestión, del costo recurrente por consulta, que se mantiene bajo al operar solo con texto. La decisión de almacenar las descripciones como chunks separados es clave para la eficiencia, ya que solo se recuperan y procesan si son relevantes, evitando inflar el contexto de cada chunk de texto.

Fundamentos Teóricos

Este enfoque resuena con principios de sistemas de información y recuperación de datos que priorizan la pre-computación y el almacenamiento eficiente para optimizar el rendimiento en tiempo de consulta. Conceptos como la indexación invertida, fundamental en motores de búsqueda desde los trabajos de Salton y McGill en la década de 1980, se aplican aquí al transformar contenido visual en un formato textual indexable. La idea de enriquecer los datos en la ingesta para facilitar la recuperación posterior es un patrón bien establecido en la construcción de bases de datos y sistemas de información.

La distinción entre imágenes 'ilustrativas' y 'load-bearing' también tiene paralelismos con la teoría de la información y la semiótica, donde se analiza cómo diferentes tipos de representaciones visuales transmiten significado. La necesidad de transcribir fielmente el contenido de tablas y diagramas (load-bearing) para mantener la integridad de los datos es un desafío que recuerda a los problemas de extracción de información estructurada de documentos no estructurados, un campo activo de investigación en procesamiento de lenguaje natural y visión por computador. La optimización de costos mediante el uso de modelos más pequeños y la contextualización de la entrada al VLM se alinea con la investigación en eficiencia de modelos de IA, buscando el punto óptimo entre calidad y costo computacional, un tema recurrente en la literatura de aprendizaje automático a gran escala.