La recuperación de información en sistemas distribuidos a gran escala presenta desafíos fundamentales, especialmente cuando se trata de datos multimodales. Tradicionalmente, la búsqueda de imágenes se ha basado en metadatos o descripciones textuales, lo que limita la granularidad y la precisión de los resultados. Este enfoque ignora la riqueza semántica intrínseca de los píxeles.
Cloudflare AI Search aborda este problema fundamental al integrar la capacidad de generar y buscar directamente sobre embeddings de imágenes, además de los textuales. Esto permite que el sistema capture y utilice características visuales finas que son difíciles o imposibles de expresar con palabras, mejorando significativamente la relevancia de la búsqueda en colecciones de datos visuales. La necesidad de esta capacidad se ha vuelto crítica con la proliferación de contenido multimedia y la madurez de los modelos de embeddings multimodales.
La solución se apoya en la idea de que una representación vectorial densa puede encapsular la esencia de un objeto (texto, imagen) de manera que la distancia en el espacio vectorial corresponda a la similitud semántica. Al unificar estos espacios para diferentes modalidades, se habilita la búsqueda multimodal nativa, trascendiendo las limitaciones de la descripción textual como único puente entre modalidades.
Arquitectura del Sistema
La arquitectura de Cloudflare AI Search se compone de varios servicios interconectados. Workers AI proporciona los modelos de embedding para transformar texto e imágenes en vectores de alta dimensión. Para la ingestión, los archivos (texto, PDF, imágenes) se procesan; los PDFs pueden pasar por Optical Character Recognition (OCR) si no tienen texto extraíble. Las imágenes se someten a embedding directo para captura visual, mientras que los textos (incluyendo captions de imágenes y texto extraído por OCR) también se embeben.
Estos embeddings se almacenan en Vectorize, un servicio de base de datos vectorial optimizado para la búsqueda de similitud. Los datos brutos y los metadatos se almacenan en R2, el almacenamiento de objetos compatible con S3 de Cloudflare. Para la eficiencia en el almacenamiento y la velocidad de búsqueda de embeddings de imágenes, se utiliza Matryoshka Representation Learning (MRL), que permite que embeddings más pequeños retengan información útil. El proceso de consulta implica una reescritura opcional de la consulta, seguida de la generación de embeddings (directamente para imágenes con modelos multimodales, o vía captioning para modelos solo de texto).
La búsqueda se ejecuta en paralelo: una búsqueda vectorial sobre Vectorize y una búsqueda por palabras clave. Los resultados de ambas se fusionan y opcionalmente se rerankean antes de ser devueltos o pasados a un modelo de generación para una respuesta. Browser Run se menciona como parte del pipeline, probablemente para la ejecución de lógica en el navegador o para la interfaz de usuario, aunque su rol específico en el backend de búsqueda no se detalla. La integración de estos componentes permite un pipeline de indexación y recuperación completamente gestionado.
Flujo de Consulta Multimodal en AI Search
- 1 Consulta Inicial El usuario envía una consulta (texto o imagen).
- 2 Reescritura de Consulta Opcional: la consulta se reescribe para mejorar la intención.
- 3 Embedding de Consulta Si es imagen: embebida directamente por modelo multimodal, o convertida a tex...
- 4 Búsqueda Paralela Se ejecutan búsquedas vectorial (Vectorize) y por palabras clave simultáneame...
- 5 Fusión de Resultados Los resultados de ambas búsquedas se combinan.
- 6 Reranking Opcional: los resultados fusionados se reordenan para mejorar la relevancia.
- 7 Retorno/Generación Los chunks principales se devuelven o se pasan a un modelo de generación para...
| Capa | Tecnología | Justificación |
|---|---|---|
| compute | Workers AI | Proporciona los modelos de embedding para transformar texto e imágenes en vectores, y modelos de generación para respuestas. |
| storage | Vectorize | Base de datos vectorial para almacenar y buscar embeddings de alta dimensión, optimizada para la búsqueda de similitud. |
| storage | R2 | Almacenamiento de objetos compatible con S3 para guardar los datos brutos y metadatos indexados. |
| data-processing | Matryoshka Representation Learning (MRL) | Técnica para generar embeddings que retienen información útil incluso en tamaños más pequeños, optimizando el almacenamiento y la velocidad de búsqueda. |
| data-processing | Optical Character Recognition (OCR) | Procesa PDFs escaneados para extraer texto, permitiendo su indexación y búsqueda. |
| data-processing | Qwen3-VL-Embedding | Modelo de embedding multimodal específico que soporta la ingestión y consulta directa de imágenes. |
Fundamentos Teóricos
El concepto de embeddings vectoriales y la búsqueda de similitud en espacios de alta dimensión tiene profundas raíces en la investigación de recuperación de información y aprendizaje automático. La idea de representar palabras como vectores densos se popularizó con Word2Vec de Mikolov et al. (2013), sentando las bases para la representación semántica de texto. Posteriormente, los modelos de lenguaje basados en Transformers, como BERT (Devlin et al., 2018), extendieron estas representaciones a contextos más amplios.
La extensión a la multimodalidad, donde diferentes tipos de datos (texto, imagen, audio) se mapean a un espacio vectorial común, se basa en trabajos como CLIP (Radford et al., 2021) de OpenAI, que demostró la efectividad de entrenar modelos para alinear embeddings de texto e imagen. El uso de Matryoshka Representation Learning (MRL) para embeddings eficientes se conecta con la investigación en compresión de modelos y representaciones de baja dimensionalidad, buscando mantener la utilidad semántica con menos recursos computacionales y de almacenamiento. Estos avances permiten la implementación práctica de sistemas de búsqueda que trascienden las limitaciones de las palabras clave, acercándose a una comprensión más holística del contenido.