Escalado de Evaluación de Relevancia en Búsqueda Empresarial con LLMs y Juicio Humano

El problema fundamental que aborda este artículo es la escalabilidad y calidad de la generación de datos de entrenamiento para modelos de ranking de búsqueda en sistemas de Recuperación Aumentada por Generación (RAG). En entornos empresariales con millones o miles de millones de documentos, la capacidad de un Large Language Model (LLM) para generar respuestas precisas depende directamente de la calidad y relevancia de los documentos recuperados por el sistema de búsqueda subyacente. Entrenar modelos de ranking de búsqueda de alto rendimiento requiere grandes volúmenes de datos de relevancia etiquetados, un proceso que históricamente ha sido costoso, lento y difícil de escalar con solo evaluadores humanos.

La tesis central es que los LLMs pueden actuar como un multiplicador de fuerza para el juicio humano, permitiendo la generación de etiquetas de relevancia a escala sin sacrificar la calidad. Esto se logra mediante un enfoque híbrido donde un pequeño conjunto de datos etiquetados por humanos de alta calidad se utiliza para calibrar y validar el rendimiento de un LLM, que luego se encarga de generar un volumen mucho mayor de etiquetas de entrenamiento. Este método aborda la limitación de los LLMs para operar en tiempo real en el ranking de búsqueda debido a restricciones de latencia y ventana de contexto, reubicándolos en un rol de 'maestro' offline para modelos de ranking más pequeños y eficientes.

Arquitectura del Sistema

El sistema de búsqueda de Dropbox Dash sigue un patrón de Recuperación Aumentada por Generación (RAG). Cuando un usuario realiza una consulta, el sistema primero interpreta la necesidad de información y recupera un conjunto de documentos candidatos del índice de búsqueda empresarial. Este índice puede contener millones o miles de millones de documentos. Los resultados de búsqueda se ordenan mediante un modelo de relevancia entrenado con técnicas de Machine Learning, como XGBoost. Este modelo asigna una puntuación a cada documento basándose en su coincidencia con la consulta, ajustando los pesos de diferentes señales para minimizar errores de ranking.

La clave de la arquitectura reside en cómo se generan los datos de entrenamiento para este modelo de relevancia. Se utiliza un enfoque híbrido de etiquetado humano y asistido por LLM. Inicialmente, un pequeño conjunto de evaluadores humanos etiqueta un dataset de alta calidad. Este dataset se utiliza para ajustar el prompt del LLM y sus parámetros. Una vez que el rendimiento del LLM cumple con los umbrales de calidad, se despliega para generar cientos de miles o millones de etiquetas de relevancia. El LLM actúa como un 'maestro' offline, generando datos de entrenamiento para modelos de ranking más pequeños y eficientes que operan en producción. La evaluación del rendimiento del LLM como juez de relevancia se realiza comparando sus calificaciones con los juicios humanos, utilizando métricas como el Mean Squared Error (MSE). Para mejorar la eficiencia, se priorizan las muestras de entrenamiento donde es más probable que el LLM cometa errores, identificando discrepancias entre el comportamiento del usuario y la relevancia predicha por el LLM. Además, se proporcionan herramientas a los LLMs para investigar el contexto de la consulta, permitiéndoles realizar juicios de relevancia más precisos y conscientes del contexto, especialmente con terminología interna o acrónimos. La optimización de prompts se gestiona con frameworks como DSPy, que refinan automáticamente los prompts contra objetivos de evaluación definidos.

Fundamentos Teóricos

La problemática de la evaluación de relevancia y el entrenamiento de modelos de ranking tiene profundas raíces en la investigación de Recuperación de Información (Information Retrieval, IR). Los fundamentos de los sistemas de ranking se remontan a modelos como el de espacio vectorial y BM25, que cuantifican la similitud entre consultas y documentos. La transición de reglas heurísticas a modelos de Machine Learning para el ranking, conocida como 'Learning to Rank' (LTR), ha sido un área activa de investigación desde principios de los 2000, con trabajos seminales de autores como Christopher Burges (Microsoft Research) en 2005 sobre RankNet y LambdaMART, y el desarrollo de algoritmos de boosting como XGBoost por Tianqi Chen en 2016. Estos algoritmos buscan optimizar métricas de ranking como NDCG (Normalized Discounted Cumulative Gain) o MAP (Mean Average Precision).

La idea de utilizar sistemas automatizados para generar datos de entrenamiento no es nueva; técnicas como el bootstrapping o la auto-supervisión han sido exploradas en diversos campos del Machine Learning. Sin embargo, la aplicación de Large Language Models para generar etiquetas de relevancia a escala, y la metodología de calibración con juicio humano, representa una evolución directa de estos principios. La analogía con la evaluación de funciones en motores de ajedrez, como describe Garry Kasparov en 'Deep Thinking', resalta la importancia de una función de evaluación precisa para guiar la optimización, un principio que se aplica directamente a la optimización basada en gradientes en Machine Learning y a la calibración de LLMs como jueces de relevancia. La necesidad de contexto adicional para la evaluación de relevancia también resuena con la investigación en IR contextual y la desambiguación semántica.