OMT y OmniSONAR: Escalando la Traducción Automática a 1600+ Idiomas con LLMs Especializados

La traducción automática (MT) y los modelos de lenguaje a gran escala (LLMs) han avanzado significativamente, pero su cobertura lingüística sigue siendo limitada, dejando a miles de idiomas, especialmente los de baja dotación de recursos, fuera de su alcance. El problema fundamental radica en la escasez de datos paralelos y la dificultad de los modelos para generar de forma fiable en lenguas poco representadas, incluso si pueden "entenderlas" a través de la transferencia interlingüe. Este trabajo aborda la necesidad crítica de expandir la cobertura lingüística de la MT a una escala sin precedentes, resolviendo el cuello de botella de la generación y democratizando el acceso a la tecnología de traducción.

Históricamente, los sistemas de MT se han basado en enfoques estadísticos o redes neuronales que requieren grandes volúmenes de datos bilingües. La aparición de LLMs ha mejorado la calidad, pero no ha resuelto intrínsecamente el problema de la cobertura de lenguas minoritarias. La tesis central es que la especialización de LLMs, combinada con una estrategia de datos multifacética y una metodología de entrenamiento innovadora, puede escalar la MT a miles de idiomas, superando las limitaciones de los modelos genéricos de gran tamaño en términos de calidad y eficiencia computacional, especialmente en escenarios de bajo cómputo.

Arquitectura del Sistema

OMT se presenta en dos arquitecturas principales: OMT-LLaMA (decoder-only) y OMT-NLLB (encoder-decoder). OMT-LLaMA se construye sobre LLaMA3, con un preentrenamiento continuo multilingüe y traducción aumentada por recuperación (RAG) para la adaptación en tiempo de inferencia. Esto permite al modelo aprovechar el conocimiento contextual y la información de recuperación para mejorar la calidad de la traducción, especialmente en lenguas de baja dotación de recursos.

OMT-NLLB se basa en un espacio alineado multilingüe (OmniSONAR, también construido sobre LLaMA3) y emplea una metodología de entrenamiento que explota datos no paralelos. Esto permite integrar los datos de preentrenamiento continuo del modelo decoder-only en la arquitectura encoder-decoder, maximizando el uso de los datos disponibles. OmniSONAR, a su vez, es una familia de modelos de embedding de oraciones omnilingües, cross-lingües y cross-modales. Utiliza una estrategia de entrenamiento progresiva: primero, un espacio de embedding fundacional para 200 idiomas con un Encoder-Decoder inicializado con LLM, combinando decodificación a nivel de token con una novedosa función de pérdida contrastiva split-softmax y negativos duros sintéticos. Luego, se expande a miles de variedades lingüísticas mediante un framework de destilación teacher-student de dos etapas. Esto permite mantener un rendimiento de vanguardia en lenguas de alta dotación de recursos mientras se escala a miles de lenguas sin colapso de representación. La evaluación de ambos sistemas se realiza con métricas estándar y herramientas como BLASER 3 (estimación de calidad sin referencia), OmniTOX (clasificador de toxicidad) y los datasets BOUQuET y Met-BOUQuET, creados específicamente para la evaluación a gran escala y multilingüe.

Fundamentos Teóricos

El desafío de la traducción automática en lenguas de baja dotación de recursos y la necesidad de modelos multilingües eficientes se conecta con principios fundamentales de la lingüística computacional y el procesamiento del lenguaje natural. El concepto de transferencia de aprendizaje (transfer learning) y el uso de embeddings para representar el significado de palabras y oraciones son pilares de la investigación moderna, con trabajos seminales como los de Mikolov et al. (2013) sobre Word2Vec, que sentaron las bases para la representación vectorial del lenguaje. La idea de un espacio semántico unificado, como el que busca OmniSONAR, resuena con la hipótesis de Sapir-Whorf en su versión débil, donde las estructuras lingüísticas influyen en el pensamiento, pero también con la búsqueda de universales lingüísticos que permitan la interconexión semántica.

La arquitectura encoder-decoder, popularizada por Cho et al. (2014) y Sutskever et al. (2014) para la traducción automática neuronal, es la base de OMT-NLLB. La especialización de LLMs y la destilación de modelos (model distillation), como se ve en OmniSONAR, se relaciona con trabajos como los de Hinton et al. (2015) sobre 'Knowledge Distillation', que permiten transferir el conocimiento de un modelo grande y complejo (teacher) a uno más pequeño y eficiente (student). La traducción aumentada por recuperación (RAG) se inspira en la investigación sobre sistemas de recuperación de información y la integración de conocimiento externo en modelos generativos, un campo activo que busca superar las limitaciones de la memoria paramétrica de los LLMs.