Los Foundational Models, también conocidos como modelos base o modelos fundacionales, son una clase de modelos de inteligencia artificial caracterizados por su gran tamaño, la diversidad y volumen de los datos utilizados para su pre-entrenamiento (a menudo multimodales y no etiquetados), y su capacidad de generalización. Estos modelos, típicamente basados en arquitecturas de 'Transformer', aprenden representaciones ricas y de alto nivel que les permiten realizar una variedad de tareas (como generación de texto, imágenes, código, o comprensión del lenguaje natural) mediante técnicas de 'fine-tuning', 'prompt engineering' o 'in-context learning', sin necesidad de re-entrenamiento desde cero para cada aplicación específica.
En el mundo real, los Foundational Models son la base de numerosas herramientas y sistemas avanzados. Ejemplos prominentes incluyen los modelos de lenguaje grande (LLMs) como GPT-3, GPT-4 de OpenAI, PaLM 2 y Gemini de Google, y LLaMA de Meta, que impulsan aplicaciones de chatbot, asistentes virtuales, generación de contenido y herramientas de desarrollo de software. En el ámbito de la visión por computadora, modelos como CLIP o DALL-E (para generación de imágenes a partir de texto) son Foundational Models. Estos modelos son utilizados por empresas para construir soluciones personalizadas, desde sistemas de atención al cliente automatizados hasta herramientas de análisis de datos y plataformas de creación de contenido, aprovechando su capacidad para entender y generar información compleja.
Para un Arquitecto de Sistemas, la adopción de Foundational Models implica consideraciones estratégicas significativas. Ofrecen la oportunidad de acelerar el desarrollo de productos y servicios de IA, reduciendo la necesidad de grandes equipos de 'Machine Learning' y conjuntos de datos etiquetados específicos. Sin embargo, también presentan 'trade-offs' importantes: el alto costo computacional de inferencia, la latencia asociada, la dependencia de proveedores externos, y los desafíos de 'model governance' (sesgos, explicabilidad, seguridad y cumplimiento normativo). Un arquitecto debe evaluar si el 'fine-tuning' de un modelo existente o el uso de 'prompt engineering' es más adecuado que entrenar un modelo desde cero, considerando el equilibrio entre rendimiento, costo, escalabilidad y la necesidad de control sobre el modelo. La elección impacta directamente la infraestructura, los costos operativos y la estrategia de datos de la organización.