La Context Window, también conocida como 'context length' o 'sequence length', es un parámetro fundamental que define el número máximo de tokens (unidades de texto como palabras, partes de palabras o caracteres) que un Large Language Model (LLM) puede tomar como entrada y generar como salida en una única inferencia. Representa la 'memoria' operativa del modelo para una conversación o tarea específica. Un token puede ser una palabra completa, un prefijo, un sufijo o incluso un carácter, dependiendo del tokenizador utilizado. La longitud de esta ventana es crítica porque determina la cantidad de información previa que el modelo puede considerar para generar la siguiente parte del texto, afectando la coherencia, la comprensión de relaciones a largo plazo y la capacidad de seguir instrucciones complejas.
En la práctica, la Context Window es una característica clave en modelos como OpenAI's GPT-3.5 y GPT-4, Anthropic's Claude y Google's Gemini. Por ejemplo, las versiones iniciales de GPT-3 tenían una ventana de contexto de 2048 tokens, mientras que GPT-4 ha ofrecido variantes de 8k, 32k e incluso 128k tokens. Claude 2.1 de Anthropic ha alcanzado ventanas de hasta 200k tokens. Estas capacidades se utilizan en sistemas de 'Retrieval-Augmented Generation' (RAG) donde documentos extensos se insertan en el contexto para que el LLM los resuma o responda preguntas específicas. También son cruciales en aplicaciones de 'long-form content generation', análisis de código base completo o chatbots que requieren mantener el hilo de conversaciones muy largas.
Para un Arquitecto de Sistemas, la Context Window es un trade-off crítico entre rendimiento, costo y capacidad. Una ventana de contexto más grande permite al LLM manejar tareas más complejas, mantener conversaciones más largas y procesar documentos extensos, lo que mejora la calidad y la utilidad de las aplicaciones. Sin embargo, esto conlleva un aumento significativo en el costo computacional (inferencia más lenta y más cara) y de memoria (VRAM). Los arquitectos deben evaluar si la complejidad de la tarea justifica una ventana de contexto grande o si se pueden emplear estrategias como 'summarization', 'chunking' o 'Retrieval-Augmented Generation' (RAG) para gestionar la información de manera más eficiente, manteniendo los costos y la latencia bajo control. La elección impacta directamente la escalabilidad, la experiencia del usuario y el presupuesto operativo del sistema.