El 'Time to First Token' (TTFT) es una métrica de latencia crítica que cuantifica el intervalo desde que una solicitud es iniciada por un cliente hasta que el primer fragmento significativo (token) de la respuesta generada es entregado de vuelta. En el contexto de los Large Language Models (LLMs) y otros modelos generativos, este token inicial es crucial porque permite al usuario percibir que el sistema está respondiendo activamente, mejorando la experiencia de usuario al reducir la percepción de inactividad. A diferencia de la latencia total (Time to Last Token), el TTFT se enfoca en la capacidad del sistema para iniciar la transmisión de datos lo más rápido posible, incluso si la generación completa de la respuesta toma más tiempo.
En el mundo real, el TTFT es una métrica fundamental para proveedores de servicios de IA como OpenAI, Anthropic o Google Cloud AI. Por ejemplo, al interactuar con ChatGPT o Gemini, el usuario experimenta un TTFT bajo cuando las palabras comienzan a aparecer casi instantáneamente después de enviar un prompt. Las plataformas de inferencia de LLMs, como vLLM o TGI (Text Generation Inference), optimizan activamente el TTFT mediante técnicas como 'speculative decoding', 'continuous batching' y la precarga de modelos en GPU. En aplicaciones de 'streaming' de texto o código, un TTFT bajo es esencial para mantener la interactividad y la fluidez de la experiencia del usuario, como en asistentes de codificación en tiempo real o chatbots conversacionales.
Para un arquitecto de sistemas, el TTFT es un factor crítico en el diseño de experiencias de usuario para aplicaciones basadas en IA generativa. Un TTFT alto puede llevar a una percepción de lentitud o inactividad del sistema, incluso si la latencia total es aceptable. Las decisiones de diseño que impactan el TTFT incluyen la elección de la infraestructura de inferencia (CPU vs. GPU, tipo de GPU), la estrategia de 'batching' y 'scheduling' de solicitudes, la optimización del modelo (cuantización, poda), y la eficiencia de la red entre el cliente y el servidor de inferencia. Los arquitectos deben balancear el TTFT con otras métricas como el 'throughput' y el costo, ya que la optimización agresiva del TTFT puede requerir recursos computacionales significativos o estrategias de 'batching' menos eficientes para el 'throughput' general.