Las "Calibrated Probabilities" se refieren a la propiedad de un modelo predictivo (típicamente de clasificación) donde las probabilidades de salida no solo indican el orden relativo de confianza, sino que también corresponden directamente a la frecuencia observada del evento. Es decir, si un modelo predice una probabilidad de 0.7 para un conjunto de instancias, aproximadamente el 70% de esas instancias deberían pertenecer a la clase positiva. Un modelo bien calibrado es aquel cuya distribución de probabilidades de salida coincide con la distribución de frecuencias reales de los eventos. Esto contrasta con modelos que pueden ser discriminativos (ordenan bien las instancias por probabilidad) pero no calibrados (sus probabilidades no son frecuencias reales).
En el mundo real, la calibración de probabilidades es crucial en sistemas donde la confianza en la predicción es tan importante como la predicción misma. Por ejemplo, en sistemas de detección de fraude, una probabilidad calibrada de 0.9 para una transacción fraudulenta significa que de cada 10 transacciones con esa puntuación, 9 son realmente fraudulentas, lo que permite establecer umbrales de acción precisos. Otros ejemplos incluyen sistemas de diagnóstico médico, donde la probabilidad de una enfermedad debe ser interpretable directamente por un médico, o en la predicción del tiempo, donde una "probabilidad de lluvia del 30%" debe significar que lloverá en el 30% de los días con esa predicción. Técnicas comunes para lograr esto incluyen "Platt Scaling" (para modelos como SVM) y "Isotonic Regression" (más flexible y no paramétrica), aplicadas como post-procesamiento a las salidas del modelo.
Para un arquitecto de sistemas, la importancia de las "Calibrated Probabilities" radica en la capacidad de construir sistemas más robustos y confiables, especialmente en entornos de toma de decisiones automatizadas o de alto riesgo. Un modelo con probabilidades calibradas permite establecer umbrales de decisión claros y cuantificables, optimizar el balance entre falsos positivos y falsos negativos, y comunicar la incertidumbre de manera efectiva a usuarios o sistemas downstream. Ignorar la calibración puede llevar a decisiones subóptimas, asignación incorrecta de recursos o falta de confianza en el sistema. El trade-off principal es el costo computacional y la complejidad adicional de aplicar técnicas de calibración, que pueden requerir un conjunto de datos de calibración separado y un entrenamiento adicional. Sin embargo, el valor estratégico de la interpretabilidad y la fiabilidad de las predicciones a menudo supera estos costos, especialmente en aplicaciones críticas.