Puntuación de Probabilidad Clasificada Continua (CRPS)

Originalmente escrito por Joannes Vermorel, junio de 2016. Actualizado por Alexey Tikhonov, mayo de 2024.

Las previsiones probabilísticas asignan una probabilidad a cada futuro posible. Sin embargo, no todas las previsiones probabilísticas son igual de precisas, y se requieren métricas para evaluar la precisión respectiva de distintas previsiones probabilísticas. Métricas simples de métricas de precisión como MAE (Error Absoluto Medio) o MAPE (Error Porcentual Medio Absoluto) no son directamente aplicables a las previsiones probabilísticas. La Continuous Ranked Probability Score (CRPS) generaliza el MAE al caso de las previsiones probabilísticas. Junto con la cross entropy, la CRPS es una de las métricas de precisión más utilizadas cuando se involucran previsiones probabilísticas.

Visión general

El CRPS se utiliza frecuentemente para evaluar la precisión respectiva de dos modelos de previsión probabilística. En particular, esta métrica puede combinarse con un proceso de backtesting para estabilizar la evaluación de la precisión aprovechando múltiples mediciones sobre el mismo conjunto de datos.

Esta métrica se diferencia notablemente de métricas más simples como el MAE debido a su expresión asimétrica: mientras que las previsiones son probabilísticas, las observaciones son deterministas. A diferencia de la función de pérdida pinball, el CRPS no se centra en ningún punto específico de la distribución de probabilidad, sino que considera la distribución de las previsiones en su conjunto.

Definición formal

Sea $${X}$$ una variable aleatoria.

Sea $${F}$$ la función de distribución acumulativa (CDF) de $${X}$$, tal que $${F(y)=\mathbf{P}\left[X \leq y\right]}$$.

Sea $${x}$$ la observación, y $${F}$$ la CDF asociada a una previsión probabilística empírica.

El CRPS entre $${x}$$ y $${F}$$ se define como:

$$\qquad \qquad \qquad \qquad{CRPS(F, x) = \int_{-\infty}^{\infty}\Big(F(y)- 𝟙(y - x)\Big)^2dy} \qquad \qquad \qquad \qquad \qquad \qquad \tag{1}$$

donde $${𝟙}$$ es la función escalón de Heaviside y denota una función escalón a lo largo de la recta real que toma:

el valor de 1 si el argumento real es positivo o cero,
el valor de 0 en caso contrario.

El CRPS se expresa en la misma unidad que la variable observada (por ejemplo, si la demanda de un producto fue prevista en unidades, el CRPS también se expresará en unidades).

El CRPS generaliza el error absoluto medio (MAE). De hecho, se reduce al MAE si la previsión es determinista. Este punto se ilustra en el gráfico D a continuación.

Propiedades conocidas

Gneiting y Raftery (2004) demuestran que el CRPS puede escribirse de manera equivalente como:

$$\qquad \qquad \qquad \qquad {CRPS(F,x) = \mathbf{E}\Big[|X-x|\Big]-\frac{1}{2}\mathbf{E}\Big[|X-X^*|\Big]} \qquad \qquad \qquad \qquad \qquad \qquad \tag{2}$$

donde

$${X}$$ y $${X^*}$$ son copias independientes de una variable aleatoria lineal,
$${X}$$ es la variable aleatoria asociada con la función de distribución acumulativa $${F}$$,
$${\mathbf{E}[X]}$$ es el valor esperado de $${X}$$.

Evaluación numérica

Desde una perspectiva numérica, una forma sencilla de calcular el CRPS consiste en descomponer la integral original en dos integrales con límites bien elegidos para simplificar la función escalón de Heaviside, lo que da:

$$\qquad \qquad \qquad \qquad{CRPS(F, x) = \int_{-\infty}^x F(y)^2dy + \int_x^{\infty}\Big(F(y)- 1\Big)^2dy} \qquad \qquad \qquad \qquad \qquad \tag{3}$$

En la práctica, dado que $$F$$ es una distribución empírica obtenida a través de un modelo de previsión, la variable aleatoria correspondiente $${X}$$ tiene un soporte compacto, lo que significa que solo existe un número finito de puntos donde $${\mathbf{P}[X = x] > 0}$$. Además, todos los valores de $$x$$ son números discretos. Así, las integrales pueden transformarse en sumas finitas discretas, como se ilustra en la fórmula a continuación y en el gráfico B de la siguiente sección.

$$\qquad \qquad \qquad \qquad{CRPS(F, x) = \sum_{k=0}^x F(y_k)^2 + \sum_{x+1}^{n} (F(y_k) - 1)^2} \qquad \qquad \qquad \qquad \qquad \qquad \tag{4}$$

En la fórmula (4), un índice $$n$$ representa el último elemento de la cola derecha de una distribución de probabilidad (por ejemplo, el valor máximo de la demanda con una probabilidad diferente de cero).

Finalmente, dado que el cálculo del CRPS se realiza para un único punto en el tiempo, para computar el CRPS sobre un cierto período de evaluación de interés (por ejemplo, para la ventana de responsabilidad, que es la suma del tiempo de entrega del proveedor y el período de reorder) se debe tomar un promedio de los respectivos valores de CRPS calculados para ese período.

$$\qquad \qquad \qquad \qquad \qquad \qquad {CRPS = \frac{1}{T} \sum_{t=1}^{T} CRPS_t} \qquad \qquad \qquad \qquad \qquad \qquad \qquad \qquad \qquad \tag{5}$$

Intuición visual

Para ilustrar el cálculo del CRPS, considere el siguiente ejemplo (consulte los gráficos a continuación):

A: Inicialmente, creamos una previsión de demanda probabilística utilizando una distribución binomial negativa y truncando sus colas con probabilidades inferiores al 0.1% (lo que representa eventos extremadamente improbables, como aquellos que ocurren aproximadamente cada tres años). Los valores de demanda predichos con probabilidades diferentes de cero abarcaban un rango de 1 a 26 unidades. Más tarde, resultó que la demanda real fue de 15 unidades (tal como se muestra con la línea discontinua roja vertical).

B: Calculamos el CRPS según la 4ª fórmula anterior (véase “Evaluación numérica”). El valor resultante del CRPS representa la suma de dos áreas llenas de color rojo claro.

C: Igual que el gráfico A pero con una previsión puntual añadida para comparación.

D: El cálculo del CRPS aplicado a la previsión puntual demuestra que, cuando se aplica el CRPS a una previsión puntual, el resultado es una métrica de precisión MAE. De hecho, las previsiones puntuales son formas triviales de previsiones probabilísticas en las que asignamos implícitamente un 100% de probabilidad a un único valor. Entonces, un gráfico de probabilidad acumulada para el CRPS estará representado por dos funciones escalonadas: una para las previsiones puntuales y otra para la demanda real. Esto significa que, dependiendo de las posiciones relativas de la previsión puntual y el valor real, una de las dos sumas en la fórmula (4) se reducirá a cero: la primera suma para sobrepredicciones y la segunda suma para subpredicciones.

Gráfico que ilustra una previsión probabilística y la métrica CRPS para evaluar su precisión.

A: Previsión probabilística. B: CRPS. C: Previsión probabilística vs. previsión puntual. D: El CRPS de la previsión puntual es MAE.

Para el ejemplo proporcionado a través de estos 4 gráficos, los valores resultantes del CRPS para la previsión probabilística y para la previsión puntual son 3.32 y 3, respectivamente. Al observar los números, uno podría concluir que la previsión puntual es más precisa porque su métrica de precisión es menor (mejor) que la de la previsión probabilística. Sin embargo, esta conclusión es errónea.

En el ejemplo anterior solo consideramos un valor de la demanda real; sin embargo, cuando la previsión probabilística se aprende utilizando datos históricos, las probabilidades se ajustan de acuerdo con las frecuencias de ocurrencia de los respectivos valores de demanda (considerando los valores disponibles en el conjunto de datos de aprendizaje). Si se eligen apropiadamente, entonces el valor promedio del CRPS para el conjunto de prueba será comparable al del conjunto de entrenamiento/validación, ya que la previsión representará adecuadamente las frecuencias de ocurrencia de diferentes valores de demanda en los datos de prueba.

El gráfico a continuación demuestra la superioridad de las previsiones probabilísticas en comparación con las previsiones puntuales.

Gráfico que ilustra cómo cambia el CRPS según los valores reales para previsiones probabilísticas y puntuales.

Observe qué tan suavemente varía el CRPS en función de los diferentes valores reales. Además, observe que, aparte de una pequeña región (donde la previsión puntual está muy cerca del real), en todas las demás áreas el CRPS para las previsiones probabilísticas es menor que el de la previsión puntual.

Si tuviéramos múltiples previsiones puntuales diferentes, esta observación seguiría siendo válida. Uno tendría que desplazar mentalmente la curva roja hacia la izquierda o la derecha dependiendo de la predicción puntual, pero la superioridad de la previsión probabilística continuaría siendo válida.

Referencias

Gneiting, T. y Raftery, A. E. (2004). Strictly proper scoring rules, prediction, and estimation. Informe técnico n.º 463, Departamento de Estadística, Universidad de Washington, Seattle, Washington, USA.