Puntuaciones de rango de probabilidad continuo (CRPS)

Puntuaciones de rango de probabilidad continuo (CRPS)


Inicio » Base de conocimientos » Aquí
Por Joannès Vermorel, junio de 2016

Los pronósticos probabilísticos asignan una probabilidad a cada futuro posible. Aún así, estos pronósticos no tienen todos la misma precisión, y se necesitan métricas para evaluar la precisión respectiva de los distintos pronósticos probabilísticos. Métricas de precisión sencillas, como el MAE (error medio absoluto) o el MAPE (error absoluto medio relativo) no pueden aplicarse directamente a los pronósticos probabilísticos. Las puntuaciones de rango de probabilidad continuo (CRPS) generalizan el MAE al caso de los pronósticos probabilísticos. Las CRPS son una de las métricas de precisión más utilizadas cuando se trata de pronósticos probabilísticos.

Resumen

Las CRPS se utilizan a menudo para evaluar la precisión respectiva de dos modelos de pronóstico probabilístico. En particular, esta métrica se puede combinar con un proceso de análisis retrospectivo para estabilizar la evaluación de precisión aprovechando diferentes mediciones del mismo conjunto de datos.

Esta métrica difiere notablemente de métricas más simples, como el MAE, debido a su expresión asimétrica: mientras que los pronósticos son probabilísticos, las observaciones son deterministas. A diferencia de la función de pérdida pinball, las CRPS no se concentran en un punto específico de la distribución de probabilidad, sino que consideran la distribución de los pronósticos en conjunto.

Definición formal

Supongamos que $X$ es una variable aleatoria

y que $F$ es la función de distribución acumulada(CDF) de $X$, como $F(y)=\mathbf{P}\left[X \leq y\right]$.

Supongamos que $x$ es la observación, y $F$ la CDF asociada con un pronóstico probabilístico empírico.

Las CRPS entre $x$ y $F$ se definen del siguiente modo: $$CRPS(F, x) = \int_{-\infty}^{\infty}\Big(F(y)- 𝟙(y - x)\Big)^2dy$$ donde $𝟙$ es la función escalón de Heaviside y denota una función escalón junto con la línea real que alcanza

  • el valor de 1 si el argumento real es positivo o cero,
  • el valor de 0 en los demás casos.

Las CRPS se expresan en la misma unidad que la variable observada. Las CRPS generalizan el error medio absoluto; de hecho, reducen al error medio absoluto (MAE) si el pronóstico es determinista.

Sintaxis en Envision

El lenguaje de scripting de Lokad proporciona asistencia integrada para la CRPS a través de la función crps():
Accuracy = crps(Z, X)
donde se espera que Z sea una distribución,cuya función es representar el pronóstico probabilístico, y que X sea un número, cuya función es representar los valores observados.

Propiedades conocidas

Gneiting y Raftery (2004) demuestran que las puntuaciones de rango de probabilidad continuo pueden escribirse del siguiente modo equivalente: $$CRPS(F,x) = \mathbf{E}\Big[|X-x|\Big]-\frac{1}{2}\mathbf{E}\Big[|X-X^*|\Big]$$ donde
  • $X$ y $X^*$ con copias independientes de una variable aleatoria lineal,
  • $X$ es la variable aleatoria asociada a la función de distribución acumulada $F$,
  • $\mathbf{E}[X]$ es el valor esperado de $X$.

Evaluación numérica

Desde una perspectiva numérica, un modo simple de calcular las CRPS consiste en desglosar la integral original en dos integrales con límites elegidos cuidadosamente para simplificar la función escalón de Heaviside, que da: $$CRPS(F, x) = \int_{-\infty}^x F(y)^2dy + \int_x^{\infty}\Big(F(y)- 1\Big)^2dy$$ En la práctica, debido a que $F$ es una distribución empírica obtenida a través de un modelo de pronóstico, la variable aleatoria correspondiente $X$ tiene un soporte compacto, lo que significa que solo un número finito de puntos donde $\mathbf{P}[X = x] \gt 0$. Por lo tanto, las integrales pueden convertirse en sumas finitas discretas.

Referencias

  • Gneiting, T. y Raftery, A. E. (2004). Strictly proper scoring rules, prediction, and estimation. Technical Report no. 463 (Reglas de puntuación estrictamente propias, predicción y cálculo. Informe técnico nro. 463), Departamento de Estadística, Universidad de Washington, Seattle, Washington, EE. UU.

Definiciones de la cadena de suministro


Temas de pronóstico


Temas de fijación de precios