Continuous Ranked Probability Score (CRPS)

Von Joannes Vermorel, Juni 2016

Probabilistische Prognosen weisen jeder möglichen Zukunft eine Wahrscheinlichkeit zu. Dennoch sind nicht alle probabilistischen Prognosen gleich genau, und es werden Metriken benötigt, um die jeweilige Genauigkeit unterschiedlicher probabilistischer Prognosen zu bewerten. Einfache Genauigkeitsmetriken, wie der MAE (Mean Absolute Error) oder der MAPE (Mean Absolute Percentage Error), sind nicht direkt auf probabilistische Prognosen anwendbar. Der Continuous Ranked Probability Score (CRPS) verallgemeinert den MAE auf den Fall von probabilistischen Prognosen. Zusammen mit der Kreuzentropie ist der CRPS eine der am häufigsten verwendeten Genauigkeitsmetriken bei probabilistischen Prognosen.

Überblick

Der CRPS wird häufig verwendet, um die jeweilige Genauigkeit von zwei probabilistischen Prognosemodellen zu bewerten. Insbesondere kann diese Metrik mit einem Backtesting-Prozess kombiniert werden, um die Genauigkeitsbewertung durch die Nutzung mehrerer Messungen über denselben Datensatz zu stabilisieren.

Diese Metrik unterscheidet sich insbesondere von einfacheren Metriken wie dem MAE aufgrund ihres asymmetrischen Ausdrucks: Während die Prognosen probabilistisch sind, sind die Beobachtungen deterministisch. Im Gegensatz zur Pinball-Verlustfunktion konzentriert sich der CRPS nicht auf einen bestimmten Punkt der Wahrscheinlichkeitsverteilung, sondern betrachtet die Verteilung der Prognosen als Ganzes.

Formale Definition

Sei $${X}$$ eine Zufallsvariable.

Sei $${F}$$ die kumulative Verteilungsfunktion (CDF) von $${X}$$, wie z.B. $${F(y)=\mathbf{P}\left[X \leq y\right]}$$.

Sei $${x}$$ die Beobachtung und $${F}$$ die CDF, die mit einer empirischen probabilistischen Prognose verbunden ist.

Der CRPS zwischen $${x}$$ und $${F}$$ ist definiert als:

$${CRPS(F, x) = \int_{-\infty}^{\infty}\Big(F(y)- 𝟙(y - x)\Big)^2dy}$$

wobei $${𝟙}$$ die Heaviside-Sprungfunktion ist und eine Sprungfunktion entlang der reellen Achse darstellt, die folgende Werte annimmt:

den Wert 1, wenn das reelle Argument positiv oder null ist,
den Wert 0 sonst.

Der CRPS wird in derselben Einheit wie die beobachtete Variable ausgedrückt. Der CRPS verallgemeinert den mittleren absoluten Fehler; tatsächlich reduziert er sich auf den mittleren absoluten Fehler (MAE), wenn die Prognose deterministisch ist.

Bekannte Eigenschaften

Gneiting und Raftery (2004) zeigen, dass der Continuous Ranked Probability Score äquivalent geschrieben werden kann als:

$${CRPS(F,x) = \mathbf{E}\Big[|X-x|\Big]-\frac{1}{2}\mathbf{E}\Big[|X-X^*|\Big]}$$

wobei

$${X}$$ und $${X^*}$$ unabhängige Kopien einer linearen Zufallsvariable sind,
$${X}$$ die Zufallsvariable ist, die mit der kumulativen Verteilungsfunktion $${F}$$ assoziiert ist,
$${\mathbf{E}[X]}$$ der Erwartungswert von $${X}$$ ist.

Numerische Auswertung

Aus numerischer Sicht besteht eine einfache Möglichkeit, den CPRS zu berechnen, darin, das ursprüngliche Integral in zwei Integrale an gut gewählten Grenzen aufzuteilen, um die Heaviside-Sprungfunktion zu vereinfachen, was zu folgendem Ergebnis führt:

$${CRPS(F, x) = \int_{-\infty}^x F(y)^2dy + \int_x^{\infty}\Big(F(y)- 1\Big)^2dy}$$

In der Praxis hat $$F$$ eine empirische Verteilung, die durch ein Prognosemodell erhalten wird. Die entsprechende Zufallsvariable $${X}$$ hat daher eine kompakte Trägermenge, was bedeutet, dass es nur eine endliche Anzahl von Punkten gibt, an denen $${\mathbf{P}[X = x] \gt 0}$$. Daher können die Integrale in diskrete endliche Summen umgewandelt werden.

Literaturverzeichnis

Gneiting, T. und Raftery, A. E. (2004). Strictly proper scoring rules, prediction, and estimation. Technischer Bericht Nr. 463, Abteilung für Statistik, University of Washington, Seattle, Washington, USA.