Continuous Ranked Probability Score (CRPS)

Continuous Ranked Probability Score


Startseite » Wissensdatenbak » Hier
Von Joannes Vermorel, Juni 2016

Probabilistische Vorhersagen ordnen jedem möglichen Ereignis in der Zukunft eine Wahrscheinlichkeit zu. Dennoch ist die Genauigkeit nicht bei allen probabilistischen Vorhersagen gleich groß, weshalb man Kennzahlen benötigt, um die Genauigkeit der verschiedenen probabilistischen Vorhersagen zu bewerten. Einfache Genauigkeitskennzahlen wie der MAE (mittlerer absoluter Fehler) können bei probabilistischen Vorhersagen nicht direkt angewandt werden. Der Continuous Ranked Probability Score (CRPS) verallgemeinert den MAE für den Fall der probabilistischen Vorhersagen. Der CPRS ist einer der meistgenutzten Genauigkeitskennzahlen, wenn es um probabilistische Vorhersagen geht.

Überblick

Der CRPS wird oft verwendet, um die jeweilige Genauigkeit zweier probabilistischer Prognosemodelle zu bewerten. Insbesondere kann diese Kennzahl mit einem Backtesting-Prozess kombiniert werden, um die Genauigkeitsbewertung zu stabilisieren, indem verschiedene Messungen bezüglich desselben Datasets durchgeführt werden.

Diese Kennzahl unterscheidet sich dank ihres asymmetrischen Ausdrucks deutlich von anderen einfacheren Kennzahlen, wie etwa dem MAE: während die Vorhersagen probabilistisch sind, sind die Beobachtungen deterministisch. Im Gegensatz zur Pinball-Loss-Funktion, konzentriert sich der CPRS nicht auf einen spezifischen Punkt der Wahrscheinlichkeitsverteilung, sondern betrachtet die gesamte Verteilung der Prognose als Ganzes.

Formale Definition

Sei $X$ eine Zufallsvariable.

Sei $F$ die kumulative Verteilungsfunktion (CDF) von $X$, wie etwa $F(y)=\mathbf{P}\left[X \leq y\right]$.

Sei $x$ die Beobachtung und $F$ die einer empirischen probabilistischen Vorhersage zugeordnete CDF.

Der CRPS zwischen $x$ und $F$ wird, wie folgt, definiert: $$CRPS(F, x) = \int_{-\infty}^{\infty}\Big(F(y)- 𝟙(y - x)\Big)^2dy$$ wobei $𝟙$ die Heaviside-Funktion ist und eine Treppenfunktion entlang der reellen Gerade bezeichnet, die Folgendes ergibt:

  • den Wert 1, wenn das reelle Argument positiv oder null ist,
  • andernfalls den Wert 0.

Der CRPS wird in der Einheit der beobachteten Variablen ausgedrückt. Der CRPS verallgemeinert den mittleren absoluten Fehler - genauer gesagt, kürzt er zum mittleren absoluten Fehler (MAE), wenn die Prognose deterministisch ist.

Envision-Syntax

Lokads Skriptsprache bietet eine integrierte Unterstützung für den CRPS über die crps()-Funktion:
Accuracy = crps(Z, X)
wobei Z eine Verteilung sein muss, die zur Darstellung der probabilistischen Vorhersage dient und X eine Zahl ist, die die beobachteten Werte darstellt.

Bekannte Eigenschaften

Gneiting und Raftery (2004) zeigen, dass der Continuous Ranked Probability Score entsprechend, wie folgt, geschrieben werden kann: $$CRPS(F,x) = \mathbf{E}\Big[|X-x|\Big]-\frac{1}{2}\mathbf{E}\Big[|X-X^*|\Big]$$ wobei
  • $X$ und $X^*$ unabhängige Kopien einer linearen Zufallsvariable sind,
  • $X$ die der kumulativen Verteilungsfunktion $F$ zugeordneten Zufallsvariable ist,
  • $\mathbf{E}[X]$ der erwartete Wert von $X$ ist.

Nummerische Bewertung

Aus einer nummerischen Perspektive, lässt der der CPRS durch die Aufteilung des ursprünglichen Integrals in zwei Integrale mit gut gewählten Grenzen berechnen, um die Heaviside Funktion zu vereinfachen, wodurch Folgendes entsteht: $$CRPS(F, x) = \int_{-\infty}^x F(y)^2dy + \int_x^{\infty}\Big(F(y)- 1\Big)^2dy$$ Da $F$ eine empirische Verteilung ist, die durch ein Prognosemodell erhalten wird, hat die entsprechende Zufallsvariable $X$ in der Praxis einen kompakten Träger. Das heißt, dass es nur eine endliche Anzahl von Punkten gibt, in denen $\mathbf{P}[X = x] \gt 0$. Somit können die Integrale in diskrete endliche Summen verwandelt werden.

Literaturangaben

  • Gneiting, T. and Raftery, A. E. (2004). Strictly proper scoring rules, prediction, and estimation. Technical Report no. 463, Department of Statistics, University of Washington, Seattle, Washington, USA.