Pinball-Verlustfunktion

learn menu
Von Joannès Vermorel, Februar 2012

Die Pinball-Verlustfunktion, auch als Quantilsverlust bezeichnet, ist eine Metrik, die zur Bewertung der Genauigkeit einer Quantilsprognose verwendet wird.

Die Bewertung der Genauigkeit einer Quantilsprognose ist ein heikles Problem. Tatsächlich ist – im Gegensatz zu klassischen Prognosen, bei denen das Ziel darin besteht, dass die Prognose möglichst nah an den beobachteten Werten liegt – die Situation bei Quantilsprognosen absichtlich verzerrt. Deshalb ist der naive Vergleich beobachtete Werte vs. Prognosen nicht zufriedenstellend. Die Pinball-Verlustfunktion liefert einen Wert, der als Genauigkeit eines Quantilsprognosemodells interpretiert werden kann.

Formel

Sei $${\tau}$$ das Zielquantil, $${y}$$ der Ist-Wert und $${z}$$ die Quantilsprognose, dann kann die Pinball-Verlustfunktion $${L_\tau}$$ wie folgt geschrieben werden:

$${ \begin{eqnarray} L_{\tau}(y,z) & = & (y - z) \tau & \textrm{ falls } y \geq z \\\ & = & (z - y) (1 - \tau) & \textrm{ falls } z > y \end{eqnarray} }$$

Herunterladen: pinball-loss-function.xlsx

Die Tabelle veranschaulicht, wie man die Pinball-Verlustfunktion in Microsoft Excel berechnet. Die eigentliche Formel ist nicht komplizierter als die meisten Genauigkeitsindikatoren, wie zum Beispiel der MAPE.

Veranschaulichung

/pinball-loss-function

Die Pinball-Verlustfunktion (in Rot) wurde nach ihrer Form benannt, die der Flugbahn eines Balls bei einem Pinball ähnelt. Die Funktion ist stets positiv und je weiter entfernt vom Ziel $${y}$$, desto größer ist der Wert von $${L_\tau(y,z)}$$. Die Steigung wird verwendet, um das gewünschte Ungleichgewicht in der Quantilsprognose widerzuspiegeln.

Das beste Quantilsmodell weist den niedrigsten Pinball-Verlust auf

Das wichtigste Ergebnis der Pinball-Verlustfunktion ist, dass je niedriger der Pinball-Verlust, desto genauer die Quantilsprognose ist.

Es lässt sich beweisen, dass die Funktion, die den Pinball-Verlust minimiert, auch das optimale Quantil liefert. Allerdings geht der für den Beweis erforderliche Formalismus über den Rahmen dieses Artikels hinaus.

Daher genügt es, zur Vergleichung der jeweiligen Genauigkeit von zwei Quantilsmodellen (etwa Lokad vs. andere), den Durchschnitt des Pinball-Verlusts jedes Modells über eine ausreichend große Anzahl von Zeitreihen zu berechnen, um sicherzustellen, dass der beobachtete Unterschied statistisch signifikant ist. In der Praxis genügen ein paar hundert Zeitreihen, um zu beurteilen, welches Quantilsmodell am genauesten ist.

Lokads Kniff

Die vermeintliche Einfachheit des Genauigkeitsbegriffs bei einer klassischen Prognose (d.h. Mittelwertprognose) wird unserer Meinung nach oft überschätzt. Prognosen – sowohl Mittelwert- als auch Quantilsprognosen – unterliegen dem overfitting, was den Vergleich von Prognosemodellen erheblich erschwert. Dennoch stellt die Pinball-Verlustfunktion eine sehr einfache Möglichkeit dar, die relative Genauigkeit zweier Quantilsprognosemodelle zu bewerten.

Weiterführende Literatur