Fonction de perte Pinball (précision quantile) - Définition

Fonction de perte Pinball (précision quantile)


Accueil » Documentation » Ici
Par Joannès Vermorel, février 2012

Evaluer la précision d’une prévision quantile est un problème subtil. En effet, contrairement aux prévisions classiques dont l’objectif est de produire une prévision se rapprochant le plus possible des valeurs observées, pour les prévisions quantiles la situation est biaisée (volontairement). Par conséquent, la comparaison naïve valeurs observées versus prévisions n’est pas satisfaisante. La fonction de perte pinball renvoie une valeur pouvant être interprétée comme la précision d’un modèle de prévision quantile.

Formule

Soit $\tau$ le quantile cible, $y$ la valeur réelle, et $z$ la prévision quantile, alors $L_\tau$, la fonction de perte pinball, peut être écrite de la manière suivante :

$$ \begin{eqnarray} L_{\tau}(y,z) & = & (y - z) \tau & \textrm{ if } y \geq z \\\ & = & (z - y) (1 - \tau) & \textrm{ if } z > y \end{eqnarray} $$

Téléchargez : pinball-loss-function.xlsx

La feuille Excel illustre la manière de calculer la fonction de perte pinball dans Excel. La formule n’est pas plus compliquée que la plupart des indicateurs de précision tels que l'erreur MAPE.

Illustration

Graphique de la fonction de perte Pinball

La fonction de perte pinball (en rouge) tient son nom de sa forme, qui ressemble à la trajectoire d'une boule de flipper (pinball en anglais). La fonction est toujours positive et, plus on s’éloigne de la cible $y$, plus la valeur de $L_\tau(y,z)$ est grande. La pente est utilisée pour refléter le déséquilibre désiré dans la prévision quantile.

Le meilleur modèle quantile a la plus petite perte pinball

Le résultat le plus important associé à la fonction de perte pinball est que plus la perte pinball est petite, plus la prévision quantile est précise.

On peut prouver que la fonction qui minimise la perte pinball donne également le quantile optimal. Cependant, le formalisme nécessaire à cette preuve dépasse le cadre de cet article.

Par conséquent, pour comparer la précision respective de deux modèles quantiles (par exemple celui de Lokad par rapport à un autre), il suffit de calculer la perte pinball moyenne de chaque modèle sur suffisamment de séries temporelles pour s'assurer que la différence observée est statistiquement significative. En pratique, quelques centaines de séries temporelles suffisent à évaluer quel modèle quantile est le plus précis.

L'approche de Lokad

L’apparente simplicité de la notion de précision pour une prévision classique (c'est-à-dire une prévision moyenne) est, selon nous, largement surestimée. Les prévisions, qu'elles soient moyennes ou quantiles, sont sujettes à un phénomène d'overfitting qui complique grandement la comparaison des modèles de prévision. Cependant, la fonction de perte pinball constitue une manière très simple d’évaluer la précision relative de deux modèles de prévision quantile.

Pour en savoir plus