Fonction de perte Pinball

learn menu
Par Joannès Vermorel, février 2012

La fonction de perte Pinball, également appelée perte de quantile, est une métrique utilisée pour évaluer la précision d’une prévision de quantile.

Évaluer la précision d’une prévision de quantile est un problème subtil. En effet, contrairement aux prévisions classiques où l’objectif est d’avoir la prévision la plus proche possible des valeurs observées, la situation est biaisée (exprès) lorsqu’il s’agit de prévisions de quantile. D’où la comparaison naïve observé vs prévisions n’est pas satisfaisante. La fonction de perte Pinball retourne une valeur qui peut être interprétée comme la précision d’un modèle de prévision de quantile.

Formule

Soit $${\tau}$$ le quantile cible, $${y}$$ la valeur réelle et $${z}$$ la prévision de quantile, alors $${L_\tau}$$, la fonction de perte Pinball, peut être écrite :

$${ \begin{eqnarray} L_{\tau}(y,z) & = & (y - z) \tau & \textrm{ si } y \geq z \\\ & = & (z - y) (1 - \tau) & \textrm{ si } z > y \end{eqnarray} }$$

Télécharger : pinball-loss-function.xlsx

Le tableur illustre comment calculer la fonction de perte Pinball dans Microsoft Excel. La formule réelle n’est pas plus compliquée que la plupart des indicateurs de précision tels que le MAPE.

Illustration

/pinball-loss-function

La fonction de perte Pinball (en rouge) a été nommée d’après sa forme qui ressemble à la trajectoire d’une balle sur un pinball. La fonction est toujours positive et plus l’écart par rapport à la cible $${y}$$ est grand, plus la valeur de $${L_\tau(y,z)}$$ est élevée. La pente est utilisée pour refléter le déséquilibre souhaité dans la prévision de quantile.

Le meilleur modèle de quantile a la plus faible fonction de perte Pinball

Le résultat le plus important associé à la fonction de perte Pinball est que plus la fonction de perte Pinball est faible, plus la prévision de quantile est précise.

Il peut être prouvé que la fonction qui minimise la fonction de perte Pinball délivre également le quantile optimal. Cependant, le formalisme requis pour la démonstration dépasse le cadre de cet article.

Ainsi, afin de comparer la précision respective de deux modèles de quantile (par exemple Lokad vs autre), il suffit de calculer la perte Pinball moyenne de chaque modèle sur un nombre de séries temporelles suffisamment important pour s’assurer que la différence observée est statistiquement significative. En pratique, quelques centaines de séries temporelles suffisent pour évaluer quel modèle de quantile est le plus précis.

Le piège de Lokad

La supposée simplicité de la notion de précision pour une prévision classique (c’est-à-dire une prévision moyenne) est, à notre avis, largement surestimée. Les prévisions, qu’elles soient moyennes ou de quantile, sont sujettes aux problèmes de surapprentissage ce qui complique énormément la comparaison des modèles de prévision. Cependant, la fonction de perte Pinball constitue une manière très simple d’évaluer la précision relative de deux modèles de prévision de quantile.

Pour aller plus loin