Fonction de perte Pinball
La fonction de perte Pinball, également appelée perte de quantile, est une métrique utilisée pour évaluer la précision d’une prévision de quantile.
Évaluer la précision d’une prévision de quantile est un problème subtil. En effet, contrairement aux prévisions classiques où l’objectif est d’avoir la prévision la plus proche possible des valeurs observées, la situation est biaisée (exprès) lorsqu’il s’agit de prévisions de quantile. D’où la comparaison naïve observé vs prévisions n’est pas satisfaisante. La fonction de perte Pinball retourne une valeur qui peut être interprétée comme la précision d’un modèle de prévision de quantile.
Formule
Soit $${\tau}$$ le quantile cible, $${y}$$ la valeur réelle et $${z}$$ la prévision de quantile, alors $${L_\tau}$$, la fonction de perte Pinball, peut être écrite :
Télécharger : pinball-loss-function.xlsx
Le tableur illustre comment calculer la fonction de perte Pinball dans Microsoft Excel. La formule réelle n’est pas plus compliquée que la plupart des indicateurs de précision tels que le MAPE.
Illustration

La fonction de perte Pinball (en rouge) a été nommée d’après sa forme qui ressemble à la trajectoire d’une balle sur un pinball. La fonction est toujours positive et plus l’écart par rapport à la cible $${y}$$ est grand, plus la valeur de $${L_\tau(y,z)}$$ est élevée. La pente est utilisée pour refléter le déséquilibre souhaité dans la prévision de quantile.
Le meilleur modèle de quantile a la plus faible fonction de perte Pinball
Le résultat le plus important associé à la fonction de perte Pinball est que plus la fonction de perte Pinball est faible, plus la prévision de quantile est précise.
Ainsi, afin de comparer la précision respective de deux modèles de quantile (par exemple Lokad vs autre), il suffit de calculer la perte Pinball moyenne de chaque modèle sur un nombre de séries temporelles suffisamment important pour s’assurer que la différence observée est statistiquement significative. En pratique, quelques centaines de séries temporelles suffisent pour évaluer quel modèle de quantile est le plus précis.
Le piège de Lokad
La supposée simplicité de la notion de précision pour une prévision classique (c’est-à-dire une prévision moyenne) est, à notre avis, largement surestimée. Les prévisions, qu’elles soient moyennes ou de quantile, sont sujettes aux problèmes de surapprentissage ce qui complique énormément la comparaison des modèles de prévision. Cependant, la fonction de perte Pinball constitue une manière très simple d’évaluer la précision relative de deux modèles de prévision de quantile.
Pour aller plus loin
- Prédiction séquentielle des quantiles de séries temporelles, mars 2011, par Gerard Biau et Benoit Patra, Information Theory, IEEE Transactions
- Score de probabilité continu classé (CRPS), une généralisation de la fonction de perte Pinball pour les prévisions probabilistes