Continuous Ranked Probability Score (CRPS)
Mis à jour par Alexey Tikhonov, mai 2024.
Les prévisions probabilistes attribuent une probabilité à chaque futur possible. Cependant, toutes les prévisions probabilistes ne sont pas également précises, et des métriques sont nécessaires pour évaluer l’exactitude respective des différentes prévisions probabilistes. Les métriques de précision simples telles que l’EMA (Erreur Moyenne Absolue) ou l’EMPA (Erreur Moyenne Absolue en Pourcentage) ne sont pas directement applicables aux prévisions probabilistes. Le Continuous Ranked Probability Score (CRPS) généralise l’EMA au cas des prévisions probabilistes. Avec l’entropie croisée, le CRPS est l’une des métriques de précision les plus utilisées lorsque des prévisions probabilistes sont impliquées.
Aperçu
Le CRPS est fréquemment utilisé pour évaluer l’exactitude respective de deux modèles de prévision probabilistes. En particulier, cette métrique peut être combinée à un processus de backtesting afin de stabiliser l’évaluation de l’exactitude en exploitant plusieurs mesures sur le même ensemble de données.
Cette métrique diffère notablement des métriques plus simples telles que l’EMA en raison de son expression asymétrique : tandis que les prévisions sont probabilistes, les observations sont déterministes. Contrairement à la fonction de perte flippeur, le CRPS ne se concentre pas sur un point spécifique de la distribution de probabilité, mais considère la distribution des prévisions dans son ensemble.
Définition formelle
Soit $${X}$$ une variable aléatoire.
Soit $${F}$$ la fonction de répartition cumulative (FRC) de $${X}$$, telle que $${F(y)=\mathbf{P}\left[X \leq y\right]}$$.
Soit $${x}$$ l’observation, et $${F}$$ la FRC associée à une prévision probabiliste empirique.
Le CRPS entre $${x}$$ et $${F}$$ est défini comme suit :
où $${𝟙}$$ est la fonction échelon de Heaviside et représente une fonction échelon le long de la droite réelle qui atteint :
- la valeur de 1 si l’argument réel est positif ou nul,
- la valeur de 0 sinon.
Le CRPS est exprimé dans la même unité que la variable observée (par exemple, si la demande d’un produit a été prévue en unités, le CRPS sera également exprimé en unités).
Le CRPS généralise l’erreur absolue moyenne (MAE). En fait, il se réduit à la MAE si la prévision est déterministe. Ce point est illustré dans le graphique D ci-dessous.
Propriétés connues
Gneiting et Raftery (2004) montrent que le score de probabilité classé continue peut être écrit de manière équivalente comme suit :
où
- $${X}$$ et $${X^*}$$ sont des copies indépendantes d’une variable aléatoire linéaire,
- $${X}$$ est la variable aléatoire associée à la fonction de répartition cumulative $${F}$$,
- $${\mathbf{E}[X]}$$ est la valeur attendue de $${X}$$.
Évaluation numérique
D’un point de vue numérique, une façon simple de calculer le CRPS consiste à décomposer l’intégrale d’origine en deux intégrales sur des bornes bien choisies pour simplifier la fonction échelon de Heaviside, ce qui donne :
En pratique, puisque $$F$$ est une distribution empirique obtenue à partir d’un modèle de prévision, la variable aléatoire correspondante $${X}$$ a un support compact, ce qui signifie qu’il n’y a qu’un nombre fini de points où $${\mathbf{P}[X = x] \gt 0}$$. De plus, toutes les valeurs de $$x$$ sont des nombres discrets. Ainsi, les intégrales peuvent être transformées en sommes finies discrètes, comme illustré par la formule ci-dessous et le graphique B dans la section suivante.
Dans la formule (4), un indice $$n$$ représente le dernier élément de la queue droite d’une distribution de probabilité (par exemple, la valeur de demande la plus élevée ayant une probabilité non nulle).
Enfin, comme le calcul du CRPS est effectué pour un instant donné, pour calculer le CRPS sur une certaine période d’évaluation d’intérêt (par exemple, pour la fenêtre de responsabilité, qui est la somme du délai d’approvisionnement du fournisseur et de la période de réapprovisionnement), nous devons prendre une moyenne des valeurs de CRPS respectives calculées pour cette période.
Intuition visuelle
Pour illustrer le calcul du CRPS, considérez l’exemple suivant (consultez les graphiques ci-dessous) :
A: Initialement, nous avons construit une prévision de la demande probabiliste en utilisant une distribution binomiale négative et en tronquant ses queues avec des probabilités inférieures à 0,1% (ce qui représente des événements extrêmement improbables, tels que ceux qui se produisent une fois tous les trois ans environ). Les valeurs de demande prédites avec des probabilités non nulles s’étendaient de 1 à 26 unités. Plus tard, il s’est avéré que la demande réelle était de 15 unités (comme indiqué par la ligne verticale en pointillés rouges).
B: Nous avons calculé le CRPS selon la 4ème formule ci-dessus (voir “Évaluation numérique”). La valeur de CRPS résultante représente la somme de deux zones remplies de couleur rouge clair.
C: Identique au graphique A, mais avec une prévision ponctuelle ajoutée pour comparaison.
D: Le calcul du CRPS appliqué à la prévision ponctuelle démontre que lorsque le CRPS est appliqué à une prévision ponctuelle, le résultat est une mesure de précision MAE. En effet, les prévisions ponctuelles sont des formes triviales de prévisions probabilistes où nous attribuons implicitement une probabilité de 100% à une seule valeur. Ensuite, un graphique de probabilité cumulative pour le CRPS sera représenté par deux fonctions en escalier - une pour les prévisions ponctuelles et une pour la demande réelle. Cela signifie que selon les positions relatives de la prévision ponctuelle par rapport à la valeur réelle, l’une des deux sommes dans la formule CRPS (4) deviendra nulle : la première somme pour les surprédictions et la deuxième somme pour les sous-prédictions.
Pour l’exemple fourni à travers ces 4 graphiques, les valeurs de CRPS résultantes pour la prévision probabiliste et pour la prévision ponctuelle sont respectivement de 3,32 et 3. En regardant les chiffres, on pourrait conclure que la prévision ponctuelle est plus précise car sa métrique de précision est plus petite (meilleure) que celle de la prévision probabiliste. Cependant, cette conclusion est fausse.
Dans l’exemple ci-dessus, nous avons simplement considéré une valeur de demande réelle, cependant, lorsque la prévision probabiliste est apprise à l’aide de données historiques, les probabilités sont ajustées en fonction des fréquences d’occurrence respectives des valeurs de demande (en tenant compte des valeurs disponibles dans l’ensemble de données d’apprentissage). Si elles sont choisies de manière appropriée, alors la valeur moyenne de CRPS pour l’ensemble de données de test sera comparable à celle de l’ensemble de données d’apprentissage/validation, car la prévision représentera adéquatement les fréquences d’occurrence des différentes valeurs de demande dans les données de test.
Le graphique ci-dessous démontre la supériorité des prévisions probabilistes par rapport aux prévisions ponctuelles.
Notez comment le CRPS change en douceur en fonction des différentes valeurs réelles. Remarquez également qu’à l’exception d’une petite région (où la prévision ponctuelle est très proche de la valeur réelle), dans toutes les autres zones, le CRPS des prévisions probabilistes est inférieur à celui de la prévision ponctuelle.
Si nous avions plusieurs prévisions ponctuelles différentes, cette observation resterait vraie. Il faudrait déplacer mentalement la courbe rouge vers la gauche ou vers la droite en fonction de la prédiction ponctuelle, mais la supériorité de la prévision probabiliste resterait valable.
Références
Gneiting, T. and Raftery, A. E. (2004). Strictly proper scoring rules, prediction, and estimation. Rapport technique n° 463, Département de statistique, Université de Washington, Seattle, Washington, États-Unis.