La meilleure métrique d'erreur de prévision
Les métriques disponibles pour évaluer la performance d’une prévision sont nombreuses :
- Erreur absolue moyenne (MAE)
- Erreur quadratique moyenne (MSE)
- Erreur absolue moyenne en pourcentage (MAPE)
- Fonction de perte Pinball
- …
Dans cet article, nous essaierons de répondre à la question de la “meilleure” métrique de prévision. Il s’avère que c’est plus simple que ce que la plupart des praticiens pourraient penser.
Parmi celles-ci, MAE et MAPE sont probablement les métriques les plus largement utilisées par les praticiens tant dans le commerce de détail que dans la fabrication. Commençons par examiner les graphiques de ces deux métriques.
Graphique de l’erreur absolue moyenne. X = réel (la prévision est de 1). Y = erreur.
Le comportement de la MAE est raisonnablement simple. L’aspect délicat - d’un point de vue mathématique - est que la fonction n’est pas différentiable partout (pas pour x=1 dans l’exemple ci-dessus).
Graphique de l’erreur absolue moyenne en pourcentage. X = réel (la prévision est de 1). Y = erreur.
La MAPE, en revanche, est beaucoup plus complexe. En effet, le comportement entre les prévisions “sous” et “sur” est très différent : l’erreur de sous-prévision est limitée à 1 tandis que l’erreur de sur-prévision tend vers l’infini vers zéro.
Cet aspect en particulier a tendance à semer la pagaille lorsqu’il est combiné avec des événements de rupture de stock. En effet, les ruptures de stock génèrent des valeurs de ventes réelles très faibles, d’où des valeurs de MAPE potentiellement très élevées.
En pratique, nous vous suggérons de réfléchir à deux fois avant d’opter pour la MAPE, car l’interprétation des résultats risque d’être un petit défi en soi.
La meilleure métrique devrait être exprimée en dollars ou en euros
D’un point de vue mathématique, certaines métriques (comme L2) sont considérées comme plus pratiques pour l’analyse statistique (par exemple, parce qu’elles sont différentiables), cependant, nous pensons que ce point de vue est sans importance lorsqu’il s’agit de situations commerciales réelles.
La seule et unique unité à utiliser pour évaluer la performance d’une prévision devrait être l’argent. Les prévisions sont toujours erronées, et la seule façon raisonnable de quantifier l’erreur consiste à évaluer combien d’argent le delta entre la prévision et la réalité a coûté à l’entreprise.
Modélisation des coûts commerciaux
En pratique, définir une telle fonction de coût ad hoc nécessite un examen attentif de l’entreprise, suscitant des questions telles que :
- Combien coûte le stock ?
- À quel point l’obsolescence du stock doit-elle être prévue ?
- Combien coûte une rupture de stock ?
- …
En ce qui concerne les politiques de l’entreprise, modéliser l’erreur de prévision comme, par exemple, un pourcentage, en ignorant ainsi toutes ces questions problématiques, présente l’avantage d’être neutre - laissant le reste de l’entreprise avec le fardeau de traduire réellement la prévision en une action concrète.
Le processus d’établissement d’une fonction de coût sensée n’est pas une science exacte, cependant, il oblige, au sein de l’entreprise, l’entité chargée des prévisions, à écrire explicitement tous ces coûts. Ce faisant, des choix sont faits, ne bénéficiant pas à toutes les divisions de l’entreprise, mais bénéficiant clairement à l’entreprise elle-même.
