La meilleure métrique d'erreur de prévision
Les indicateurs disponibles pour évaluer la performance d’une prévision sont nombreux:
- Erreur Absolue Moyenne (MAE)
- Erreur Quadratique Moyenne (MSE)
- Erreur Absolue Moyenne en Pourcentage (MAPE)
- Fonction de perte Pinball
- …
Dans cet article, nous essaierons d’aborder la question de la ‘meilleure’ métrique de prévision. Il s’avère que c’est plus simple que la plupart des praticiens ne l’imagineraient.
Parmi ceux-ci, l’Erreur Absolue Moyenne et l’Erreur Absolue Moyenne en Pourcentage sont probablement les indicateurs les plus largement utilisés par les praticiens, tant dans le commerce de détail que dans la fabrication. Commençons par examiner les graphiques de ces deux indicateurs.
Graphique de l’Erreur Absolue Moyenne. X = réel (la prévision est 1). Y = erreur.
Le comportement de l’Erreur Absolue Moyenne est relativement simple. Le seul aspect délicat – d’un point de vue mathématique – est que la fonction n’est pas différentiable partout (pas pour x = 1 dans l’exemple ci-dessus).
Graphique de l’Erreur Absolue Moyenne en Pourcentage. X = réel (la prévision est 1). Y = erreur.
Cependant, l’Erreur Absolue Moyenne en Pourcentage est beaucoup plus complexe. En effet, le comportement entre les prévisions sous-estimées et surestimées diffère grandement : l’erreur en cas de sous-prévision est plafonnée à 1 alors que l’erreur en cas de sur-prévision tend vers l’infini lorsque la valeur réelle approche de zéro.
Cet aspect en particulier tend à causer des ravages lorsqu’il est combiné aux événements de rupture de stock. En effet, les ruptures de stock génèrent des valeurs de ventes réelles très faibles, entraînant ainsi potentiellement des valeurs de MAPE très élevées.
En pratique, nous suggérons de bien y réfléchir avant d’opter pour la MAPE, car l’interprétation des résultats s’avère être un petit défi en soi.
La meilleure métrique devrait être exprimée en Dollars ou en Euros
D’un point de vue mathématique, certaines métriques (comme L2) sont considérées comme plus pratiques pour l’analyse statistique (en raison, par exemple, de leur différentiabilité), cependant, nous pensons que ce point de vue est discutable face aux situations réelles de l’entreprise.
L’unique et exclusive unité à utiliser pour évaluer la performance d’une prévision devrait être l’argent. Les prévisions se trompent toujours, et la seule manière raisonnable de quantifier l’erreur consiste à évaluer combien d’argent l’écart entre la prévision et la réalité a coûté à l’entreprise.
Modélisation des coûts d’entreprise
En pratique, définir une telle fonction de coût ad hoc nécessite un examen attentif de l’entreprise, soulevant des questions telles que :
- Combien coûtent les stocks ?
- Quelle obsolescence des stocks peut-on attendre ?
- Combien coûte la rupture de stock?
- …
En ce qui concerne les politiques d’entreprise, modéliser l’erreur de prévision, par exemple en pourcentage, en ignorant ainsi toutes ces questions épineuses, présente l’avantage d’être neutre – laissant au reste de l’entreprise le fardeau de traduire effectivement la prévision en une action concrète.
Le processus d’établissement d’une fonction de coût pertinente n’est pas de la science-fusée, cependant, il oblige, au sein de l’entreprise, l’entité en charge des prévisions, à écrire explicitement tous ces coûts. Ce faisant, des choix sont faits, non pas au bénéfice de chaque division de l’entreprise, mais clairement au bénéfice de l’entreprise elle-même.
