La meilleure métrique d'erreur de prévision

Joannes Vermorel

Les métriques disponibles pour évaluer la performance d’une prévision sont nombreuses:

• Erreur Absolue Moyenne (MAE)
• Erreur Quadratique Moyenne (MSE)
• Erreur Absolue en Pourcentage Moyenne (MAPE)
• Fonction de perte Pinball
• …

Dans cet article, nous allons essayer de répondre à la question de la “meilleure” métrique de prévision. Il s’avère que c’est plus simple que ce à quoi la plupart des praticiens s’attendraient.

Parmi celles-ci, l’Erreur Absolue Moyenne et l’Erreur Absolue en Pourcentage Moyenne sont probablement les métriques les plus utilisées par les praticiens, que ce soit dans le commerce de détail ou dans la fabrication. Commençons par jeter un œil aux graphes de ces deux métriques.

Graphique de l’Erreur Absolue Moyenne. X = réel (la prévision est 1). Y = erreur.

Le comportement de l’Erreur Absolue Moyenne est raisonnablement simple. Le seul aspect délicat - du point de vue mathématique - est que la fonction n’est pas différentiable partout (pas pour x=1 dans l’exemple ci-dessus).

Graphique de l’Erreur Absolue en Pourcentage Moyenne. X = réel (la prévision est 1). Y = erreur.

L’Erreur Absolue en Pourcentage Moyenne, en revanche, est beaucoup plus complexe. En effet, le comportement entre les prévisions surévaluées et sous-évaluées est très différent : l’erreur de sous-prévision est limitée à 1, tandis que l’erreur de sur-prévision tend vers l’infini à l’approche de zéro.

Cet aspect en particulier tend à semer le chaos lorsqu’il est combiné avec les événements de rupture de stock (OOS). En effet, les ruptures de stock génèrent des valeurs de ventes réelles très faibles, entraînant ainsi potentiellement des valeurs de MAPE très élevées.

En pratique, nous suggérons de bien réfléchir avant d’opter pour le MAPE, car l’interprétation des résultats risque d’être un défi en soi.

La meilleure métrique devrait être exprimée en Dollars ou en Euros

D’un point de vue mathématique, certaines métriques (comme L2) sont considérées comme plus pratiques pour l’analyse statistique (grâce notamment à leur différentiabilité), cependant, nous pensons que ce point de vue est discutable lorsqu’on est confronté à de réelles situations d’affaires.

La seule et unique unité à utiliser pour évaluer la performance d’une prévision devrait être l’argent. Les prévisions sont toujours erronées, et la seule manière raisonnable de quantifier l’erreur consiste à évaluer combien d’argent l’écart entre la prévision et la réalité a coûté à l’entreprise.

Modélisation des coûts de l’entreprise

En pratique, définir une fonction de coût ad hoc de ce type nécessite un examen attentif de l’entreprise, soulevant des questions telles que:

• Combien coûtent les stocks ?
• Quelle obsolescence des stocks faut-il prévoir ?
• Combien coûte stock-out ?
• …

En ce qui concerne la politique de l’entreprise, modéliser l’erreur de prévision sous forme, par exemple, d’un pourcentage, en ignorant ainsi toutes ces questions épineuses, présente l’avantage d’être neutre - laissant le reste de l’entreprise avec le fardeau de traduire effectivement la prévision en une action concrète.

Le processus d’établissement d’une fonction de coût sensée n’est pas sorcier, cependant, il oblige, au sein de l’entreprise, l’entité chargée des prévisions, à consigner explicitement tous ces coûts. Ce faisant, des choix sont faits, qui ne profitent pas à chaque division de l’entreprise, mais bénéficient clairement à l’entreprise elle-même.