Précision de la prévision de la demande
En statistique, la précision d’une prévision est le degré de proximité entre l’énoncé d’une quantité et la valeur réelle (vraie) de cette quantité. La valeur réelle ne peut généralement pas être mesurée au moment où la prévision est faite car l’énoncé concerne le futur. Pour la plupart des entreprises, des prévisions plus précises augmentent leur efficacité à satisfaire la demande tout en réduisant les coûts opérationnels globaux.
Utilisation des estimations de précision
La précision, lorsqu’elle est calculée, fournit une estimation quantitative de la qualité attendue des prévisions. Pour l’optimisation de stocks, l’estimation de la précision des prévisions peut servir plusieurs objectifs :
- pour choisir parmi plusieurs modèles de prévision servant à estimer la demande principale celui qui devrait être privilégié.
- pour calculer le stock de sécurité en supposant généralement que les erreurs de prévision suivent une distribution normale.
- pour prioriser les articles nécessitant le plus d’attention car les prévisions statistiques brutes ne sont pas suffisamment fiables.
Dans d’autres contextes, tels que la planification stratégique, les estimations de précision sont utilisées pour soutenir l’analyse de type what-if, en considérant divers scénarios et leur probabilité respective.
Impact de l’agrégation sur la précision
Il est souvent mal interprété de considérer la qualité du modèle de prévision comme le principal facteur déterminant la précision des prévisions : ce n’est pas le cas.
Le facteur le plus important influençant la valeur de la précision est la volatilité intrinsèque du phénomène prévu. En pratique, dans le commerce ou la fabrication, cette volatilité est fortement corrélée au niveau d’agrégation :
- des zones plus vastes, comme des prévisions nationales par rapport aux prévisions locales, offrent une plus grande précision.
- idem pour des périodes plus longues, comme des prévisions mensuelles par rapport aux prévisions quotidiennes.
Ensuite, une fois le niveau d’agrégation déterminé, la qualité du modèle de prévision joue effectivement un rôle primordial dans la précision pouvant être atteinte. Enfin, la précision diminue lorsque l’on prévoit plus loin dans le futur.
Précision empirique vs précision réelle
Le terme précision est le plus souvent utilisé pour désigner la qualité d’une mesure physique de quelque nature que ce soit. Malheureusement, cette vision est quelque peu trompeuse lorsqu’il s’agit de prévision statistique. En effet, contrairement au contexte physique où la mesure pourrait être comparée à des méthodes alternatives, la précision réelle d’une prévision devrait être strictement mesurée par rapport à des données que vous ne possédez pas.
En effet, une fois que les données sont disponibles, il est toujours possible de produire des prévisions parfaitement précises, puisqu’il suffit de reproduire les données. Cette simple question a laissé les statisticiens perplexes pendant plus d’un siècle, car un point de vue profondément satisfaisant n’a été trouvé qu’à la fin du 20e siècle avec l’avènement de la théorie Vapnik–Chervonenkis1.
La précision des prévisions ne peut être mesurée de manière pratique qu’en se fondant sur les données disponibles ; cependant, une fois les données disponibles, ces prévisions ne sont plus de véritables prévisions, puisqu’il s’agit d’énoncés portant sur le passé plutôt que sur le futur. Ainsi, ces mesures sont qualifiées de précision empirique, par opposition à la précision réelle.
Les problèmes de surapprentissage peuvent entraîner de grandes divergences entre la précision empirique et la précision réelle. En pratique, une utilisation minutieuse du backtesting peut atténuer la plupart des problèmes de surapprentissage lors de la prévision des séries temporelles.
Mesures de précision populaires
Il existe de nombreuses mesures pour évaluer la précision des prévisions. Les mesures les plus utilisées sont :
- MAE (erreur absolue moyenne)
- MAPE (erreur moyenne en pourcentage absolu)
- MSE (erreur quadratique moyenne)
- sMAPE (erreur en pourcentage absolu symétrique)
- Pinball loss (une généralisation de la MAE pour les prévisions quantiles)
- CRPS (une généralisation de la MAE pour les prévisions probabilistes)
En pratique, une mesure devrait être privilégiée par rapport à une autre en fonction de sa capacité à refléter les coûts engagés par l’entreprise en raison des imprécisions des prévisions.
Le piège de Lokad
Il vaut mieux être approximativement correct que précisément faux. D’après notre expérience avec les entreprises du commerce ou de la fabrication, nous constatons régulièrement qu’on accorde trop peu d’attention au choix de la mesure de précision.
En effet, la mesure idéale ne devrait pas renvoyer des valeurs exprimées en pourcentages, mais en Dollars ou en Euros, reflétant précisément le coût des inefficacités engendrées par les prévisions imprécises. En particulier, bien que la plupart des mesures populaires soient symétriques (le pinball loss étant une exception notable), les risques de surestimation par rapport à la sous-estimation ne sont pas symétriques en pratique. Nous suggérons d’adopter un point de vue où la mesure est plus proche d’une fonction de coût économique – soigneusement modélisée pour s’adapter aux contraintes de l’entreprise – plutôt qu’un simple indicateur.
Aussi, il est très important de ne pas effectuer de planification en supposant implicitement que les prévisions sont exactes. L’incertitude est inévitable en affaires et doit être prise en compte.
Pour aller plus loin
- Vidéo. La précision dans la prévision des ventes, Matthias Steinberg, septembre 2011
- La meilleure mesure d’erreur de prévision, Joannes Vermorel, novembre 2012
- Impact financier de la précision sur les stocks, Joannes Vermorel, février 2012
Notes
-
Wikipédia. Théorie Vapnik–Chervonenkis ↩︎