Mesurer la précision des prévisions
La plupart des ingénieurs vous diront que :
On ne peut pas optimiser ce que l’on ne mesure pas
Il s’avère que la prévision ne fait pas exception. Mesurer la précision des prévisions est l’un des piliers de toute technologie de prévision.
Une idée fausse fréquente à propos de la mesure de précision est que Lokad doit attendre que les prévisions deviennent passées pour enfin les comparer avec ce qui s’est réellement passé.
Cependant, cette approche présente des inconvénients majeurs :
- C’est extrêmement lent : une prévision à 6 mois prend 6 mois pour être validée.
- C’est très sensible au surapprentissage. Le surapprentissage ne doit pas être pris à la légère, et c’est l’une des rares choses susceptibles de causer des ravages dans vos mesures de précision.
Mesurer la précision des prévisions livrées est un travail difficile pour nous. La mesure de précision représente environ la moitié de la complexité de notre technologie de prévision : plus la technologie de prévision est avancée, plus il est nécessaire de disposer de mesures de précision robustes.
En particulier, Lokad renvoie la précision des prévisions associée à chaque prévision que nous fournissons (par exemple, notre complément Excel rapporte la précision des prévisions). La mesure utilisée pour la précision est le MAPE (Mean Absolute Percentage Error).
Afin de calculer une précision estimée, Lokad procède (grossièrement) par validation croisée adaptée aux prévisions séries temporelles. La validation croisée est plus simple qu’elle n’en a l’air. Si nous considérons une prévision hebdomadaire à 10 semaines d’avance avec 3 ans (soit 150 semaines) d’historique, alors la validation croisée ressemble à ceci :
- Prenez la 1ère semaine, prévoyez 10 semaines à l’avance et comparez les résultats à l’original.
- Prenez les 2 premières semaines, prévoyez 10 semaines à l’avance et comparez.
- Prenez les 3 premières semaines, prévoyez 10 semaines à l’avance et comparez.
- …
Le processus est assez fastidieux, car nous devons recalculer les prévisions environ 150 fois pour seulement 3 ans d’historique. Évidemment, la validation croisée nécessite une automatisation, et il y a peu d’espoir de passer par un tel processus sans le soutien de l’informatique. Pourtant, les ordinateurs coûtent généralement moins cher que les erreurs de prévision commerciale, et Lokad s’appuie sur le cloud computing pour effectuer de tels calculs intensifs.
Les tentatives de “simplification” du processus décrit risquent très probablement de conduire à des problèmes de surapprentissage. Nous vous suggérons d’être très prudent, car le surapprentissage n’est pas un problème à prendre à la légère. En cas de doute, optez pour une validation croisée complète.
Commentaires des lecteurs (1)
Je souhaite calculer la précision des prévisions par rapport aux ventes, où j’ai une colonne avec les chiffres de ventes réels et deux autres colonnes avec les prévisions. Ce que je dois faire, c’est afficher la précision de chaque prévision par rapport aux ventes réelles en pourcentage. Il ne suffit pas de montrer la différence en pourcentage (qui peut varier de -200% à +200% car nos commerciaux sont nuls en prévisions), je dois montrer la précision sous forme d’un chiffre de 0% à 100%. Il y a 8 ans | acekard 2i
