Mesurer la précision des prévisions
La plupart des ingénieurs vous diront que:
On ne peut pas optimiser ce qu’on ne mesure pas
Il s’avère que la prévision n’est pas une exception. La mesure de la précision des prévisions est l’une des rares pierres angulaires de toute technologie de prévision.
Une idée reçue fréquente concernant la mesure de la précision est que Lokad doit attendre que les prévisions deviennent du passé, afin de finalement comparer les prévisions à ce qui s’est réellement passé.
Bien que cette approche fonctionne dans une certaine mesure, elle présente de graves inconvénients:
- C’est d’une lenteur pénible : une prévision à 6 mois d’avance prend 6 mois pour être validée.
- Elle est très sensible à l’overfitting. L’overfitting ne doit pas être pris à la légère, et c’est l’une des rares choses susceptibles de semer le chaos dans vos mesures de précision.
Mesurer la précision des prévisions livrées est une tâche ardue pour nous. La mesure de la précision représente environ la moitié de la complexité de notre technologie de prévision : plus la technologie de prévision est avancée, plus le besoin de mesures de précision robustes est important.
En particulier, Lokad renvoie la précision des prévisions associée à chaque prévision que nous livrons (par exemple, notre Excel-addin affiche la précision des prévisions). La métrique utilisée pour la mesure de la précision est le MAPE (Mean Absolute Percentage Error).
Pour calculer une précision estimée, Lokad procède (approximativement) via une cross-validation adaptée aux prévisions de séries temporelles. La cross-validation est plus simple qu’il n’y paraît. Si nous considérons une prévision hebdomadaire sur 10 semaines d’avance avec 3 ans (soit 150 semaines) d’historique, alors la cross-validation se présente comme suit:
- Prenez la 1ère semaine, effectuez une prévision sur 10 semaines d’avance, et comparez les résultats à l’original.
- Prenez les 2 premières semaines, effectuez une prévision sur 10 semaines d’avance, et comparez.
- Prenez les 3 premières semaines, effectuez une prévision sur 10 semaines d’avance, et comparez.
- …
Le processus est plutôt fastidieux, car nous finissons par recalculer les prévisions environ 150 fois pour seulement 3 ans d’historique. Évidemment, la cross-validation crie à l’automatisation, et il y a peu d’espoir de passer par un tel processus sans l’appui des ordinateurs. Pourtant, les ordinateurs coûtent généralement moins cher que les erreurs de prévisions en entreprise, et Lokad utilise le cloud computing pour réaliser des calculs aussi intensifs.
Les tentatives de “simplifier” le processus décrit se soldent très probablement par des problèmes d’overfitting. Nous vous suggérons de faire très attention, car l’overfitting n’est pas un problème à prendre à la légère. En cas de doute, optez pour une cross-validation complète.
Commentaires des lecteurs (1)
Je souhaite calculer la précision des prévisions par rapport aux ventes, où j’ai une colonne avec les chiffres de ventes réels et deux autres colonnes avec des prévisions. Ce que j’ai besoin de faire, c’est d’afficher la précision de chaque prévision par rapport aux ventes réelles en pourcentage. Je souhaite calculer la précision des prévisions par rapport aux ventes, où j’ai une colonne avec les chiffres de ventes réels et deux autres colonnes avec des prévisions. Ce que j’ai besoin de faire, c’est d’afficher la précision de chaque prévision par rapport aux ventes réelles en pourcentage. Se contenter d’afficher la différence en pourcentage n’est pas suffisant (cela peut varier de -200% à +200% puisque nos commerciaux sont nuls en matière de prévisions), j’ai besoin de montrer la précision sous forme d’un chiffre de 0% à 100%.
acekard 2i (8 years ago)
