Mesurer la précision des prévisions
La plupart des ingénieurs vous diront que :
Vous ne pouvez pas optimiser ce que vous ne mesurez pas
Il s’avère que les prévisions ne font pas exception. La mesure de la précision des prévisions est l’un des rares piliers de toute technologie de prévision.
Une idée reçue fréquente concernant la mesure de précision est que Lokad doit attendre que les prévisions deviennent passées pour enfin comparer les prévisions avec ce qui s’est réellement passé.
Bien que cette approche fonctionne dans une certaine mesure, elle présente des inconvénients majeurs :
- C’est extrêmement lent : une prévision à 6 mois d’avance prend 6 mois pour être validée.
- Elle est très sensible au overfitting. L’overfitting ne doit pas être pris à la légère, et c’est l’une des rares choses susceptibles de semer le chaos dans vos mesures de précision.
Mesurer la précision des prévisions livrées est un travail difficile pour nous. La mesure de la précision représente environ la moitié de la complexité de notre technologie de prévision : plus la technologie de prévision est avancée, plus il est nécessaire d’avoir des mesures de précision robustes.
En particulier, Lokad fournit la précision des prévisions associée à chaque prévision que nous livrons (par exemple, notre Excel-addin indique la précision des prévisions). La métrique utilisée pour mesurer la précision est le MAPE (Mean Absolute Percentage Error).
Afin de calculer une précision estimée, Lokad procède (approximativement) via cross-validation adaptée aux prévisions de séries temporelles. La cross-validation est plus simple qu’il n’y paraît. Si nous considérons une prévision hebdomadaire à 10 semaines d’avance avec 3 ans (soit 150 semaines) d’historique, alors la cross-validation se présente comme suit :
- Prenez la 1ère semaine, effectuez une prévision à 10 semaines d’avance, et comparez les résultats à l’original.
- Prenez les 2 premières semaines, effectuez une prévision à 10 semaines d’avance, et comparez.
- Prenez les 3 premières semaines, effectuez une prévision à 10 semaines d’avance, et comparez.
- …
Le processus est assez fastidieux, car nous finissons par recalculer les prévisions environ 150 fois pour seulement 3 ans d’historique. Évidemment, la cross-validation appelle à l’automatisation, et il y a peu d’espoir de mener un tel processus sans l’aide d’un ordinateur. Pourtant, les ordinateurs coûtent généralement moins cher que les erreurs de prévision en entreprise, et Lokad s’appuie sur le cloud computing pour réaliser des calculs aussi intensifs.
Les tentatives de “simplification” du processus décrit vont très probablement aboutir à des problèmes d’overfitting. Nous suggérons de faire très attention, car l’overfitting n’est pas un problème à prendre à la légère. En cas de doute, optez pour une cross-validation complète.
Commentaires des lecteurs (1)
Je souhaite calculer la précision des prévisions par rapport aux ventes, là où je dispose d’une colonne avec les chiffres de ventes réels et de deux autres colonnes avec les prévisions. Ce que je dois faire, c’est afficher la précision de chaque prévision par rapport aux ventes réelles en pourcentage. Je souhaite calculer la précision des prévisions par rapport aux ventes, là où je dispose d’une colonne avec les chiffres de ventes réels et de deux autres colonnes avec les prévisions. Ce que je dois faire, c’est afficher la précision de chaque prévision par rapport aux ventes réelles en pourcentage. Afficher simplement la différence en pourcentage n’est pas suffisant (elle peut varier de -200% à +200% car nos commerciaux sont nuls en prévision), j’ai besoin d’afficher la précision sous forme d’une valeur allant de 0% à 100%.
acekard 2i (il y a 8 ans)
