Top 10 bizarreries dans la prévision de la demande

Joannes Vermorel

La prévision statistique est un domaine hautement contre-intuitif. Et la plupart des hypothèses qui paraissent intuitives au premier abord se révèlent être complètement erronées. Dans ce billet, nous compilons une courte liste des pires fautes parmi toutes les bizarreries statistiques qui constituent le cœur de métier de Lokad.

1. Les systèmes de prévision avancés N’APPRENENT PAS de leurs erreurs

Les systèmes de prévision rafraîchissent généralement leurs prévisions sur une base quotidienne ou hebdomadaire. Chaque fois qu’un nouveau lot de prévisions est produit, un système de prévision a l’opportunité de comparer ses prévisions antérieures aux données nouvellement acquises, et possiblement d’en tirer des enseignements. Par conséquent, il semblerait tout à fait raisonnable de s’attendre à ce qu’un système de prévision donné apprenne de ses erreurs, tout comme le ferait un expert humain. Toutefois, ce n’est pas le cas. Un système de prévision avancé n’essaiera PAS d’apprendre de ses erreurs. En effet, de meilleures méthodes existent, à savoir backtesting, qui offrent des performances statistiques supérieures. Grâce au backtesting, le système se confronte de nouveau à l’ensemble de l’historique disponible chaque fois qu’une prévision est générée, et non seulement à la dernière tranche de données.

2. Les facteurs statistiques les plus importants sont le bruit et l’aléa

Lorsque les praticiens sont interrogés sur les facteurs dominants de leur demande, beaucoup répondent : saisonnalité, cycle de vie du produit, pression du marché, croissance de l’entreprise, etc. Cependant, la plupart du temps, il y a un éléphant dans la pièce : l’éléphant étant le bruit statistique présent dans l’observation de la demande.

La plupart du temps, le défi de la prévision est abordé comme si, avec suffisamment d’efforts, les prévisions de la demande pouvaient être rendues précises. Pourtant, ce point de vue est incorrect, car la plupart du temps les prévisions sont irrémédiablement inexactes. Adopter l’aléa présent dans la demande conduit généralement à de meilleurs résultats commerciaux que de tenter d’éliminer cet aléa.

3. Les corrections d’experts rendent généralement les prévisions moins satisfaisantes

Bien qu’il paraisse raisonnable d’ajuster manuellement les prévisions statistiques avec des connaissances spécifiques à l’industrie, nous avons observé, à de nombreuses occasions, que cette pratique n’apporte pas les résultats escomptés. Même lorsque des corrections manuelles sont effectuées par un expert dans ce domaine, elles tendent simplement à dégrader la précision) globale, à moins que les systèmes de prévision sous-jacents ne soient fondamentalement défaillants. Ce n’est que dans ce cas que les corrections manuelles peuvent contribuer à améliorer les résultats des prévisions.

Cela est souvent lié au fait que la perception humaine est fortement biaisée en faveur de la détection de “patterns”. Fréquemment, cela conduit à de fausses interprétations des tendances, qui ne sont rien d’autre que de simples fluctuations aléatoires de l’activité commerciale. Interpréter à tort l’aléa comme un “pattern” tend à générer des erreurs bien plus significatives que de simplement ignorer le pattern dès le départ et de le traiter comme un simple bruit.

4. L’erreur de prévision doit être mesurée en Dollars

Une prévision plus précise ne se traduit pas nécessairement par de meilleurs résultats commerciaux. En effet, la manière classique d’examiner les prévisions consiste à optimiser des indicateurs tels que le MAPE (erreur moyenne absolue en pourcentage) qui ne sont que faiblement corrélés aux principaux intérêts commerciaux. De tels indicateurs sont trompeurs car ils proviennent d’une pensée assez illusoire selon laquelle, si les prévisions étaient parfaitement exactes, l’erreur du MAPE serait nulle. Cependant, une prévision parfaitement exacte n’est pas un scénario raisonnable, et l’objectif même de l’utilisation d’un indicateur de performance est de l’aligner sur les intérêts de n’importe quelle entreprise. En d’autres termes, l’erreur de prévision doit être exprimée en Dollars, et non en pourcentages. Les prévisions quotidiennes, hebdomadaires et mensuelles ne sont pas cohérentes.

Si des prévisions sont produites à la fois sur une base quotidienne et sur une base hebdomadaire, il serait tout à fait raisonnable de s’attendre à ce que, si les prévisions quotidiennes sont agrégées pour former des prévisions hebdomadaires, alors les deux ensembles de prévisions convergent vers les mêmes valeurs, étant donné que la même technologie et les mêmes paramètres ont été utilisés pour générer ces deux ensembles de prévisions.

Malheureusement, ce n’est pas le cas, et les deux ensembles de prévisions divergent ; et cela pour des raisons statistiques très solides également. En bref, les prévisions quotidiennes (resp. hebdomadaires) sont optimisées par rapport à un indicateur exprimé au niveau quotidien (resp. hebdomadaire) ; statistiquement, ces deux indicateurs étant différents, les résultats numériques de l’optimisation n’ont tout simplement aucune raison de correspondre.

5. Les prévisions au niveau des SKU ne correspondent pas aux prévisions au niveau de la catégorie

Si le même système de prévision est utilisé pour prévoir la demande à la fois au niveau des SKU et au niveau de la catégorie, on s’attendrait à ce que les deux ensembles de prévisions soient cohérents : en additionnant toutes les prévisions associées aux SKU appartenant à une même catégorie, il ne serait pas déraisonnable d’imaginer obtenir le même chiffre que la prévision relative à la catégorie elle-même. Ce sera le cas pour les mêmes raisons évoquées dans le paragraphe précédent.

Plus alarmant encore, il est en réalité très courant d’observer des situations pour le moins étranges où des schémas complètement divergents existent entre les prévisions au niveau des SKU et celles au niveau de la catégorie. Par exemple, toutes les prévisions des SKU pourraient être strictement en baisse, tandis que les prévisions au niveau de la catégorie augmentent régulièrement. Un autre cas typique est celui de la saisonnalité, qui est très visible au niveau de la catégorie, mais à peine perceptible au niveau des SKU. Lorsqu’une situation similaire se présente, il peut être tentant d’essayer de corriger les prévisions au niveau des SKU afin de les aligner sur celles de la catégorie, mais une telle technique ne ferait qu’altérer la précision globale des prévisions.

6. Changer l’unité de mesure a de l’importance

À première vue, l’unité utilisée pour mesurer la demande ne devrait pas avoir d’impact. Si la demande est dénombrée en unités de stocks, et si tous les points de l’historique sont multipliés par 10, on s’attendrait alors à ce que toutes les prévisions soient multipliées par 10 sans conséquences supplémentaires. Cependant, avec des technologies telles que celle développée par Lokad, le processus de prévision ne se déroulera pas de cette manière, du moins, pas exactement de cette façon.

En effet, une technologie avancée de prévision de la demande exploite de nombreux tours de passe-passe utilisant de petits nombres. La quantité de 1 n’est pas une quantité quelconque. Par exemple, nous avons observé que, en moyenne, les tickets de caisse des supermarchés et hypermarchés comportent plus de 75% de leurs lignes avec une quantité égale à 1. Cela fait en sorte que de nombreuses astuces statistiques sont liées aux “petits nombres”. Multiplier n’importe quel historique de la demande par 10 ne ferait que confondre toutes les heuristiques en place pour tout système avancé de prévision du commerce.

7. Les meilleures prévisions promotion sont fréquemment générées lorsque les promotions sont ignorées

La prévision des promotions est difficile, vraiment difficile. Dans le commerce de détail, non seulement la réponse à la demande à une promotion peut passer de rien (aucune augmentation) à une augmentation de 100x, mais les facteurs qui influencent les promotions sont complexes, divers et généralement pas suivis avec précision dans les systèmes informatiques. Combiner des comportements commerciaux complexes avec des données inexactes est une recette qui risque fort de mener à un problème “Garbage In, Garbage Out”.

En fait, nous avons observé de façon routinière que l’ignorance des données promotionnelles était, du moins en tant qu’approche initiale très modeste, la moins inefficace pour prévoir la demande promotionnelle. Nous ne prétendons pas que cette méthode soit hautement satisfaisante ou optimale, mais nous essayons simplement de démontrer qu’une prévision native construite sur des données historiques correctes mais incomplètes surpasse généralement des modèles complexes construits sur des données plus étendues mais partiellement inexactes.

8. Plus l’historique est erratique, plus la prévision est aplatie

Visuellement, si les données historiques présentent de forts motifs visuels, on s’attend alors à ce qu’une prévision affiche des motifs tout aussi marqués. Cependant, lorsque les données historiques présentent des fluctuations erratiques, cette attente ne se confirme pas, et l’inverse se produit : plus l’historique de la demande est erratique, plus les prévisions sont lissées.

Encore une fois, la cause fondamentale ici est que l’esprit humain est programmé pour percevoir des motifs. Les fluctuations erratiques ne sont pas des motifs (au sens statistique) mais du bruit, et un système de prévision, s’il est bien conçu, se comporte exactement comme un filtre pour ce bruit. Une fois le bruit éliminé, il ne reste souvent qu’une prévision plutôt “flattish”.

9. Les prévisions quotidiennes, hebdomadaires et mensuelles sont généralement inutiles

Les prévisions périodiques se trouvent partout – des actualités économiques aux bulletins météorologiques ; et pourtant, elles ne représentent que rarement une réponse statistique adéquate aux défis commerciaux “réels”. Le problème de ces prévisions périodiques réside dans le fait qu’au lieu d’aborder directement la décision commerciale qui dépend d’un futur incertain, elles sont typiquement utilisées de manière indirecte pour construire ensuite la décision.

Une stratégie bien plus efficace consiste à envisager les décisions commerciales comme étant des prévisions. Ce faisant, il devient beaucoup plus facile d’aligner les prévisions sur des besoins et priorités commerciaux spécifiques, par exemple en mesurant l’erreur de prévision en Dollars plutôt qu’en pourcentages comme détaillé ci-dessus.

10. La majeure partie de la littérature sur la prévision de stocks est de peu d’utilité

Lorsqu’on est confronté à un sujet difficile, il est raisonnable de commencer à explorer ce sujet en étudiant les différents matériaux évalués par des pairs disponibles dans la littérature scientifique. D’autant plus que des milliers d’articles et de papiers sont accessibles au lecteur, en ce qui concerne la prévision de la demande et l’optimisation de stocks.

Pourtant, nous avons constaté que la quasi-totalité des méthodes analysées dans cette littérature ne fonctionnent tout simplement pas. La rigueur mathématique ne se traduit pas par une sagesse commerciale. De nombreux modèles considérés comme classiques intemporels sont tout simplement dysfonctionnels. Par exemple,

• Safety stocks sont faux, car ils reposent sur des hypothèses de distribution normale,
• EOQ (economic order quantities) sont inexactes, car ils reposent sur un forfait fixe par commande qui est complètement irréaliste,
• Holt-Winters est un modèle de prévision qui est numériquement assez instable et requiert une profondeur historique trop importante pour être exploitable,
• ARIMA, qui est l’archétype de l’approche mathématiquement pilotée, est bien trop complexe pour des résultats bien trop faibles,
• etc.

Les bizarreries de la prévision de la demande sont (probablement) innombrables. N’hésitez pas à poster vos propres observations dans la section des commentaires ci-dessous.