La portée limitée du backtesting
Backtesting est une conception d’expérience où l’on tronque les données historiques jusqu’à un point dans le passé, puis on applique un algorithme d’apprentissage ou d’optimisation à cet ensemble de données tronqué afin d’évaluer les performances de cet algorithme dans ces conditions historiques. Cette approche est simple et élégante, et elle est donc souvent très attrayante pour les praticiens de la supply chain. Cependant, le backtesting est loin d’être une solution miracle, et lorsque ses limites sont mal comprises, se concentrer sur le backtesting fait généralement plus de mal que de bien.
Dans notre expérience de la mise en œuvre d’initiatives de Supply Chain Quantitative, les principales menaces pour la réussite de l’initiative sont les suivantes :
- Pas d’accès aux données transactionnelles pertinentes
- Données transactionnelles historiques corrompues
- Prétraitement incorrect des données transactionnelles
- Manque de surveillance de la qualité des données
- Pipeline de données fragile avec des pannes intermittentes
- Méconnaissance des moteurs économiques
- Modélisation stratégique incorrecte des moteurs économiques
- Inadéquation entre les contraintes du monde réel et leur modélisation
- Processus ou outils inadaptés pour exploiter les décisions optimisées
Avec les approches de prévision traditionnelles, les “prévisions inexactes” auraient fait partie de cette liste, mais lorsque des prévisions probabilistes sont utilisées, cela devient beaucoup moins préoccupant : non pas parce que les prévisions probabilistes sont plus précises - elles ne le sont pas - mais parce que la qualité des décisions se dégrade beaucoup plus progressivement lorsque la précision elle-même est dégradée.
En effet, en pratique, une prévision probabiliste “inexacte” est principalement caractérisée par une distribution de probabilités s’étalant sur une plage de valeurs extrêmement large. Bien que ce comportement soit indésirable, il n’est généralement pas aussi grave que les conséquences d’une prévision traditionnelle (c’est-à-dire non probabiliste) inexacte, où l’entreprise mise tout sur un seul avenir possible qui ne se réalise pas. Les prévisions probabilistes inexactes se transforment en décisions excessivement conservatrices et prudentes. De l’argent est encore gaspillé, mais étant donné que de nombreuses situations de la supply chain ont des coûts hautement asymétriques, errer du côté de la prudence est loin d’être la pire des stratégies.
Un backtesting approprié est difficile à exécuter dans des situations réelles. Les implémentations naïves de backtesting sont facilement trompées par le surapprentissage. Quelques covariables cachées peuvent expliquer la majeure partie de la croissance de l’entreprise. Procéder par essais et erreurs avec un processus de backtesting aboutit invariablement à produire un modèle qui a “mémorisé” les évolutions passées du marché, mais qui reste incapable d’anticiper le marché.
Chez Lokad, nous avons constaté que la seule façon fiable de backtester un modèle statistique donné est d’utiliser des ensembles de données provenant de dizaines d’entreprises confrontées à des situations très diverses. Bien que cette approche n’élimine pas le surapprentissage, elle le réduit considérablement.
Pour une initiative de Supply Chain Quantitative - en supposant que les outils de prévision sont adéquats et ne nécessitent pas aux praticiens de la supply chain de paramétrer manuellement les modèles - une attention précoce portée au backtesting aboutit généralement à une optimisation prématurée qui distrait l’équipe en charge de la mise en œuvre de l’initiative des facteurs de risque qui dominent les avantages attendus d’un processus de backtesting.
Certains outils de prévision sont mal conçus et nécessitent à leurs utilisateurs finaux de fournir des paramètres statistiques pour commencer à fonctionner. Par exemple, le lissage exponentiel, un modèle de prévision simple, nécessite un facteur de lissage. Comme les utilisateurs finaux ne peuvent pas inventer ces paramètres à partir de rien, ils finissent par devoir recourir à un processus de backtesting pour faire fonctionner les modèles en premier lieu. Cependant, la pertinence du backtesting ne doit pas être confondue avec les exigences imposées par les erreurs de conception accidentelles de certains outils de prévision.
En règle générale, il est approprié de commencer à envisager le backtesting lorsque :
- l’exécution du pipeline de données est devenue ennuyeuse et sans événement.
- les moteurs économiques sont bien compris et bien documentés.
- les contraintes - par exemple, les MOQs - ont été largement réexaminées et remises en question.
- les processus de la supply chain ont été alignés pour tirer le meilleur parti des décisions automatisées.
Lorsque ces conditions sont réunies, le backtesting peut être déployé comme un angle supplémentaire pour améliorer encore les performances de l’initiative de Supply Chain Quantitative.
