L'applicabilité limitée du backtesting
Backtesting est une conception d’expérience dans laquelle on tronque les données historiques jusqu’à un moment passé, et on applique un algorithme d’apprentissage ou un algorithme d’optimisation sur cet ensemble de données tronqué afin d’évaluer la performance que cet algorithme aurait eue dans ces conditions historiques. L’approche est simple et élégante, et est ainsi fréquemment très attrayante pour les praticiens de supply chain. Toutefois, le backtesting est loin d’être une solution miracle et, lorsque ses limites sont mal comprises, se concentrer sur le backtesting fait généralement plus de mal que de bien.
Dans notre expérience de pilotage d’initiatives la Supply Chain Quantitative, les principales menaces pour le succès de l’initiative sont:
- Pas d’accès aux données transactionnelles pertinentes
- Des données historiques transactionnelles inexploitables
- Prétraitement incorrect des données transactionnelles
- Absence de surveillance de la santé des données
- Pipeline de données fragile data pipeline sujet à des pannes intermittentes
- Manque de compréhension des moteurs économiques
- Modélisation stratégique incorrecte des moteurs économiques
- Inadéquation entre les contraintes du monde réel et leur modélisation
- Processus ou outils inadéquats pour mettre en œuvre des décisions optimisées
Avec les approches de prévision traditionnelles, les prévisions inexactes auraient fait partie de cette liste, mais lorsque l’on utilise des prévisions probabilistes, cela représente un problème bien moindre : non pas parce que les prévisions probabilistes sont plus précises - ce n’est pas le cas - mais parce que la qualité des décisions se dégrade de manière beaucoup plus progressive lorsque la précision elle-même est altérée.
En effet, en pratique, une prévision probabiliste “inexacte” se caractérise principalement par une distribution de probabilités s’étendant sur une plage de valeurs extrêmement large. Bien que ce comportement soit indésirable, il n’est généralement pas aussi préjudiciable que les conséquences d’une prévision traditionnelle inexacte (c’est-à-dire non probabiliste), où l’entreprise mise tout sur un futur unique qui s’avère ne pas être le bon. Les prévisions probabilistes inexactes conduisent à des décisions excessivement conservatrices et prudentes. De l’argent est toujours gaspillé, mais compte tenu que de nombreuses situations en supply chain présentent des coûts fortement asymétriques, jouer la prudence n’est pas la pire stratégie.
Un backtesting approprié est difficile à exécuter dans des situations réelles. Les implémentations naïves de backtesting sont facilement induites en erreur par le surapprentissage. Quelques covariables cachées peuvent expliquer l’essentiel de la croissance de l’activité. Recourir à une approche par essais-erreurs avec un processus de backtesting ne fait invariablement qu’aboutir à un modèle qui a « mémorisé » les évolutions passées du marché, mais qui reste incapable de l’anticiper.
Chez Lokad, nous avons constaté que la seule méthode fiable pour backtester un modèle statistique donné est de tirer parti de jeux de données provenant de dizaines d’entreprises confrontées à des situations très diverses. Bien que cette approche n’élimine pas le surapprentissage, elle permet de le réduire significativement.
Pour une initiative Quantitative Supply Chain - en supposant que les outils de prévision soient adéquats et ne nécessitent pas que les praticiens de supply chain paramétrent manuellement les modèles - une focalisation précoce sur le backtesting aboutit typiquement à une optimisation prématurée détournant l’équipe chargée de la mise en œuvre de l’initiative des facteurs de risque qui dominent les bénéfices attendus d’un processus de backtesting.
Certains outils de prévision se révèlent être mal conçus et exigent que leurs utilisateurs finaux trouvent par eux-mêmes des paramètres statistiques pour commencer à fonctionner. Par exemple, la méthode de lissage exponentiel, un modèle de prévision simple, nécessite qu’un facteur de lissage soit fourni. Comme il est impossible pour les utilisateurs finaux d’inventer ces paramètres de nulle part, ils finissent par devoir recourir à un processus de backtesting pour faire fonctionner les modèles dès le départ. Cependant, l’utilité du backtesting ne doit pas être confondue avec des exigences imposées par les erreurs de conception accidentelles de certains outils de prévision.
En règle générale, il est approprié de commencer à envisager le backtesting lorsque :
- L’exécution du pipeline de données est devenue monotone et inintéressante.
- Les moteurs économiques sont bien compris et bien documentés.
- Les contraintes - par exemple, MOQs - ont été largement réexaminées et remises en question.
- Les processus de supply chain ont été alignés pour tirer le meilleur parti des décisions automatisées.
Lorsque ces conditions sont réunies, le backtesting peut alors être déployé comme un angle supplémentaire pour améliorer encore la performance de l’initiative de la Supply Chain Quantitative.
