Comment atténuer le surapprentissage lors de la prévision de la demande ?
Notre vidéo sur le surapprentissage a attiré beaucoup d’attention depuis sa publication il y a 5 ans, c’est-à-dire il y a un demi-siècle pour une startup comme Lokad. Des années plus tard, nous avons fait beaucoup de progrès mais le surapprentissage reste un problème difficile.
En bref, le surapprentissage représente le risque que votre modèle de prévision ne soit précis qu’à prédire le passé, et non à prédire le futur. Un bon modèle de prévision devrait être bon pour prédire les données que vous n’avez pas.
Une idée fausse courante est qu’il n’y a pas d’autre moyen d’évaluer un modèle que de vérifier ses performances par rapport aux données historiques. Certes, les données historiques doivent être exploitées ; cependant, s’il y a un enseignement à retenir de la théorie de Vapnik-Chervonenkis, c’est que tous les modèles ne sont pas égaux : certains modèles présentent beaucoup plus de risque structurel - un concept faisant partie de la théorie - que d’autres. Une classe entière de modèles peut être considérée comme sûre ou non sûre. d’un point de vue purement théorique, ce qui se traduit par des améliorations de précision très réelles.
Les problèmes de surapprentissage ne peuvent pas être évités entièrement, mais ils peuvent néanmoins être atténués.
Il existe plusieurs façons d’atténuer le surapprentissage. Tout d’abord, la règle que vous ne devez jamais enfreindre est la suivante : un modèle de prévision ne doit jamais être évalué sur les données qui ont été utilisées pour l’entraîner en premier lieu. De nombreux outils régressent les modèles sur l’ensemble de l’historique afin d’estimer l’ajustement global par la suite. Eh bien, comme son nom l’indique, un tel processus vous donne l’ajustement mais rien de plus. En particulier, l’ajustement ne doit pas être interprété comme une quelconque précision attendue, ce n’est pas le cas. L’ajustement est généralement beaucoup plus faible que la précision réelle.
Deuxièmement, une façon simple d’atténuer le surapprentissage est de réaliser un test approfondi. En pratique, cela signifie que votre processus doit diviser l’ensemble des données d’entrée en plusieurs dizaines - voire des centaines - de seuils de dates incrémentiels, et de re-entraîner tous les modèles de prévision et de les réévaluer à chaque fois. Le test approfondi nécessite beaucoup de puissance de traitement. Pouvoir allouer la puissance de traitement massive nécessaire pour réaliser un test approfondi était en fait l’une des principales raisons pour lesquelles Lokad a migré vers le cloud computing en premier lieu.
Troisièmement, même le test approfondi le plus complet a peu de valeur si vos séries temporelles sont clairsemées dès le départ, c’est-à-dire si les séries temporelles représentent des articles de faibles volumes de vente. En effet, comme la plupart des points de données des séries temporelles sont à zéro, le processus de test approfondi n’apprend que très peu en itérant sur des zéros. Malheureusement pour le commerce, environ 90% des articles vendus ou servis ont un historique de demande considéré comme clairsemé d’un point de vue statistique. Pour résoudre ce problème, les performances du modèle doivent être évaluées avec un point de vue de séries temporelles multiples. Ce n’est pas la performance du modèle sur une seule série temporelle qui compte, mais sa performance sur des clusters bien définis de séries temporelles. Ensuite, tout devient un équilibre entre l’exactitude empirique locale par rapport à l’exactitude empirique globale lorsqu’il s’agit de sélectionner le meilleur modèle.
Une question ? N’hésitez pas à les poser en commentaire.
Commentaires des lecteurs (2)
Shaun, Le test approfondi est un outil très fondamental en statistiques. Il est utilisé depuis des décennies dans pratiquement tous les domaines : finance, météorologie, transports, énergie, … Le test approfondi ne nécessite pas de “confiance”, c’est la seule méthodologie solide que nous connaissons lorsqu’il s’agit d’évaluer l’exactitude d’un processus prédictif, et il existe une multitude de littérature sur le sujet. Pour une introduction en douceur, vous devriez vraiment commencer à lire “Elements of statistical learning” Il y a 4 ans | Joannes Vermorel
Joannes, C’est extrêmement intéressant. Cependant, je crains de devoir expliquer cela aux clients. Donc, si je comprends bien, on peut réaliser des tests approfondis chez Lokad, cependant, si le test approfondi - qui, d’après ce que j’ai lu, est une forme d’apprentissage automatique - ne représente-t-il pas un défi important pour expliquer ce qui a été fait ? Si cela devient un algorithme avancé, ne faut-il pas essentiellement faire confiance à son fonctionnement ? Évidemment, c’est un point central pour Lokad, donc vous avez tous beaucoup réfléchi à cela. Cependant, je pense qu’il y a un public d’entreprise limité pour comprendre les détails spécifiques de son fonctionnement. Donc, Lokad s’appuie-t-il sur les résultats de recherches que Lokad a effectuées sur des entreprises précédentes - montrant le bénéfice net de ces tests approfondis ? Il y a 4 ans | Shaun Snapp
