Curiosités des prévisions quantiles

Les bizarreries des prévisions quantiles


Accueil » Ressources » Ici

La qualité des prévisions quantiles est sans égale lorsqu'il est question d'optimisation des stocks. Cependant, le comportement numérique d'un petit pourcentage des valeurs quantiles produites par Lokad peut parfois s'avérer surprenant. Dans cette article, nous vous fournissons plus de détails sur le mécanisme sous-jacent qui génère ces bizarreries, et nous vous indiquons comment il faut réagir lorsque ce genre de cas se présente.

La plupart des bizarreries qui existent dans la technologie de « prévision quantile » de Lokad sont traitées dans nos grilles quantiles, qui représentent la troisième génération de notre technologie de prévision. L'instabilité quantile et l'inversion quantile notamment sont presque entièrement atténuées grâce à ces grilles quantiles. Voyez également l'élaboration d'une liste de priorités d'achat avec les grilles quantiles.


Une sélection faite à partir d'une bibliothèque de modèles

Notre moteur de prévisions est conçu comme une bibliothèque de modèles de prévisions qui sont sans cesse en compétition pour fournir les prévisions les plus précises possibles. Son architecture globale est décrite sur la page dédiée à notre moteur de prévisions. On applique à cette bibliothèque une sélection, c'est-à-dire un processus compétitif qui consiste à choisir les modèles les plus précis (1). Cette sélection repose sur un processus approfondi de backtesting (ou test rétro-actif de validité), où chaque modèle est mis à l'épreuve sur de multiples jeux de données tronqués.

Cette architecture est efficace pour les raisons suivantes :
  • les prévisions s'avèrent beaucoup plus précises que les approches faisant appel à un seul et unique modèle mathématique.
  • Elle ne fait que peu d'hypothèses préalables sur la nature de la demande.
  • Elle est résiliente au phénomène de suraprentissage (overfitting) et à d'autres types de biais systématiques.

Néanmoins, ce processus peut générer également des comportements contre-intuitifs.

Instabilité quantile

Lors de la sélection de modèles, les plus précis présentent généralement des comportements très similaires. Par conséquent, le deuxième meilleur modèle sur le Jour 1 peut devenir le meilleur modèle sur le Jour 2, mais généralement les changements des valeurs de prévisions qui en résultent sont quasiment indétectables d'un point de vue pratique.

Toutefois, il peut arriver parfois que le deuxième meilleur modèle se comporte très différemment. Par exemple, un modèle A peut s'avérer très bon pour capturer la saisonnalité, mais moins efficace lorsqu'il s'agit de saisir les tendances, tandis qu'un modèle B peut être bon sur les tendances et inférieur sur la saisonnalité. Dans de telles situations, les deux meilleurs modèles A et B peuvent avoir des niveaux de précision quasiment identiques globalement, tout en présentant néanmoins des prévisions très différentes en certains points donnés.

En pratique, cependant, même si de telles situations sont peu fréquentes, il est possible de les observer sur pratiquement tous les jeux de données d'une taille assez importante. En effet, tout jeu de données ayant plus de 100 items peut potentiellement entraîner ce genre de situation pour l'un des items, et la probabilité s'accroît si l'historique de la demande est erratique ou présente des rotations lentes.

Ce que nous venons de décrire est en fait ce qui se passe en coulisses, au niveau de notre moteur de prévisions. La plupart du temps, vous ne vous en rendrez même pas compte. Néanmoins, il est possible que vous observiez ce genre de situation si vous lancez deux runs dans Lokad sur des jeux de données assez similaires mais incluant de légères différences. Imaginons par exemple le cas suivant : vous avez généré des prévisions un Lundi, à partir d'un jeu de données A qui incluait toutes vos ventes jusqu'à Dimnanche. Puis, pour une raison ou une autre, (peut-être parce que vous aviez oublié d'inclure quelques nouveaux items), le Mercredi, vous décidez de générer de nouveau des prévisions, cette fois à partir d'un jeu de données B qui inclut toutes vos ventes jusqu'au Mardi. A vos yeux, ces jeux de données sont très similaires puisqu'il n'y a que deux jours de différence, et vous vous attendez à ce que les prévisions soient exactement les mêmes. Pourtant, il arrive qu'il y ait des différences, parfois relativement significatives. C'est précisément un cas d'instabilité quantile : lors du processus de sélection, les 2 jours de données supplémentaires ont fait pencher la balance d'un modèle mathématique vers un autre - ces deux modèles présentant des résultats très proches en termes de performance. La précision globale en sera légèrement améliorée, mais individuellement, les prévisions peuvent ne pas se comporter de la même manière, ce qui peut provoquer ponctuellement ce que vous idientifiez comme des bizarreries.

Inversion quantile (quantile crossing)

Dans le même ordre d'idées, lorsque le taux de service augmente, on s'attend à ce que le point de commande augmente également. En effet, ce comportement se vérifie très largement lorsque l'on fait des expériences sur Lokad. Cependant, dans des situations du même type que celle que nous avons décrite plus haut, lorsque l'on lance deux runs dans Lokad - cette fois avec des jeux de données similaires, mais avec des taux de service légèrement différents (par exemple variant de 97 à 98%) - on peut observer que, sur une poignée d'items, lorsque l'on compare les résultats des deux runs, le fait d'augmenter le taux de service a fait diminuer le point de commande. Bien entendu, du point de vue de l'utilisateur, ce comportement semble incorrect.

Le phénomène que l'on rencontre ici est en fait un problème connu depuis des décennies dans le domaine des statistiques sous le nom d'inversion quantile (de l'anglais quantile crossing).

Ce phénomène peut apparaître dans Lokad, à nouveau du fait de notre processus de sélection. Chacun de nos modèles de prévision quantile est cohérent : le fait d'augmenter le facteur tau (le taux de service) augmente en effet la valeur du quantile (le point de commande). Cependant, si lors du processus de sélection un autre modèle est choisi, qui est doté d'une précision globale légèrement supérieure, mais qui se comporte de façon assez différente, alors, de façon ponctuelle, on pourra observer une sorte de saut dans la série de valeurs quantiles : c'est une inversion quantile. Vous devez toutefois garder à l'esprit que la précisions globale des prévisions n'en est pas réduite pour autant ; le meilleur modèle a bien été choisi pour le taux de service spécifique que vous avez voulu cibler.

Une fois encore, en pratique, cette situation est peu fréquente, mais reste observable sur des jeux de données de taille assez importante. Il faut noter que les taux de service élevés augmentent également la fréquence des inversions quantiles, parce que les valeurs prédites sont moins stables. En effet, il est beaucoup plus difficile d'évaluer le top 1% de la demande (taux de service à 99%) que d'évaluer le top 10% (taux de service à 90%). Il existe un fort effet levier, par conséquent, la gamme des modèles mathématiques utilisée pour générer des prévisions pour un taux de service à 98% n'est généralement pas la même que celle qui est utilisée pour un taux de service de 96 ou 97%.

L'effondrement quantile

L'effondrement quantile est un cas plus extrême de l'inversion quantile. Si les taux de services sont augmentés constamment jusqu'à atteindre des valeurs extrêmes, au-delà d'une certaine limite, la majeure partie des prévisions quantiles commencent à diminuer. Ainsi, en augmentant le taux de service, paradoxalement, il est possible d'obtenir des quantités de stock suggérées presque uniformément plus basses que les précédentes. Ce comportement très contre-intuitif est appelé effondrement quantile.

Pour provoquer un effondrement quantile, il suffit d'utiliser des taux de services déraisonnables. Ainsi, si vous retrouvez un comportement semblable à celui que nous décrivons ici, nous vous conseillons de revoir notre page portant sur le choix des taux de service ; nos recommandations vous permettront probablement de corriger ce problème.

L'effondrement quantile est la conséquence d'un point faible bien identifié de notre technologie de prévision. En bref, l'emploi de taux de services extrêmes, comme 99 % - ou même 97 % si peu de données sont disponibles - affecte la capacité de notre moteur de prévisions à distinguer les bons modèles de prévision de modèles qui pourraient être encore meilleurs. En effet, pour des valeurs aussi élevées, tous les modèles de prévisions surestiment massivement la demande, et ce délibérément. Par conséquent, le moteur de prévision tend à choisir des modèles dont le comportement est plus dans la "moyenne", ce qui peut aboutir à une situation d'effondrement quantile, avec des quantités prévues en baisse alors que le taux de service augmente.

Même s'il est intéressant de traiter le problème de l'effondrement quantile d'un point de vue théorique, cette situation ne se rencontre qu'avec des taux de services très élevés, qui quoi qu'il arrive sont déconseillés, car ils représentent des niveaux de stocks trop importants pour être gérables en pratique dans le domaine du commerce. Produire des prévisions toujours meilleures est au cœur de l'activité de Lokad, mais nous concentrons nos efforts sur les scénarios qui ont le plus de sens en termes métier. Par conséquent, nous ne prévoyons pas de corriger significativement les effondrements quantiles dans un futur proche.

Comment réagir face à ces bizarreries numériques

Aussi bien l'instabilité quantile que l'inversion quantile reflètent un genre d'imperfection inhérente aux technologie de prévision basées sur les statistiques. Toutefois, il est essentiel de comprendre que réparer ces imperfections ne fait qu'empirer la situation.

Il est possible de forcer la cohérence en remplaçant la valeur de la prévision pour empêcher tout changement supérieur à X% de se produire. Il est également possible de faire en sorte que la valeur de la prévision augmente strictement lorsque le taux de service augmente.

Cependant, dans les deux cas, cela revient à favoriser une valeur plutôt qu'une autre, et ce sans aucun fondement statistique : lorsque l'on ne regarde qu'une seule prévision, ou même une poignée de prévisions, la ou les valeurs qui résultent de ce changement peuvent sembler plus cohérentes, mais globalement cela ne rend pas les résultats plus précis, et par conséquent, pas plus rentables d'un point de vue métier.

Par conséquent, nous vous recommandons de vous en tenir aux valeurs quantiles telles qu'elles vous sont présentées par Lokad. Ne tentez pas de corriger de façon manuelle un rapport de prévisions en y ajoutant une valeur extraite d'un autre rapport qui vous semble avoir plus de sens; la plupart du temps vous n'avez en réalité pas les moyens de savoir laquelle des deux valeurs était la meilleure. Faites confiance à la cohérence générale du rapport.

Au final, oui, il semblerait qu'il y ait un gain visible qui puisse être réalisé en faisant la chasse à ces bizarreries, mais visible ne veut pas dire important. Du point de vue de Lokad, il y a beaucoup d'autres types d'améliorations qui pourraient être apportées à notre technologie, et seraient susceptibles de produire des gains bien plus significatifs. Du point de vue du commerçant, investir plus d'efforts dans le fait d'établir des délais de réapprovisionnement et des taux de service cibles plus adéquats est beaucoup plus rentable que de faire la chasse à la fraction de pourcentage de précision supplémentaire qui pourrait peut-être être gagnée en nuançant les effets de l'instabilité quantile et de l'inversion quantile.

Notons enfin que la technologie de prévision de Lokad se développe en permanence. Nous nous efforçons de fournir les meilleures prévisions du marché et nous continuons à travailler sur ces comportements peu fréquents et anormaux.

(1) Nous simplifions en réalité ici la façon dont fonctionne notre processus de sélection. Notre moteur de prévisions utilise en fait une combinaison convexe des meilleurs modèles. Toutefois, pour des raisons de simplicité, il est plus aisé de concevoir ce processus comme la sélection d'un seul modèle qui l'emporte sur les autres.