Comment Prévoir la Saisonnalité

00:00:05 Prévision saisonnière des ventes.
00:00:35 Explication des principaux schémas saisonniers.
00:02:23 Difficultés avec la prévision de la saisonnalité, durée de vie des produits.
00:04:33 Examen d’autres problèmes liés à la saisonnalité.
00:06:53 Surmonter les problèmes liés aux données historiques manquantes.
00:07:16 Solution : considérer les collections de produits pour la saisonnalité.
00:08:49 Dynamic time warping.
00:09:06 Transition vers deep learning pour la prévision.
00:10:02 Dynamic time warping dans la prévision de la demande.
00:12:09 Prise en charge des pics de données historiques et des promotions.
00:13:01 Besoin de données précises et de machine learning.
00:16:01 La popularité du deep learning dans le machine learning.
00:16:30 Limitations des données passées pour les prévisions futures.
00:17:40 La saisonnalité dans les affaires humaines pour la modélisation.
00:19:42 Amélioration de la prévision grâce au machine learning.
00:21:39 Les bénéfices du machine learning au fil du temps.

Résumé

Dans une interview, Joannes Vermorel discute des défis liés à l’intégration de la saisonnalité dans la prévision des ventes. La saisonnalité, définie comme les schémas cycliques des ventes influencés par la période de l’année, la semaine et le jour, contribue aux fluctuations de la demande. Des cyclicités secondaires, telles que le « effet des chèques de paie » et la « quasi-saisonnalité », revêtent également de l’importance. Comprendre la base de la demande, les tendances et le bruit statistique dans les données aide à obtenir une précision des prévisions. Parmi les défis, on compte la courte durée de vie de nombreux produits et la variabilité annuelle d’événements comme Noël. Vermorel suggère l’adoption d’une perspective collective sur des produits similaires pour prédire la performance des nouveaux produits et l’utilisation de configurations de machine learning pour le maintien automatique des compartiments saisonniers.

Résumé Étendu

Kieran Chandler interviewe Joannes Vermorel au sujet du concept de saisonnalité dans la prévision des ventes et des défis qui y sont associés.

La saisonnalité est l’un des schémas centraux utilisés pour améliorer la précision des prévisions de ventes, mais elle est fréquemment mal comprise et mal appliquée. Vermorel identifie la saisonnalité comme une cyclicité majeure des schémas de ventes. Il décompose ces cyclicités en trois types clés : la période de l’année, le jour de la semaine et l’heure de la journée, qui contribuent tous aux variations de la demande des consommateurs.

Vermorel aborde également les cyclicités secondaires telles que l’« effet des chèques de paie », qui correspond au cycle mensuel où les gens reçoivent leur salaire et l’impact que cela a sur leur comportement d’achat. De plus, il présente les « cyclicités minérales » ou la « quasi-saisonnalité », qui inclut des événements comme Pâques, le Ramadan et le Nouvel An chinois, qui se reproduisent chaque année mais ne tombent pas toujours à la même date selon le calendrier grégorien.

Comprendre la base de la demande, les tendances et le niveau de bruit statistique dans les données est un autre aspect crucial que Vermorel souligne. Reconnaître ces schémas aide à différencier le bruit aléatoire des véritables motifs statistiques, ce qui est essentiel pour des prévisions efficaces.

Malgré la simplicité apparente de la saisonnalité, Vermorel explique pourquoi les gens ont souvent du mal avec ce concept. Le premier défi est la courte durée de vie de la plupart des produits sur le marché. Par exemple, la durée de vie moyenne d’un produit de grande consommation (FMCG) se situe entre trois et cinq ans. Cela implique qu’une grande partie d’un catalogue de produits pourrait ne même pas exister pendant une année complète, compliquant ainsi l’application de la saisonnalité.

Vermorel introduit le concept de « distorsion temporelle » dans la saisonnalité, faisant référence aux décalages des schémas saisonniers dus à divers facteurs. Les changements dans les conditions météorologiques peuvent inciter les consommateurs à commencer leurs achats d’hiver plus tôt ou plus tard que d’habitude. Le climat politique et le sentiment des consommateurs peuvent également influencer le moment des achats, comme les achats de Noël. Ces décalages peuvent déformer les motifs saisonniers typiques, rendant la prévision difficile.

Ensuite, il aborde l’interférence d’autres schémas avec la saisonnalité. Vermorel souligne l’importance de distinguer ces influences externes des véritables tendances saisonnières. Il approfondit la manière de relever les défis causés par l’absence de données historiques pour une partie significative d’un catalogue. Il propose une perspective collective, en identifiant des schémas saisonniers communs à une gamme de produits similaires. Ce schéma partagé peut être appliqué aux nouveaux produits, permettant ainsi de prévoir la saisonnalité dès le premier jour, même pour les produits sans historique des ventes.

En répondant à une question sur la prévision dans des conditions météorologiques incertaines, Vermorel présente le concept de dynamic time warping. Cependant, il admet que la mise en œuvre du dynamic time warping est extrêmement complexe, ce qui a conduit Lokad, à l’instar de la communauté de la reconnaissance vocale, à passer au deep learning pour leur moteur de prévision.

Pour différencier la demande saisonnière des pics promotionnels, Vermorel propose une approche de décomposition paramétrique. Cependant, il reconnaît les limites de cette méthode, car les données historiques sont généralement imbriquées, ce qui rend difficile l’apprentissage des schémas de façon indépendante.

Pour y remédier, Vermorel propose deux stratégies. Premièrement, enregistrer tous les événements qui faussent l’observation de la demande, y compris les promotions, les ruptures de stock, et d’autres facteurs affectant les ventes. Deuxièmement, utiliser une configuration de machine learning pour apprendre tous ces schémas de manière conjointe, plutôt que d’essayer de les apprendre séparément. Il suggère que c’est la raison pour laquelle le deep learning est devenu populaire dans la communauté du machine learning.

Vermorel reconnaît la difficulté d’avoir une confiance totale dans les résultats en raison des distorsions des données. Cependant, il soutient que la plupart des marchés présentent une grande inertie, et que le passé récent est une approximation raisonnable du proche avenir.

Il souligne également l’importance de la saisonnalité dans la prévision de la demande, reconnaissant sa stabilité tout en insistant sur son caractère non figé. Cela signifie que la saisonnalité peut évoluer d’une année à l’autre, et qu’un bon modèle statistique devrait être

capable de prédire ce taux moyen d’évolution.

Alors que la conversation se termine, Vermorel recommande aux entreprises souhaitant améliorer leurs approches de prévision de mieux prendre en compte la saisonnalité de passer aux configurations de machine learning, abandonnant ainsi les méthodes traditionnelles nécessitant la création manuelle de profils saisonniers. Le machine learning permet le maintien automatique des compartiments saisonniers, ce qui se traduit par une précision accrue au fil du temps.

Transcription Complète

Kieran Chandler : Joannes, nous parlons souvent de la saisonnalité comme étant l’un des schémas de base appliqués pour améliorer la précision des prévisions. Mais que voulons-nous réellement dire par là ? Quels sont les schémas de base ?

Joannes Vermorel : La saisonnalité est l’un des principaux schémas cycliques. Il existe trois cycles majeurs, à savoir la période de l’année, le jour de la semaine et l’heure de la journée. Ce sont les trois principaux. Ensuite, vous avez quelques cycles secondaires tels que l’effet des chèques de paie, qui est essentiellement un schéma cyclique mensuel où l’on observe des effets liés au paiement des salaires ou à des événements survenant au début ou à la fin du mois. Puis, il y a ce que j’appellerais une quasi-saisonnalité, des événements tels que Pâques, le Ramadan, ou le Nouvel An chinois. Ces événements se produisent chaque année, mais pas exactement à la même période de l’année, du moins selon le calendrier grégorien. Nous avons tous ces schémas cycliques, et la saisonnalité en est un très important. Outre les cycles, nous avons la base de la demande, la tendance indiquant l’évolution de la croissance ou du déclin au fil du temps, et enfin, la quantité de bruit statistique, qui constitue également un très grand schéma. Il faut vraiment comprendre la variabilité et déterminer si ce que vous observez relève du bruit ou d’un schéma statistique réel.

Kieran Chandler : Parlons de la saisonnalité elle-même alors. Pourquoi est-ce quelque chose avec lequel les gens peinent ? Il semble assez évident de savoir qu’à Noël, les ventes vont exploser et qu’autour des périodes de fêtes, vous verrez des ventes différentes pour différentes choses. Alors, pourquoi est-ce un problème pour les gens ?

Joannes Vermorel : La saisonnalité est difficile à maîtriser. Passons en revue les défis. Le premier défi est que la plupart des produits ont une courte durée de vie sur le marché. La durée de vie moyenne d’un produit FMCG se situe entre trois et cinq ans. Cela implique que si vous vendez des produits qui, en moyenne, durent trois ans sur le marché, cela signifie que la moitié de vos produits n’existent que depuis un an et demi. Vous avez même un tiers de vos produits qui existent depuis moins d’un an. Donc, si vous souhaitez disposer d’un modèle saisonnier naïf, un modèle statistique où vous affirmez que les ventes que vous réaliserez pour le prochain Noël seront similaires à celles du Noël précédent, il s’avère que pour un tiers de vos produits, il n’y a pas eu de Noël précédent. Vous ne disposez d’aucune référence. Ainsi, le premier défi est que, en raison de la nouveauté des produits sur le marché, vous vous retrouvez avec une partie significative de votre catalogue qui n’a pas une existence d’une année. Prenons, par exemple, les pièces automobiles, qui tendent à avoir une durée de vie plus longue d’environ six ans, même là, un sixième de vos produits n’a même pas une année de ventes. Vous ne pourrez donc pas appliquer cette belle saisonnalité à une portion significative de votre catalogue. C’est l’un des problèmes auxquels nous sommes confrontés avec la saisonnalité.

Kieran Chandler : Quels sont quelques-uns des autres problèmes auxquels nous sommes confrontés avec la saisonnalité ?

Joannes Vermorel : Un autre problème est que la saisonnalité n’est pas nécessairement exactement la même d’une année à l’autre. Oui, Noël tombe le 25 décembre chaque année, mais d’une année à l’autre, la saison de Noël, du point de vue d’un commerçant, …

Kieran Chandler : Une année, il a commencé à faire très froid dès octobre, incitant les gens à débuter leurs achats hivernaux plus tôt dans la saison. À l’inverse, parfois les températures restent clémentes plus longtemps, si bien que les achats commencent plus tard. Parfois, même le climat politique influence les habitudes d’achat. Par exemple, si les gens sont très inquiets pour l’avenir, ils pourraient décider de reporter leurs achats de Noël à la dernière minute. Ce ne sont là que quelques-uns des facteurs pouvant entraîner ce que nous appelons généralement une distorsion temporelle. Vous avez toujours le pic de Noël, par exemple, mais le début de la saison de Noël peut varier de quelques semaines d’une année à l’autre. Ce type de distorsion peut se produire avec tous les schémas saisonniers. Êtes-vous d’accord ?

Joannes Vermorel : Absolument, et c’est probablement la deuxième catégorie de problèmes. La troisième catégorie est que votre saisonnalité est malheureusement affectée par d’autres schémas. Que se passe-t-il, par exemple, si l’année dernière en septembre, vous avez eu une promotion massive que vous ne répétez pas cette année ? Vous ne devez pas confondre l’impact de cette promotion avec la saisonnalité. Il faut démêler la saisonnalité des autres schémas. Et toutes ces modifications combinées rendent la saisonnalité bien plus insaisissable que si vous étiez simplement confronté à une situation naïve où vous avez une saisonnalité pure pour un produit qui est pérenne, stable, et où tout fonctionne sans accroc.

Kieran Chandler : Parlons de la manière de surmonter certains de ces problèmes. Si vous n’avez pas de données historiques pour, disons, un tiers de votre catalogue, pouvez-vous réellement utiliser la saisonnalité pour la prévision de ces produits ?

Joannes Vermorel : Oui, mais vous devez commencer à considérer vos produits comme une collection plutôt qu’à les examiner un par un. Ce que je veux dire, c’est que si vous avez des bottes d’hiver, il y aura probablement un schéma saisonnier commun à tous ces produits. Vous pouvez raisonnablement supposer que cette saisonnalité partagée existe. Ainsi, si vous parvenez à identifier cette saisonnalité commune, peu importe que vous vendiez des bottes d’hiver différentes cette année par rapport à l’année dernière. Vous pourriez dire : “Je sais que pour l’ensemble des bottes d’hiver, j’ai ce schéma.” Par conséquent, lorsque j’introduis un nouveau produit sur le marché, pour lequel je n’ai aucun historique de ventes, je peux appliquer un schéma saisonnier dès le premier jour. Je peux recycler quelque chose qui était basé sur un agrégat pour toutes les bottes d’hiver. L’idée principale est de considérer l’ampleur des produits plutôt que la profondeur de l’historique.

Kieran Chandler : Si vous effectuez des prévisions plusieurs mois à l’avance, comment sauriez-vous si l’été va être prolongé d’un mois supplémentaire ? Comment pouvez-vous prévoir cela ?

Joannes Vermorel : C’est ici que nous abordons la prochaine étape, à savoir la manière de gérer toutes les distorsions. Cela peut être fait analytiquement, en utilisant une technique connue sous le nom de dynamic time warping. Si cela intéresse, vous pouvez vous renseigner sur Wikipedia. La mise en œuvre du dynamic time warping est extrêmement compliquée d’un point de vue logiciel. Il y a environ dix ans, la communauté de la reconnaissance vocale, qui utilisait le machine learning pour la reconnaissance vocale, a dû faire face au dynamic time warping. Ils l’ont trouvé trop compliqué, ont abandonné, et sont passés au deep learning. Fait intéressant, Lokad a fait exactement la même chose pour la saisonnalité. Nous avons implémenté le dynamic time warping dans notre moteur de prévision, mais avons finalement remplacé l’ensemble par du deep learning dans la dernière génération de nos moteurs de prévision.

Kieran Chandler : Cela semble très science-fiction, le time warping. Pourriez-vous nous donner un aperçu rapide ?

Joannes Vermorel : L’idée générale est que vous savez que votre saison va probablement bientôt se terminer, mais vous ne savez pas exactement quand. Toutefois, vous pouvez tenir compte de cette variabilité.

Kieran Chandler : Nous avons atteint la fin de la saison, donc je sais que la demande se poursuivra, mais de manière beaucoup plus faible. Cependant, à quoi cela ressemble-t-il – une analyse de la saisonnalité sans ce type de dynamic time warping ? Que se passe-t-il si la saison se termine prématurément ?

Joannes Vermorel: Quand la saison se termine prématurément, vous obtenez une nouvelle base ou niveau, et selon votre profil de saisonnalité, la demande pour la première semaine de décembre est censée être environ la moitié de celle de la dernière semaine d’août. C’est votre profil statique et rigide. Mais le problème est que, si l’été se termine tôt et qu’à la dernière semaine d’août vous êtes déjà hors de la saison estivale, vous ne voulez pas diviser à nouveau votre demande par un facteur 2 pour la première semaine de septembre. Cela s’explique par le fait que, de la dernière semaine d’août à la première semaine de septembre, la demande était en baisse, et vous vous trouvez dans une situation où la demande a déjà chuté.

Dynamic time warping est une technique qui aide à éviter les erreurs cumulatives lorsque la saison commence en retard ou en avance et que vous appliquez deux fois votre profil de saisonnalité. Vous vous retrouvez avec une première baisse de la demande, puis vous réappliquez votre motif saisonnier qui semble indiquer une baisse supplémentaire, ou l’inverse – la demande a déjà bondi pour atteindre un nouveau plateau parce que la saison a commencé tôt, et ensuite vous réappliquez ce facteur par-dessus. Le dynamic time-warping ne prédit pas de meilleure transition entre les saisons, mais il vous permet d’éviter ces erreurs cumulatives.

Kieran Chandler: Donc, l’idée est que vous allez avoir le même type de profil de demande, mais qu’il soit soit compressé, soit allongé en fonction de la saison ?

Joannes Vermorel: Exactement.

Kieran Chandler: Et puis, la dernière chose dont nous avons parlé concernait les pics historiques dans les données, et le fait de ne pas appliquer ces pics à la saisonnalité pour cette année. Comment cela fonctionne-t-il réellement ? Comment ne pas en tenir compte ? Comment distinguez-vous ce qui relève de la demande saisonnière et ce qui est simplement un pic dû à une promotion ou quelque chose de similaire ?

Joannes Vermorel: L’approche classique de la prévision des séries temporelles est une décomposition paramétrique. Vous disposez de votre historique de demande et vous diriez que, sur cette demande, telle quantité représente essentiellement la base, telle quantité est le facteur de saisonnalité, et telle quantité peut être expliquée par la tendance, etc. Cette approche est faible dans la mesure où vous souhaitez pouvoir apprendre tous vos motifs de manière indépendante, mais la réalité est que dans vos données historiques, tout est complètement mélangé.

Il y a au moins deux angles à ce problème. Premièrement, vous devez enregistrer correctement dans vos données historiques vos promotions, vos ruptures de stocks et tous les autres événements qui impactaient non la demande, mais votre observation de la demande, c’est-à-dire les ventes. Les ventes ne sont pas équivalentes à la demande. Par exemple, lorsque vous souhaitez prévoir, vous voulez typiquement dire : “Je veux prévoir la demande au prix régulier, je ne veux pas prévoir la demande pour un prix promotionnel très bas”. Mais ce que vous avez dans votre historique, ce sont vos ventes, et celles-ci sont faussées à cause des promotions et possiblement des ruptures de stocks et d’autres facteurs.

La première chose est donc de noter tous les facteurs qui déformaient votre perception de la demande, ce qui est plus compliqué qu’il n’y paraît. Très peu d’entreprises disposent d’un enregistrement très précis de tous les événements qui ont influencé leurs ventes. Cela peut concerner des éléments tels que, si vous êtes une entreprise de le e-commerce, se souvenir si un produit faisait partie de la page d’accueil ou était mis en avant dans une section, si un produit faisait partie d’une newsletter, s’il y a eu des fluctuations de prix pour les produits, et même, si vous avez une intelligence concurrentielle, se rappeler du prix des produits de vos concurrents.

Kieran Chandler: Vous avez mentionné que des concurrents pourraient avoir causé une baisse de la demande, non pas parce que vous aviez une rupture de stock, mais parce qu’ils menaient une promotion massive et que vous n’aviez pas aligné votre prix sur le leur. Cela expliquerait une baisse de la demande.

Joannes Vermorel: Oui, c’est une partie de la recette. La deuxième partie concerne la nécessité d’une configuration de machine learning où vous pouvez apprendre conjointement tous ces motifs. Le machine learning moderne n’essaie pas d’apprendre les motifs statistiques de manière isolée. Vous n’apprenez pas d’abord la saisonnalité, puis la tendance, puis l’effet promotionnel. Au lieu de cela, vous disposez d’un modèle qui tente de saisir tous ces motifs en une seule fois. Cela signifie que le modèle doit avoir la capacité d’apprendre une grande variété de motifs. Il requiert un modèle très expressif. C’est pourquoi de nombreuses personnes dans la communauté du machine learning ont adopté le deep learning. C’est une approche qui peut générer un modèle capable de capter une grande variété de motifs.

Kieran Chandler: Vous ne cessez de mentionner les distorsions. Il semble qu’il y ait tellement de façons possibles pour que les données soient déformées, rendant la mise en place de la saisonnalité très difficile. Peut-on vraiment avoir entière confiance dans les résultats, compte tenu du potentiel de distorsions dans les données ?

Joannes Vermorel: Absolument, et la question est : dans quelle mesure le passé vous permet-il de prédire l’avenir ? C’est l’hypothèse de base derrière la prévision statistique de la demande. Malheureusement, l’avenir ne peut pas toujours être prédit par le passé. Cependant, cela n’est pas complètement vrai lorsque nous parlons de prévisions à quelques mois d’avance. La plupart des marchés possèdent une grande inertie. Le passé récent reste une approximation raisonnable du futur proche. C’est ce que nous exploitons.

Les motifs saisonniers sont relativement forts. Ils se retrouvent dans toutes les affaires humaines. Tout suit ce cycle annuel, et cela existe probablement depuis des milliers d’années. Les humains sont des créatures d’habitude, et ces habitudes fortes se reflètent dans presque toutes les séries temporelles qui représentent les affaires humaines.

Par exemple, le nombre de passagers d’avion suivra une courbe annuelle. La quantité de lait achetée un jour donné de l’année aura une courbe de saisonnalité. Il en va de même pour l’achat de jeux vidéo, la consommation d’électricité, et ainsi de suite.

Ces motifs ont été très stables et peuvent être exploités. Mais il existe toujours une part d’incertitude irréductible concernant l’avenir.

Kieran Chandler: Nous avons discuté de l’approche probabiliste dans l’optimization de la supply chain. D’après ce que je comprends, cette approche peut également gérer la saisonnalité. Pouvez-vous préciser comment elle gère les changements dans les motifs saisonniers d’une année à l’autre ?

Joannes Vermorel: Certainement. Notre modèle statistique est conçu pour s’adapter à la saisonnalité évolutive. Bien que nous ne puissions pas prédire les changements exacts, nous pouvons prévoir le taux moyen d’évolution. Cela nous permet d’introduire le juste niveau d’incertitude dans nos prévisions. Il est important de se rappeler que ces prévisions sont des distributions de probabilité qui intègrent le motif de saisonnalité. Cependant, ce n’est pas une représentation parfaite. Il existe un certain degré de flou en termes d’amplitude. Nous prenons en compte l’ampleur de l’augmentation pendant les saisons de pointe, ainsi que le moment de ces pics. Il s’agit véritablement d’une combinaison de ces deux facteurs.

Kieran Chandler: Cela a beaucoup de sens. Pour conclure, pourriez-vous nous dire quelles mesures les entreprises peuvent prendre pour améliorer leur approche de la prévision, en particulier en ce qui concerne la saisonnalité ?

Joannes Vermorel: Eh bien, la première chose qui me vient à l’esprit est qu’ils prennent contact avec nous chez Lokad ! Blague à part, je pense que la mesure la plus significative serait de passer aux configurations de machine learning. L’approche traditionnelle pour gérer la saisonnalité consiste à créer manuellement des profils de saisonnalité. Essentiellement, vous regroupez les produits dans des catégories en fonction de leur saisonnalité commune. Cette méthode, cependant, repose fortement sur l’intervention humaine et est difficile à maintenir sur le long terme.

Kieran Chandler: Pourriez-vous développer sur les problèmes liés à cette approche traditionnelle ?

Joannes Vermorel: Bien sûr. Le problème principal n’est pas nécessairement que les hypothèses de l’expert soient incorrectes. Un expert en supply chain pourrait en effet évaluer avec précision qu’un groupe de produits partage la même saisonnalité. Le souci, c’est qu’avec le temps, le maintien de ce système devient un cauchemar. Chaque fois que vous lancez un nouveau produit, vous devez vous assurer qu’il se retrouve dans la bonne catégorie. Alors que le regroupement initial peut être bon, il a tendance à se détériorer et à devenir inefficace avec le temps.

Kieran Chandler: Alors, comment la transition vers le machine learning aide-t-elle dans ce cas ?

Joannes Vermorel: Avec une configuration de machine learning, vous pouvez maintenir vos catégories saisonnières automatiquement. Cela améliorera considérablement votre précision car vos catégories, même si elles ne sont pas parfaites, ne se détérioreront pas avec le temps. Elles sont régénérées chaque fois que vous en avez besoin.

Kieran Chandler: C’est très instructif. Malheureusement, nous devons conclure pour aujourd’hui. Merci pour votre temps, Joannes.

Joannes Vermorel: De rien, ce fut un plaisir.

Kieran Chandler: C’est tout pour cette semaine. Nous reviendrons la semaine prochaine avec un nouvel épisode. D’ici là, merci à tous de nous avoir regardés.