00:00:04 Défi dans la prévision des lancements de nouveaux produits.
00:00:35 Problèmes avec les approches de prévision traditionnelles.
00:02:00 Critique de la prévision des séries temporelles pour les nouveaux produits.
00:03:45 Approches alternatives de prévision pour les nouveaux produits.
00:07:22 Deep learning et analyse des attributs dans la prévision.
00:09:06 Influence sur la demande : attributs des produits tels que la couleur, la taille.
00:11:23 Deep learning pour la prévision des diverses caractéristiques des produits.
00:11:58 Incertitudes dans les lancements de nouveaux produits.
00:13:38 Avantages des prévisions probabilistes dans la gestion des risques.
00:14:44 Implications des lancements de nouveaux produits sur les produits existants.
00:16:01 Concept de cannibalisation des produits, tactiques de l’industrie de la mode.
00:18:02 Sensibilité de la prévision des prix et complications du prix optimal.
00:21:20 Surapprentissage dans la modélisation statistique, impacts sur la prévision des prix.
00:21:58 Avancées dans la technologie de prévision des produits.
00:24:33 Cannibalisation dans les lancements de produits, recherche sur la fidélisation des clients.
Summary
In an interview, Joannes Vermorel, Lokad’s founder, discusses the challenges of forecasting new product demand. Traditional time series forecasting fails for new products due to the lack of historical data. Vermorel criticizes conventional demand planning software for its heavy reliance on past data. For novel products, he suggests conducting market surveys. When new products are variations of existing ones, Vermorel proposes the use of product attributes to anticipate demand. He highlights uncertainty and cannibalization as significant challenges in new product forecasting, advocating a probabilistic approach. Vermorel indicates Lokad’s future direction includes leveraging the customer’s “social network” and transitioning from deep learning to differentiable programming.
Extended Summary
In an ongoing interview, Kieran Chandler and Joannes Vermorel, the founder of Lokad, are exploring the potential and obstacles of forecasting demand for newly launched products. Even though it’s inherently tough and unpredictable, Vermorel maintains that it’s feasible to forecast for new products, though it’s demanding and requires a significant effort.
The interview kicks off by recognizing the importance of forecasting product launches, which allows companies to take advantage of the usual spike in demand following the release of a new product. However, Vermorel points out that the standard forecasting method, time series forecasting, falls short when applied to new products.
Time series forecasting extends historical trends into the future, an approach similar to predicting weather patterns. For instance, a basic forecasting model might average last week’s sales to predict next week’s sales. However, with a new product, there’s no previous sales data to base predictions on, making this methodology insufficient.
Vermorel continues to critique conventional demand planning software that mostly depends on “glorified forms of moving averages,” with models like exponential smoothing, linear regression, and ARIMA acting as sophisticated moving averages. While these models might consider seasonal coefficients and varying averaging windows, they are still heavily reliant on past data, rendering them unfit for new products.
Addressing the issue of forecasting for completely new products, like the first iPhone, Vermorel suggests that statistical forecasts need a relevant set of past observations. Without similar previous products, generating a statistically founded forecast is almost impossible.
One strategy for such unique scenarios might involve surveying the market and measuring consumer opinions. Despite the high cost and time involved, Vermorel believes that for major launches like the iPhone, which likely cost hundreds of millions in research and development, the expense of detailed market research could be justified.
Vermorel begins by outlining the challenges faced when launching multiple new products. He argues that many new products aren’t completely novel but are often variations of existing products, simplifying their future sales estimations. He uses the fashion industry as an example, noting that although they introduce new collections each season, they usually consist of familiar items, such as shirts or shoes, with different features.
For forecasting new product sales, Vermorel proposes comparing the new product to existing ones using shared attributes, a method he argues is significantly different from conventional forecasting software. These attributes, like size and color, can offer valuable insights. For example, extreme sizes or specific colors might not sell as well as more common ones.
The typical method of forecasting new product sales asks a supply chain manager to establish a link between a new and old product. Vermorel criticizes this process as being tedious, especially when launching thousands of new products. It requires manually inspecting a vast archive of past launches. Any incorrect mapping based purely on intuition can make the forecast entirely off-target.
Vermorel proposes a more intelligent approach, using product attributes to predict demand. Depending on the industry, these attributes could vary from size, color, price point, and patterns for fashion items to compatible cartridges and other features for consumer electronics. This variety calls for a statistical algorithm capable of managing a wide range of features, where modern machine learning technologies like deep learning might be beneficial.
The conversation then transitions to the inherent uncertainty associated with new product forecasts. Vermorel acknowledges that the level of uncertainty during a product launch is usually quite high, and suggests a probabilistic forecast might be more helpful in such a case. While such a forecast might not be very precise, the advantage is in recognizing and accounting for the associated risks as the forecast provides a range of potential futures.
Joannes attire l’attention sur le problème de la cannibalisation, en particulier lors du lancement de nouveaux produits, car ils prennent souvent des parts de marché aux dépens des produits existants. Ce problème est répandu dans l’industrie de la mode, où de nouvelles collections
peuvent cannibaliser les ventes des anciennes. Pour y remédier, l’industrie élimine généralement les anciennes collections par le biais de promotions avant d’introduire les nouvelles.
The discussion carries on with a hypothetical situation. If Apple were to launch an iPhone in different colors simultaneously, offering a variety of choices might boost sales, but it could also lead to internal competition between the products.
In relation to price sensitivity, Kieran asks Joannes if it’s possible to predict demand based on price changes. Joannes confirms this, but explains that it adds more complexity to the issue. This discussion leads into the realm of reinforcement learning and the need for a careful balance to avoid overfitting, when a model performs well on known data but poorly on unknown data.
When changing price points, for instance, a brand might be entering unknown territory where past data becomes less relevant. Brands typically adjust their prices slowly, using this process as a learning opportunity. Joannes clarifies that overfitting can become an issue if brands start using their forecasting models to set their prices. To avoid this, it’s crucial not to over-depend on your forecasting model’s output when deciding the price.
Changing direction, Kieran inquires about the near future of product forecasting. Joannes discloses that Lokad has recently introduced a new forecasting engine based on deep learning, which, according to their benchmark, represents a significant upgrade and has reduced errors in new product forecasting by over 20%.
Joannes also emphasizes the significance of understanding the concept of product cannibalization when launching new products. While retailers might be tempted to think that launching many new products will significantly increase sales, Joannes reminds us that these new products will be competing for the same customer base.
The conversation ends with Joannes sharing their ongoing research to leverage the “social network” of customers, which refers to their client base’s consumption patterns. This effort is driven by the understanding that new products tend to first gain traction within the existing customer base. They are transitioning from deep learning to differentiable programming, considered the successor of deep learning, to handle this complex task effectively.
Full Transcript
Kieran Chandler: Aujourd’hui, nous allons discuter de la possibilité de prévoir effectivement de nouveaux produits et de comprendre à quel point nous pouvons avoir confiance en ces résultats. Joannes, malheureusement, nous n’avons pas de boule de cristal ici chez Lokad. Alors, peut-on vraiment prévoir pour de nouveaux produits?
Joannes Vermorel: La réponse courte est oui, la réponse longue est que c’est difficile, cela demande des efforts et les mathématiques appropriées. Au final, quand on pense à la prévision, on imagine souvent un type spécifique de prévision, quelque chose comme la prévision des séries temporelles. On l’assimile à la prévision de la température pour la météo. En gros, vous avez une courbe, ce que vous avez observé dans le passé, et vous voulez étirer cette courbe dans le futur pour obtenir votre prévision. La prévision la plus simple que vous puissiez faire est simplement une moyenne mobile. Par exemple, quelles seront mes ventes la semaine prochaine ? Si je prends la moyenne de mes ventes de la semaine dernière, cela me donne une estimation approximative. Cette approche est naïve mais fonctionne dans une certaine mesure. Cependant, pour les nouveaux produits, elle s’effondre complètement.
Kieran Chandler: Pourquoi cette approche des séries temporelles ne fonctionne-t-elle pas alors ? Pourquoi s’effondre-t-elle ?
Joannes Vermorel: C’est parce que vous n’avez plus rien à moyenner. Vous voulez revenir sur le passé et prévoir le futur en faisant la moyenne de ce que vous aviez. Mais si vous voulez prévoir les ventes d’un produit qui n’a pas encore été vendu, vous n’avez aucune donnée. Si vous prévoyez simplement zéro parce que vous avez vendu zéro la semaine dernière, cela n’a aucun sens. Vous lancez un produit, en espérant vendre quelques unités. L’algorithme traditionnel de moyenne mobile ne fonctionne tout simplement pas. C’est intéressant car la plupart des premiers logiciels de planification de la demande se fondaient sur des formes glorifiées de moyennes mobiles. Il existe de nombreux modèles statistiques avec des noms prétentieux, mais qui ne sont rien d’autre que des moyennes mobiles glorifiées. Le lissage exponentiel est une sorte de moyenne mobile, la régression linéaire est à peine meilleure qu’une moyenne mobile.
Kieran Chandler: Alors, comment peut-on réellement établir une prévision pour quelque chose de complètement nouveau ? Si nous prenons, par exemple, l’iPhone avant sa sortie, rien de tel n’existait auparavant. Peut-on réellement prévoir cela ?
Joannes Vermorel: Oui, comparons cela à la perspective classique sur la prévision des nouveaux produits. Initialement, vous disposez uniquement de modèles de moyennes mobiles. Pour prévoir un nouveau produit, vous demanderiez au supply chain manager de créer un lien entre un nouveau produit et un ancien. Cette approche traditionnelle nécessitait un humain, un supply chain manager, pour répondre à la question, “Quel produit est le plus similaire à celui que vous êtes sur le point de lancer ?” afin que nous puissions faire comme si ce produit se vendait déjà. Ensuite, vous pouviez revenir à votre approche de moyennes mobiles car, soudainement, vous avez des séries temporelles; vous avez les ventes passées du produit.
Cependant, si vous lancez mille nouveaux produits et que vous devez prendre cette décision de mise en correspondance pour chaque nouveau produit que vous êtes sur le point de lancer, et qu’au cours de votre historique, vous avez probablement lancé des dizaines de milliers de produits, alors le processus est incroyablement fastidieux. Vous devriez examiner manuellement toute une archive de lancements passés pour effectuer cette mise en correspondance. Si vous réalisez cette correspondance de manière incorrecte, en vous fiant uniquement à votre intuition, alors votre prévision sera complètement inutile.
Une approche plus intelligente consiste à exploiter les attributs et à considérer quels attributs déterminent la quantité de demande que vous pouvez attendre. Pour revenir à la mode, les tailles sont un indicateur très clair indicator, mais la couleur est également un facteur significatif. Par exemple, si vous proposez des vêtements pour enfants, il est peu probable que les parents achètent des vêtements d’un blanc excessif parce que les enfants vont les salir. Par conséquent, le blanc immaculé pour les enfants tend à ne pas être une très bonne couleur. Cependant, pour les chemises d’affaires, les couleurs dominantes sont probablement le blanc, le bleu clair et le rose clair.
Kieran Chandler: Si vous souhaitez, par exemple, proposer du jaune vif pour des chemises d’affaires, il est probable que cela représente un pourcentage infinitésimal de vos ventes. Ce genre d’observations peut être fait intuitivement, mais les relations peuvent être très subtiles. Les attributs peuvent être incroyablement divers – taille, couleur, niveaux de prix, motifs sur les vêtements. Ou prenons l’électronique grand public, si vous voulez prévoir la demande pour la prochaine imprimante, vous avez un large éventail de caractéristiques à prendre en compte – cartouches compatibles, autres fonctionnalités – c’est extrêmement diversifié.
Joannes Vermorel: C’est ici que nous sommes confrontés à une situation où vous avez besoin d’un algorithme capable de gérer cette diversité écrasante. C’est là que le deep learning, la version moderne du machine learning, entre en jeu. Les algorithmes de deep learning sont particulièrement efficaces pour traiter un ensemble de caractéristiques incroyablement diversifié, qui peut même inclure des descriptions en texte brut des produits.
Kieran Chandler: Il y a une énorme variabilité, beaucoup à prendre en compte. Pouvons-nous avoir confiance dans les résultats des prévisions pour les nouveaux produits ?
Joannes Vermorel: C’est précisément le point que la prévision probabiliste tente d’aborder. Le degré d’incertitude lors du lancement d’un nouveau produit est généralement très élevé. S’il était facile de prévoir un nouveau produit, il ne serait probablement pas nouveau, il s’agirait d’un simple remplacement d’un substitut quasi parfait de l’un de vos produits existants. Dans ce cas, la mise en correspondance manuelle que j’ai décrite précédemment est probablement adéquate. Mais si vous lancez quelque chose d’un peu nouveau, qui ne correspond pas entièrement à ce que vous vendiez auparavant, il y a une incertitude irréductible. Mais ce n’est pas grave. Vos concurrents font face au même défi. Pour surpasser la concurrence, tout ce que vous avez à faire est de prévoir mieux qu’eux. Vous n’avez pas de boule de cristal, mais il y a de fortes chances que ce ne soit pas le cas pour eux non plus.
Kieran Chandler: Avec cette incertitude irréductible, quelles attentes pouvons-nous avoir ?
Joannes Vermorel: C’est là qu’intervient l’avantage de la prévision probabiliste. Oui, votre prévision sera inexacte, mais si vous réalisez une prévision probabiliste, vous êtes pleinement conscient de cette inexactitude. Ce que vous verrez en pratique, c’est une distribution répartie sur de nombreux futurs possibles, de sorte que vos décisions prennent en compte le risque d’une demande extrêmement supérieure ou inférieure à votre prévision. Il s’agit de considérer toutes les possibilités.
Kieran Chandler: Si nous regardons les choses du point de vue de Lokad, nous envisageons une plage de probabilités pour l’ensemble de l’entreprise, l’intégralité du catalogue. Si un article individuel pouvait se vendre en grande quantité ou très peu, cela ne modifierait-il pas les résultats de toutes nos prévisions ?
Joannes Vermorel: Absolument, c’est ce qui rend le problème d’autant plus difficile.
Kieran Chandler: Cela semble assez compliqué. Si je comprends bien, si vous voulez produire une prévision statistique pour de nouveaux produits, vous devez examiner les lancements passés et mettre en correspondance leurs attributs pour trouver des produits pertinents. Ce processus ressemble au concept de “matching”, mais entièrement automatisé. Cependant, lancer un nouveau produit déplace la demande de vos produits existants. Ai-je raison ?
Joannes Vermorel: En effet, chaque produit que vous lancez est susceptible de cannibaliser vos ventes existantes. Prenez, par exemple, un détaillant de mode qui introduit un nouveau type de chemise. Il vendait probablement déjà des chemises, donc lorsqu’un nouveau modèle branché apparaît, vous ne gagnez pas seulement des parts de marché par rapport à vos concurrents. Au contraire, vos clients pourraient choisir ce nouveau produit plutôt qu’un autre que vous vendiez déjà. Cette situation mène à la cannibalisation, qui est très difficile à gérer.
Kieran Chandler: C’est tellement difficile à gérer que c’est l’une des principales raisons pour lesquelles les marques de mode ont des collections, n’est-ce pas ?
Joannes Vermorel: Exactement. Plutôt que d’essayer de résoudre ce problème complexe de cannibalisation, il est plus facile de faire une vente, de liquider toutes les collections précédentes, puis de lancer une nouvelle collection. De cette manière, vous évitez la cannibalisation entre le vendeur de la nouvelle collection et l’ancienne. Vous avez liquidé les stocks afin de n’avoir pas deux collections en compétition à un moment donné.
Kieran Chandler: Donc, si vous voulez affiner votre prévision pour les nouveaux produits, cela ne peut pas se faire isolément, n’est-ce pas ? Si vous lancez plusieurs produits, ils cannibaliseront ce que vous avez et se cannibaliseront également entre eux.
Joannes Vermorel: Correct. Par exemple, si Apple décide de lancer un nouvel iPhone, ils n’auraient pas les mêmes ventes s’ils ne sortaient qu’une seule couleur — le noir, par exemple — par rapport à s’ils permettaient aux clients de choisir parmi cinq couleurs différentes le jour du lancement. Bien que proposer plus d’options puisse augmenter légèrement les ventes, il y aurait également beaucoup de cannibalisation.
Kieran Chandler: Vous avez mentionné les ventes, ce qui revient à ajuster le prix du produit en fonction des tendances du marché. Existe-t-il un moyen de prévoir la sensibilité du prix ? Est-il possible de prédire la demande pour un produit si je baisse son prix ?
Joannes Vermorel: Oui, mais cela rend le problème encore plus complexe. Cela nécessite de dépasser l’apprentissage supervisé classique pour plonger dans le domaine du reinforcement learning ou d’autres situations avancées. Pourquoi ? Parce que vous contrôlez ce que vous allez observer une fois que vous commencez à prendre en compte le prix.
Par exemple, une marque de mode n’a observé que le schéma des ventes pour les niveaux de prix qu’elle a pratiqués par le passé. Donc, si vous décidez de vous positionner sur le marché haut de gamme vers des niveaux de prix plus élevés, vous vous aventurez dans des territoires inconnus où vos données historiques ne sont pas très pertinentes. De nombreuses marques effectueraient une transition graduelle afin d’avoir encore la possibilité d’apprendre et d’observer.
D’un point de vue statistique, le défi est que si vous construisez un modèle de prévision qui prend un niveau de prix comme entrée, vous pouvez ajuster la prévision avec ce niveau de prix. Cependant, le danger réside dans ce qui se passe si vous commencez à utiliser la sortie de votre modèle de prévision.
Kieran Chandler: Donc, vous parlez d’un modèle pour traiter le pricing. Comme si l’on pouvait construire un modèle de prévision, ajuster le prix, et réaliser des scénarios what-if, en envisageant le lancement du même produit à différents prix. Cette approche vise à choisir le prix optimal qui nous bénéficie le plus. Cependant, si cela est fait de manière naïve, ne conduirait-il pas à un problème particulier de surapprentissage ?
Joannes Vermorel: Oui, en effet. Si vous répétez cet exercice de nombreuses fois avec des variations minimes de prix, le prix que vous choisirez pourrait n’être qu’une fluctuation de votre modèle de prévision lui-même. En essence, vous amplifierez tout problème de surapprentissage que vous pourriez avoir dans votre processus d’apprentissage. Le surapprentissage se produit lorsqu’un modèle statistique fonctionne bien sur les données dont vous disposez déjà, mais pas aussi bien sur les données dont vous ne disposez pas. Ironiquement, lors de l’établissement d’une prévision statistique, vous voulez que votre modèle performe bien sur les données que vous n’avez pas.
Kieran Chandler: Cela soulève effectivement une question intéressante sur la manière de mesurer la précision d’un tel modèle. Mais nous pourrons en parler un autre jour. Pour revenir à cette question du pricing, il semble qu’exploiter le prix dans un modèle de ce type pourrait devenir extrêmement compliqué. Et, bien sûr, vous ne voudriez pas générer une erreur de surapprentissage massive à cause de l’exploration de la variable prix, n’est-ce pas ?
Joannes Vermorel: Exactement, l’exploration de la variable prix peut entraîner un surapprentissage massif, ce qui est un aspect très délicat à gérer.
Kieran Chandler: Cela semble être un problème assez complexe à résoudre. Pour terminer, à quoi ressemble le futur proche en termes de prévision des nouveaux produits ? Quelles avancées technologiques pouvons-nous attendre avec impatience ?
Joannes Vermorel: Eh bien, rien que le mois de décembre dernier, nous avons lancé notre nouveau moteur de prévision qui est basé sur le deep learning. Selon notre propre benchmark, il s’agissait probablement de l’une de nos mises à niveau les plus significatives en termes de gains incrémentaux de précision. Le gain en précision pour la prévision des nouveaux produits dépassait les 20 % en réduisant l’erreur, ce qui est assez significatif. Une chose que nous avons apprise avec ce modèle est la capacité d’exploiter des descriptions en texte brut, ce qui peut s’avérer très utile. Par exemple, si vous êtes un détaillant et souhaitez prévoir combien d’unités vous allez vendre pour des boîtes Lego. C’est un problème épineux car, par exemple, Lego lance un nouveau château médiéval chaque année.
Kieran Chandler: Les châteaux médiévaux ne doivent pas être confondus avec les châteaux elfiques. L’un sera destiné aux garçons, tandis que l’autre le sera aux filles. Cependant, cela est subtil, et vous ne disposez pas réellement de tous les attributs détaillés pour refléter cela si vous vendez des milliers de jouets dans votre magasin.
Joannes Vermorel: En effet, tout repose sur les attributs, mais souvent vous ne disposez pas d’autant de données provenant de votre fournisseur. Et vous n’avez pas nécessairement le temps de les ajouter ou de les ajuster manuellement vous-même. Par conséquent, il arrive parfois que vous ayez besoin d’un moteur de prévision capable de traiter la description en texte brut. Un domaine sur lequel nous travaillons actuellement est d’exploiter ces détails pour obtenir des prévisions plus spécifiques et plus précises.
Pour les lancements de produits, il est essentiel d’embrasser l’idée de cannibalisation. Si vous lancez davantage de produits, cela ne signifie pas que vos ventes vont exploser. Tous les nouveaux produits que vous lancez se disputent les mêmes clients que vous avez déjà. Ainsi, l’un des domaines de recherche sur lequel nous nous concentrons est d’exploiter notre base de données loyalty.
Typiquement, si vous êtes un détaillant, vous savez quel client achète quoi. C’est complètement différent d’une perspective de séries temporelles où vous ne pensez qu’au nombre d’unités vendues par jour ou par semaine pour un produit donné. Ici, vous voulez prendre en compte le réseau social des clients qui ont consommé les produits par le passé. L’idée est que, lorsque vous lancez un nouveau produit, ce dernier commencera principalement par gagner en traction au sein de votre clientèle existante.
Si vous voulez disposer de modèles mathématiques capables de traiter le réseau social de vos clients, vous devez généralement passer du deep learning à la programmation différentiable, qui est le descendant du deep learning. C’est à ce stade que nous en sommes maintenant.
Kieran Chandler: C’est fascinant. Nous allons devoir nous arrêter là, mais la prévision des médias sociaux et la prévision de la fidélité sont des concepts vraiment intéressants. Merci d’avoir pris le temps aujourd’hui.
Joannes Vermorel: Merci.
Kieran Chandler: Voilà, c’est tout pour cette semaine. Si vous rencontrez des problèmes pour prévoir les nouveaux produits, nous serions ravis d’avoir de vos nouvelles. Envoyez-nous un email ou laissez un commentaire ci-dessous. Nous sommes intéressés par les défis auxquels vous faites face. C’est tout pour cette semaine, mais nous nous reverrons la prochaine fois. Au revoir pour l’instant.
