00:00:08 Introduction et parcours de Spyros Makridakis.
00:01:36 Scepticisme à l’égard de la prévision statistique au début.
00:04:44 L’évolution de la prévision dans le commerce de détail et les biens de consommation.
00:05:44 Résultats des premières études de prévision de Spyros.
00:07:21 La compétition M5 et son importance pour l’industrie de la prévision.
00:08:01 La performance de Lokad lors d’une compétition de prévision.
00:09:01 Des modèles simples et leur efficacité lors de la compétition.
00:10:20 L’évolution des techniques de prévision au fil des années.
00:11:46 L’introduction des ordinateurs et leur impact sur la prévision.
00:14:32 Scénario de test versus application réelle et biais méthodologique.
00:16:00 Discussion sur les défis de la prévision des séries temporelles erratiques.
00:17:20 Changement de perception vers la prévision en tant que science.
00:18:28 Le problème de la surconfiance et des attentes irréalistes en matière de prévision.
00:21:00 Gérer l’incertitude et les événements à queue épaisse en prévision.
00:23:01 Injection de priors structurels pour prendre en compte les événements extrêmes dans les modèles de prévision.
00:24:00 Discussion sur l’impact des événements de queue sur les modèles de prévision.
00:24:46 Injection de priors structurels pour des décisions supply chain plus résilientes.
00:25:52 Recommander l’œuvre de Nassim Taleb pour comprendre les événements de cygne noir.
00:26:35 Réalisations issues des compétitions M : simplicité, compréhension de l’incertitude et gestion du risque.
Résumé
Dans cette interview, Kieran Chandler discute de la prévision avec Joannes Vermorel, fondateur de Lokad, et Spyros Makridakis, professeur à l’Université de Nicosie. Ils explorent l’impact des compétitions M, l’efficacité des méthodes simples, et le rôle de l’incertitude dans la prévision. Vermorel partage son expérience lors de la compétition M5, en soulignant la puissance des modèles simples et l’importance de comprendre l’incertitude. Makridakis met en avant l’importance des preuves empiriques et la nécessité d’être préparé face au risque. Ils insistent sur les limites de la prévision et le défi de faire accepter l’incertitude aux clients.
Résumé étendu
Dans cette interview, l’animateur Kieran Chandler s’entretient avec les invités Joannes Vermorel, fondateur de Lokad, et Spyros Makridakis, professeur à l’Université de Nicosie et organisateur des compétitions M. La discussion porte sur la science de la prévision et l’impact des compétitions M sur l’industrie.
Spyros Makridakis évoque son parcours en tant qu’enseignant et organisateur des compétitions M, qui ont influencé la prévision tant dans le milieu académique que dans l’industrie. L’interview abordera plus en détail par la suite les compétitions M5.
Joannes Vermorel évoque le scepticisme auquel il a dû faire face lors de la fondation de Lokad en 2007, certaines personnes estimant que la prévision statistique n’était pas fiable. Avec le temps, cette perspective a presque disparu dans l’industrie, et Vermorel attribue aux compétitions M de Makridakis le mérite d’avoir contribué à normaliser le domaine en tant qu’effort scientifique.
Makridakis souligne l’importance de la prévision en évoquant la situation actuelle au Texas, où les supermarchés sont à court de marchandises. Il explique que la plupart du temps, les consommateurs trouvent ce dont ils ont besoin car des entreprises comme Walmart et Target prévoient des millions d’articles chaque semaine. Lorsqu’il y a des ruptures de stock, cela met en lumière l’efficacité de la prévision, car les gens ne remarquent le problème que lorsque les choses tournent mal.
Makridakis revient également sur le début de sa carrière, lorsqu’il a mené la première étude sur la précision de différentes méthodes de prévision. Les résultats, qui démontraient que les méthodes simples étaient plus précises que les méthodes sophistiquées et que la combinaison de méthodes améliorait la précision, ont été surprenants et initialement accueillis avec scepticisme. Cependant, ces conclusions ont depuis été prouvées et ont eu un impact considérable sur le domaine de la prévision.
Ils abordent les techniques de prévision, la compétition M5 et l’impact de la technologie sur le domaine.
Makridakis explique que les nouvelles techniques de prévision utilisant le deep learning consistent à générer un grand nombre de modèles et à prendre la médiane comme meilleure prévision. Vermorel partage son expérience lors de la compétition M5, notant que Lokad s’est classé 6e sur 909 équipes pour la partie quantile forecasting. Il souligne l’absence de leurs principaux concurrents parmi les 100 premiers et le décalage entre la part de marché et la performance dans de telles compétitions.
Vermorel souligne ensuite que Lokad a utilisé un modèle paramétrique très simple, démontrant ainsi la puissance des méthodes simples en prévision. De plus, il insiste sur le fait que la précision n’est pas le seul aspect important en prévision ; comprendre la structure de l’incertitude est également crucial. Makridakis est d’accord, ajoutant que les résultats de la compétition M5 ont montré que les méthodes simples de machine learning étaient plus précises et efficaces que les méthodes sophistiquées.
La conversation se tourne vers l’introduction des ordinateurs dans la prévision, avec Makridakis expliquant que la clé du succès réside dans la simplicité. Il décrit l’importance de séparer les données de prévision en parties d’entraînement et de test pour éviter l’overfitting du passé et prendre en compte les changements entre le passé et l’avenir. Vermorel est d’accord, soulignant le défi de prédire avec précision des données qui ne sont pas encore disponibles, et l’importance de ne pas supposer que l’avenir sera exactement comme le passé.
Ils abordent l’évolution de la prévision, l’importance de ne pas sur-ajuster les données et la signification de l’incertitude dans les prédictions.
Vermorel explique le développement de la théorie de la prévision à la fin du XXe siècle, avec les travaux de Vapnik et Chervonenkis qui ont contribué au concept des machines à vecteurs de support. Ces machines ont mis en évidence la nécessité de minimiser à la fois l’erreur structurelle et l’erreur empirique, tout en fournissant une borne inférieure pour l’erreur réelle.
Makridakis souligne l’importance des compétitions, où une partie des données est retenue, comme moyen d’établir une méthodologie rigoureuse pour la prévision. Il oppose cela aux scénarios réels, où il y a une tentation de surajuster les données afin d’obtenir une adéquation parfaite aux événements passés, ce qui peut conduire à des prédictions futures moins précises.
Vermorel partage un exemple tiré de son expérience chez Lokad, où les clients étaient souvent surpris par la prévision plus lissée générée pour des séries temporelles erratiques, comme la consommation d’alcool dans les hypermarchés. Les concurrents présentaient souvent des prévisions qui imitaient étroitement la nature erratique des données historiques, ce qui amenait les clients à se montrer sceptiques quant aux prévisions plus lissées de Lokad.
Makridakis aborde le changement de perception de la prévision en tant que science, soulignant l’importance de séparer le passé de l’avenir et de ne pas essayer de surajuster les données passées. Il met en avant l’importance de prendre en compte l’incertitude dans les prédictions et reconnaît que, bien que les clients ne valorisent pas toujours cet aspect, il est essentiel pour une prévision réaliste.
La discussion portait sur les attentes vis-à-vis de la prévision. Vermorel note que certains concurrents dans l’industrie du commerce de détail revendiquent des niveaux de précision incroyablement élevés, ce qui est impraticable compte tenu de la nature du comportement des consommateurs. Cela soulève la question de savoir si les gens attendent désormais trop de la prévision et s’ils la perçoivent comme infaillible.
La conversation tourne autour de la prévision, des limites et des défis dans ce domaine, et de l’impact de l’incertitude et des événements rares sur l’optimization de la supply chain.
Les participants évoquent comment certains fournisseurs et consultants ont tendance à surestimer l’idée de prévisions incroyablement précises, menant à des attentes irréalistes de la part des utilisateurs. Ils soulignent que la prévision n’est pas parfaite, et que l’incertitude est inhérente, notamment dans des domaines tels que le commerce de détail. Makridakis fait remarquer qu’il existe non seulement une incertitude normale, mais également une incertitude à queue épaisse, constituée d’événements rares et extrêmes pouvant provoquer d’importantes disruptions, comme la pandémie de COVID-19.
Vermorel est d’accord sur le fait que certains consultants promettent trop, et il explique que le défi de la prévision probabiliste ne réside pas dans l’aspect technique, mais plutôt dans la transmission de l’acceptation de l’incertitude et des limites du contrôle. Il explique que les modèles de prévision simples peuvent être utiles pour injecter des priors structurels afin de tenir compte des événements de queue, même si la quantification reste vague. Ce faisant, les décisions supply chain peuvent être orientées vers des solutions plus robustes et résilientes face aux événements rares.
Makridakis souligne l’importance des preuves empiriques pour déterminer ce qui fonctionne et ce qui ne fonctionne pas en prévision. Grâce aux compétitions M, ils ont découvert que la simplicité est la meilleure approche, reconnaissant le caractère aléatoire et imprévisible du passé. Il insiste sur l’importance de reconnaître l’incertitude et le risque associés aux prévisions, ainsi que la nécessité d’être préparé à les affronter.
L’interview aborde les défis et les limites de la prévision, le rôle de l’incertitude dans la prise de décision, et l’importance d’intégrer les événements rares dans l’optimization de la supply chain.
Transcription complète
Kieran Chandler: En matière de prévision, nous tenons souvent pour acquis qu’il existe des techniques éprouvées qui ont fait leurs preuves depuis des générations. Cependant, notre invité d’aujourd’hui n’a pas bénéficié de ce luxe, c’est Spyros Makridakis, l’un des pionniers de l’industrie, qui a en réalité inventé bon nombre des techniques que nous utilisons désormais comme standard. Aujourd’hui, nous allons en apprendre un peu plus sur sa carrière et ce que nous pouvons tirer de plus de 50 ans d’expérience dans le secteur. Alors Spyros, merci beaucoup de nous rejoindre en direct depuis Chypre aujourd’hui. Et comme toujours, nous aimons commencer par découvrir un peu plus nos invités. Pourriez-vous peut-être commencer par nous parler un peu plus de vous-même ?
Spyros Makridakis: Eh bien, comme vous le savez, j’ai été enseignant pendant longtemps, et c’est là que j’ai commencé à travailler sur la prévision. Ensuite, j’ai quitté ce milieu, et lorsque j’ai pris ma retraite il y a 15 ans, me voici maintenant à Chypre, à l’université, car nous continuons. Et je sais que vos entreprises participent aux compétitions M4 et M5, que j’organise depuis les 40 dernières années. Vous connaissez donc ma contribution et comment les compétitions M, qui représentent les compétitions Makridakis, ont affecté l’industrie de la prévision ainsi que les entreprises et les universitaires qui se servent de ces résultats.
Kieran Chandler: Formidable ! Nous aborderons la discussion sur les compétitions M5 un peu plus tard. Peut-être dans la première partie, allons-nous revenir sur les 50 dernières années de la science de la prévision telle que nous la connaissons, et il semble qu’il y ait beaucoup de terrain à couvrir aujourd’hui. Joannes ?
Joannes Vermorel: Oui, ce qui est intéressant, c’est que lorsque j’ai fondé Lokad, en 2007, il y avait encore des personnes extrêmement sceptiques quant à l’idée même de la prévision statistique, quel qu’en soit le type. C’était très étrange parce qu’à l’époque, je me demandais moi-même si je devais poursuivre mon doctorat en machine learning, que j’avais commencé mais jamais terminé, ou si je devais me lancer avec Lokad, ce projet. Et lorsque j’ai postulé à un incubateur de startups, la première fois, ma candidature a été rejetée parce que deux membres du jury étaient fermement convaincus que la prévision statistique était tout simplement une absurdité totale. C’était littéralement du genre : “Non, nous n’acceptons pas les startups dont le plan d’affaires consiste essentiellement à vendre des divinations.” Je veux dire, il ne fait aucun doute que l’on peut gagner de l’argent avec la divination ; cela se fait depuis des lustres. Mais, est-ce acceptable qu’une telle entreprise intègre réellement l’incubateur ? La réponse a été catégoriquement non. Mais le plus amusant, c’est que c’était pratiquement la dernière génération à adhérer à cette idée. Je pense que depuis la décennie ou plus où je dirige Lokad, il n’y a quasiment plus personne dans cette industrie qui partage cette conviction. C’est donc très amusant ; c’était littéralement la science en action.
Kieran Chandler: Joannes et Spyros, merci de nous avoir rejoints aujourd’hui. Joannes, je pense que vos contributions et les compétitions M ont été des éléments clés pour normaliser le domaine de la prévision. Cela est devenu plus une science ordinaire et non plus une science marginale. Ce qui se passe actuellement au Texas est intéressant. Les supermarchés n’ont plus aucune marchandise, et les gens ne trouvent ni nourriture ni autres produits essentiels. Quand on parle de prévision, je leur dis de penser à toutes les fois où ils se rendent dans un supermarché et trouvent ce qu’ils veulent. Les supermarchés possèdent des millions d’articles, et ils font des prévisions pour chacun d’entre eux. Des entreprises comme Walmart et Target prévoient des millions d’articles chaque semaine, de sorte que les consommateurs trouvent ce qu’ils souhaitent acheter. Lorsqu’il y a un manque de stock, comme actuellement au Texas, cela surprend les gens, mais cela prouve en réalité la qualité de la prévision, car la plupart du temps, ils peuvent trouver ce qu’ils veulent.
Spyros Makridakis: Absolument, Kieran. La prévision a été façonnée de multiples manières par le travail que j’ai accompli. Quand j’ai commencé en tant que jeune professeur, le paysage était tout autre. Nous avons réalisé la première étude sur la précision prédictive de différentes méthodes de prévision. Ce que nous avons découvert a surpris les statisticiens de l’époque. J’ai présenté les résultats à Londres lors de la Royal Statistical Society, et tout le monde m’attaquait, affirmant que nous avions trouvé ces résultats parce que nous manquions d’expérience en prévision. Nous avons constaté que des méthodes très simples étaient plus précises que des méthodes sophistiquées, et que si l’on combinait plusieurs méthodes, la précision s’améliorait. Ces deux constatations étaient inacceptables pour les statisticiens de l’époque, qui croyaient qu’il était possible de trouver la meilleure méthode et que des méthodes plus sophistiquées seraient plus précises. Mais aujourd’hui, de nouvelles techniques utilisant deep learning prévoient 500 modèles différents pour ensuite en prendre la médiane, estimée être la meilleure prévision.
Kieran Chandler: Joannes, la compétition M5 est un événement auquel vous avez participé il n’y a pas si longtemps. Du point de vue d’un fournisseur, que représente la compétition M5 pour vous ?
Joannes Vermorel: La compétition M5 est vraiment amusante. C’est l’une de ces rares occasions où nous pouvons mettre en valeur nos compétences en prévision et collaborer avec d’autres acteurs du secteur. Cela nous aide à améliorer nos méthodes et maintient le domaine compétitif, stimulant l’innovation et le progrès.
Kieran Chandler: Bienvenue à tous à l’interview d’aujourd’hui. Aujourd’hui, nous avons Joannes Vermorel, le fondateur de Lokad, et Spyros Makridakis, professeur à l’Université de Nicosie, Directeur de l’Institute for the Future, et Professeur émérite de Decision Sciences à INSEAD. Joannes, vous avez participé aux M-Competitions, pouvez-vous nous en dire plus ? Joannes Vermorel: Oui, les M-Competitions sont des événements reconnus mondialement où les participants s’affrontent sur la base de leurs compétences, ce qui les différencie des salons qui se concentrent principalement sur le marketing. Ce qui est intéressant, c’est que dans le top 100 des entreprises, aucun de nos plus grands concurrents n’était présent, que l’on observe l’un ou l’autre côté de la compétition. C’est surprenant car ce qu’ils vendent, c’est la prévision. Il y a donc un décalage énorme entre ce qui se passe lors d’un test réel et les parts de marché typiques observées dans ce secteur. Une autre chose sur laquelle j’aimerais commenter est la simplicité de notre modèle. Lokad s’est classé sixième sur 909 équipes du côté quantile de la compétition en utilisant un modèle paramétrique très simple comportant seulement trois éléments simples : le jour de la semaine, le début et la fin du mois, et la semaine de l’année. Nous avons utilisé ESSM et obtenu des résultats avec une précision à 1 % près du meilleur modèle, qui utilisait des gradient booster trees et un vaste schéma d’augmentation de données. Ce qui est intéressant, c’est que nous n’avons utilisé que 0,001 de la complexité. Je crois que cela démontre que des méthodes très simples peuvent être très puissantes. La compétition a également montré que la précision au sens classique n’est pas le seul élément important. D’autres dimensions de la prévision, telles qu’une meilleure compréhension de la structure de l’incertitude elle-même, sont également essentielles. C’est de cela qu’il s’agit dans les prévisions probabilistes, et chez Lokad, nous travaillons dur sur ce sujet depuis presque une décennie. Spyros Makridakis: Tu as raison, Joannes. Lors de la première M-Competition, des méthodes statistiques simples étaient plus précises que des méthodes sophistiquées. Dans la compétition M5, nous avons constaté que des méthodes de machine learning simples étaient plus précises que des méthodes de machine learning sophistiquées, comme le deep learning. Les meilleurs concurrents, tant dans les défis de précision que d’incertitude, utilisaient des méthodes de machine learning simples, et ils ont été les plus précis et efficaces pour prédire les données de Walmart. Un des aspects intéressants de la compétition M5 est que tout le monde utilise des techniques de prévision informatisée. Kieran Chandler: Et c’est devenu la norme dans l’industrie, mais si l’on se souvient de vos débuts, Spyros, lorsque vous commenciez en tant que professeur, c’était un peu avant l’avènement des ordinateurs. Alors, comment l’introduction des ordinateurs a-t-elle changé votre manière de travailler ? Quelles opportunités cela vous a-t-il offertes ? Spyros Makridakis: Eh bien, les opportunités résident dans le fait que cela a simplifié les choses. En prévision, il y a deux aspects : l’un consiste à ajuster ce qui s’est passé dans le passé, ce qui est la partie facile. Avant de commencer la compétition, les gens surajustaient le passé, pensant que l’avenir serait exactement comme le passé. Il n’y avait pas l’idée de séparer les données de prévision en une partie d’entraînement et une partie de test. Nous essayons donc de prédire aussi précisément que possible, non pas la partie d’entraînement, mais la partie test – l’avenir, en d’autres termes. Parce que l’avenir n’est pas exactement comme le passé, il évolue, et l’idée maintenant est de ne pas surajuster le passé, car il y aura des changements entre le passé et l’avenir. Nous essayons donc de comprendre comment ces changements vont se produire et de les utiliser pour prédire l’avenir plus précisément. C’est une différence très importante, car dans le passé, on ne prenait pas cela en compte ; on pensait que l’avenir serait exactement comme le passé, mais nous savons très bien que cela n’arrive jamais. Kieran Chandler: Seriez-vous d’accord avec cela, Joannes ? Je veux dire, comment avez-vous vu les techniques de prévision évoluer au fil des décennies si l’on se penche en arrière ? Joannes Vermorel: Je pense que ce que Spyros Makridakis souligne est fondamental. Il existe ce paradoxe apparent selon lequel on souhaite être précis sur des données que l’on ne possède pas. C’est quelque chose de très déroutant lorsqu’on y réfléchit, car, naturellement, chaque fois que l’on veut mesurer la précision, par définition, on la mesure par rapport aux données dont on dispose, mais ce n’est pas ce que l’on doit faire. Ce problème a été en partie résolu à la fin du XXe siècle grâce à la théorie de Vapnik et Chervonenkis. C’est une théorie très abstraite qui a donné naissance aux support vector machines, qui sont très complexes. Elles ont commencé à formaliser l’idée selon laquelle il y a l’erreur empirique et l’erreur structurelle. L’erreur structurelle consiste, en gros, à minimiser l’erreur réelle, cette erreur réelle étant définie comme l’erreur que vous êtes sur le point de commettre sur des données que vous ne possédez pas. Il faut minimiser à la fois l’erreur structurelle et l’erreur empirique, et c’est de cela qu’il s’agit avec les support vector machines. Ces machines ont une perspective très théorique. Elles ont été mises en œuvre et ont rencontré un grand succès en tant que technique de machine learning dans quelques domaines. Je pense que leur contribution la plus importante a été de clarifier, d’un point de vue plus théorique, ce qui se passait. Et puis, lorsque l’on veut réellement obtenir des résultats concrets, recourir à ces compétitions où l’on réserve réellement une partie des données est probablement la meilleure manière d’obtenir des prévisions précises. Kieran Chandler: Afin d’avoir, dirais-je, une méthodologie très claire, en quoi l’approche que vous adoptez dans un scénario de test, qui est très orienté compétition, diffère-t-elle de ce que vous feriez dans le monde réel ? Je veux dire, dans le monde réel, vous avez accès à toutes les données en permanence, et cela vous donne ce fort biais méthodologique que le professeur Makridakis soulignait. Il est incroyablement tentant de simplement opter pour quelque chose qui va s’ajuster aux données, vous savez. Spyros Makridakis: C’était ce qu’ils faisaient autrefois. La célèbre méthodologie Box-Jenkins consistait à ajuster au mieux le passé, et c’est pourquoi elle perdait face à toutes les méthodes simples qui n’ajustaient pas parfaitement le passé mais prédisaient plus précisément l’avenir. Si vous surajustez, vous perdez l’essence même de la prévision. L’avenir n’est jamais exactement comme le passé. Joannes Vermorel: Exactement. Et l’un des exemples déroutants fut lorsque j’ai lancé Lokad. Les clients étaient généralement très surpris de voir une série temporelle incroyablement erratique, par exemple, la consommation d’alcool dans les hypermarchés, un produit très erratique avec des pics. Lorsque nous réalisions des prévisions classiques lors des premières années de Lokad, avant d’adopter les prévisions probabilistes, nous faisions des prévisions classiques. Pour ces séries temporelles extrêmement erratiques, je présentais une prévision beaucoup plus lissée que la série temporelle d’origine. La plupart de mes concurrents étaient capables d’exposer des séries temporelles de prévision aussi erratiques, exactement aussi erratiques que les séries temporelles d’origine. Les clients étaient, et j’ai eu de nombreux débats passionnés avec mes prospects qui n’étaient pas encore clients, et qui ne croyaient pas que cette prévision super lissée puisse être correcte parce qu’elle était si différente de la série temporelle historique, très erratique et ponctuée de pics. Tandis que mes concurrents présentaient des prévisions très piquées, ils étaient capables de les exhiber et de les mettre en valeur en reproduisant fidèlement l’aspect erratique des données historiques. Kieran Chandler: Alors, Spyros, l’une des choses qui m’intrigue vraiment est de savoir comment la perception de la prévision a évolué au cours de votre carrière. Quand ce changement, qui a conduit à percevoir la prévision comme une science, s’est-il produit, et quand est-elle devenue plus acceptée par le grand public ? Spyros Makridakis: Eh bien, cela a pris du temps. Au début, les statisticiens classiques utilisaient la même approche qu’ils vous employaient en affirmant que l’important était de suivre les fluctuations des séries. Mais ce n’est pas ainsi que l’on prévoit. Il a fallu un certain temps pour réaliser que l’on ne peut pas prédire le hasard, et ce que les M Competitions ont prouvé sans aucun doute, c’est que l’essentiel est de séparer le passé de l’avenir et de ne pas surajuster le passé, mais d’avoir un modèle adaptable aux changements entre le passé et l’avenir. C’est le changement majeur. Et maintenant, il est admis qu’en plus d’examiner la prévision, nous devons prendre en compte l’incertitude dans nos prédictions. Beaucoup de gens n’apprécient pas cela du tout, car, psychologiquement, il n’est pas très prudent de parler d’incertitude, de dire que je vais prévoir tout en étant incertain. Kieran Chandler: Joannes, à quel point diriez-vous que vos prévisions sont inexactes ? Les clients me disent souvent que vous affirmez vous concentrer, mais reconnaissez aussi que vous ne pouvez pas prévoir en raison d’une grande incertitude quant à l’avenir. Spyros Makridakis: C’est la réalité, il faut rester réaliste. Cela introduit une sorte d’idée de niveau de confiance dans votre prévision. Joannes, diriez-vous que la perception a presque évolué au point que les gens attendent trop de la prévision et s’attendent à ce qu’elle soit infaillible ? Joannes Vermorel: C’est une question intéressante. Je suis allé plusieurs fois au salon de la National Retail Federation à New York, et ce que j’ai constaté, c’est que la plupart de mes concurrents faisaient très fréquemment des affirmations complètement farfelues d’avoir une précision de 99 % dans le retail. Franchement, je ne sais même pas ce que signifie 99 % de précision dans les hypermarchés, où la plupart des produits se vendent en petites quantités chaque jour. C’est ridicule de penser que l’on pourrait savoir, jusque-là jusqu’à la dernière unité, si quelqu’un va choisir un produit, alors que cette personne pourrait même ne pas s’en rendre compte. J’ai vu de nombreux fournisseurs tenter de survendre l’idée que l’on peut obtenir des prévisions incroyablement précises partout, ce qui est absolument faux. Ils exploitent l’aura scientifique que la prévision statistique a acquise dans d’autres domaines, comme la démographie, la consommation d’électricité et d’eau, où l’incertitude est relativement très faible, pour prétendre qu’ils peuvent atteindre le même niveau de précision dans les hypermarchés, ce qui n’est tout simplement pas équivalent. On peut faire beaucoup, mais ce n’est pas le même ordre de grandeur en termes de précision. Spyros Makridakis: L’un des plus grands problèmes pour les utilisateurs de prévisions est que leurs attentes sont trop élevées, car les consultants essaient de leur vendre des prévisions dont ils sont excessivement confiants, et c’est l’un des plus gros problèmes. Ainsi, une partie de ce que nous devons faire sur le terrain, c’est de dire : “Regardez, nous ne pouvons pas être des prophètes. Nos données, notamment dans le retail, nous indiquent que l’incertitude est très grande, et nous devons agir en conséquence.” Nous ne parlons pas seulement de l’incertitude normale ; il y a aussi une incertitude fatale, comme les célèbres événements du cygne noir de Nassim Taleb, qui anéantissent bon nombre de nos prévisions et créent des problèmes tels que ceux engendrés par la pandémie. Nous devons également en tenir compte ; on ne peut pas éviter l’incertitude. Kieran Chandler: Joannes, seriez-vous d’accord avec cela ? Nous avons déjà parlé par le passé des consultants qui arrivent et promettent un peu trop en matière de prévisions. Joannes Vermorel: Oui, je suis d’accord. Ce qui était réellement difficile avec les prévisions probabilistes, ce n’était pas la technicité de leur production, mais la gestion des attentes qui avaient été fixées trop haut par des consultants ayant promis trop de choses. Kieran Chandler: Alors Joannes, vous avez évoqué l’importance des prévisions probabilistes et de l’injection de priors structurels. Pouvez-vous nous en dire un peu plus à ce sujet ? Joannes Vermorel: Certainement. Les probabilités, ce n’est pas si difficile. Ce qui a été difficile, c’était en effet de faire accepter que, oui, Lokad optait pour des prévisions probabilistes. Non pas parce que nos prévisions étaient médiocres. Je pense que, même si nous ne sommes pas initialement les meilleurs dans ces compétitions, nous ne nous classons certainement pas très haut. Le problème n’était pas que nous avions des prévisions médiocres, mais d’obtenir l’acceptation qu’il existe des éléments qui échappent à notre contrôle. Et l’aspect intéressant de ces événements de queue, c’est que soudainement, il devient très, très difficile de faire confiance à votre DR. Et c’est là, encore une fois, que cela présente un intérêt particulièrement marqué pour moi. En gardant, je dirais, un modèle de prévision non axé sur la queue, c’est-à-dire un modèle simple et relativement gérable, vous pouvez injecter des priors structurels pour introduire essentiellement cette dose d’événements super rares et super extrêmes. Kieran Chandler: Alors, Spyros, l’une des choses qui m’intrigue vraiment est de savoir comment la perception de la prévision a évolué au cours de votre carrière. Quand ce changement, qui a conduit à percevoir la prévision comme une science, s’est-il produit, et quand est-elle devenue plus acceptée par le grand public ?
Spyros Makridakis: Eh bien, cela a pris du temps. Au début, les statisticiens classiques utilisaient la même approche qu’ils vous employaient en affirmant que l’important était de suivre les fluctuations des séries. Mais ce n’est pas ainsi que l’on prévoit. Il a fallu un certain temps pour réaliser que l’on ne peut pas prédire le hasard, et ce que les M Competitions ont prouvé sans aucun doute, c’est que l’essentiel est de séparer le passé de l’avenir et de ne pas surajuster le passé, mais d’avoir un modèle adaptable aux changements entre le passé et l’avenir. C’est le changement majeur. Et maintenant, il est admis qu’en plus d’examiner la prévision, nous devons prendre en compte l’incertitude dans nos prédictions. Beaucoup de gens n’apprécient pas cela du tout, car, psychologiquement, il n’est pas très prudent de parler d’incertitude, de dire que je vais prévoir tout en étant incertain. Kieran Chandler: Joannes, à quel point diriez-vous que vos prévisions sont inexactes ? Les clients me disent souvent que vous affirmez vous concentrer, mais reconnaissez aussi que vous ne pouvez pas prévoir en raison d’une grande incertitude quant à l’avenir. Spyros Makridakis: C’est la réalité, il faut rester réaliste. Cela introduit une sorte d’idée de niveau de confiance dans votre prévision. Joannes, diriez-vous que la perception a presque évolué au point que les gens attendent trop de la prévision et s’attendent à ce qu’elle soit infaillible ? Joannes Vermorel: C’est une question intéressante. Je suis allé plusieurs fois au salon de la National Retail Federation à New York, et ce que j’ai constaté, c’est que la plupart de mes concurrents faisaient très fréquemment des affirmations complètement farfelues d’avoir une précision de 99 % dans le retail. Franchement, je ne sais même pas ce que signifie 99 % de précision dans les hypermarchés, où la plupart des produits se vendent en petites quantités chaque jour. C’est ridicule de penser que l’on pourrait savoir, jusqu’à la dernière unité, si quelqu’un va choisir un produit, alors que cette personne pourrait elle-même ne pas s’en rendre compte. J’ai vu de nombreux fournisseurs tenter de survendre l’idée que l’on peut obtenir des prévisions incroyablement précises partout, ce qui est absolument faux. Ils exploitent l’aura scientifique que la prévision statistique a acquise dans d’autres domaines, comme la démographie, la consommation d’électricité et d’eau, où l’incertitude est relativement très faible, pour prétendre qu’ils peuvent atteindre le même niveau de précision dans les hypermarchés, ce qui n’est tout simplement pas équivalent. On peut faire beaucoup, mais ce n’est pas le même ordre de grandeur en termes de précision. Spyros Makridakis: L’un des plus grands problèmes pour les utilisateurs de prévisions est que leurs attentes sont trop élevées, car les consultants essaient de leur vendre des prévisions dont ils sont excessivement confiants, et c’est l’un des plus gros problèmes. Ainsi, une partie de ce que nous devons faire sur le terrain, c’est de dire : “Regardez, nous ne pouvons pas être des prophètes. Nos données, notamment dans le retail, nous indiquent que l’incertitude est très grande, et nous devons agir en conséquence.” Nous ne parlons pas seulement de l’incertitude normale ; il y a aussi une incertitude fatale, comme les célèbres événements du cygne noir de Nassim Taleb, qui anéantissent bon nombre de nos prévisions et créent des problèmes tels que ceux engendrés par la pandémie. Nous devons également en tenir compte ; on ne peut pas éviter l’incertitude. Kieran Chandler: Joannes, seriez-vous d’accord avec cela ? Nous avons déjà parlé par le passé des consultants qui arrivent et promettent un peu trop en matière de prévisions. Joannes Vermorel: Oui, je suis d’accord. Ce qui était réellement difficile avec les prévisions probabilistes, ce n’était pas la technicité de leur production, mais la gestion des attentes qui avaient été fixées trop haut par des consultants ayant promis trop de choses.
Spyros Makridakis: L’un des plus grands problèmes pour les utilisateurs de prévisions est que leurs attentes sont trop élevées, car les consultants essaient de leur vendre des prévisions dont ils sont excessivement confiants, et c’est l’un des plus gros problèmes. Ainsi, une partie de ce que nous devons faire sur le terrain, c’est de dire : “Regardez, nous ne pouvons pas être des prophètes. Nos données, notamment dans le retail, nous indiquent que l’incertitude est très grande, et nous devons agir en conséquence.” Nous ne parlons pas seulement de l’incertitude normale ; il y a aussi une incertitude fatale, comme les célèbres événements du cygne noir de Nassim Taleb, qui anéantissent bon nombre de nos prévisions et créent des problèmes tels que ceux engendrés par la pandémie. Nous devons également en tenir compte ; on ne peut pas éviter l’incertitude.
Kieran Chandler: Joannes, seriez-vous d’accord avec cela ? Nous avons déjà parlé par le passé des consultants qui arrivent et promettent un peu trop en matière de prévisions. Joannes Vermorel: Oui, je suis d’accord. Ce qui était réellement difficile avec les prévisions probabilistes, ce n’était pas la technicité de leur production, mais la gestion des attentes qui avaient été fixées trop haut par des consultants ayant promis trop de choses. Kieran Chandler: Alors Joannes, vous avez évoqué l’importance des prévisions probabilistes et de l’injection de priors structurels. Pouvez-vous nous en dire un peu plus à ce sujet ?
Joannes Vermorel: Certainement. Les probabilités, ce n’est pas si difficile. Ce qui a été difficile, c’était en effet de faire accepter que, oui, Lokad optait pour des prévisions probabilistes. Non pas parce que nos prévisions étaient médiocres. Je pense que, même si nous ne sommes pas initialement les meilleurs dans ces compétitions, nous ne nous classons certainement pas très haut. Le problème n’était pas que nous avions des prévisions médiocres, mais d’obtenir l’acceptation qu’il existe des éléments qui échappent à notre contrôle. Et l’aspect intéressant de ces événements de queue, c’est que soudainement, il devient très, très difficile de faire confiance à votre DR. Et c’est là, encore une fois, que cela présente un intérêt particulièrement marqué pour moi. En gardant, je dirais, un modèle de prévision non axé sur la queue, c’est-à-dire un modèle simple et relativement gérable, vous pouvez injecter des priors structurels pour introduire essentiellement cette dose d’événements super rares et super extrêmes.
Kieran Chandler: Je vois, et comment cela aide-t-il dans l’optimization de la supply chain ?
“Joannes Vermorel: Donc essentiellement, c’est ce que nous faisons chez Lokad. Par exemple, pour des phénomènes tels que les pandémies, nous ne pouvons pas prévoir les pandémies. Mais ce que nous pouvons faire, et ce n’est même pas très compliqué à réaliser, c’est dire, “eh bien, je peux injecter un a priori pour dire qu’il y a une chance, disons une probabilité annuelle de deux pour cent, qu’il y aura une récession de 50 pour cent qui impacte l’entreprise.” Je ne sais pas pourquoi, je sais juste que c’est une hypothèse raisonnable. C’est subjectif, vous savez, pourquoi deux pour cent, pourquoi deux pour cent sur une récession de 50 pour cent? Tout cela est très subjectif, mais l’aspect intéressant est que si vous injectez une dose d’événements de queue dans vos modèles de prévision, même si, en termes de quantification, c’est assez inexact, lorsque vous construisez l’optimization de la supply chain par-dessus, vous orientez la décision vers des solutions bien plus robustes face à ces événements de queue sans investir trop d’argent. L’intérêt, et c’est le genre de choses que nous faisons, est que nous gardons ces modèles de prévision simples afin de pouvoir y injecter ces a priori structurels qui sont, je dirais, largement fictifs, bien qu’ils soient raisonnables. Ils ne sont pas précis, mais la conséquence est qu’au bout du compte, vous pouvez obtenir des décisions de supply chain qui se révèlent beaucoup plus résilientes face à des événements rares. Et le processus est assez simple, mais en pratique, il faut beaucoup convaincre pour amener les gens à comprendre ces cygnes noirs. En effet, j’ai souvent recours à “Please read the work of Nassim Taleb,” mais c’est difficile à vendre quand on essaie de convaincre un prospect que l’on souhaite lui donner, vous savez, un livre de 600 pages écrit par encore un autre, vous savez, grand penseur grec qu’est Nassim Taleb.
“Spyros Makridakis: Joannes, puis-je poser une question ? Parce qu’il me semble que vous injectez des a priori structurels, ce qui pourrait être perçu comme un biais dans vos modèles de prévision. Pensez-vous que ce biais puisse être préjudiciable à la précision de vos prévisions ?”
“Joannes Vermorel: Oui, c’est une très bonne question, Spyros. Il y a deux points à ce sujet. D’abord,”
“Kieran Chandler: Spyros, vous avez passé un demi-siècle à être impliqué dans l’industrie. De quoi êtes-vous le plus fier en repensant à votre carrière ?”
“Spyros Makridakis: Eh bien, je suis surtout fier du fait que nous fournissons des preuves empiriques sur ce qui fonctionne en matière de prévision et sur ce qui ne fonctionne pas. Ce n’est pas que du bla-bla, nous avons mené des expériences à travers les M-Competitions. De ces expériences, nous pouvons vous dire quelles méthodes fonctionnent et lesquelles ne fonctionnent pas. Ce que nous pouvons vous dire, c’est que la simplicité fonctionne. Nous réalisons qu’il y a beaucoup d’aléa dans les événements passés, et nous ne pouvons pas tout prédire avec précision. Parce que nos prévisions sont incertaines, il existe un risque, et nous devons faire quelque chose pour anticiper ce risque et être prêts à y faire face.”
“Kieran Chandler: Merci à vous deux pour votre temps aujourd’hui.”
“Joannes Vermorel: Merci beaucoup.”
“Spyros Makridakis: Merci de m’avoir interviewé.”
“Kieran Chandler: C’est tout pour cette semaine. Merci beaucoup de nous avoir suivis, et nous nous reverrons dans le prochain épisode.”
