00:00:43 Introduction de Pierre Pinson
00:01:25 Parcours de Pierre Pinson et son travail en ingénierie de conception axée sur les données et prévisions.
00:02:20 Comment Pierre s’est lancé dans les prévisions probabilistes et leurs applications dans l’énergie, la logistique et l’analyse commerciale.
00:04:17 Évaluation de la qualité des prévisions, son importance dans la prise de décision et la manière dont elles se rattachent à la valeur prévisionnelle.
00:07:41 Premières réactions face aux prévisions probabilistes.
00:08:27 Le problème de la surconfiance.
00:10:00 La critique de Claude Bernard concernant les statistiques et les probabilités.
00:13:00 Déterminisme vs comportements stochastiques dans le monde.
00:14:37 Faire le lien entre la météorologie et le monde des affaires avec les prévisions probabilistes.
00:15:11 L’importance des prévisions météorologiques et leurs implications culturelles.
00:16:46 Expliquer les probabilités et comprendre les prévisions.
00:18:58 Les défis liés à la surcharge d’information et à la prise de décision.
00:20:31 Transformer les probabilités en évaluations de risques.
00:22:14 Trouver l’équilibre entre la prise de décision automatisée et la confiance de l’utilisateur.
00:23:36 L’importance des prévisions météorologiques dans le commerce et la logistique.
00:25:01 Les prévisions de vent et leur importance dans le secteur de l’énergie.
00:26:00 L’utilisation des données météorologiques dans la prévision de la demande en énergie et dans des situations de supply chain.
00:30:25 Les différences dans l’application des prévisions probabilistes en météorologie et en logistique.
00:32:46 Discussion sur les défis liés à la traduction des prévisions probabilistes complexes pour les clients.
00:33:32 Les préoccupations de coût du cloud computing et de l’hébergement de grandes quantités de données.
00:35:02 L’utilisation d’histogrammes bidimensionnels et leur impact sur la mémoire et le coût.
00:37:19 Enseigner les prévisions probabilistes et les défis rencontrés par les étudiants.
00:40:00 Faciliter la compréhension des prévisions probabilistes et la vérification des modèles.
00:42:40 L’inefficacité dans les processus et les méthodes de transport.
00:43:57 Le défi d’éliminer les incertitudes de la supply chain.
00:45:20 Le coût de l’élimination des incertitudes et son impact sur diverses industries.
00:47:00 L’évolution des prévisions et leur passage des mathématiques appliquées à l’économie.
00:50:53 La convergence de différents domaines dans les prévisions et la prise de décision en situation d’incertitude.
00:52:30 Adapter l’explication des prévisions probabilistes pour divers horizons.
00:53:21 Appliquer les prévisions probabilistes à divers secteurs d’activité et en tirer des avantages.
00:55:53 L’attrait des prévisions probabilistes visuellement intéressantes et les histoires de violation de droits d’auteur.
00:58:03 Les limites des diagrammes en secteurs pour transmettre l’information et leur utilisation en phase de pré-vente.
01:00:01 Adopter l’incertitude dans les carrières professionnelles et comprendre la perspective probabiliste.
01:02:23 Approche interdisciplinaire et incertitude dans diverses industries.
01:04:27 L’importance de la formation et l’impact des nouvelles générations sur le secteur.
01:07:00 La courbe d’adoption des prévisions probabilistes dans différents domaines.
01:08:33 La vision de Joannes sur un horizon d’un siècle pour accepter l’incertitude.
01:10:37 Les défis dans l’adoption de nouvelles idées et le rythme lent du changement dans certains domaines.
01:12:14 L’importance des mathématiques dans la technologie des prévisions.
01:13:26 Les avancées futures dans la science et la technologie des prévisions.
Résumé
Dans une interview avec Conor Doherty, Joannes Vermorel, fondateur de Lokad, et Pierre Pinson, président de Data-centric Design Engineering à Imperial College London, discutent des prévisions probabilistes et de leurs applications dans divers domaines. Ils insistent sur l’importance de comprendre l’incertitude dans les prévisions et la nécessité d’une formation continue dans ce domaine. Les trois conviennent que l’innovation se produit plus rapidement que ce que les gens peuvent l’adopter, et ils encouragent à rester informé sur les nouveaux développements du secteur et à être prêts pour les avancées à venir.
Résumé étendu
Dans cette interview, l’animateur Conor Doherty discute des prévisions probabilistes avec ses invités Joannes Vermorel, fondateur de Lokad, et Pierre Pinson, président de Data-centric Design Engineering à Imperial College London. Pinson possède une vaste expérience en ingénierie de conception axée sur les données et s’est concentré sur divers domaines d’application, notamment l’énergie et la logistique. Vermorel, quant à lui, a abordé les prévisions probabilistes d’une perspective supply chain.
Pinson s’est initialement intéressé à la météorologie et aux énergies renouvelables et s’est vu proposer un doctorat sur les prévisions pour les parcs éoliens. Il insiste sur l’importance de comprendre l’incertitude d’une prévision et la gamme potentielle des résultats. Le parcours de Vermorel vers les prévisions probabilistes a commencé avec la prise de conscience que de nombreuses prévisions supply chain étaient presque nulles. Il a constaté que, bien que tout soit possible, tout n’est pas également probable, et que comprendre la structure des inexactitudes des prévisions peut être précieux.
La météorologie utilise diverses mesures pour évaluer la qualité des prévisions, telles que la distance entre les prédictions et les résultats réels, ainsi que la moyenne des différences absolues entre les deux. Cependant, ces mesures ne permettent pas toujours de déterminer si une prévision est bonne ou mauvaise pour une application spécifique. Vermorel ajoute que les prévisions probabilistes peuvent aider à fournir une opinion éclairée sur l’éventail des possibilités.
L’un des défis rencontrés par ceux qui travaillent avec les prévisions probabilistes est de convaincre autrui d’accepter et d’adopter l’idée de quantifier l’incertitude. Les gens préfèrent généralement les prévisions déterministes en raison de biais cognitifs favorisant la surconfiance. Cependant, les prévisions probabilistes offrent une représentation plus transparente et équitable des résultats potentiels. L’utilisation des prévisions probabilistes dans la prise de décision peut conduire à de meilleurs résultats, mais il faut être ouvert à l’idée de l’incertitude.
Claude Bernard, un physiologiste français du XIXe siècle, s’est opposé à l’utilisation des statistiques et des probabilités dans les expériences scientifiques, suggérant que la variabilité était le résultat d’une compréhension incomplète ou d’une science paresseuse. Cependant, Pinson estime que, bien que les approches déterministes puissent fonctionner pour certains problèmes, le monde n’est pas fondamentalement déterministe. Les prévisions probabilistes sont précieuses pour les situations comportant un comportement stochastique et une incertitude inhérente.
L’un des principaux défis des prévisions probabilistes est la surcharge d’information. Les gens ont déjà beaucoup d’informations à traiter, et l’ajout de données probabilistes peut rendre encore plus difficile la compréhension de l’ensemble. Cela peut être particulièrement vrai lorsqu’il s’agit de grands ensembles de données, comme la prévision pour des millions de produits dans une supply chain.
Pour remédier à ce problème, certaines entreprises se sont tournées vers la prise de décision automatisée ou les évaluations de risques pour aider les utilisateurs à comprendre les prévisions probabilistes. En transformant les données probabilistes en risques quantifiés, les utilisateurs peuvent mieux appréhender les conséquences potentielles de leurs décisions sans être submergés par la complexité des données.
Dans le domaine de la météorologie, les prévisions probabilistes se sont révélées utiles pour prédire des variables telles que la température, les précipitations, la vitesse du vent et le rayonnement solaire. Ces variables peuvent avoir un impact significatif sur divers aspects de la vie quotidienne et des affaires, comme la production et la consommation d’énergie. Dans certains cas, l’utilisation des données météorologiques dans les prévisions supply chain peut conduire à des prédictions plus précises, en particulier lorsqu’il s’agit de changements soudains des conditions météorologiques.
Cependant, les interviewés reconnaissent également que l’intégration des données météorologiques dans les prévisions supply chain a été difficile, avec peu d’exemples de succès. Un exemple impliquait l’utilisation des données météorologiques pour améliorer les prévisions de demande en énergie pour un fournisseur d’électricité en Europe. En intégrant ces données dans leurs prévisions, l’entreprise a pu réduire les inexactitudes causées par des changements rapides de conditions météorologiques.
Vermorel partage ses expériences avec Lokad, qui a atteint une précision impressionnante dans ses modèles de prévisions, malgré leur simplicité. Un exemple qu’il donne est un projet avec un vendeur de glaces qui souhaitait prévoir des pics de demande en fonction des conditions météorologiques, mais la post-analyse a permis de déterminer les raisons de l’augmentation des ventes, la prévision de la demande s’étant révélée plus difficile en raison des délais d’approvisionnement longs impliqués dans la supply chain. Vermorel souligne que, malgré les défis rencontrés, le potentiel des prévisions probabilistes reste prometteur dans divers secteurs.
Pinson discute des différences entre l’application des prévisions probabilistes dans des contextes météorologiques et dans des contextes logistiques et commerciaux. Il explique que le principal défi consiste à déterminer le bon produit de prévision à utiliser comme entrée dans les processus de prise de décision. Il mentionne que les scénarios, intervalles et quantiles sont quelques-unes des options qui peuvent être envisagées, mais cela dépend en fin de compte des besoins spécifiques du client.
Vermorel souligne également l’importance de prendre en compte les coûts informatiques lors de la mise en œuvre des techniques de prévisions probabilistes. D’après son expérience, les histogrammes et les densités de probabilité fournissent les informations les plus détaillées, mais peuvent s’avérer coûteux en termes de calcul, surtout lorsqu’il s’agit de données de haute dimension. Par conséquent, Lokad emploie souvent un mélange de techniques pour maintenir les coûts à un niveau acceptable et rendre les calculs efficaces.
Lorsqu’il enseigne aux étudiants les prévisions probabilistes, Pinson constate que le plus grand défi n’est pas de les convaincre des mérites du concept, mais plutôt de les aider à comprendre les aspects pratiques de l’application de ces techniques dans des situations réelles. Vermorel ajoute qu’il est crucial pour les praticiens d’équilibrer les aspects théoriques des prévisions probabilistes avec les considérations pratiques liées aux coûts et à l’efficacité informatique.
Vermorel partage ses difficultés à enseigner à des personnes ayant déjà reçu une formation de la part de consultants prônant les mouvements lean et l’élimination de l’incertitude dans la supply chain. Il estime que certaines incertitudes peuvent être éliminées, tandis que d’autres sont acceptables et doivent être gérées avec les outils appropriés.
Pinson souligne que l’élimination de l’incertitude peut être coûteuse et qu’il vaut mieux l’accepter et la gérer judicieusement. Il donne l’exemple des énergies renouvelables, où développer des systèmes de stockage pour gérer une quantité infinie d’énergie serait extrêmement coûteux et irréalisable. Au lieu de cela, accepter l’incertitude et prévoir peut s’avérer plus rentable et pratique.
La discussion aborde également les aspects historiques et culturels des prévisions, où les gens ont toujours tenté de vivre dans un monde déterministe et d’éliminer l’incertitude. Ils discutent également de la convergence de différents domaines, tels que les sciences naturelles, les sciences sociales et l’économie, dans les prévisions et la prise de décision en situation d’incertitude.
Pinson évoque les difficultés d’enseigner les prévisions probabilistes à des personnes issues de milieux différents et la nécessité de disposer d’une version abrégée pour ceux qui n’ont pas une solide formation mathématique. Il propose de commencer par des exemples simples et d’augmenter progressivement la complexité, tout en insistant sur l’importance de comprendre les principes et concepts sous-jacents.
Vermorel partage son expérience avec les violations de droits d’auteur, certains graphiques de son entreprise ayant été réutilisés sur LinkedIn sans autorisation. Cependant, ces graphiques attractifs peuvent capter l’attention de clients potentiels et donner à l’entreprise une image plus avancée sur le plan technologique.
Pinson évoque la présence de l’incertitude dans tous les aspects de notre vie et l’importance de la comprendre et de la gérer pour les professionnels de divers secteurs. La formation joue un rôle clé pour promouvoir cette compréhension, car les étudiants qui apprennent les prévisions probabilistes peuvent apporter ces compétences dans le monde du travail et faire une différence dans leurs entreprises.
Pinson est convaincu que l’adoption des prévisions probabilistes continuera de croître dans différents secteurs, à mesure que de plus en plus de personnes en seront éduquées et que les entreprises s’inspireront mutuellement. Il cite l’industrie du transport maritime comme un exemple de domaine qui a tardé à adopter les prévisions probabilistes, mais qui cherche désormais des pistes dans d’autres secteurs pour les intégrer dans ses opérations.
Vermorel souligne l’importance de comprendre l’incertitude dans les prévisions, en citant l’exemple de la bataille du XIXe siècle, où il a fallu presque un siècle entier pour que l’on admette que la chimie était pertinente pour la médecine. Il suggère que l’innovation se produit plus rapidement que ce que les gens peuvent l’adopter, et que la formation joue un rôle crucial dans ce processus. Vermorel mentionne également la célèbre citation de Niels Bohr, “Science progresses one funeral at a time,” soulignant que d’importants progrès peuvent survenir rapidement, mais que la compréhension de leurs implications prendrait une éternité.
Pinson discute des applications de la prévision probabiliste en météorologie, mentionnant que, bien que les mathématiques derrière la technologie de prévision ne soient peut-être pas l’aspect le plus pertinent de la discussion, il est essentiel de reconnaître les développements continus en mathématiques appliquées. Il explique que concevoir des machines pour prévoir des millions de séries temporelles en parallèle pose des défis, mais que les chercheurs développent continuellement de nouveaux modèles et technologies pour l’avenir.
Vermorel et Pinson conviennent tous deux qu’il reste encore beaucoup de progrès à réaliser en matière de prévisions et de prévision probabiliste, ainsi que la nécessité d’une formation continue et d’une meilleure compréhension de l’incertitude. Ils encouragent à se tenir informé des nouveaux développements dans le domaine et à se préparer aux avancées à venir.
Transcription complète
Conor Doherty: Bon retour sur LokadTV ! Je suis votre hôte, Conor, et comme toujours, je suis accompagné par le fondateur de Lokad, Joannes Vermorel. Aujourd’hui, nous sommes rejoints par Pierre Pinson, rédacteur en chef de l’International Journal of Forecasting et Chief Scientist chez Half Space. Aujourd’hui, il va nous parler de plusieurs applications intéressantes de la prévision probabiliste. Bienvenue chez Lokad, ravi de vous rencontrer.
Pierre Pinson: Merci de m’accueillir aujourd’hui.
Conor Doherty: Et merci beaucoup de vous être joint à nous. Nous sommes tous deux très enthousiastes de vous avoir parmi nous. Maintenant, Pierre, je vous ai donné une introduction très brève ; vous avez en réalité un CV très impressionnant. Pourriez-vous, tout d’abord, donner à chacun un aperçu de votre parcours et de ce que vous faites, car je sais que vous êtes impliqué dans plusieurs projets dans divers domaines ?
Pierre Pinson: Oui, merci beaucoup. Tout d’abord, je suis actuellement professeur à l’Imperial College de Londres. Je dirige une chaire qui se concentre sur l’ingénierie de conception axée sur les données. Comme nous avons de plus en plus de données de nos jours, nous devons en extraire de la valeur, et tel est l’objectif de mes recherches et de mon enseignement. Évidemment, l’une des applications les plus intéressantes – et parmi les premières – que nous envisageons avec les données est la prévision, c’est donc quelque chose que je pratique depuis 20 ans, en me concentrant sur différents domaines d’application, principalement l’énergie, car il y a tellement de prévisions pertinentes et nécessaires pour l’énergie aujourd’hui, mais aussi pour la logistique, l’analytique commerciale, etc.
Conor Doherty: De nombreux domaines intéressants et beaucoup de recoupements avec ce que nous souhaitons faire. Alors, tout d’abord, comment vous êtes-vous lancé dans la prévision probabiliste ?
Pierre Pinson: Eh bien, je dois avouer que je n’avais jamais souhaité me lancer dans la prévision probabiliste au départ. J’étais très intéressé par la météo et les énergies renouvelables, et on m’a proposé de faire un doctorat sur la prévision pour les renouvelables, pour les parcs éoliens, vous savez, pour déterminer combien les parcs éoliens allaient produire demain. Le fait est qu’un prévisionniste se trompe toujours, et mon directeur de thèse a dit, “Eh bien, nous aimerions savoir de combien ils se trompent, mais il ne s’agira pas d’un seul indicateur, n’est-ce pas ? Comme si une prévision était bonne ou mauvaise en moyenne. Nous aimerions savoir, ici et maintenant, en regardant vers demain, si ma prévision sera bonne ou non.” Et c’est ainsi que je me suis orienté vers la prévision probabiliste, car cela consiste à formuler une idée conditionnée par ce que je sais aujourd’hui, en me projetant dans demain, et à décrire d’une certaine manière l’incertitude de ce qui pourrait se produire, en indiquant peut-être quel est le résultat le plus probable, quel est le résultat attendu, et quel serait peut-être un intervalle pour ce qui pourrait se passer.
Conor Doherty: Eh bien, c’est intéressant, et je m’adresserai à toi, Joannes, dans un instant à ce sujet, mais lorsque tu parles de ce qui constitue une bonne prévision en météorologie, quels indicateurs utilises-tu pour mesurer son efficacité ? Ça ne peut pas se résumer à “eh bien, il n’a pas plu aujourd’hui, donc c’était à 100 % exact.” Quels sont donc les indicateurs pour cela ?
Pierre Pinson: Oui, c’est pourquoi cela constitue en fait une science à part entière, la façon d’évaluer une prévision et de décider si elle était bonne ou non. En principe, lorsque vous disposez d’une prévision pour une variable continue, comme la vitesse du vent ou la température, nous considérons la qualité d’une prévision comme étant liée à l’écart entre ce que vous aviez prédit et ce qui s’est réellement produit. Ensuite, il existe différentes manières de traiter cet écart. Vous pouvez, par exemple, prendre la somme des distances au carré ou des erreurs au carré, ou encore examiner la moyenne de la différence absolue entre les deux, etc. Ainsi, il existe de nombreux indicateurs qui permettent de dire si la prévision est bonne ou non. Le problème, c’est que ce n’est qu’un chiffre. Donc, si je vous dis qu’en moyenne, ma prévision se trompe de deux, vous pourriez dire, “D’accord, super,” mais cela signifie-t-il une bonne ou une mauvaise prévision pour mon application ? Et c’est très souvent le problème depuis plusieurs décennies de développement en matière de prévisions : il faut relier la qualité de la prévision – c’est-à-dire dans quelle mesure vous êtes précis en termes de cet écart – à la valeur de la prévision, c’est-à-dire à quel point elle sera efficace si je l’utilise pour mes prises de décision.
Conor Doherty: Y a-t-il des similitudes avec la façon dont nous l’abordons ?
Joannes Vermorel: C’est très intéressant, car chez Lokad, nous avons abordé la prévision probabiliste par une voie complètement différente, et ce que tu décris se rapproche beaucoup plus de l’opinion éclairée que j’ai acquise après quelques années, par opposition au point de départ. Mon approche initiale était bien plus banale. En réalité, nous effectuions des prévisions pour de nombreux éléments dans les supply chains, et nous prévoyions simplement des zéros. J’ai raconté cette anecdote à plusieurs reprises, car lors de nos premières tentatives de prévision des ventes dans les mini-marchés – où la plupart des produits se vendaient en moyenne zéro fois par jour – c’était le plus proche que l’on puisse obtenir en arrondissant à l’entier le plus proche. Dans un mini-marché typique, environ 95 % des produits se vendaient à zéro unité un jour donné. Et le problème était littéralement que nous faisions face à ce problème, et donc nous avons commencé à avoir un biais de prévision qui nous a conduits aux quantiles. Puis, alors que nous expérimentions avec les quantiles, nous avons réalisé que nous devrions probablement obtenir tous les quantiles en même temps, et nous sommes passés aux prévisions probabilistes. Mais aujourd’hui, lorsque je dois expliquer pourquoi les prévisions probabilistes sont importantes, je pense que notre approche est la suivante : oui, votre prévision est désespérément inexacte, nous le savons. Ma prévision, dans le cas où je suis un fournisseur, est désespérément inexacte, mais cela ne signifie pas que je n’ai aucune idée des erreurs possibles. En réalité, j’ai une opinion assez éclairée sur le champ des possibles. Tout est possible, mais tout n’est pas également probable. Dans ton opinion éclairée sur le champ des possibles, tout est possible mais tout n’est pas également probable, et il existe une structure pour analyser l’erreur. Peux-tu développer ce point ?
Pierre Pinson: L’aspect le plus étrange et intrigant pour les gens est l’idée qu’il existe une structure dans cette analyse de l’erreur. Les gens pensent intuitivement que l’incertitude découle de l’ignorance, puis vous leur dites qu’il existe une structure même dans ce qu’ils ne savent pas. Cela peut sembler déroutant. Lorsque j’ai commencé à prôner les prévisions probabilistes, la première réaction que j’ai eue fut que, quoi qu’il arrive, je ne pourrais jamais me tromper parce que ma prévision tiendrait toujours compte de la probabilité que quelque chose se produise. Les gens y voyaient le mécanisme de défense ultime pour le fournisseur.
Joannes Vermorel: Il est intéressant d’entendre tes anecdotes, mais on peut aussi voir cela d’un autre point de vue. Il y a le “paradoxe de la grande souris” en psychologie et en marketing, où les personnes trop confiantes dans une salle reçoivent plus de crédit, même si elles peuvent se tromper. La plupart des gens préfèrent une prévision déterministe car elle leur donne un sentiment de confiance, même s’ils savent qu’elle sera erronée. Fournir une prévision probabiliste revient en fait à être plus transparent et équitable, mais les gens doivent accepter cela et aller à l’encontre de leur biais cognitif en faveur du déterminisme.
Lorsque nous admettons que nous ne pouvons pas être exacts, mais que nous pouvons donner une assez bonne idée de l’ensemble des possibilités, nous faisons preuve de plus de transparence et possiblement d’une meilleure qualité de prévision. Le plus gros problème pour nous qui travaillons avec la prévision probabiliste est d’amener les gens à accepter l’idée d’embrasser l’incertitude et de l’utiliser dans la prise de décision. Cela conduit en effet à de meilleurs résultats. Ce genre de déterminisme dans votre vie est un défi majeur pour nous qui travaillons avec la prévision probabiliste. Nous devons d’une manière ou d’une autre faire accepter aux gens qu’ils doivent se détendre face à cette idée qu’ils veulent que ce point unique soit informatif et véridique. Ils doivent accepter que, tant que vous pouvez quantifier l’incertitude et l’utiliser dans la prise de décision, cela sera meilleur. On ne peut qu’aller plus loin.
Conor Doherty: Qu’en penses-tu, Joannes ?
Joannes Vermorel: C’est très intéressant, cette idée d’admettre sa propre faiblesse. Si l’on remonte jusqu’à Claude Bernard, qui a inventé l’expérience de contrôle, il a présenté un argument complet contre l’utilisation des statistiques et des probabilités. Son point de vue est en réalité très bien exposé. Il soutenait que si quelque chose varie, cela signifie simplement que l’expérience est médiocre et que l’on ne contrôle pas suffisamment les éléments. Il travaillait dans le domaine de la médecine et affirmait que s’il y a de la variabilité, c’est qu’une troisième variable l’explique. Ainsi, il s’opposait à l’idée d’utiliser des statistiques et des probabilités car, de son point de vue, c’était admettre une compréhension incomplète, comme le ferait un scientifique paresseux. On finit par avoir ces statistiques sophistiquées qui ne sont qu’un prétexte pour justifier ses propres insuffisances. Quelle est ta perspective sur cette objection, Pierre ?
Pierre Pinson: Je suis d’accord pour dire que c’est vrai pour un certain ensemble de problèmes qui ne reposent que sur les lois de la physique, dans un environnement très contrôlé, et où l’on peut penser que l’approche déterministe devrait suffire. Il ne faut pas trop se préoccuper de toutes ces incertitudes et de l’adoption d’un cadre probabiliste. Mais si l’on examine le cas plus général, c’est presque une déclaration philosophique sur le monde. Croyez-vous que le monde est fondamentalement déterministe pour tout ce qui se produit ? Ou y a-t-il en réalité une sorte de comportement stochastique qui nous entoure ? Vous savez, des règles stochastiques, ce qui rend l’idée même de déterminisme pas toujours applicable. Nous le constatons avec la météo, et nous avons essayé de penser, vous savez, que si nous disposons de de plus en plus de mesures, si nous maîtrisons mieux les lois de la physique, nous devrions être capables de considérer cela comme un processus déterministe et de le prévoir. Et c’est un bel espoir, mais il y a eu, je pense, de nombreuses expériences au cours des 100 dernières années où nous avons finalement réalisé que peut-être tout ne peut pas être déterministe, et même ces arguments que tu as mentionnés, cette connaissance incomplète, je pense qu’il y a tellement de choses que nous devons modéliser et prévoir pour lesquelles nous n’aurons jamais suffisamment de connaissances pour pouvoir nous inscrire dans un cadre déterministe. Ce n’est tout simplement pas possible.
Conor Doherty: Eh bien, si je puis intervenir à ce moment précis parce qu’une question que je voulais poser il y a un instant était de savoir si l’on combinait en quelque sorte l’idée du business et de la météorologie, car il existe un pont intéressant entre ces deux domaines, d’autant plus compte tenu de ton parcours puisque, encore une fois, tu as une expérience à la fois dans le business et en météorologie. Tu t’es donc retrouvé, vraisemblablement, dans une situation où tu as appliqué la prévision probabiliste à un problème commercial, ayant peut-être rencontré une certaine résistance, du genre “oh, je ne veux pas utiliser la prévision probabiliste, c’est de la sorcellerie”, mais cette même personne, 10 secondes plus tard, sort son iPhone et dit, “oh, 60 % de chance qu’il pleuve plus tard, vaudrait mieux emporter un parapluie.” Comment fais-tu, à cet instant, pour traverser ce genre de dissonance cognitive ?
Pierre Pinson: C’est un très bon point, et il y a là une question culturelle. Je pense que nous avons constaté, comme tu l’as mentionné, que la prévision météorologique est un domaine important car elle est omniprésente, tout le monde l’utilise et y est sensible. C’est un domaine où l’on a vu que si nous modifions la manière de communiquer l’information de prévision, certaines approches fonctionnent, d’autres non. Il est parfois difficile pour les gens d’évaluer réellement de quoi il s’agit, mais nous trouvons cela utile quoi qu’il arrive. Nous savons que c’est utile, mais c’est un processus, et je pense que c’est le même processus que nous devons traverser dans différents domaines. Cela peut concerner le business, des problèmes d’ingénierie, l’assurance, il y a tellement de domaines où, en tant que scientifiques ou fournisseurs de prévisions, au sein de l’écosystème industriel, nous devons contribuer à changer la culture afin que les gens, clients ou utilisateurs en général, se rendent compte que nous pouvons penser différemment et qu’il en découle des avantages.
Conor Doherty: Pour en revenir un peu, car tu as dit avoir constaté, si j’ai bien compris, que certains mécanismes de transmission de l’information, qu’il s’agisse d’informations météorologiques ou de prévisions météorologiques, résonnaient chez les gens, tandis que d’autres non. Pourrais-tu développer un peu plus ce point, ou donner un exemple pour que les gens comprennent ?
Pierre Pinson: Il y a eu différentes études menées par des psychologues travaillant avec des prévisionnistes météorologiques. Par exemple, si vous faisiez une déclaration évoquant la probabilité de pluie, en disant qu’il y a 60 % de chances qu’il pleuve sur Londres dans les deux prochaines heures, les gens interprètent cela différemment. Certains pensent que cela signifie qu’il va pleuvoir 60 % du temps sur Londres, tandis que d’autres croient que cela veut dire qu’il y a 60 % de chances qu’il pleuve à un endroit donné de Londres. Les gens ont du mal à comprendre ce que signifie fondamentalement la probabilité.
Joannes Vermorel: Oui, nous avons également constaté ce problème en travaillant avec des utilisateurs ou des clients. Un travail considérable est consacré au développement de la méthodologie des prévisions de probabilités et à examiner comment elle pourrait être utilisée en pratique. Mais il faut également fournir beaucoup d’efforts pour aider les gens à comprendre ce que l’information signifie réellement et comment elle peut influencer leur prise de décision. Le défi est d’amener les gens à comprendre comment passer d’une prévision probabiliste à une décision meilleure que si l’on avait utilisé des prévisions déterministes. S’ils ne le comprennent pas, ils ne l’accepteront pas.
Conor Doherty: Comment clarifiez-vous cela ? Utilisez-vous une approche en boîte blanche?
Joannes Vermorel : Nous faisons quelque chose à la fois similaire et dissemblable. Mon problème, issu d’un parcours en supply chain, est de gérer la surcharge d’informations. Les gens ont déjà trop d’informations. Même les prévisions déterministes peuvent être accablantes, car elles sont souvent très agrégées et présentent divers problèmes. Lorsque l’on passe dans le domaine de la prévision probabiliste, cela empire de deux ordres de grandeur, avec des histogrammes pour chaque point de données et encore plus de complexité si l’on considère des probabilités en haute dimension.
Au départ, nous avons essayé d’améliorer la visualisation et d’autres aspects, mais au final, nous avons convergé vers une solution où nous retirons les probabilités du point de vue de l’utilisateur. Nous basons les décisions sur les probabilités, mais nous les transformons en évaluations de risque exprimées en monnaie. Par exemple, nous pourrions dire à un client que le risque de surstock est de X montant, et le risque de rupture de stock est de Y montant. Nous quantifions les classes de risque et les perspectives, la prévision probabiliste servant de “plomberie” à ces évaluations.
Bien sûr, ce n’est pas la solution parfaite, mais elle fonctionne pour nos clients. Parfois, les équipes de data scientist adorent travailler avec les probabilités, mais les experts en supply chain, moins à l’aise avec ces dernières, trouvent cette approche plus accessible. Je dirais que l’expert en supply chain, qui est incroyablement compétent en supply chain mais moins versé dans les probabilités, a beaucoup de mal à s’y intéresser, simplement à cause de la surcharge d’informations que cela exige. Très rapidement, ces managers doivent évaluer si ces histogrammes valent vraiment le temps que cela leur prend de les examiner. C’est un argument de vente très difficile à faire auprès de personnes qui attachent une grande importance à leur temps.
Pierre Pinson : D’accord, je suis tout à fait d’accord. Il existe des trajectoires très différentes. Comme vous l’avez mentionné, il existe plusieurs manières d’aborder ce problème de surcharge d’informations. Je partage entièrement votre stratégie ici. Je pense qu’essayer d’avoir une prise de décision automatisée, ou de suggérer des décisions optimales, en ayant compris le ratio coût-perte de l’utilisateur, etc., est une bonne chose. Mais encore une fois, ils doivent comprendre comment vous êtes arrivés là et pourquoi ils devraient y faire confiance dès le départ, ce qui est amusant parce que, lorsqu’il s’agissait de déterministe, ils y faisaient confiance. Et maintenant qu’on parle de probabilité, ils ne lui font plus confiance. Mais c’est une autre histoire. La beauté d’avoir des informations probabilistes, c’est que vous pouvez apporter cette couche supplémentaire d’évaluations très basiques, d’évaluations de risque, qui est ce qu’ils veulent vraiment quand ils disent qu’ils acceptent le probabiliste. Dites-moi, s’il vous plaît, à quel risque je suis exposé. C’est le type d’information le plus simple que vous puissiez fournir, donnant les avantages de la prévision probabiliste sans cette surcharge d’informations dont vous parlez. Je pense donc en réalité que c’est une très bonne stratégie.
Conor Doherty : Eh bien, nous avons en quelque sorte commencé à fusionner les sujets, comme la météorologie et le commerce. Sur ce point, Pierre, puisque vous avez beaucoup d’expérience dans les deux domaines, quels sont quelques exemples de prévisions météorologiques clés ou de données météorologiques que vous avez utilisées et appliquées dans un contexte commercial ou logistique ?
Pierre Pinson : L’information des prévisions météorologiques que l’on souhaite utiliser comme apport à la prise de décision comporte très peu de variables d’une importance extrême, puis l’importance de chaque variable décroît rapidement. Les variables les plus importantes sont la température, qui influence tant d’autres processus dans nos vies, puis il y a les précipitations. Plus récemment, il y a le vent, car autrefois, il y a environ 30 ans, lorsque les météorologues parlaient du vent, ils produisaient des prévisions de vent presque par amusement, car cela n’intéressait personne. C’est simplement : va-t-il faire du vent ou non ? Et peut-être que si vous faites de la voile, vous vous y intéressez un peu plus. Mais aujourd’hui, en raison des applications liées à l’énergie, les prévisions de la vitesse du vent sont extrêmement importantes, car une petite erreur de prévision de la vitesse du vent se traduit par d’énormes erreurs de prévision dans l’énergie qui sera disponible demain. Pensez donc à un pays comme le Danemark, où en moyenne, la moitié de l’énergie provient du vent. Il est donc assez important d’avoir de bonnes prévisions de vent. Ce sont les variables les plus pertinentes, et désormais on se tourne également vers l’irradiance solaire en raison de l’énergie solaire. Mais je dirais que ce sont les variables les plus importantes, et ensuite, en termes d’impact, ces variables météorologiques sont utilisées partout aujourd’hui. Je veux dire, quand on observe l’importance des prévisions météorologiques et la qualité de celles-ci dans notre vie quotidienne, tant dans un contexte commercial que dans notre vie de tous les jours, c’est extrêmement important.
Conor Doherty : Sûrement, en termes de délais quand il s’agit de marchandises expédiées de l’étranger, je veux dire, en comprenant ce que Pierre vient de décrire, cela doit jouer un rôle dans la prévision probabiliste pour les supply chains, par exemple.
Joannes Vermorel : Dans toute l’histoire de Lokad, je pense que nous n’avons eu que deux occurrences où nous avons réellement réussi à utiliser des données météorologiques dans des situations de supply chain. Encore une fois, cela peut être dû à un manque de talent, de dévouement ou à bien d’autres choses. Mais en fin de compte, pour la prévision, il y a une dizaine d’années, nous avions un grand fournisseur d’électricité européen, avec lequel nous avions un contrat pour améliorer leur prévision de la demande d’électricité en prenant en compte la météo. Et cela, pour moi, est le seul cas où l’utilisation des données météorologiques a clairement porté ses fruits. Ça fonctionne, et au final, nous regardions des prévisions qui étaient déjà très agrégées, essentiellement par régions. Ainsi, la prévision, même sans la météo, était déjà très précise, je veux dire, avec une précision d’environ 2% parce qu’elles étaient très agrégées. Mais, soit dit en passant, cela concernait uniquement la demande d’électricité, et seulement d’un jour à l’autre. Vous ne regardiez donc que sur 24 heures, et les régions agrégées pouvaient être, disons, un pays comme la Belgique, ou peut-être la France divisée en cinq zones, assez globales.
Sans la météo, vous auriez une prévision, une prévision des séries temporelles avec une précision de 2%, et la plupart des imprécisions étaient causées par des changements rapides de la météo. Lorsqu’il fait froid, il a tendance à rester froid, mais dès qu’un changement soudain de météo survient, il y a ce saut et vous ne le voyez pas. C’était donc plutôt comme si vous aviez une prévision avec une précision moyenne de 0,5%, mais que vous accumuliez peut-être 5 ou 6% d’inexactitude le jour où la météo changeait. Et en intégrant la météo, ils avaient déjà atteint quelque chose comme 0,5% de précision, et avec Lokad, nous avons obtenu pratiquement le même niveau de précision, mais avec des modèles qui étaient en réalité beaucoup plus simples et plus maniables en termes de logiciels informatiques. C’était donc un type d’entreprise spécifique.
C’était la première situation où j’ai constaté que cela fonctionnait, vous savez, vraiment bien. La deuxième concernait des marques FMCG qui souhaitaient prévoir essentiellement des pics de demande à l’aide de prévisions météorologiques. Malheureusement, les résultats étaient pour la plupart négatifs. Ce qui a très bien fonctionné, c’était, et je ne vais pas dévoiler le nom de la marque, mais disons qu’il s’agissait d’un vendeur de glaces, et ils voulaient simplement savoir ce qui fonctionnait très bien après l’été. La question était de savoir si nous vendions plus de glaces parce qu’il faisait très chaud ou parce que la promotion marketing était excellente. En tant que technique post-mortem pour expliquer la situation, cela fonctionnait bien. Cependant, le problème en matière de prévision est que les délais impliqués dans la plupart des situations de supply chain sont importants. Par exemple, si vous produisez des glaces, vous devez commander les matières premières et préparer votre planning de production environ six semaines à l’avance. À ce moment-là, la précision des prévisions météorologiques tend à revenir à des moyennes saisonnières, qui ne sont pas suffisamment meilleures que la moyenne saisonnière pour modifier votre décision. D’après notre expérience, cela s’est avéré incroyablement difficile, et nous avons eu peu de succès, mais cela a été très instructif à bien des égards.
Conor Doherty : Pierre, quand il s’agit d’appliquer la prévision probabiliste dans un contexte météorologique, comment cela se traduit-il lorsqu’on l’applique dans un contexte logistique ou commercial ? Existe-t-il des similitudes en termes de contraintes ou de processus ?
Pierre Pinson : L’un des principaux enjeux, que ce soit en météorologie ou dans des secteurs sensibles à la météo, est le type de produit de prévision qui est utile en entrée pour la prise de décision. Typiquement, les prévisions météorologiques utilisent des prévisions d’ensemble, qui se composent de multiples trajectoires ou futurs potentiels. Par exemple, le Centre européen dispose de 51 scénarios alternatifs. Toutefois, il existe de nombreux types de processus décisionnels pour lesquels différents produits de prévision sont nécessaires.
Dans le trading, par exemple, les gens préfèrent utiliser des densités, qui sont des descriptions complètes de la fonction de densité de probabilité. Certains préfèrent les intervalles et des niveaux de confiance prédéfinis comme apport à la prise de décision. D’autres demandent des quantiles spécifiques basés sur leurs considérations coût-perte. Ainsi, la principale différence que j’ai observée entre la météorologie et d’autres domaines est que nous devons consacrer beaucoup de temps à réfléchir au bon produit de prévision à utiliser en entrée. Nous devons nous projeter dans l’univers de nos clients et trouver la meilleure façon de rendre l’information complexe provenant des prévisions probabilistes dans ce qui est le plus utile pour eux. La prévision doit donc être utile pour les clients, et votre approche se concentre également sur cet aspect. Pouvez-vous développer davantage sur les préoccupations liées aux coûts du cloud computing et la manière dont cela affecte votre travail ?
Joannes Vermorel : Oui, en tant que fournisseur de enterprise software, l’une des préoccupations principales est le coût du cloud computing, de manière très concrète. Pour vous donner une idée, la base de clients de Lokad gère environ un petaoctet de données, et c’est ce que nous payons actuellement à Microsoft, notre prestataire d’hébergement cloud. C’est une affaire avantageuse pour Microsoft et pour Lokad, mais il y a des coûts impliqués. La plupart de ce que nous examinons est dicté par l’efficacité des coûts que nous pouvons obtenir en termes de matériel informatique.
Les histogrammes et les densités de probabilité sont généralement les meilleurs. Ils sont super riches, super agréables et super faciles à utiliser. Mais le problème est que, en une dimension, cela va. Vous avez un coût fixe, donc si vous augmentez la quantité de données, disons, par 100, vous obtenez un bel histogramme. Mais ensuite, si vous passez en deux dimensions, parce que vous voulez avoir une matrice de probabilités, cela devient plus compliqué. Par exemple, vous pourriez vouloir examiner les probabilités d’avoir une demande spécifique pour un produit et les probabilités d’avoir la même demande pour un autre produit, mais conjointement. La raison est que ces produits sont concurrents, et lorsqu’un produit connaît une augmentation de la demande, c’est souvent dû à la cannibalisation de l’autre. Vous souhaitez donc des probabilités qui reconnaissent que, très probablement, si la demande d’un produit va exploser, cela signifie que la demande d’un autre va diminuer, et vice versa. Or, si vous le faites avec une matrice, vous obtenez un histogramme en deux dimensions, et la mémoire requise augmente significativement. Cela empire à mesure que l’on passe à des dimensions supérieures, rendant les choses très coûteuses.
De même, lorsque vous souhaitez recourir à des simulations de type Monte Carlo, qui sont très efficaces pour traiter des problèmes en haute dimension, le problème est que vous bénéficiez de rendements décroissants avec de nombreux scénarios. Vous pouvez avoir besoin de beaucoup de scénarios pour même observer un risque un peu rare, comme 10 000 occurrences. La plupart de nos considérations reposent sur le fait que nous devons maintenir les coûts de calcul à un niveau gérable. Ce n’est pas seulement le coût que nous payons à Microsoft, mais aussi le fait que, lorsque vous utilisez quelque chose de plus complexe, les calculs prennent plus de temps, et les gens doivent attendre que la prévision soit terminée avant de pouvoir poursuivre leurs tâches.
Pour les techniques déterministes de séries temporelles, en particulier celles d’avant l’apprentissage automatique utilisées jusqu’aux années 90, vous pouvez presque les exécuter en temps réel, même si vous avez des cyclicités et autres. Elles sont très réactives, et vous pouvez obtenir rapidement des résultats avec des méthodes comme ARIMA ou le lissage exponentiel, toutes ces techniques pouvant être réalisées en temps réel, même en présence de cyclicités et autres. Mais si vous optez pour quelque chose de très sophistiqué, comme un réseau de Deep Learning très profond, ce genre de chose peut prendre des heures d’entraînement, et ainsi, pour nous, cela représente beaucoup de coût. De plus, de notre point de vue, ce qui tend à dominer, c’est la praticité, et c’est une grande préoccupation.
Conor Doherty : Pierre, l’une des choses que vous faites est d’enseigner à l’Imperial College London, et vous rencontrez des étudiants qui viennent dans votre classe pour apprendre la prévision probabiliste pour la première fois. Pour des personnes qui ont déjà une formation en mathématiques et qui sont déjà, en quelque sorte, convaincues de l’intérêt d’embrasser l’incertitude, d’après votre expérience, quel est le plus grand défi qu’elles rencontrent en termes d’apprentissage de ces compétences, en suivant essentiellement votre démarche ?
Pierre Pinson : En ce qui concerne l’enseignement de la prévision, j’ai principalement fait cela lorsque j’étais basé au Danemark, avec un fort accent sur l’énergie. Je pense que les problèmes sont toujours les mêmes. L’un des premiers problèmes est celui que nous avons déjà évoqué : il s’agit de l’accepter. Pourquoi opter pour le probabiliste en premier lieu ? Je dois dire qu’habituellement, je passe beaucoup de temps à décrire des problèmes, des problèmes de prise de décision, et à montrer aux étudiants que vous ne pouvez améliorer vos décisions qu’en adoptant le probabiliste. Il est très important pour un développeur ou un utilisateur d’une prévision, un client des deux côtés, de comprendre que vous ne pouvez faire mieux qu’en allant vers le probabiliste. Cela va vous coûter quelque chose, mais si vous l’adoptez, cela se passera mieux. Il faut beaucoup d’efforts pour se convaincre soi-même et réaliser pourquoi c’est préférable. Si vous ne comprenez pas en quoi ce serait mieux, vous aurez peut-être des difficultés à l’accepter. Nous passons donc beaucoup de temps sur ce point.
Alors je veux qu’ils comprennent que ce n’est pas difficile de produire ces prévisions. Vous avez mentionné certains des modèles classiques, mais on peut y penser même en termes de variables aléatoires basiques. Si vous souhaitez réaliser une prévision probabiliste pour quelque chose qui suit une loi gaussienne, quand nous faisons la prévision ponctuelle classique, nous prédisons simplement la moyenne. Et maintenant que nous disons vouloir adopter l’approche probabiliste, il suffit de prédire en plus la variance, et nous obtenons ainsi une prévision probabiliste complète. Même si vous ne souhaitez pas adopter un modèle paramétrique, si vous voulez prédire des quantiles, vous pouvez en fait utiliser les mêmes modèles que pour le cas déterministe, il vous suffit de changer la fonction de perte lors de votre apprentissage, et voilà, vous obtenez une prévision de quantiles. Un aspect important est que j’enseigne aux étudiants que cela n’est pas d’un ordre de complexité bien supérieur à ce que l’on peut apprendre et maîtriser.
La dernière partie concerne la vérification, car nous avons déjà évoqué que certaines personnes pensent qu’on peut se permettre de prendre son temps, n’est-ce pas ? Parce que si l’on adopte une approche probabiliste, on pourrait dire n’importe quoi, et d’une manière ou d’une autre, on viendrait ensuite nous affirmer que nous n’avons jamais tort. Pourtant, il existe des cadres très rigoureux pour vérifier les prévisions probabilistes et démontrer concrètement qu’elles ont du sens, que vos probabilités sont correctes, et que vous cherchez à concentrer l’information, etc. Ce sont les principaux aspects que je passe en revue avec mes étudiants, et mon expérience me montre que ce sont les fondations essentielles si vous devez gérer par la suite des prévisions probabilistes dans votre travail.
Joannes Vermorel: Mon problème est amusant parce que vous êtes probablement privilégié dans le sens d’avoir vos étudiants. Mes prospects ont généralement déjà reçu une formation sous la forme de ce que les consultants leur enseignent. Faisons des ennemis aujourd’hui. Le problème est qu’il existe une sorte d’anti-préconisation, comme le mouvement lean. Le mouvement lean et l’idée, par exemple, que nous devrions gaspiller moins. Je veux dire, en principe, oui, il est préférable d’éviter le gaspillage. Par définition, le gaspillage est quelque chose d’indésirable, ce qui rend l’énoncé tautologique par nature. Personne ne dit « produisons du gaspillage pour le plaisir », mais cela fait partie du mouvement lean manufacturing et du mouvement lean supply chain. Le problème avec ce raisonnement, c’est que l’on se retrouve avec des situations telles que, par exemple, si vous avez des processus générant du gaspillage comme de longs délais, vous souhaitez les éliminer. Mais à un moment donné, vous pouvez avoir un processus qui n’est pas nécessairement très gaspilleur mais qui reste très inefficace, du fait que vous avez cherché à compresser vos délais autant que possible. Par exemple, si vous voulez déplacer des marchandises aussi rapidement que possible, un avion est idéal, mais l’efficacité des avions en termes de consommation de carburant est terrible par rapport aux trains ou aux cargos. Ainsi, viser directement l’objectif en termes de zéro stock, zéro délai, zéro gaspillage – perspective générale prônée par certains mouvements – revient à tenter d’éliminer entièrement l’incertitude. Si vous avez un délai de zéro, pourquoi prévoir ? Il vous suffit de gérer ce qui se trouve juste devant vous. Si vous avez zéro stock, pourquoi devriez-vous gérer le risque potentiel de surstock ? Mon point de vue intéressant est qu’une partie du défi réside dans le fait que les personnes qui n’ont pas bénéficié, pendant les premières années d’un cours démontrant la supériorité de la pensée probabiliste, ont traversé une ou deux, parfois trois ou quatre décennies de plaidoyer partial de consultants visant à éliminer toutes sortes d’incertitudes de leur supply chain. Certaines incertitudes, je dirais, sont accidentelles, c’est-à-dire qu’elles émergent d’un processus défaillant – celles-ci, oui, vous devriez les éliminer. Si, par exemple, les gens n’ont pas les compétences nécessaires et que certains font tout simplement n’importe quoi, ce n’est pas le genre d’incertitude que vous souhaitez. Mais vous avez d’autres incertitudes, telles que le fait que, par exemple, les cargos puissent être légèrement plus lents à cause de la météo, de sorte qu’ils n’atteignent pas toujours la même vitesse. Toutefois, il est parfaitement acceptable de tolérer cette incertitude si vous disposez des outils pour la gérer de manière sensée.
Pierre Pinson: Vous avez raison. En général, nous abordons cette question comme une question de coût car, d’une certaine manière, pour éliminer les incertitudes, il y a un coût. Si vous disposez d’une somme infinie d’argent que vous êtes prêt à investir pour éliminer toutes les incertitudes, vous pourriez le faire. Mais toute sorte d’incertitude, hormis celles résultant d’erreurs ou d’inefficacités, toute incertitude plus fondamentale dans votre processus que vous souhaitez éliminer, va vraisemblablement vous coûter cher. C’est donc un problème typique où l’on dit : “D’accord, super, vous voulez éliminer toutes les incertitudes comme si cela venait gratuitement. Si c’était gratuit, nous l’aurions fait nous aussi.” Ainsi, ce coût est quelque chose que nous devons évaluer pour savoir si nous pouvons le supporter. Nous avons un parallèle, qui est très intéressant dans le domaine de l’énergie. Par exemple, je travaille beaucoup avec les énergies renouvelables. Si nous développions un stockage permettant de disposer d’une quantité infinie d’énergie à stocker à tout moment et pour aussi longtemps que nous le souhaitons, le problème serait, d’une certaine manière, résolu. Certains disent que nous n’aurions pas besoin de prévoir, que nous n’aurions rien à craindre. Mais développer et déployer des batteries à cette échelle…
