00:00:00 Discussion sur la volatilité et introduction de Peter Cotton.
00:01:22 La performance de Peter lors de la compétition M6 et sa structure.
00:03:21 Le thème de la compétition M6 et l’étude de l’hypothèse des marchés efficients.
00:06:01 L’approche de Peter pour prédire la volatilité en utilisant le marché des options.
00:08:10 Comparaison de la finance à la supply chain en termes de compréhension de la volatilité.
00:09:20 Les prévisions probabilistes dans la supply chain et la finance.
00:10:01 La difficulté de faire penser les gens de manière stochastique.
00:12:26 L’IA comme mot à la mode et son impact sur la prévision.
00:14:55 Simplicité et robustesse face à la complexité.
00:17:01 Benchmarking des algorithmes de prévision des séries temporelles et de leurs performances.
00:18:58 Discussion sur la façon dont une vision déformée de la performance du modèle peut conduire à un surajustement et à un P-hacking.
00:20:14 Objectif des compétitions de prévision pour prévenir le surajustement et la manipulation des données.
00:21:27 Critique de la structure d’incitation académique et plaidoyer en faveur de tests d’algorithmes continus dans le monde réel.
00:22:55 Comparaison de la finance à la gestion de la supply chain et besoin de rationalité et d’efficacité.
00:27:15 Le potentiel des marchés de prévision pour obtenir des prévisions précises et surmonter les biais.
00:28:14 Discussion sur les probabilités futures et les mécanismes de découverte.
00:29:34 Comparaison des mécanismes testés aux opinions pondérées compensées.
00:31:40 Disparité des chiffres lors de la compétition M6 et de la crise financière de 2006.
00:32:25 Distorsion des attentes et effet des promotions dans la vente au détail.
00:36:31 Les traders quantitatifs repoussent les limites et automatisent les processus dans la supply chain.
00:38:09 L’importance de la discipline dans les marchés de prévision.
00:39:58 L’impact des réglementations sur les marchés de prévision.
00:40:44 Le problème avec les modèles statistiques et l’exemple de l’élection de Trump.
00:42:57 La nécessité de boucles de rétroaction et de conséquences dans le monde réel.
00:46:10 Le succès du modèle Philip lors de la compétition M6 en trouvant plus de données.
00:47:20 Mécanismes légers pour les prévisions dans les pipelines de science des données.
00:48:41 MicroPrediction.org et sa microstructure unique pour les prévisions.
00:50:47 L’évolution des concepts de supply chain et de logistique.
00:52:35 Le défi culturel de l’acceptation de l’incertitude dans la gestion de la supply chain.
00:54:46 Histoire de la science des données dans la finance et sa relation avec les probabilités.
00:56:41 Battre le marché boursier et comparaison avec Warren Buffett.
00:58:36 Concours M6, efforts individuels et activité collective.
01:00:08 La leçon morale tirée du M6 et l’utilisation du pouvoir du marché dans d’autres domaines.
Résumé
Dans une interview, Peter Cotton, Chief Data Scientist chez Intech, et Joannes Vermorel, fondateur de Lokad, discutent des prévisions probabilistes, de la compétition de prévision M6 et des différences entre les perspectives de la finance et de la supply chain sur la volatilité et l’incertitude. Ils soulignent que les prévisions parfaites sont impossibles et que les prévisions probabilistes peuvent aider à prendre de meilleures décisions face à la volatilité. Ils s’accordent tous deux sur la valeur de la simplicité et de la robustesse dans la gestion de systèmes complexes, qu’il s’agisse des marchés financiers ou des supply chains. Ils abordent également des problèmes tels que le P-hacking, la transparence des erreurs de modèles de prévision et les mécanismes de marché pour améliorer les prévisions. Vermorel met en évidence les défis culturels de la gestion de la supply chain, tandis que Cotton souligne l’importance des marchés dans l’amélioration des prévisions globales.
Résumé étendu
Dans cette interview, Peter Cotton, Chief Data Scientist chez Intech et trader quantitatif spécialisé dans les prévisions, est invité par Conor Doherty, l’animateur, et discute avec Joannes Vermorel, fondateur de Lokad, une entreprise de logiciels spécialisée dans l’optimisation de la supply chain. La discussion tourne autour des prévisions probabilistes, de la compétition de prévision M6 et des différences entre les perspectives de la finance et de la supply chain sur la volatilité et l’incertitude.
Peter Cotton, qui s’est classé parmi les dix premiers de la compétition de prévision M6, partage que l’objectif de la compétition était d’étudier l’hypothèse des marchés efficients et de déterminer si de bons prédicteurs pouvaient créer des portefeuilles diversifiés sensés qui performaient bien. Il explique que son approche de la compétition était différente de celle des autres, car il utilisait des données du marché des options pour prédire la volatilité au lieu de la prévoir lui-même. Il considérait la compétition M6 comme une bataille entre les data scientists, les prévisionnistes et les professionnels de la finance quantitative contre le marché des options. Malgré son classement élevé, Peter a été surpris de sa performance par rapport aux autres participants.
Joannes Vermorel ajoute que la finance est depuis longtemps en avance sur la supply chain en termes de reconnaissance et de gestion de la volatilité et de l’incertitude. Il note que les professionnels de la supply chain cherchent encore souvent des prévisions parfaites, ce qui est irréaliste. La première étape pour résoudre ce problème est de reconnaître que des prévisions parfaites sont impossibles, et la deuxième est de comprendre que l’incertitude ne signifie pas que les choses sont inconnues. Les prévisions probabilistes peuvent aider à quantifier la structure de l’incertitude et à prendre de meilleures décisions face à la volatilité.
Peter et Joannes conviennent tous deux qu’il reste encore beaucoup de travail à faire pour encourager le monde à penser de manière plus stochastique et à intégrer cette compréhension dans les processus de prise de décision. Alors que la finance a une longue histoire de gestion de l’incertitude et du risque, il a fallu beaucoup plus de temps pour que ces concepts soient largement reconnus et utilisés dans l’industrie de la supply chain.
Vermorel observe que l’IA est devenue un mot à la mode qui masque souvent l’incompétence. Il estime que lorsque les professionnels sont compétents, ils font référence à leurs techniques par leurs noms techniques, tels que les modèles hyperparamétriques ou les arbres boostés par gradient.
Vermorel et Cotton discutent de la complexité et de la nature chaotique des supply chains et de la meilleure approche pour gérer de tels systèmes. Ils conviennent tous deux que plutôt que de s’enliser dans la complexité, une voie plus raisonnable consiste à trouver quelque chose de simple et robuste. Cotton partage son expérience de micro-prévision, qui se concentre sur le maintien de packages open-source pour la prédiction des séries temporelles. Il souligne que les modèles les plus réussis sont souvent les plus simples, tels que des moyennes pondérées de précision des performances récentes.
Les interviewés abordent également la question du P-hacking, où les chercheurs manipulent les données pour soutenir leur résultat souhaité. Ils soutiennent que les compétitions de prévision, telles que la M5, peuvent atténuer ce problème en ne publiant les données qu’après que les participants aient soumis leurs résultats, les empêchant ainsi de modifier leurs modèles pour créer de faux résultats.
Cotton critique la littérature académique qui organise souvent un concours fermé par la même personne qui participe et juge la compétition. Il suggère que plutôt que de publier des articles, les chercheurs devraient faire fonctionner leurs algorithmes en continu et les laisser déterminer de manière autonome leur efficacité dans différents problèmes commerciaux. Cotton plaide en faveur d’une approche plus axée sur les données, telle que transformer tout en une compétition M6 ou un marché des options, pour augmenter la rationalité et l’efficacité.
Vermorel compare également l’environnement impitoyable de la finance à l’inertie présente dans les supply chains, où les entreprises peuvent rester inefficaces pendant de longues périodes sans subir de conséquences graves. Il remet en question la pratique de la planification des ventes et des opérations (S&OP), qui consiste à réunir des personnes pour discuter et voter sur les prévisions, suggérant que cette méthode n’est pas la plus efficace pour faire des prédictions.
Vermorel partage ses expériences de travail avec de grands détaillants sur la prévision de l’impact des promotions. Il note que les attentes sont souvent surestimées et qu’un modèle de moyenne simple basé sur des données historiques peut produire des prédictions plus précises. Cependant, présenter ces estimations plus conservatrices peut parfois être mal perçu, car cela pourrait être considéré comme une remise en cause de l’enthousiasme ou de l’intelligence humaine.
Cotton souligne l’importance de la discipline dans la réalisation de prédictions précises, qui peut être favorisée par des approches basées sur le marché. Il suggère d’encourager les gens à être plus transparents sur les erreurs de leur modèle de prédiction et à envisager d’utiliser des mécanismes de marché légers dans leurs pipelines de science des données. Les marchés de prédiction, bien qu’intéressants, ont été entravés par la réglementation et les préoccupations liées aux jeux d’argent.
Cotton raconte un désaccord avec l’équipe derrière le modèle électoral de The Economist avant l’élection présidentielle américaine de 2016, qui avait attribué une probabilité beaucoup plus faible à une victoire de Trump par rapport aux marchés de paris. Cet échange souligne la nécessité de meilleures méthodes d’évaluation de l’exactitude des modèles et les limites de se fier uniquement à l’opinion d’experts.
Les participants conviennent que les mécanismes de marché se sont révélés plus fiables que les méthodes alternatives pour faire des prédictions, mais soulignent l’importance de trouver des moyens d’introduire la discipline du marché dans d’autres domaines, tels que l’optimisation de la supply chain et la prévision des ventes au détail.
Vermorel identifie un problème avec les exercices de prévision traditionnels, qui impliquent souvent des équipes séparées déconnectées du reste de l’entreprise. Cela conduit à des pratiques telles que le sous-estimation des prévisions par les commerciaux pour dépasser leurs quotas et recevoir des primes. La production, quant à elle, a tendance à surestimer les prévisions pour obtenir des budgets plus élevés pour augmenter la production. Vermorel suggère que la création de boucles de rétroaction avec des conséquences réelles peut aider à ancrer les modèles prédictifs et les rendre plus efficaces.
Cotton discute du rôle des marchés de prédiction dans l’amélioration des modèles de prévision. Alors que les marchés de prédiction traditionnels peuvent être lourds, des alternatives légères peuvent être plus efficaces dans un pipeline de science des données. Cotton mentionne également son livre sur les mécanismes de microprévision capables de recevoir ou de solliciter des prédictions et de servir à des fins amont pour les applications commerciales.
Les interviewés reconnaissent les défis culturels de la gestion de la supply chain, en particulier depuis que la supply chain est apparue dans le domaine de la logistique dans les années 1990. La logistique se concentre sur la certitude opérationnelle, tandis que la gestion de la supply chain implique une planification à long terme et la gestion de l’incertitude. Vermorel se demande combien de temps il a fallu à la finance pour adopter des modèles probabilistes de l’avenir, tandis que Cotton note que la science des données est sérieuse depuis au moins 40 ans.
Cotton aborde également la différence entre battre le marché et fournir des estimations de probabilité précises. Il explique que même si des individus comme Warren Buffett ont régulièrement battu le marché, ils ne peuvent pas créer de modèles autonomes qui fournissent de meilleures estimations probabilistes que le marché lui-même. Il souligne l’importance des marchés en tant que combinaison d’efforts individuels pour créer des probabilités et améliorer les prévisions globales.
Transcription complète
Conor Doherty: Bienvenue à nouveau sur Lokad TV, je suis votre hôte Conor, et comme toujours, je suis accompagné du fondateur de Lokad, Joannes Vermorel. Notre invité d’aujourd’hui est Peter Cotton, il est vice-président principal et chef des scientifiques des données chez InTech Investment. Aujourd’hui, il va nous parler de prévisions probabilistes et peut-être de la façon de battre le marché boursier. Peter, bienvenue sur Lokad.
Peter Cotton: Merci de m’accueillir.
Conor Doherty: Chez Lokad, nous aimons savoir à qui nous parlons. Alors, Peter, pourriez-vous nous en dire un peu plus sur votre parcours et sur ce que vous faites chez InTech Investment ?
Peter Cotton: Oh, bien sûr. Je me décrirais comme un quant à vie. J’ai travaillé du côté des acheteurs et du côté des vendeurs, et j’ai eu une brève expérience en tant qu’entrepreneur dans une entreprise de données. Actuellement, je passe mon temps à essayer de prédire des choses, ce qui ne vous surprendra pas, et à repousser les limites de la théorie de portefeuille.
Conor Doherty: Nous devrions dire dès le départ, félicitations pour vos récents résultats dans la compétition M6. Je crois que vous avez terminé dans le top 10, c’est bien ça ?
Peter Cotton: Oui, c’est vrai. Je ne sais pas si c’est à mon crédit ou simplement aux crédits de tous ces traders d’options et de tous les quants qui les soutiennent. À certains égards, ce n’était pas du tout mon travail ; j’étais simplement un simple intermédiaire entre une source de puissance prédictive et une autre.
Joannes Vermorel: Pour le public, le M6 était en réalité la sixième itération d’une série très connue de compétitions de prévision, dont le but est littéralement de faire des prédictions. Le fonctionnement de la compétition est le suivant : il y a un ensemble de données qui est rendu public, puis il y a un certain ensemble de règles, et les gens doivent faire des prédictions, généralement sous la forme de prévisions de séries temporelles. Dans ce cas, il y avait un aspect probabiliste lors des deux dernières itérations de la compétition, le M5 et le M6. C’était un jeu itératif avec 12 itérations, où les gens devaient soumettre leurs résultats et la compétition avançait. Ils avaient beaucoup de règles pour déterminer qui s’en sortait le mieux et qui surpassait réellement le marché. C’est un exercice très exigeant et très brutal car il y a très peu de place pour falsifier vos résultats.
Conor Doherty: Je crois comprendre que chaque itération de la compétition M est différente. Alors, Peter, quel était le thème du M6 ? Je veux dire, quel était l’objectif explicite ?
Peter Cotton: L’objectif des organisateurs, dans un sens large, était d’étudier l’hypothèse des marchés efficients, qui affirme, sous différentes formes, qu’il est difficile de battre le marché. La raison pour laquelle il est difficile de battre le marché est qu’il y a beaucoup d’incitation financière à le faire, et il y a beaucoup de personnes intelligentes qui ont passé les 40 dernières années de leur carrière à essayer de le faire et à constituer des équipes pour le faire, et à rassembler toutes les données qu’elles peuvent trouver pour le faire. Il est indéniablement vrai que la meilleure chose prédite sur la planète Terre est probablement le prix des actions Google ou quelque chose du genre. Tout le reste est en dessous de cela en termes de prédiction, c’était donc l’un des objectifs déclarés des organisateurs. Un autre objectif était d’étudier si les personnes capables de prédire correctement seraient également capables de transformer cela en portefeuilles diversifiés sensés qui se comportent selon une certaine métrique avec laquelle nous pouvons discuter. Donc, je pense que ce sont les deux principaux objectifs des organisateurs, du moins tels que je les ai compris. Et qu’est-ce que votre modèle a fait exactement que les autres participants n’ont pas réussi à faire correctement ?
Ce qui différencie mon entrée, c’est que, d’un point de vue philosophique, j’ai considéré le problème comme étant celui de trouver les données pertinentes. Bien sûr, d’autres personnes le voient également de cette manière, mais je pense que ce qui est différent, c’est que les gens négligent parfois le fait que les données peuvent prendre la forme de nombres implicites ou de nombres implicites sur les marchés existants.
Maintenant, si vous regardez la compétition M6, ce que nous devions faire, c’était essayer de prédire la probabilité qu’une action ou un ETF donné ait des rendements dans, disons, le deuxième quantile par rapport à ses pairs sur 100 après un mois. Donc, vous vous demandez, qu’est-ce qui détermine vraiment si une action va finir dans le deuxième quantile de ses pairs ? Eh bien, si vous avez une opinion sur la direction de l’action, cela va augmenter la probabilité de finir dans les deux premiers quantiles, évidemment. Mais si vous n’avez pas d’opinion sur l’action, ce qui était mon cas personnellement, alors la principale chose qui va influencer si vous vous retrouvez dans le premier quantile ou le troisième, c’est la volatilité de l’action.
Donc, je dirais que c’était vraiment un concours de prédiction de la volatilité, pas de la direction de l’action, peut-être un peu contraire à l’hypothèse déclarée des organisateurs, mais c’est bien, c’est une expérience en laboratoire. Donc, ce que j’ai fait, c’est que j’ai dit : “Eh bien, il existe déjà une source d’informations incroyablement bonne sur la volatilité des actions. C’est le marché des options.” Donc, je vais simplement regarder le marché des options, et au lieu de prévoir la volatilité moi-même, je vais simplement utiliser ces chiffres. C’est à peu près tout ce que j’ai fait.
Donc, vous pourriez considérer mon entrée comme étant simplement une référence de marché, peut-être pas la même référence de marché que les gens anticiperaient. Les organisateurs ont mis en place une référence de marché différente, plus faible. Mais c’était la mienne, et j’ai dit : “Regardez, il est très difficile de trouver de meilleures estimations prospectives de la distance qu’une action va parcourir que celles qui seraient implicites sur le marché des options, car si vous pouviez le faire, vous pourriez gagner de l’argent en achetant et en vendant des options.” Bien sûr, il y a des gens qui gagnent de l’argent en vendant, en achetant et en vendant des options, j’en fais partie, mais cela conduit le marché à un état très efficace, et c’est donc ce que je trouvais amusant dans ce concours.
C’était une façon de rassembler une communauté de data scientists, de prévisionnistes et de quelques quants, et de dire : “Regardez, voici cette sorte de bataille, et je trouvais ça vraiment amusant de le faire.” C’est donc ce que j’ai fait, et j’ai été en fait un peu surpris de ma position élevée dans le classement. Je pense que j’étais à moins de 0,002 de score Brier d’être dans l’argent, de gagner réellement de l’argent, donc très proche. Mais l’essentiel était simplement de voir, vous savez, est-ce que je battrais 70% des participants, est-ce que ce serait 80% ? Il s’est avéré que ce serait 96% des participants. J’ai été un peu surpris par cela, pour être honnête.
Joannes Vermorel : Ce qui m’intéresse, en tant que spécialiste de la supply chain, c’est que je suis toujours extrêmement impressionné par le fait que la finance est littéralement des décennies en avance sur la supply chain en ce qui concerne toutes sortes de choses.
Ma principale bataille chez Lokad est que la volatilité existe. Nous sommes toujours en train de nous battre pour savoir si elle existe vraiment, car dans les cercles de la supply chain, il y a beaucoup de gens qui disent : “Prévoyons jusqu’à quatre décimales combien nous allons vendre l’année prochaine.” Si vous aviez une prévision de ventes parfaite, tout deviendrait une question d’orchestration. Vous pourriez décider exactement combien vous allez produire, combien vous devez acheter et combien vous devez allouer en termes de stocks. Donc, si vous aviez des prévisions parfaites, toute l’exécution pour livrer les biens et services deviendrait simplement une question d’orchestration banale.
Lorsque Lokad a commencé à promouvoir les prévisions probabilistes dans la supply chain il y a une dizaine d’années, ce n’était pas nouveau, car la finance le fait depuis au moins trois ou quatre décennies avec la valeur en risque. L’idée clé est, tout d’abord, de renoncer à l’idée que nous aurons une prévision parfaite. La première étape consiste à reconnaître que vous ne savez pas tout ce qu’il y a à savoir sur l’avenir. Cela semble évident pour les personnes issues de la finance, mais dans la supply chain, il n’est toujours pas largement reconnu que vous ne pouvez pas arriver à une prévision parfaite.
Une fois que vous acceptez que vous avez de l’incertitude, cela ne signifie pas que vous ne savez rien. Vous pouvez avoir à la fois de l’incertitude et quantifier la structure de cette incertitude avec la volatilité. Ce n’est pas parce que c’est incertain que c’est inconnu. Il y a des choses à connaître sur la structure de l’incertitude, et c’est là que nous parlons de prévisions probabilistes. Du point de vue de la supply chain, nous l’utilisons pour dire que vous ne prenez pas les mêmes décisions face à une grande dispersion ou à une incertitude très concentrée. Lorsque vous êtes confronté à une énorme volatilité, vous n’abordez pas le risque de la même manière quantitative que lorsque c’est presque une certitude en comparaison.
Peter Cotton : Il est vrai que cela prend encore des décennies pour essayer de faire passer ce message. Il y a des personnes dans les sciences de gestion qui ont essayé de populariser cette notion, comme Sam Savage avec le Flaw of Averages, et d’encourager les gens à comprendre que prendre un seul chemin ou une valeur moyenne vous conduira à des problèmes. En finance, vous avez eu toutes ces notions incroyablement fines de risque de convexité depuis des années. C’est incroyablement différent.
Je l’ai aussi remarqué car certains concurrents doivent fournir des prédictions de distribution, et si vous venez de Kaggle ou d’ailleurs, vous pourriez ne pas être familier avec la motivation derrière cela. Alors, quelle est la solution ? Comment encourager le monde à penser de manière plus stochastique et à intégrer cela dans la prise de décision ou les feuilles de calcul des gens ? Ce n’est pas si facile.
Joannes Vermorel : Absolument. Et je pense que l’un des éléments qui brouille encore plus le tableau est que, du moins d’après mon expérience dans les logiciels d’entreprise dans la supply chain, le mot à la mode de la décennie a été l’IA. C’est intéressant parce que dès que vous avez de l’IA, vous êtes censé avoir une meilleure compréhension du futur.
Selon moi, l’IA est juste un mot à la mode pour masquer votre propre incompétence avec quelque chose. Une fois que vous êtes très compétent, vous avez tendance à l’appeler autrement, comme un modèle hyper-paramétrique ou des arbres boostés par gradient. Quand vous dites IA, c’est juste du charabia pour quelque chose que vous ne comprenez pas.
Ce qui est intéressant, c’est que très souvent, lorsque vous êtes confronté à quelque chose d’incroyablement chaotique et complexe, mon expérience et nos résultats avec le M5 montrent que Lokad a très bien réussi avec une méthode qui était des ordres de grandeur plus simple que les méthodes basées sur l’IA. Ce que j’ai trouvé intéressant avec votre approche de micro-prédiction, c’est que je pense que vous avez fait quelque chose de très similaire dans sa simplicité. Donc, face à quelque chose d’incroyablement complexe, vaut-il mieux avoir un système qui reflète toute cette complexité ou, au contraire, avoir quelque chose de très simple pour vous guider à travers la tempête ?
Joannes Vermorel : J’ai entrepris quelques expériences à ce sujet. J’étais désireux d’avoir autant de bons algorithmes que possible provenant du monde open-source pour la prédiction de séries temporelles. J’essaie de maintenir ces packages open-source qui facilitent assez bien la comparaison des choses ou la détermination de ce qui est une bonne série temporelle pour votre objectif. Certains d’entre eux ont une vie autonome et essaient de voir s’ils sont bons pour prédire quelque chose. La micro-prédiction est un peu comme le M6 pour les algorithmes, mais généralement à des fréquences plus élevées.
Peter Cotton : Bien sûr, nous avons commencé à développer des points de vue au fil du temps sur ce qui fonctionne réellement et ce qui est robuste dans différentes situations. J’ai fait quelques tests hors ligne de séries temporelles univariées et il existe probablement 20 ou 50 packages Python pour la prédiction de séries temporelles. La plupart d’entre eux enveloppent d’autres packages comme TSA et stats models. Mais lorsque vous les comparez aux choses classiques, vous constatez que les moyennes pondérées de précision simple des performances récentes d’un ensemble de modèles simples se retrouvent en tête. Les modèles simples incluent des choses comme Auto ARIMA et leurs variantes, voire des choses encore plus simples.
Joannes Vermorel : Pour le public, je pense que ce que vous soulignez, c’est que le P-hacking est un problème très réel. Lorsque vous vous aventurez dans le domaine des modèles sophistiqués, vous pouvez presque toujours trouver un modèle qui fonctionne accidentellement bien. Cela peut conduire à un overfitting et à du P-hacking, où vous choisissez sélectivement des dimensions et des hypothèses pour passer un test statistique de confiance. Les compétitions de prévision empêchent cela en ne publiant les données qu’après que les participants aient soumis leurs résultats afin qu’ils ne puissent pas ajuster leurs modèles pour obtenir de faux résultats.
Peter Cotton : C’est vrai. La plupart de la littérature académique comprend un petit concours fermé organisé par la même personne que le participant. Ils décident qui d’autre est autorisé à participer, font courir la course 10 fois, puis publient le résultat. C’est ridicule. L’objectif des compétitions de prévision est d’empêcher cela de se produire.
Je suis d’accord. C’est absolument ridicule. Pourquoi y a-t-il même une littérature empirique ? Je ne sais pas. J’ai passé mon temps à tourner en dérision la notion même d’une littérature empirique. Pourquoi avez-vous cela, vous savez, pourquoi publier un article sur l’efficacité d’un modèle en temps réel si l’article ne va pas se mettre à jour, n’est-ce pas ? Je ne sais pas ce que nous pouvons faire pour nous éloigner de cela, malheureusement. Comme nous le savons tous et comme le dit The Economist, la blague sur les incitations est que le problème n’est pas qu’elles ne fonctionnent pas, c’est qu’elles fonctionnent trop bien. Donc, si le seul incitatif est de publier des articles, c’est ce que vous obtiendrez. Si le seul incitatif est une métrique légèrement étrange pour le M6 du côté de l’investissement, vous allez trouver, vous savez, trois personnes sur 200 qui vont trouver que c’est la façon de le manipuler, n’est-ce pas ? C’est comme ça que ça se passe.
Donc, oui, je veux dire, je préconise plutôt que de publier des articles, les gens devraient prendre leur algorithme et le faire fonctionner indéfiniment. Et nous devrions encourager une infrastructure que les entreprises pourraient partager et qui permettrait à ces algorithmes de passer d’un problème commercial à l’autre et de découvrir s’ils fonctionnent réellement bien. Et si ces méthodes qui apparaissent ces jours-ci, et certaines d’entre elles sont très ingénieuses et l’apprentissage automatique, sont capables de bien fonctionner en dehors de l’échantillon et s’il y a suffisamment de données pour le faire réellement, il y aura suffisamment de données pour déterminer de manière autonome si elles sont bonnes ou non. Et donc, nous n’avons pas vraiment besoin d’êtres humains avec leurs fortes opinions et leurs fortes préférences et leurs intérêts personnels et tout le reste pour déterminer quel algorithme devrait fonctionner pour un problème commercial donné. Souvent, du moins dans mon domaine, et votre domaine est un peu plus difficile car vous avez des prévisions à plus long terme, mais dans mon domaine, si vous dites ce qui va fonctionner pour vous, vous savez, prédire combien de clients vont arriver dans les cinq prochaines minutes ou combien de voitures vont passer à une intersection dans les deux prochaines minutes, c’est un problème de grande ampleur. Nous ne devrions pas avoir, il n’y a aucune raison pour que les gens avec leurs PDF et tout le reste se mettent en travers du chemin. C’est, à mon avis, transformons simplement tout en un M6 mais accélérons-le ou mieux, transformons tout en un marché des options.
Joannes Vermorel: Oui, et ce qui est intéressant, c’est que, encore une fois, pour moi, la finance est simplement une pratique, et je dis cela dans le bon sens, car il y a cette perception générale du public selon laquelle, vous savez, si vous avez un méchant dans un film, ce sera le gars de la finance et les options. Mais ce que je pense, c’est que ces marchés sont un exercice de rationalité. Je veux dire, si vous êtes profondément irrationnel, vous faites simplement faillite. Et ce ne sont que les personnes qui peuvent maintenir un très, très haut niveau de rationalité dans ce qu’elles font sur une longue période de temps qui ne font pas faillite. C’est un environnement très impitoyable. Même de petites inefficacités sont très rapidement exploitées. Si vous avez des concurrents qui sont, année après année, quelques pour cent plus efficaces que vous, alors les gens réallouent leurs fonds vers ces personnes et vous faites littéralement faillite. C’est littéralement le darwinisme à un rythme rapide en action d’une manière assez brutale.
D’une manière similaire, vous savez, les prédictions à long terme, c’est aussi le genre de choses que les gens ne réalisent pas dans les chaînes d’approvisionnement, il y a de nombreuses entreprises qui peuvent survivre pendant des décennies non pas parce qu’elles sont très, très bonnes, mais parce qu’il y a une telle inertie incroyable dans la mise en place de l’infrastructure, la mise à jour des pratiques, etc., vous pouvez rester super inefficace pendant une décennie ou plus avant que cela ne fasse même une différence. Par exemple, de nombreux détaillants sont allés sur Internet pour créer leur boutique en ligne deux décennies après Amazon, et ils ont beaucoup souffert au lieu de simplement disparaître. En finance, il y avait beaucoup de choses - si vous êtes en retard de deux décennies à la fête, c’est tout simplement insupportable. Donc, à partir d’un contexte de chaîne d’approvisionnement, en ce qui concerne la réflexion sur l’avenir, l’une des méthodes les plus populaires est toujours le S&OP, ce qui signifie Sales and Operations. Cela implique de réunir toutes les personnes dans la même pièce et de discuter, de sorte que la bonne prévision émerge de la discussion. Du point de vue d’un trader quantitatif, cela vous semblerait-il être une option raisonnable ? Comme, nous voulons bien performer, donc amenez 20 personnes dans la pièce, regardons ces graphiques, et prenons ensuite un vote pour décider de la prévision, avec des points bonus si vous avez un rang plus élevé dans l’organisation.
Peter Cotton: Oh mon Dieu, pour être parfaitement honnête, je n’envie pas du tout les personnes qui sont chargées de faire des prévisions à un ou deux ans à l’avance. Évidemment, c’est un jeu délicat. La question de l’intelligence collective parmi les humains dans ce genre de tâche de prédiction et comment vous y parvenez a certainement une littérature intéressante. Mais je pense que parfois, il y a un simple fait que le biais puritain américain fait simplement obstacle à une solution assez évidente. Je veux dire, j’ai grandi en Australie, et si vous voulez savoir si deux mouches rampent sur un mur, laquelle va arriver en premier, vous laissez les gens parier dessus. C’est vraiment aussi simple que ça. Ne compliquons pas les choses.
Le meilleur dispositif de prédiction, le premier grand dispositif de prédiction, a été construit à la taille d’un bâtiment à l’hippodrome d’Ellerslie et a été ouvert, je pense, en 1913. C’était la première machine totalisatrice mécanique au monde. Les gens pouvaient parier sur les chevaux, et ces énormes pistons s’élevaient lentement dans les airs pour indiquer aux gens combien avait été misé sur chaque cheval. Et grâce à cet incroyable appareil mécanique, la probabilité est apparue - le premier exemple de probabilité neutre au risque définie dans un système de traitement de l’information en temps réel. En 100 ans, c’est toujours la seule façon vraiment raisonnable d’arriver à des probabilités futures d’événements, autant que je sache. Je ne pense pas qu’il y ait eu une meilleure invention.
Joannes Vermorel: Oui, et un point qui m’intéresse beaucoup, c’est que vous soulignez qu’il s’agit d’un mécanisme de découverte en jeu. C’est de cela dont nous parlons, et il y a de l’ingéniosité là-dedans. Ce qui vaut vraiment la peine, ce n’est pas nécessairement le modèle qui l’accompagne ou la réflexion de l’homme, mais c’est d’avoir une approche où l’on se demande : “Quel est mon mécanisme de découverte pour obtenir des informations plus fiables sur l’avenir ? Y a-t-il même quelque chose qui agit comme un mécanisme de découverte, ou est-ce que je suis en train d’inventer des choses et de déclarer implicitement que ces déclarations que je fais concernent l’avenir sont bonnes et valides avant même de considérer qu’il pourrait y avoir un parcours pour y arriver ?” Quelque chose qui a été conçu en gardant cette découverte à l’esprit, et c’est une excellente façon de le dire.
Peter Cotton: Ici, vous avez un mécanisme qui a été testé dans mille endroits différents pendant un siècle, et il continue de fonctionner. Les gens viendront constamment dire : “Eh bien, attendez, il y a autre chose que nous pouvons faire”, comme un excellent exemple d’opinions pondérées compensées dans une salle qui examine une propagation. Eh bien, peut-être que c’est le bon mécanisme pour la prédiction, qui sait ? Regardez l’histoire. J’ai commencé ma carrière en 2001 dans le crédit et j’ai vécu l’expérience de 2006. Vous aviez un marché qui fournissait un nombre de corrélation implicite qui vous disait quelle était la vision du marché sur la corrélation relative de la fortune d’une entreprise avec celle d’une autre. Disons que ce nombre était de 30. Les agences de notation ont adopté une approche actuarielle, tout comme les participants de M6. Ils ont ignoré les informations du marché et ont élaboré leur propre modèle, même en ignorant parfois les mathématiques nécessaires pour reconnaître l’information. Ils ont dit aux investisseurs institutionnels que le nombre n’était pas de 30, pas même de 20, mais de 5 pour cent. C’est une énorme divergence dans un nombre. Alors, comment cela s’est-il passé, mis à part une crise financière mondiale et d’autres catastrophes dans la chaîne d’approvisionnement ? Combien d’exemples nous faut-il ?
Joannes Vermorel: Ce qui est drôle, c’est qu’il y a une sorte de folie partielle qui se produit. Juste pour donner un exemple, dans la vente au détail, Lokad travaille avec de nombreux grands détaillants. En général, lorsqu’il s’agit de prévoir l’impact des promotions, comme une réduction de 30 % sur une barre de chocolat, les gens sont enthousiastes quant à l’effet. Ils veulent faire bouger les choses et acquérir des parts de marché. Mais lorsque nous examinons les prévisions de promotion, les chiffres sont presque toujours surestimés. Les gens pensent que les ventes seront trois ou quatre fois supérieures à la normale. Cependant, lorsque vous appliquez un modèle de moyenne super basique et que vous regardez les promotions passées, la réalité est plus conservatrice. C’est intéressant parce que lorsque vous leur montrez un modèle plus conservateur, ils ont l’impression que leur enthousiasme et leur intelligence humaine sont diminués.
Peter Cotton: En informatique, il y a un adage : écrivez d’abord le test. Mais personne n’écrit d’abord le test lorsqu’il s’agit de prévoir ou de faire des prédictions sur l’avenir, n’est-ce pas ? Et seulement environ cinq pour cent du temps, ils écrivent le test par la suite, s’ils reviennent même de manière rigoureuse et regardent ce qu’ils ont réellement fait.
Oui, c’est vrai. Les marchés ont, malgré toutes leurs imperfections, une incroyable capacité à fournir de la discipline. Il y a une raison pour laquelle certains des meilleurs fonds spéculatifs, par exemple, intègrent des choses comme des camps de poker. J’ai grandi en essayant de comprendre les marchés du jeu sous différentes formes, et si vous n’avez pas cette discipline, vous ne vous améliorerez pas dans la prédiction des choses. Alors comment créons-nous cette discipline ?
Nous ne voulons pas que l’UE impose à tout le monde de mettre leurs résidus de modèle sur la blockchain, car cela serait inefficace pour diverses raisons. Cependant, nous pouvons peut-être encourager les gens à réfléchir à la manière dont ils pourraient utiliser des choses qui ressemblent à des marchés, mais qui sont plus légères, et commencer à réfléchir à la manière dont elles pourraient s’intégrer dans leurs pipelines de science des données existants.
Nous pourrions commencer à encourager les gens à dire : “Hé, regardez, que faites-vous avec les erreurs de vos modèles de prédiction ? Où vont-elles ? Sont-elles jetées à la poubelle ? Rendez-les publiques, sont-elles vraiment si confidentielles ?” La plupart des gens ne savent même pas ce qu’est votre modèle, ou ce que vous modélisez, ou comment vous le faisiez avant, et vous produisez quelque chose que vous prétendez être du bruit.
Eh bien, de quoi avez-vous peur ? C’est peut-être une approche. Le domaine des marchés de prédiction est certainement intéressant, et du moins aux États-Unis, il a été largement entravé au fil des ans par la réglementation. Toutes sortes de personnes ont essayé d’utiliser cette discipline, mais elles se sont ensuite retirées lorsque l’étiquette du jeu d’argent est apparue. Pour que les choses fonctionnent bien, il faut parfois prendre des risques, donc il peut y avoir un coût. Nous ne voulons pas transformer le monde en machines à sous, mais sans une certaine discipline de marché, je ne vois pas comment cela pourrait s’améliorer. Je ne vois qu’une répétition des choses.
Joannes Vermorel: Je pense que vous touchez là quelque chose de très important, et aussi quelque chose que je préconise depuis des décennies : si vous n’avez pas de boucle de rétroaction du monde réel lorsque vous opérez dans votre espace mathématique avec des modèles statistiques et des algorithmes, vous ne savez pas si vous faites des choses insensées ou non.
Les mathématiques ne vous disent que la cohérence, si ce que vous faites à l’intérieur de cet espace mathématique est cohérent avec lui-même, pas avec le monde. Si vous n’avez pas de boucle de rétroaction, vous ne savez pas. Au mieux, si vous êtes statistiquement et graphiquement correct, cela signifie simplement que vous êtes cohérent avec vous-même, ce qui est bien, mais cela ne dit rien sur le monde en général.
Quand vous disiez : “Seriez-vous prêt à parier quelques euros ou dollars sur le cas ?”, c’est littéralement la boucle de rétroaction. C’est la punition, la récompense et l’engagement. Dans la supply chain, l’un des problèmes de ces exercices de prévision, c’est qu’ils sont généralement totalement déconnectés de ce que les gens font.
Le problème que j’ai identifié, c’est que la plupart des entreprises ont une équipe chargée de la prévision, produisant des prévisions de séries temporelles, et ensuite le reste de l’entreprise gère les conséquences. On se retrouve avec des pratiques très étranges. Par exemple, les commerciaux, lorsqu’ils doivent contribuer à la prévision des ventes, sous-estimeront largement dans un processus appelé “sandbagging”. Pourquoi ? Parce que s’ils prévoient leur quota à 100 mais sont confiants qu’ils vendront 200, ils dépasseront leur quota et obtiendront leur prime.
D’autre part, en production, prévoir une forte demande vous permet d’obtenir un budget supplémentaire pour augmenter votre appareil de production. Si vous disposez d’une usine capable de produire deux fois plus que ce dont vous avez besoin, la production est fluide car votre capacité dépasse largement vos besoins réels. Le problème n’est pas que les gens jouent à ces jeux ; c’est d’avoir une boucle de rétroaction conçue de manière à ce que les gens subissent les conséquences. Vous voulez que les modèles prédictifs soient fondés, et les engagements financiers tels que les paris peuvent être un moyen extrêmement simple et concret d’y parvenir. D’un point de vue opérationnel, c’est également relativement simple à exécuter.
Peter Cotton : Il y avait un bon participant au concours M6, que j’appellerai le “modèle Philip”. Une partie importante de son approche consistait à trouver plus de données. Il n’était pas satisfait des stocks et des ETF fournis par les organisateurs, il a donc cherché plus de données, construit des modèles et a vu comment ils se comportaient par rapport à un univers plus large. Cela l’a rendu moins enclin à surajuster à une histoire particulière. Bien que les marchés de prédiction puissent être lourds, des alternatives légères sans enjeu peuvent toujours être efficaces. Par exemple, microprediction.org permet à la crème de remonter à la surface sans enjeu.
Dans mon livre, je parle des “micromanagers”, qui sont des mécanismes autonomes qui reçoivent ou sollicitent des prédictions et servent à une application métier en amont. Il existe de nombreux mécanismes différents pour cela. Par exemple, microprediction.org utilise un système de loterie continue avec une distribution collective de la valeur future d’une variable. Vous pouvez être récompensé pour orienter la distribution collective vers la vraie distribution. Il existe de nombreuses études sur l’évaluation et les caractérisations des estimations ponctuelles et des estimations distributionnelles. Le défi est davantage culturel : les entreprises veulent-elles avoir la discipline que l’on trouve dans la finance depuis 40 ans ?
Joannes Vermorel : C’est en effet un problème amusant à résoudre, et la culture joue un rôle important. La supply chain est un concept récent qui a émergé dans les années 90, la logistique étant le domaine dominant auparavant. L’excellence en logistique signifie ne pas avoir d’accidents, éliminer les dangers et assurer la sécurité sur le lieu de travail. Beaucoup de progrès ont été réalisés dans ce domaine, les professions dangereuses devenant beaucoup plus sûres. La supply chain, en revanche, se concentre sur la vision à long terme, en faisant en sorte que les choses se concrétisent sur le terrain, ce qui représente un défi différent.
Et le fait est que lorsque vous commencez à y réfléchir, c’est ce que j’ai entendu, vous savez, tous ces concepts, par exemple, vous savez, la distance de Kullback-Leibler, c’est encore une fois, ce sont littéralement tous des outils conceptuels où vous acceptez que l’avenir est incertain et donc vous pouvez travailler avec l’incertitude, et vous avez même l’instrument mathématique pour travailler avec cela.
C’est là que ça devient intéressant. Le défi culturel pour la supply chain est qu’il est incroyablement difficile. La logistique, où la supply chain a émergé, consistait à éliminer l’incertitude d’une certaine manière. Vous ne voulez pas qu’il y ait une probabilité que quelqu’un meure sous votre responsabilité, vous voulez que cette probabilité soit nulle ou quelque chose de si infime que lorsque cela se produit, c’est vraiment quelque chose qui était presque impossible à prévenir. Donc les gens, et c’est bien, veulent avoir une certitude dans leurs processus. Mais ensuite, lorsque vous évoluez vers cette mentalité de supply chain où vous pensez plusieurs années à l’avance, vous ne pouvez soudainement pas obtenir ces certitudes pour des choses qui vont se produire dans plusieurs années. Il faut donc revoir cette culture car avoir une certitude totale est très bon sur le terrain pour votre opération, mais c’est un tout autre jeu lorsque vous commencez à réfléchir à l’avenir, surtout pas à l’avenir immédiat mais un peu au-delà.
Conor Doherty : Estimeriez-vous combien de temps il a fallu à la finance pour adopter, au cours du XXe siècle, cette vision probabiliste plus élaborée de l’avenir ? Je crois que les instruments de Value at Risk ont été introduits dans les années 80, mais je ne suis pas sûr à 100% de mes dates.
Peter Cotton : C’est une bonne question. Les marchés d’options existaient bien avant cela, et beaucoup de gens avaient une assez bonne compréhension de ce qui se passait. Il y a toujours eu des gens intelligents, et ils ont beaucoup publié. La science des données n’a pas 10 ans ; elle a au moins 40 ans, si vous lisez la biographie de Jim Simons. L’idée que la probabilité est en dollars est une idée très ancienne, et l’idée que la probabilité est peu fiable si elle n’est pas en dollars est également très ancienne.
Conor Doherty : Juste une dernière question pour tout relier. Est-ce que le M6 a démontré qu’il est possible de battre le marché et mieux que ce que les autres ont historiquement fait depuis plus de six décennies ?
Peter Cotton : Le problème avec cela, et c’est une distinction très importante à faire, c’est que Warren Buffett ne serait pas arrivé dans le top 10. Warren Buffett aurait eu des estimations de probabilité horriblement calibrées. Il y a une différence entre être capable de battre le marché et créer les mêmes estimations probabilistes ou meilleures que celles que le marché peut faire. Ni Warren Buffett, ni Jim Simons, ni aucun fonds spéculatif individuel ne peuvent le faire. Le M6 est un concours et une collection d’efforts individuels pour créer des probabilités, mais un marché est bien plus que cela. C’est une activité collective, et on ne peut pas battre cette activité collective. Dans le M6, je m’attendais à trouver des personnes intelligentes et tout le mérite revient à Philip qui m’a battu honnêtement. Mais si vous regardez une simulation numérique, il est impossible de dire que Philip était réellement meilleur que moi ou vice versa.
Les performances globales du marché des options dans le M6 sont assez écrasantes. Il y avait une phase pilote, puis le premier trimestre, le deuxième trimestre, le troisième trimestre et le quatrième trimestre. À chaque fois, cinq fois sur cinq, mon entrée était dans le quartile supérieur. Si ce n’est pas de la chance, je pense, j’espère que le M6 enseigne aux gens que la discipline du marché est bien plus élevée que la discipline à laquelle ils sont habitués dans leurs articles ou conférences sur l’apprentissage automatique ou autre.
J’espère que la morale n’est pas que les gens devraient rester loin des marchés parce qu’ils sont trop difficiles à battre. J’espère que la morale est différente, que les gens commencent à réfléchir à la façon dont ils peuvent utiliser le pouvoir des marchés ou des choses similaires, ou ces boucles de rétroaction, dans leurs propres pipelines et leurs propres entreprises. C’est ce que j’espère que les gens retiendront. Je ne suis pas sûr s’ils le feront, mais on peut toujours espérer.
Conor Doherty: Je pense que c’est probablement la fin. Je vais conclure les choses. Je tiens à vous remercier, Peter, pour votre temps, et merci beaucoup, Joannes, pour votre expertise et félicitations encore pour le M6. Merci à tous ceux qui nous regardent chez eux. Nous vous verrons tous la prochaine fois.
