00:00:00 Discussion sur la volatilité et introduction de Peter Cotton.
00:01:22 La performance de Peter lors du concours M6 et sa structure.
00:03:21 Le thème du concours M6 et l’examen de l’hypothèse des marchés efficients.
00:06:01 L’approche de modélisation de Peter pour prédire la volatilité à l’aide du marché des options.
00:08:10 Comparaison de la finance à la supply chain en termes de compréhension de la volatilité.
00:09:20 Prévisions probabilistes en supply chain et finance.
00:10:01 La difficulté d’amener les gens à penser de manière stochastique.
00:12:26 L’IA comme mot à la mode et son impact sur les prévisions.
00:14:55 Simplicité et robustesse face à la complexité.
00:17:01 Étalonnage des algorithmes de prévision des séries temporelles et de leurs performances.
00:18:58 Discussion sur la manière dont une vision déformée des performances d’un modèle peut conduire à de l’overfitting et du P-hacking.
00:20:14 Le rôle des concours de prévision pour prévenir l’overfitting et la manipulation des données.
00:21:27 Critiquer la structure d’incitation académique et préconiser des tests continus d’algorithmes dans le monde réel.
00:22:55 Comparer la finance à la gestion de la supply chain et la nécessité de rationalité et d’efficacité.
00:27:15 Le potentiel des marchés de prédiction pour obtenir des prévisions précises et surmonter les biais.
00:28:14 Discussion sur les probabilités futures et les mécanismes de découverte.
00:29:34 Comparer des mécanismes testés à des opinions pondérées rémunérées.
00:31:40 Écart dans les chiffres lors du concours M6 et de la crise financière de 2006.
00:32:25 Distorsion des attentes et effet des promotions dans le commerce de détail.
00:36:31 Les traders quantitatifs qui brisent les barrières et automatisent les processus en supply chain.
00:38:09 Importance de la discipline dans les marchés de prédiction.
00:39:58 L’impact des régulations sur les marchés de prédiction.
00:40:44 Le problème des modèles statistiques et l’exemple de l’élection Trump.
00:42:57 La nécessité de boucles de rétroaction et de conséquences réelles.
00:46:10 Le succès du modèle Philip dans le concours M6 grâce à la collecte de davantage de données.
00:47:20 Des mécanismes légers pour les prévisions dans les pipelines de data science.
00:48:41 MicroPrediction.org et sa microstructure unique pour les prévisions.
00:50:47 L’évolution des concepts de supply chain et de logistique.
00:52:35 Le défi culturel à accepter l’incertitude dans la gestion de la supply chain.
00:54:46 L’histoire de la data science en finance et sa relation avec les probabilités.
00:56:41 Battre le marché boursier et comparaison avec Warren Buffett.
00:58:36 Concours M6, efforts individuels et activité collective.
01:00:08 La leçon morale tirée du M6 et l’utilisation du pouvoir du marché dans d’autres domaines.
Résumé
Dans une interview, Peter Cotton, Chief Data Scientist chez Intech, et Joannes Vermorel, fondateur de Lokad, discutent des prévisions probabilistes, du concours de prévision M6, et des différences entre les perspectives de la finance et de la supply chain en matière de volatilité et d’incertitude. Ils soulignent que des prévisions parfaites sont impossibles et que les prévisions probabilistes peuvent aider à prendre de meilleures décisions face à la volatilité. Tous deux conviennent de la valeur de la simplicité et de la robustesse pour gérer des systèmes complexes, qu’il s’agisse des marchés financiers ou des supply chains. Ils abordent également des problématiques telles que le P-hacking, la transparence dans les erreurs des modèles de prédiction, et les mécanismes de marché pour améliorer les prévisions. Vermorel met en avant les défis culturels dans la gestion de la supply chain, tandis que Cotton insiste sur l’importance des marchés pour améliorer l’ensemble des prévisions.
Résumé étendu
Dans cette interview, Peter Cotton, Chief Data Scientist chez Intech et trader quantitatif spécialisé dans la prévision, est invité par Conor Doherty, l’animateur, et discute avec Joannes Vermorel, le fondateur de Lokad, une entreprise de logiciels spécialisée dans l’optimization de la supply chain. La discussion porte sur les prévisions probabilistes, le concours de prévision M6, et les différences entre les perspectives de la finance et de la supply chain en matière de volatilité et d’incertitude.
Peter Cotton, qui s’est classé parmi les dix premiers lors du concours de prévision M6, explique que le concours visait à examiner l’hypothèse des marchés efficients et à déterminer si de bons prédicteurs pouvaient créer des portefeuilles diversifiés et sensés qui performent bien. Il précise que son approche du concours était différente de celles des autres, car il a utilisé des données provenant du marché des options pour prédire la volatilité au lieu de la prévoir lui-même. Il considérait le concours M6 comme un affrontement entre data scientists, forecasters et professionnels de la finance quantitative contre le marché des options. Malgré son excellent classement, Peter a été surpris de la qualité de ses performances par rapport aux autres participants.
Joannes Vermorel ajoute que la finance a largement devancé la supply chain en termes de reconnaissance et de gestion de la volatilité et de l’incertitude. Il note que les professionnels de la supply chain cherchent encore souvent à obtenir des prévisions parfaites, ce qui est irréaliste. La première étape pour remédier à ce problème est de reconnaître que des prévisions parfaites sont impossibles, et la deuxième consiste à comprendre que l’incertitude ne signifie pas que les choses sont inconnaissables. Les prévisions probabilistes peuvent aider à quantifier la structure de l’incertitude et à prendre de meilleures décisions face à la volatilité.
Peter et Joannes conviennent tous deux qu’il reste encore beaucoup à faire pour encourager le monde à penser de manière plus stochastique et à intégrer cette compréhension dans les processus de prise de décision. Alors que la finance a une longue histoire de gestion de l’incertitude et du risque, il a fallu beaucoup plus de temps pour que ces concepts soient largement reconnus et utilisés dans l’industrie de la supply chain.
Vermorel observe que l’IA est devenue un mot à la mode qui masque souvent l’incompétence. Il estime que lorsque les professionnels sont compétents, ils désignent leurs techniques par leurs noms techniques, tels que les modèles hyperparamétriques ou les gradient boosted trees.
Vermorel et Cotton discutent de la complexité et du caractère chaotique des supply chains et de la meilleure approche pour gérer de tels systèmes. Tous deux conviennent qu’au lieu de se concentrer sur la complexité, il est préférable de trouver quelque chose de simple et robuste. Cotton partage son expérience avec la micro-prediction, qui consiste à maintenir des packages open source pour la prédiction des séries temporelles. Il souligne que les modèles les plus performants sont souvent les plus simples, comme des moyennes pondérées par la précision des performances récentes.
Les intervenants abordent également le problème du P-hacking, où les chercheurs manipulent les données pour soutenir le résultat souhaité. Ils soutiennent que les concours de prévision, tels que le M5, peuvent atténuer ce problème en ne publiant les données qu’après que les participants aient soumis leurs résultats, les empêchant ainsi de modifier leurs modèles pour générer des résultats artificiels.
Cotton critique la littérature académique qui présente souvent un concours fermé organisé par la même personne qui participe et juge le concours. Il suggère qu’au lieu de publier des articles, les chercheurs devraient faire fonctionner leurs algorithmes en continu et les laisser déterminer de manière autonome leur efficacité sur différents problèmes d’affaires. Cotton plaide en faveur d’une approche plus axée sur les données, comme transformer tout en concours M6 ou en marché des options, afin d’accroître la rationalité et l’efficacité.
Vermorel compare également l’environnement impitoyable de la finance avec l’inertie présente dans les supply chains, où les entreprises peuvent rester inefficaces pendant de longues périodes sans subir de conséquences sévères. Il remet en question la pratique du sales and operations planning (S&OP), qui consiste à rassembler des personnes pour discuter et voter sur des prévisions, suggérant que cette méthode n’est pas la plus efficace pour faire des prédictions.
Vermorel partage ses expériences de travail avec de grands détaillants sur la prévision de l’impact des promotions. Il note que les attentes sont souvent exagérées, et qu’un simple modèle de moyenne basé sur les données historiques peut produire des prévisions plus précises. Cependant, présenter ces estimations plus conservatrices peut parfois être rencontré avec résistance, car cela peut être perçu comme sapant l’enthousiasme ou diminuant l’intelligence humaine.
Cotton souligne l’importance de la discipline pour réaliser des prédictions précises, ce qui peut être favorisé par des approches basées sur le marché. Il suggère d’encourager les gens à être plus transparents quant aux erreurs de leurs modèles de prédiction et à envisager l’utilisation de mécanismes de marché légers au sein de leurs pipelines de data science. Les marchés de prédiction, bien qu’intéressants, ont été freinés par la régulation et les préoccupations liées aux jeux d’argent.
Cotton relate un désaccord avec l’équipe derrière le modèle électoral de The Economist avant l’élection présidentielle américaine de 2016, qui avait attribué une probabilité bien plus faible à une victoire de Trump par rapport aux marchés de paris. Cet échange souligne la nécessité de meilleures méthodes pour évaluer la précision des prévisions des modèles et les limites de se fier uniquement à l’opinion d’experts.
Les participants conviennent que les mécanismes de marché se sont révélés plus fiables que les méthodes alternatives pour réaliser des prédictions, mais soulignent l’importance de trouver des moyens d’introduire la discipline de marché dans d’autres domaines, tels que l’optimization de la supply chain et la prévision dans le commerce de détail.
Vermorel identifie un problème avec les exercices de prévision traditionnels, qui impliquent souvent des équipes séparées déconnectées du reste de l’entreprise. Cela conduit à des pratiques telles que le sandbagging, où les commerciaux sous-estiment leurs prévisions afin de dépasser leurs quotas et d’obtenir des primes. La production, en revanche, a tendance à surestimer les prévisions pour se voir attribuer des budgets plus importants pour augmenter la production. Vermorel suggère que la création de boucles de rétroaction avec des conséquences réelles peut aider à ancrer les modèles prédictifs et à les rendre plus efficaces.
Cotton évoque le rôle des marchés de prédiction dans l’amélioration des modèles de prévision. Alors que les marchés de prédiction traditionnels peuvent être lourds, des alternatives légères peuvent être plus efficaces dans un pipeline de data science. Cotton mentionne également son livre sur les mécanismes de microprediction capables de recevoir ou de solliciter des prévisions et de servir à des fins en amont pour des applications commerciales.
Les intervenants reconnaissent les défis culturels dans la gestion de la supply chain, en particulier puisque la supply chain est issue du domaine de la logistique dans les années 1990. La logistique se concentre sur la certitude opérationnelle, tandis que la gestion de la supply chain implique une planification à long terme et la gestion de l’incertitude. Vermorel se demande combien de temps il a fallu à la finance pour adopter des modèles probabilistes du futur, tandis que Cotton note que la data science est sérieuse depuis au moins 40 ans.
Cotton aborde également la différence entre battre le marché et fournir des estimations de probabilité précises. Il explique que, bien que des individus comme Warren Buffett aient systématiquement battu le marché, ils ne peuvent pas créer de modèles autonomes offrant de meilleures estimations probabilistes que le marché lui-même. Il insiste sur l’importance des marchés en tant que combinaison d’efforts individuels pour créer des probabilités et améliorer l’ensemble des prévisions.
Transcription complète
Conor Doherty : Bienvenue à nouveau sur Lokad TV, je suis votre animateur Conor, et comme toujours, je suis rejoint par le fondateur de Lokad, Joannes Vermorel. L’invité d’aujourd’hui est Peter Cotton, Senior VP et Chief Data Scientist chez InTech Investment. Aujourd’hui, il va nous parler des prévisions probabilistes et peut-être de la manière de battre le marché boursier. Peter, bienvenue chez Lokad.
Peter Cotton : Merci de m’accueillir.
Conor Doherty : Chez Lokad, nous aimons savoir à qui nous avons affaire. Alors, Peter, pourriez-vous nous en dire un peu plus sur votre parcours et ce que vous faites chez InTech Investment ?
Peter Cotton : Oh, bien sûr. Je me décrirais comme un quant de carrière. J’ai travaillé du côté des acheteurs et des vendeurs, et j’ai brièvement été entrepreneur en créant une entreprise de data. Actuellement, je consacre mon temps à essayer de prédire des choses, ce qui ne vous surprendra pas, et aussi à repousser les limites de la théorie de portefeuille.
Conor Doherty : Nous devrions dire dès le départ, félicitations pour votre récente performance dans le concours M6. Je crois que vous vous êtes classé parmi les dix premiers, est-ce correct ?
Peter Cotton : C’est le cas. Je ne sais pas si c’est grâce à moi ou aux crédits de tous ces traders d’options et de ces quants qui les soutiennent. À certains égards, ce n’était pas du tout mon travail ; j’étais juste un simple canal de transfert d’une source de pouvoir prédictif à une autre.
Joannes Vermorel : Pour le public, le M6 était en réalité la sixième itération d’une série très connue de compétitions de prévision, où le but est littéralement de faire des prédictions. La compétition fonctionne comme suit : un ensemble de données est rendu public, puis un certain nombre de règles est établi, et les participants doivent faire des prédictions, typiquement sous forme de prévisions des séries temporelles. Dans ce cas, il y avait un aspect probabiliste lors des deux dernières itérations de la compétition, le M5 et le M6. C’était un jeu itératif avec 12 itérations, où les participants devaient soumettre leurs résultats et la compétition avançait. Ils disposaient de nombreuses règles pour déterminer qui avait le mieux performé et surpassé le marché. C’est un exercice très exigeant et brutal, car il y a très peu de marge pour falsifier ses résultats.
Conor Doherty : D’après ce que je comprends, chaque itération de la compétition M est différente. Alors, Peter, quel était le thème du M6 ? Je veux dire, quel était l’objectif précis ?
Peter Cotton : L’objectif des organisateurs, dans un sens large, était d’étudier l’Hypothèse des Marchés Efficients, qui affirme, sous ses diverses formes, qu’il est difficile de battre le marché. La raison pour laquelle il est difficile de battre le marché est qu’il existe d’importantes incitations financières pour y parvenir, et de nombreuses personnes intelligentes ont passé les 40 dernières années de leur carrière à tenter de le faire, en constituant des équipes et en mobilisant toutes les données disponibles. Il est indubitable que la meilleure chose prédite sur la planète Terre est probablement le prix de l’action Google ou quelque chose du genre. Tout le reste est un échelon en dessous en termes de prédiction, c’était donc l’un des objectifs déclarés par les organisateurs. Un autre objectif était d’examiner si les personnes capables de bien prédire pouvaient également transformer cela en portefeuilles diversifiés sensés qui performent selon une certaine métrique dont nous pourrions discuter. Donc, je pense que c’étaient les deux objectifs principaux des organisateurs, du moins tels que je les ai compris. Et qu’est-ce que votre modèle a fait exactement que les autres participants n’ont pas réussi à faire aussi bien ?
Ce qui distinguait mon approche, c’est que, d’un point de vue philosophique, j’envisageais le problème comme celui de trouver toutes les données pertinentes. Bien sûr, d’autres le verraient de cette manière, mais je pense que ce qui change, c’est que les gens oublient parfois que les données peuvent prendre la forme de nombres implicites ou de chiffres qui sont implicites dans les marchés existants.
Maintenant, si vous regardez la compétition M6, ce qui nous était demandé, c’était d’essayer de prédire la probabilité qu’une action ou un ETF donné affiche des rendements se situant, disons, dans le deuxième quantile par rapport à ses 100 pairs après un mois. Vous vous demandez donc, qu’est-ce qui détermine vraiment si une action va finir dans le deuxième quantile de ses pairs ? Eh bien, si vous avez un avis sur la direction de l’action, cela va évidemment augmenter la probabilité de finir dans les deux premiers quantiles. Mais si vous n’avez pas d’opinion sur l’action, comme c’était mon cas, alors la principale variable qui influencera si vous finissez dans le premier quantile ou dans le troisième sera la volatilité de l’action.
Donc, je dirais qu’il s’agissait en fait d’un concours de prévision de la volatilité, et non de la direction de l’action, ce qui est peut-être quelque peu contraire à l’hypothèse déclarée des organisateurs, mais cela va, c’est une expérience en laboratoire. Alors, ce que j’ai fait, c’est dire : “Eh bien, regardez, il existe déjà une source d’informations incroyablement précises sur la volatilité des actions. On l’appelle le marché des options.” J’ai donc simplement consulté le marché des options et, au lieu de prévoir moi-même la volatilité, j’ai utilisé directement ces chiffres. C’est à peu près tout ce que j’ai fait.
Vous pourriez donc considérer mon approche comme essentiellement un simple benchmark de marché, peut-être pas le même benchmark que ce à quoi les participants s’attendraient. Les organisateurs avaient mis en place un benchmark de marché différent et moins performant. Mais c’était le mien, et j’ai dit : “Regardez, il est très difficile d’obtenir de meilleures estimations prospectives de l’ampleur du mouvement d’une action que celles qui sont impliquées dans le marché des options, car si vous pouviez le faire, vous pourriez gagner de l’argent en achetant et vendant des options.” Bien sûr, il y a des gens qui gagnent de l’argent en vendant, achetant et revendant des options, moi y compris, mais cela mène le marché à un état d’efficacité très élevé, et c’est ce que je trouvais ludique dans ce concours.
C’était une manière de rassembler une communauté de data scientists, de prévisionnistes et de quelques quants, et de dire : “Regardez, voici ce type de défi, et j’ai trouvé cela vraiment amusant à relever.” C’est donc ce que j’ai fait, et j’ai été d’ailleurs un peu surpris de constater à quel point j’avais terminé haut dans le classement. Je pense que j’étais à 0,002 de score Brier d’être dans le groupe gagnant, remportant en fait un peu d’argent, si près du but. Mais l’essentiel était simplement de voir, vous savez, est-ce que je serais meilleur que 70 % des participants, ou 80 % ? Finalement, j’étais meilleur que 96 % des participants. J’ai été un peu surpris par cela, pour être honnête.
Joannes Vermorel : Ce qui est intéressant pour moi, venant d’un milieu supply chain, c’est que je suis toujours incroyablement impressionné par le fait que la finance a littéralement des décennies d’avance sur le supply chain en ce qui concerne toutes sortes de domaines.
Ma principale préoccupation chez Lokad est que la volatilité existe. Nous sommes encore en train de débattre de son existence, car dans les cercles du supply chain, nombreux sont ceux qui disent : “Prédisons avec quatre décimales combien nous allons vendre l’année prochaine.” Si vous aviez une prévision de ventes parfaite, tout deviendrait une question d’orchestration. Vous pourriez décider exactement de combien vous allez produire, de combien vous devez acheter, et de combien vous devez allouer en termes de stocks. Ainsi, si vous aviez des prévisions parfaites, toute l’exécution pour fournir les biens et services ne serait plus qu’une simple question d’orchestration banale.
Lorsque Lokad a commencé à promouvoir les prévisions probabilistes dans le supply chain il y a une décennie, ce n’était pas nouveau, car la finance utilise la Value at Risk depuis au moins trois ou quatre décennies. L’idée principale est, d’abord, de renoncer à l’idée que nous aurons une prévision parfaite. La première étape consiste à reconnaître que vous ne savez pas tout ce qu’il y a à savoir sur l’avenir. Cela paraît évident pour les personnes issues de la finance, mais dans le supply chain, il n’est toujours pas largement admis que vous ne pouvez pas obtenir une prévision parfaite.
Une fois que vous acceptez que vous avez de l’incertitude, cela ne signifie pas que vous ne savez rien. Vous pouvez avoir de l’incertitude tout en quantifiant la structure de cette incertitude grâce à la volatilité. Ce n’est pas parce que c’est incertain que c’est inconnaissable. Il y a des éléments à connaître concernant la structure de l’incertitude, et c’est là que nous parlons de prévisions probabilistes. D’un point de vue supply chain, nous utilisons cela pour signifier que vous ne prenez pas les mêmes décisions face à une dispersion immense ou à une incertitude très concentrée. Lorsque vous êtes confronté à une volatilité énorme, vous n’abordez pas le risque de manière quantitative de la même façon que lorsqu’il est quasiment acquis.
Peter Cotton : Il est vrai qu’il faut encore des décennies pour faire passer ce message. Certains experts en gestion ont tenté de populariser cette notion, comme Sam Savage avec The Flaw of Averages, et d’encourager les gens à comprendre qu’emprunter une voie unique ou se fier à une valeur moyenne vous mènera à des ennuis. En finance, vous avez depuis des années toutes ces notions extrêmement détaillées du risque de convexité. C’est incroyable à quel point cela diffère.
Je l’ai également remarqué, car certains concurrents doivent fournir des prédictions distributionnelles, et si vous venez de Kaggle ou d’ailleurs, la motivation peut vous être inconnue. Alors, quelle est la solution ? Comment encourager le monde à penser en termes plus stochastiques et à intégrer cela dans la prise de décision ou dans les tableurs ? Ce n’est pas simple.
Joannes Vermorel : Absolument. Et je crois qu’un des ingrédients qui embrouille encore davantage la situation, c’est que, du moins dans mon domaine de enterprise software dans le supply chain, le mot à la mode de la décennie a été AI. C’est intéressant, car dès que vous avez l’AI, vous êtes censé avoir une compréhension supérieure de l’avenir.
D’après moi, l’AI n’est qu’un mot à la mode pour masquer sa propre incompétence. Une fois que vous êtes très compétent, vous avez tendance à appeler cela autrement, comme un modèle hyper-paramétrique ou des arbres à gradient boosté. Quand vous parlez d’AI, ce n’est que le charabia de quelque chose que vous ne comprenez pas.
Ce qui est intéressant, c’est que très souvent, face à quelque chose d’incroyablement chaotique et complexe, mon expérience et nos résultats avec le M5 montrent que Lokad a obtenu d’excellents résultats avec une méthode d’une simplicité d’ordres de grandeur supérieure à celle des méthodes basées sur l’AI. Ce que j’ai trouvé intéressant avec votre approche de micro prédiction, c’est que je pense que vous avez entrepris quelque chose de très similaire dans sa simplicité. Alors, face à quelque chose d’extrêmement complexe, vaut-il mieux disposer d’un système qui reflète toute cette complexité ou, au contraire, d’avoir quelque chose de très simple pour vous guider à travers la tempête ?
Joannes Vermorel : J’ai entrepris quelques expériences à ce sujet. J’étais désireux de rassembler autant de bons algorithmes que possible issus du monde open-source pour la prévision des séries temporelles. J’essaie de maintenir ces packages open-source qui facilitent grandement la comparaison ou la détermination de ce qui constitue une bonne série temporelle pour votre besoin. Certains d’entre eux ont une vie autonome et essaient de voir s’ils sont efficaces pour prédire quelque chose. La micro prédiction est en quelque sorte le M6 des algorithmes, mais généralement à des fréquences plus élevées.
Peter Cotton : Bien sûr, nous avons progressivement développé des points de vue sur ce qui fonctionne réellement et ce qui est robuste dans différentes situations. J’ai effectué quelques comparaisons hors ligne de séries temporelles univariées et il existe probablement entre 20 et 50 packages Python pour la prévision des séries temporelles. La plupart d’entre eux enveloppent d’autres packages comme TSA et stats models. Mais lorsque vous les comparez aux méthodes classiques, vous constatez que des moyennes pondérées par la précision des performances récentes d’un ensemble de modèles simples finissent par dominer. Les modèles simples incluent des éléments comme Auto ARIMA et ses variantes, voire des approches encore plus simples.
Joannes Vermorel : Pour le public, je pense que ce que vous soulignez, c’est que le P-hacking représente un problème très réel. Lorsque vous vous aventurez dans le domaine des modèles sophistiqués, vous pouvez presque toujours trouver un modèle qui, par hasard, performe bien. Cela peut mener à de l’overfitting et au P-hacking, où vous sélectionnez certaines dimensions et hypothèses pour réussir un test statistique de confiance. Les compétitions de prévision empêchent cela en ne divulguant les données qu’après que les participants ont soumis leurs résultats, afin qu’ils ne puissent pas ajuster leurs modèles pour obtenir des résultats trafiqués.
Peter Cotton : C’est exact. La plupart de la littérature académique se compose d’un petit concours fermé organisé par la même personne qui y participe. Elle décide qui d’autre peut participer, organise la compétition 10 fois, puis publie les résultats. C’est ridicule. Le but des compétitions de prévision est d’empêcher que cela se produise.
Je suis d’accord. C’est absolument ridicule. Pourquoi existe-t-il même une littérature empirique ? Je ne sais pas. J’ai passé mon temps à me moquer de la notion même de littérature empirique. Pourquoi publier un article sur l’efficacité d’un modèle dans une situation en temps réel si l’article ne se met pas à jour lui-même, n’est-ce pas ? Je ne sais pas ce que nous pouvons faire pour en venir à bout, malheureusement. Comme nous le savons tous et comme The Economist le dit, la plaisanterie sur les incitations, c’est que le problème n’est pas qu’elles ne fonctionnent pas, mais qu’elles fonctionnent trop bien. Donc, si la seule incitation est de publier des articles, c’est ce que vous obtiendrez. Si la seule incitation est une métrique un peu étrange pour le M6 du côté investissement du concours, vous allez, vous savez, trouver que trois personnes sur 200 découvriront que c’est ainsi qu’on peut le contourner, n’est-ce pas ? C’est comme ça que cela se passe.
Donc, oui, je pense qu’au lieu de publier des articles, les gens devraient prendre leur algorithme et le faire tourner indéfiniment. Et nous devrions encourager une infrastructure que les entreprises pourraient partager, permettant à ces algorithmes de passer d’un problème commercial à un autre et de déterminer s’ils performent réellement bien. Et si ces méthodes qui émergent ces jours-ci, dont certaines sont très ingénieuses et machine learning, sont capables de performer réellement hors échantillon et s’il y a suffisamment de données pour qu’elles puissent le faire, il y aura assez de données pour déterminer de manière autonome si elles sont bonnes ou non. Ainsi, nous n’avons pas vraiment besoin d’humains avec leurs opinions tranchées, leurs fortes préconceptions, leur intérêt personnel et leur contrôle pour déterminer quel algorithme devrait fonctionner pour un problème commercial donné. Souvent, du moins dans mon domaine – et le vôtre est un peu plus difficile car vous avez des prévisions à plus long terme – mais dans mon domaine, si l’on parle de prédire combien de clients se présenteront dans les cinq prochaines minutes ou combien de voitures passeront à une intersection dans les deux prochaines minutes, c’est un problème de grande ampleur en données. Nous ne devrions pas laisser des personnes avec leurs PDF et tout le reste se mettre en travers du chemin. C’est, à mon avis, transformons simplement tout en un M6 en accélérant le processus, ou mieux encore, transformons tout en un marché des options.
Joannes Vermorel : Oui, et ce qui est intéressant, c’est qu’encore une fois, pour moi, la finance est juste ce type de pratique – et je le dis en bien – parce que vous voyez qu’il existe cette perception générale du public selon laquelle, si vous avez un méchant dans un film, ce sera le financier et les options. Mais selon moi, ces marchés représentent un exercice de rationalité. Autrement dit, si vous êtes profondément irrationnel, vous finissez simplement en faillite. Et seules les personnes capables de maintenir un niveau de rationalité très, très élevé dans ce qu’elles font sur une longue période ne font pas faillite. C’est un environnement extrêmement impitoyable. Même de petites inefficacités sont rapidement exploitées. Si vous avez des concurrents qui, année après année, sont quelques pourcent plus efficaces que vous, les fonds se réallouent vers eux et vous voilà littéralement en faillite. C’est littéralement un darwinisme à grande vitesse en action, d’une manière assez brutale.
De manière à ce que ces prévisions à long terme, tu sais, soient perçues comme des choses que les gens ne réalisent pas dans les supply chain, il existe de nombreuses entreprises qui peuvent survivre pendant des décennies non pas parce qu’elles sont extrêmement performantes, mais parce qu’il existe une inertie incroyable dans la mise en place de l’infrastructure, la mise à jour des pratiques et autres, ce qui permet de rester super inefficace pendant une décennie voire plus avant que cela n’ait le moindre impact. Par exemple, de nombreux détaillants se sont lancés sur Internet pour créer leur boutique en ligne deux décennies après Amazon, et ils ont beaucoup souffert au lieu de simplement disparaître. En finance, il y avait plein de choses – si vous arrivez deux décennies en retard à la fête, c’est tout simplement insupportable. Ainsi, d’un point de vue supply chain, lorsqu’il s’agit de penser à l’avenir, l’une des méthodes les plus populaires reste le S&OP, c’est-à-dire Sales and Operations. Cela consiste à rassembler toutes les personnes dans la salle et à en discuter, afin que, par cette discussion, émerge la prévision adéquate. De votre perspective de quantitative trader, cela vous semble-t-il être une option raisonnable ? Par exemple, nous voulons bien performer, alors rassemblons 20 personnes dans la salle, regardons ces graphiques, puis votons pour décider de la prévision, avec des points bonus si vous occupez un rang supérieur dans l’organisation.
Peter Cotton: Oh mon Dieu, pour être parfaitement honnête, je n’envie pas les personnes qui se trouvent dans la position de devoir établir des prévisions un ou deux ans à l’avance. Évidemment, c’est un jeu compliqué. La question de l’intelligence collective parmi les humains dans ce type de tâche de prévision et la manière dont on y parvient font l’objet d’une littérature intéressante. Mais j’ai bien le sentiment qu’il y a parfois un fait simple : le biais puritain américain vient tout simplement compliquer une solution assez évidente. Je veux dire, j’ai grandi en Australie, et si vous voulez savoir, lorsqu’il s’agit de déterminer laquelle de deux mouches rampant sur un mur arrivera en premier, vous laissez les gens parier dessus. C’est vraiment aussi simple que cela. Ne compliquons pas les choses.
La meilleure machine de prévision, la première grande machine de prévision, a été construite à la taille d’un bâtiment sur le champ de courses d’Ellerslie et a ouvert, je crois, en 1913. Il s’agissait de la première machine totalisatrice mécanique au monde. Les gens pouvaient parier sur les chevaux, et ces pistons géants se levaient lentement dans les airs pour indiquer combien était misé sur chaque cheval. Et grâce à cet incroyable appareil mécanique, la probabilité est apparue – le premier exemple de probabilité neutre par rapport au risque défini dans un système de traitement de l’information en temps réel. En 100 ans, c’est encore, à ma connaissance, la seule manière vraiment raisonnable d’obtenir les probabilités futures des événements. Je ne pense pas qu’il y ait eu une meilleure invention.
Joannes Vermorel: Oui, et un point qui m’intéresse particulièrement est que vous soulignez qu’il s’agit d’un mécanisme de découverte à l’œuvre. C’est de cela dont nous parlons, et il y a une ingéniosité dans tout cela. Ce qui a vraiment de la valeur, ce n’est pas nécessairement le modèle qui l’accompagne ou l’idée de perspicacité humaine, mais d’avoir une approche où l’on se demande : “Quel est mon mécanisme de découverte pour obtenir des informations plus fiables sur cet avenir ? Existe-t-il même quelque chose qui puisse agir comme un mécanisme de découverte, ou suis-je simplement en train d’inventer des choses et de déclarer que ces énoncés que je fais implicitement concernant l’avenir sont bons et valides, sans même prendre en compte qu’il pourrait y avoir un long chemin à parcourir pour y parvenir ?” Quelque chose qui a été conçu en pensant à cette découverte, et c’est une belle manière de le formuler.
Peter Cotton: Voici un mécanisme qui a été testé maintes et maintes fois dans un millier de lieux différents pendant un siècle, et qui continue de fonctionner. Les gens viendront constamment dire : “Eh bien, attendez, il y a autre chose que nous pouvons faire”, comme un excellent exemple d’opinions pondérées compensées dans une salle examinant une répartition. Eh bien, peut-être est-ce le mécanisme approprié pour la prévision, qui sait ? Regardez l’histoire. J’ai commencé ma carrière en 2001 dans le crédit et j’ai vécu l’expérience de 2006. Vous aviez un marché qui fournissait un chiffre de corrélation implicite indiquant la vision du marché sur la codépendance relative de la fortune d’une entreprise par rapport à une autre. Disons que ce chiffre était de 30. Les agences de notation ont adopté une approche actuarielle, tout comme les participants au M6. Elles ont ignoré l’information du marché et élaboré leur propre modèle, ignorant parfois même les mathématiques parfois nécessaires pour reconnaître l’information. Elles disaient aux investisseurs institutionnels que le chiffre n’était pas 30, ni même 20, mais 5 pour cent. C’est une énorme disparité numérique. Alors, comment cela s’est-il concrétisé, autrement que par une crise financière mondiale et d’autres désastres dans la supply chain ? Combien de temps nous faudra-t-il pour réaliser que le marché est la seule voie possible ? Combien d’exemples faut-il encore voir ?
Joannes Vermorel: Le fait amusant, c’est qu’il se passe une sorte de folie partielle. Pour donner un exemple, dans le retail, Lokad travaille avec de nombreux grands détaillants. Typiquement, lorsqu’il s’agit de prévoir l’impact des promotions, comme une barre de chocolat avec 30 % de réduction, les gens sont enthousiastes quant à l’effet escompté. Ils veulent faire bouger les choses et acquérir des parts de marché. Mais lorsque nous examinons les prévisions de promotion, les chiffres sont presque toujours surestimés. Les gens pensent que les ventes seront trois ou quatre fois supérieures à la normale. Cependant, quand vous appliquez un simple modèle de moyenne et que vous regardez les promotions passées, la réalité s’avère être plus conservatrice. C’est intéressant, car lorsque vous leur présentez un modèle plus prudent, ils ont l’impression que leur enthousiasme et leur intelligence humaine sont remis en question.
Peter Cotton: En informatique, il existe un adage : écrivez d’abord le test. Mais personne n’écrit le test en premier lorsqu’il s’agit de prévoir ou de faire des prédictions sur l’avenir, n’est-ce pas ? Et seulement environ cinq pour cent du temps, le test est écrit après, si jamais on revient de façon rigoureuse pour examiner ce qui a réellement été fait.
Oui, c’est vrai. Les marchés, malgré tous leurs défauts, offrent un moyen incroyable d’imposer une discipline. Il y a une raison pour laquelle certains fonds de couverture de premier plan, par exemple, intègrent des stages de poker. J’ai grandi en essayant de comprendre les marchés de jeu de toutes sortes, et si vous n’avez pas cette discipline, vous ne deviendrez pas meilleurs en matière de prévision.
Nous ne voulons pas que l’UE impose à tout le monde de mettre leurs résidus de modèle sur la blockchain, car cela serait inefficace pour diverses raisons. Cependant, nous pouvons peut-être encourager les gens à réfléchir à la manière dont ils pourraient utiliser des mécanismes semblables aux marchés, mais en version plus légère, et commencer à envisager comment ils pourraient s’intégrer dans leurs pipelines de data science existants.
Nous pourrions commencer à encourager les gens à dire : “Eh, regardez, que faites-vous des erreurs dans vos modèles de prévision ? Où vont-elles ? Sont-elles jetées à la poubelle ? Les rendre publiques, sont-elles vraiment aussi propriétaires ?” La plupart des gens ne savent même pas ce qu’est votre modèle, ni ce que vous modélisez, ni comment vous procédiez auparavant, et vous produisez quelque chose que vous prétendez n’être que du bruit.
Eh bien, de quoi avez-vous peur ? Cela peut être une approche. Le domaine des marchés de prévision est certes intéressant, et au moins aux États-Unis, il a été pratiquement entravé au fil des années par la réglementation. Toutes sortes de personnes ont tenté d’utiliser cette discipline, mais reculent ensuite lorsqu’elle se heurte à l’étiquette de jeu. Pour que tout fonctionne bien, il faut parfois miser, ce qui peut engendrer un coût. Nous ne voulons pas transformer le monde en machines à poker, mais sans une certaine discipline de marché, je ne vois pas cela s’améliorer jamais. Je ne vois qu’une répétition des choses.
Joannes Vermorel: Je pense que vous touchez à quelque chose de très important, et aussi à quelque chose que je défends depuis des décennies : si vous n’avez pas de boucle de rétroaction avec le monde réel lorsque vous opérez dans votre espace mathématique avec des modèles statistiques et des algorithmes, vous ne savez pas si vous faites quelque chose d’insensé ou non.
Les mathématiques ne vous indiquent que la cohérence, c’est-à-dire que ce que vous faites à l’intérieur de cet espace mathématique est cohérent en lui-même, et non avec le monde. Si vous n’avez pas de boucle de rétroaction, vous ne savez pas. Au mieux, si vous êtes statistiquement et graphiquement correct, cela signifie simplement que vous êtes cohérent avec vous-même, ce qui est bien, mais cela n’apporte aucune garantie quant au monde réel.
Quand vous disiez : “Seriez-vous prêt à parier quelques euros ou dollars sur le coup ?”, c’est littéralement la boucle de rétroaction. C’est la punition, la récompense, et l’engagement personnel. Dans la supply chain, l’un des problèmes de ces exercices de prévision est qu’ils sont généralement complètement déconnectés de ce que font réellement les gens.
Le problème que j’ai identifié est que la plupart des entreprises disposent d’une seule équipe chargée des prévisions, produisant des prévisions des séries temporelles, tandis que le reste de l’entreprise gère les conséquences. Vous vous retrouvez avec des pratiques très étranges. Par exemple, les commerciaux, lorsqu’ils doivent contribuer à la prévision des ventes, auront tendance à sous-estimer largement dans un processus appelé sandbagging. Pourquoi ? Parce que s’ils prévoient leur quota à 100 mais sont confiants de vendre 200, ils dépasseront leur quota et obtiendront leur bonus.
En revanche, dans la production, prévoir une forte demande vous permet d’obtenir davantage de budget pour augmenter votre dispositif de production. Si vous disposez d’une usine capable de produire deux fois plus que ce dont vous avez besoin, la production se déroule sans heurts car votre capacité dépasse largement vos besoins réels. Le problème n’est pas que les gens jouent à ces jeux ; c’est d’avoir la boucle de rétroaction conçue de manière à ce que les gens subissent les conséquences. Vous souhaitez que les modèles prédictifs soient ancrés dans la réalité, et des engagements financiers tels que les paris peuvent être un moyen incroyablement simple et concret d’y parvenir. Opérationnellement, cela reste également relativement simple à exécuter.
Peter Cotton: Il y avait un bon participant dans le concours M6, que j’appellerai le “modèle Philip”. Une partie importante de son approche consistait à trouver plus de données. Il ne se contentait pas des stocks et des ETF fournis par les organisateurs, alors il cherchait davantage de données, construisait des modèles et voyait comment ils se comportaient par rapport à un univers plus large. Cela le rendait moins enclin à surajuster un historique particulier. Alors que les marchés de prévision peuvent être encombrants, des alternatives légères sans mises peuvent néanmoins être efficaces. Par exemple, Microprediction.org permet à la crème de remonter en surface sans mise.
Dans mon livre, je parle des “micromanagers”, qui sont des mécanismes autonomes qui reçoivent ou sollicitent des prévisions et servent un objectif en amont pour une application commerciale. Il existe de nombreux mécanismes différents pour ce faire. Par exemple, Microprediction.org utilise un système de loterie continue avec une distribution collective de la valeur future d’une variable. Vous pouvez être récompensé pour rapprocher la distribution collective de la véritable. Il existe une grande littérature sur le scoring et la caractérisation des estimations ponctuelles ainsi que des distributions. Le défi concerne davantage la culture : est-ce que les entreprises veulent adopter la discipline que la finance a instaurée depuis 40 ans ?
Joannes Vermorel: C’est en effet un problème amusant à résoudre, et la culture joue un rôle important. La supply chain est un concept récent qui a émergé dans les années 90, alors que la logistique était le domaine dominant auparavant. L’excellence en logistique signifie ne connaître aucun accident, éliminer les dangers et assurer la sécurité sur le lieu de travail. Beaucoup de progrès ont été réalisés dans ce domaine, rendant des professions dangereuses beaucoup plus sûres. Cependant, la supply chain se concentre sur la vision à long terme, sur la réalisation sur le terrain, ce qui constitue un défi différent.
Et le fait est que, lorsque vous commencez à penser à cela, c’est ce que j’ai entendu, vous savez, tous ces concepts, par exemple la distance de Kullback-Leibler, ce sont littéralement autant d’outils conceptuels qui acceptent que l’avenir est incertain et, par conséquent, vous pouvez travailler avec l’incertitude, et vous disposez même de l’instrument mathématique pour y parvenir.
C’est là toute la particularité. Le défi culturel pour la supply chain, c’est que c’est incroyablement difficile. La logistique, d’où est née la supply chain, visait à éliminer l’incertitude d’une certaine manière. Vous ne voulez pas avoir une probabilité que quelqu’un meure sous votre surveillance, vous souhaitez que cette probabilité soit nulle ou tellement infime que, lorsqu’elle se produit, c’est vraiment quelque chose d’honnêtement presque impossible à prévenir. Ainsi, les gens – et c’est bien – veulent avoir de la certitude dans leurs processus. Mais lorsque vous évoluez vers cette mentalité de supply chain, où vous pensez des années à l’avance, et soudain vous ne pouvez plus obtenir ces certitudes pour des événements qui se produiront dans quelques années, il y a une culture qui doit être repensée, car avoir une certitude absolue est très utile sur le terrain pour vos opérations, mais c’est un tout autre jeu quand il s’agit de penser à l’avenir, surtout pas à l’avenir immédiat mais un peu plus loin.
Conor Doherty: Estimez-vous combien de temps il a fallu à la finance, au cours du 20ème siècle, pour adopter cette vision probabiliste plus élaborée de l’avenir ? Je crois que les instruments de Value at Risk ont été introduits dans les années 80, mais je ne suis pas sûr à 100 % de mon chronogramme.
Peter Cotton: C’est une bonne question. Les marchés d’options existaient bien avant, et beaucoup de gens avaient une assez bonne compréhension de la situation. Il y a toujours eu des personnes intelligentes, et ils ont beaucoup publié. La data science n’a pas 10 ans ; elle a au moins 40 ans, si l’on en croit la biographie de Jim Simons. La probabilité exprimée en dollars est une idée très ancienne, et l’idée que la probabilité est peu fiable si elle n’est pas exprimée en dollars est également très ancienne.
Conor Doherty: Juste une dernière question pour récapituler. Le M6 a-t-il démontré qu’il est possible de battre le marché et de faire mieux que ce que les autres ont historiquement réalisé pendant plus de six décennies ?
Peter Cotton: Le problème avec cela, et c’est une distinction très importante à faire, c’est que Warren Buffett ne se serait pas classé dans le top 10. Warren Buffett aurait eu des estimations de probabilité horriblement mal calibrées. Il y a une différence entre être capable de battre le marché et créer des estimations probabilistes aussi bonnes ou meilleures que celles du marché. Ni Warren Buffett, ni Jim Simons, ni aucun fonds de couverture ne peut y parvenir. Le M6 est un concours et une collection d’efforts individuels pour créer des probabilités, mais un marché est bien plus que cela. C’est une activité collective, et vous ne pouvez pas vaincre cette activité collective. Pour le M6, je m’attendais à trouver des personnes intelligentes, et tout mon crédit revient à Philip qui m’a battu loyalement. Mais si vous regardez une simulation numérique, il est impossible de dire que Philip était réellement meilleur que moi ou vice versa.
La performance globale du marché des options dans le M6 est assez écrasante. Il y eut une phase pilote, puis le premier trimestre, le deuxième trimestre, le troisième trimestre et le quatrième trimestre. À chaque fois, cinq fois sur cinq, mon entrée se situait dans le quartile supérieur. Si ce n’est pas de la chance, j’espère qu’espérons-le, le M6 montre aux gens que la discipline du marché est bien supérieure à celle à laquelle ils sont habitués dans leurs articles ou conférences de machine learning ou autres.
J’espère que la morale n’est pas que les gens devraient se tenir à l’écart des marchés parce qu’ils sont trop difficiles à battre. J’espère que la morale est une autre, que les gens commencent à réfléchir à la manière dont ils peuvent utiliser la puissance des marchés ou des éléments similaires, ou encore ces boucles de rétroaction, dans leurs propres pipelines et entreprises. C’est ce que j’espère qu’ils en retiendront. Je ne suis pas certain qu’ils le feront, mais on peut toujours espérer.
Conor Doherty: Je pense que c’est probablement la fin. Je vais clore le sujet. Je tiens à te remercier pour ton temps, Peter, et un grand merci à toi, Joannes, pour ton expertise, et félicitations encore pour le M6. Merci à tous ceux qui regardent de chez eux. On se retrouve la prochaine fois.
