00:00:00 Discussione sulla volatilità e presentazione di Peter Cotton.
00:01:22 La performance di Peter alla competizione M6 e la sua struttura.
00:03:21 Il tema della competizione M6 e l’indagine sull’ipotesi dei mercati efficienti.
00:06:01 L’approccio di Peter al modello di previsione della volatilità utilizzando il mercato delle opzioni.
00:08:10 Confronto tra finanza e supply chain in termini di comprensione della volatilità.
00:09:20 Previsioni probabilistiche nella supply chain e nella finanza.
00:10:01 La difficoltà di far pensare alle persone in modo stocastico.
00:12:26 L’IA come buzzword e il suo impatto sulle previsioni.
00:14:55 Semplicità e robustezza di fronte alla complessità.
00:17:01 Benchmarking degli algoritmi di previsione delle serie temporali e delle loro performance.
00:18:58 Discussione su come una visione distorta delle performance del modello possa portare all’overfitting e al P-hacking.
00:20:14 Scopo delle competizioni di previsione nella prevenzione dell’overfitting e della manipolazione dei dati.
00:21:27 Critica alla struttura degli incentivi accademici e difesa dei test di algoritmi continuativi nel mondo reale.
00:22:55 Confronto tra finanza e gestione della supply chain e la necessità di razionalità ed efficienza.
00:27:15 Il potenziale dei mercati di previsione per ottenere previsioni accurate e superare i pregiudizi.
00:28:14 Discussione sulle probabilità future e sui meccanismi di scoperta.
00:29:34 Confronto tra meccanismi testati e opinioni ponderate compensate.
00:31:40 Discrepanza nei numeri durante la competizione M6 e la crisi finanziaria del 2006.
00:32:25 Distorsione delle aspettative e effetto delle promozioni nel settore del commercio al dettaglio.
00:36:31 I trader quantitativi che superano le barriere e automatizzano i processi nella supply chain.
00:38:09 Importanza della disciplina nei mercati di previsione.
00:39:58 L’impatto delle regolamentazioni sui mercati di previsione.
00:40:44 Il problema dei modelli statistici e l’esempio delle elezioni di Trump.
00:42:57 La necessità di cicli di feedback e delle conseguenze nel mondo reale.
00:46:10 Il successo del modello Philip nella competizione M6 grazie alla ricerca di più dati.
00:47:20 Meccanismi leggeri per le previsioni nelle pipeline di data science.
00:48:41 MicroPrediction.org e la sua microstruttura unica per le previsioni.
00:50:47 L’evoluzione dei concetti di supply chain e logistica.
00:52:35 Sfida culturale nell’accettazione dell’incertezza nella gestione della supply chain.
00:54:46 Storia della data science nella finanza e la sua relazione con le probabilità.
00:56:41 Battere il mercato azionario e confronto con Warren Buffett.
00:58:36 Contest M6, sforzi individuali e attività collettiva.
01:00:08 Il messaggio morale del M6 e l’utilizzo del potere di mercato in altri settori.
Riassunto
In un’intervista, Peter Cotton, Chief Data Scientist presso Intech, e Joannes Vermorel, fondatore di Lokad, discutono di previsioni probabilistiche, della competizione di previsione M6 e delle differenze tra la prospettiva finanziaria e quella della supply chain sulla volatilità e l’incertezza. Sottolineano che le previsioni perfette sono impossibili e che le previsioni probabilistiche possono aiutare a prendere decisioni migliori in un contesto di volatilità. Entrambi concordano sul valore della semplicità e della robustezza nella gestione di sistemi complessi, che siano mercati finanziari o supply chain. Discutono anche di questioni come il P-hacking, la trasparenza degli errori dei modelli di previsione e i meccanismi di mercato per migliorare le previsioni. Vermorel sottolinea le sfide culturali nella gestione della supply chain, mentre Cotton sottolinea l’importanza dei mercati nel migliorare le previsioni complessive.
Riassunto esteso
In questa intervista, Peter Cotton, Chief Data Scientist presso Intech e trader quantitativo specializzato in previsioni, è invitato da Conor Doherty, il conduttore, e parla con Joannes Vermorel, fondatore di Lokad, un’azienda software specializzata nell’ottimizzazione della supply chain. La discussione ruota attorno alle previsioni probabilistiche, alla competizione di previsione M6 e alle differenze tra la prospettiva finanziaria e quella della supply chain sulla volatilità e l’incertezza.
Peter Cotton, che si è classificato tra i primi 10 nella competizione di previsione M6, condivide che l’obiettivo della competizione era quello di indagare sull’ipotesi dei mercati efficienti e se i buoni predittori potessero creare portafogli diversificati sensati che si comportassero bene. Spiega che il suo approccio alla competizione è stato diverso dagli altri, poiché ha utilizzato i dati del mercato delle opzioni per prevedere la volatilità anziché prevederla personalmente. Ha visto la competizione M6 come una battaglia tra data scientist, previsionisti e professionisti della finanza quantitativa contro il mercato delle opzioni. Nonostante il suo alto punteggio, Peter è rimasto sorpreso da quanto bene si sia comportato rispetto agli altri partecipanti.
Joannes Vermorel aggiunge che la finanza è stata molto avanti rispetto alla supply chain nel riconoscere e affrontare la volatilità e l’incertezza. Sottolinea che i professionisti della supply chain spesso cercano ancora previsioni perfette, il che è irrealistico. Il primo passo per affrontare questo problema è riconoscere che le previsioni perfette sono impossibili, e il secondo è capire che l’incertezza non significa che le cose siano sconosciute. Le previsioni probabilistiche possono aiutare a quantificare la struttura dell’incertezza e prendere decisioni migliori di fronte alla volatilità.
Sia Peter che Joannes concordano sul fatto che ci sia ancora molto lavoro da fare per incoraggiare il mondo a pensare in termini più stocastici e incorporare questa comprensione nei processi di decision-making. Mentre la finanza ha una lunga storia nel gestire l’incertezza e il rischio, è passato molto tempo prima che questi concetti fossero ampiamente riconosciuti e utilizzati nell’industria della supply chain.
Vermorel osserva che l’IA è diventata una parola di moda che spesso nasconde l’incompetenza. Crede che quando i professionisti sono competenti, si riferiscono alle loro tecniche con i loro nomi tecnici, come modelli iperparametrici o alberi potenziati con il gradiente.
Vermorel e Cotton discutono della complessità e della natura caotica delle supply chain e del miglior approccio per gestire tali sistemi. Entrambi concordano sul fatto che anziché concentrarsi sulla complessità, un percorso più ragionevole è trovare qualcosa di semplice e robusto. Cotton condivide la sua esperienza con la micro-predizione, che si concentra sulla manutenzione di pacchetti open-source per la previsione delle serie temporali. Sottolinea che i modelli di maggior successo sono spesso i più semplici, come le medie ponderate di precisione delle prestazioni recenti.
Gli intervistati affrontano anche il problema del P-hacking, in cui i ricercatori manipolano i dati per supportare il risultato desiderato. Argomentano che le competizioni di previsione, come la M5, possono mitigare questo problema rilasciando i dati solo dopo che i partecipanti hanno inviato i loro risultati, impedendo loro di modificare i modelli per creare risultati falsi.
Cotton critica la letteratura accademica che spesso prevede una competizione chiusa gestita dalla stessa persona che partecipa e giudica la competizione. Suggerisce che invece di pubblicare articoli, i ricercatori dovrebbero far funzionare i loro algoritmi per sempre e lasciare che determinino autonomamente la loro efficacia in diversi problemi aziendali. Cotton sostiene un approccio più basato sui dati, come trasformare tutto in una competizione M6 o un mercato delle opzioni, per aumentare la razionalità e l’efficienza.
Vermorel confronta anche l’ambiente implacabile della finanza con l’inerzia presente nelle supply chain, dove le aziende possono rimanere inefficienti per lunghi periodi senza subire gravi conseguenze. Mette in discussione la pratica della sales and operations planning (S&OP), che prevede di riunire le persone per discutere e votare le previsioni, suggerendo che questo metodo non sia il modo più efficace per fare previsioni.
Vermorel condivide le sue esperienze lavorando con grandi rivenditori sulla previsione dell’impatto delle promozioni. Osserva che spesso le aspettative sono esagerate e un semplice modello di media che guarda ai dati storici può produrre previsioni più accurate. Tuttavia, presentare queste stime più conservative può talvolta essere oggetto di resistenza, poiché potrebbe essere visto come un modo per minare l’entusiasmo o diminuire l’intelligenza umana.
Cotton sottolinea l’importanza della disciplina nel fare previsioni accurate, che può essere favorita attraverso approcci basati sul mercato. Suggerisce di incoraggiare le persone a essere più trasparenti riguardo agli errori del loro modello di previsione e a considerare l’utilizzo di meccanismi di mercato leggeri all’interno delle loro pipeline di data science. I mercati di previsione, sebbene interessanti, sono stati ostacolati dalla regolamentazione e dalle preoccupazioni sul gioco d’azzardo.
Cotton ricorda un disaccordo con il team dietro il modello elettorale di The Economist prima delle elezioni presidenziali degli Stati Uniti del 2016, che aveva assegnato una probabilità molto più bassa a una vittoria di Trump rispetto ai mercati delle scommesse. Lo scambio sottolinea la necessità di metodi migliori per valutare l’accuratezza dei modelli e i limiti del fare affidamento esclusivamente sull’opinione degli esperti.
I partecipanti concordano sul fatto che i meccanismi di mercato si sono dimostrati più affidabili rispetto ai metodi alternativi per fare previsioni, ma sottolineano l’importanza di trovare modi per introdurre la disciplina di mercato in altre aree, come l’ottimizzazione della supply chain e la previsione del retail.
Vermorel individua un problema con gli esercizi di previsione tradizionali, che spesso coinvolgono team separati disconnessi dal resto dell’azienda. Ciò porta a pratiche come il sandbagging, in cui i venditori sottostimano le loro previsioni per superare le loro quote e ricevere bonus. La produzione, d’altra parte, tende a sovrastimare le previsioni per ottenere budget più elevati per aumentare la produzione. Vermorel suggerisce che la creazione di cicli di feedback con conseguenze reali può aiutare a radicare i modelli predittivi e renderli più efficaci.
Cotton discute il ruolo dei mercati di previsione nel migliorare i modelli di previsione. Mentre i mercati di previsione tradizionali possono essere ingombranti, le alternative leggere possono essere più efficaci in una pipeline di data science. Cotton menziona anche il suo libro sui meccanismi di micropredizione capaci di ricevere o sollecitare previsioni e servire scopi a monte per le applicazioni aziendali.
Gli intervistati riconoscono le sfide culturali nella gestione della supply chain, in particolare dal momento che la supply chain è emersa dal campo della logistica negli anni ‘90. La logistica si concentra sulla certezza operativa, mentre la gestione della supply chain implica la pianificazione a lungo termine e il lavoro con l’incertezza. Vermorel si chiede quanto tempo ci abbia messo la finanza ad abbracciare modelli probabilistici del futuro, mentre Cotton osserva che la data science è stata seriamente considerata per almeno 40 anni.
Cotton affronta anche la differenza tra battere il mercato e fornire stime di probabilità accurate. Spiega che mentre individui come Warren Buffett hanno costantemente battuto il mercato, non possono creare modelli autonomi che forniscono stime probabilistiche migliori rispetto al mercato stesso. Sottolinea l’importanza dei mercati come combinazione di sforzi individuali per creare probabilità e migliorare le previsioni complessive.
Trascrizione completa
Conor Doherty: Bentornati a Lokad TV, sono il vostro conduttore Conor e, come sempre, sono qui con il fondatore di Lokad, Joannes Vermorel. L’ospite di oggi è Peter Cotton, è Senior VP e Chief Data Scientist presso InTech Investment. Oggi, parlerà con noi di previsioni probabilistiche e forse di come battere il mercato azionario. Peter, benvenuto a Lokad.
Peter Cotton: Grazie per avermi invitato.
Conor Doherty: Da Lokad, ci piace sapere con chi stiamo parlando. Quindi, Peter, potresti dirci qualcosa del tuo background e di cosa fai presso InTech Investment?
Peter Cotton: Oh, certo. Mi descriverei come un quant di carriera. Ho lavorato sul lato dell’acquisto e sul lato della vendita, e ho avuto una breve esperienza come imprenditore nel costruire un’azienda di dati. Attualmente trascorro il mio tempo cercando di prevedere cose, il che non ti sorprenderà, e spingendo i confini della teoria del portafoglio.
Conor Doherty: Dovremmo dire fin dall’inizio, congratulazioni per la tua recente performance nella competizione M6. Credo che tu sia arrivato tra i primi 10, è corretto?
Peter Cotton: Sì. Non so se sia merito mio o solo merito di tutti quei trader di opzioni e quant che li supportano. In un certo senso, non è stato affatto il mio lavoro; ero solo un mero tramite da una fonte di potere predittivo a un’altra.
Joannes Vermorel: Per il pubblico, l’M6 è stata in realtà la sesta iterazione di una serie molto nota di competizioni di previsione, in cui l’obiettivo è letteralmente fare previsioni. La competizione funziona nel seguente modo: c’è un dataset reso pubblico, poi ci sono determinate regole e le persone devono fare previsioni, tipicamente sotto forma di previsioni di serie temporali. In questo caso, c’era un aspetto probabilistico nelle ultime due iterazioni della competizione, l’M5 e l’M6. Era un gioco iterato con 12 iterazioni, in cui le persone dovevano inviare i loro risultati e la competizione sarebbe andata avanti. Avevano molte regole per stabilire chi si è comportato meglio e ha effettivamente superato il mercato. È un esercizio molto impegnativo e molto brutale perché c’è molto poco spazio per falsare i risultati.
Conor Doherty: Ho capito che ogni iterazione della competizione M è diversa. Quindi, Peter, qual era il tema dell’M6? Voglio dire, qual era l’obiettivo esplicito?
Peter Cotton: L’obiettivo degli organizzatori, in senso lato, era quello di indagare sull’ipotesi dei mercati efficienti, che afferma, nelle sue varie forme, che è difficile battere il mercato. Il motivo per cui è difficile battere il mercato è che c’è molto incentivo finanziario a farlo e ci sono molte persone intelligenti che hanno passato gli ultimi 40 anni della loro carriera cercando di farlo e costruendo squadre per farlo, e accumulando tutti i dati che possono trovare per farlo. È indubbiamente vero che la cosa migliore da prevedere sul pianeta Terra è probabilmente il prezzo delle azioni di Google o qualcosa del genere. Tutto il resto è un gradino al di sotto di quello in termini di previsione, quindi quello era uno degli obiettivi dichiarati degli organizzatori. Un altro obiettivo era indagare se le persone che potevano prevedere bene sarebbero state anche in grado di trasformarlo in portafogli diversificati sensati che si comportavano secondo una certa metrica su cui possiamo discutere. Quindi, penso che questi fossero i due obiettivi principali degli organizzatori, almeno come li ho capiti io. E cosa ha fatto esattamente il tuo modello che gli altri partecipanti non sono riusciti a fare bene?
Quello che era diverso del mio contributo è che, da un punto di vista filosofico, ho considerato il problema come quello di trovare tutti i dati rilevanti. Ovviamente, altre persone lo avrebbero considerato in quel modo, ma penso che ciò che è diverso è che a volte le persone trascurano il fatto che i dati possono assumere la forma di numeri impliciti o numeri impliciti nei mercati esistenti.
Ora, se guardi alla competizione M6, ci è stato chiesto di cercare di prevedere la probabilità che una determinata azione o ETF avesse rendimenti, diciamo, nel secondo quantile rispetto ai suoi altri pari dopo un mese. Quindi, ti chiedi, cosa determina realmente se un’azione finirà nel secondo quantile dei suoi pari? Beh, se hai un’opinione sulla direzione dell’azione, ciò aumenterà ovviamente la probabilità di finire nei primi due quantili. Ma se non hai un’opinione sull’azione, cosa che personalmente non avevo, la cosa principale che influenzerà se finirai nel primo quantile o nel terzo è la volatilità dell’azione.
Quindi, io sostengo che questa fosse davvero una gara nella previsione della volatilità, non nella direzione dell’azione, forse in contrasto con l’ipotesi dichiarata degli organizzatori, ma va bene, è un esperimento di laboratorio. Quindi, ho detto: “Beh, c’è già una fonte di informazioni incredibilmente buone sulla volatilità delle azioni. Si chiama mercato delle opzioni.” Quindi, mi limiterò a guardare il mercato delle opzioni e invece di prevedere la volatilità io stesso, userò semplicemente quei numeri. Questo è praticamente tutto quello che ho fatto.
Quindi, potresti pensare al mio contributo come a un vero e proprio benchmark di mercato, forse non lo stesso benchmark di mercato che le persone si aspetterebbero. Gli organizzatori hanno inserito un benchmark di mercato diverso e più debole. Ma quello era il mio, e ho detto: “Guarda, è molto difficile trovare stime prospettiche migliori su quanto si sposterà un’azione rispetto a quelle che sarebbero implicite dal mercato delle opzioni perché se potessi farlo, potresti guadagnare comprando e vendendo opzioni.” Ovviamente, ci sono persone che guadagnano vendendo, comprando e vendendo opzioni, io lo faccio, ma porta il mercato a uno stato molto efficiente, ed è per questo che ho pensato che fosse divertente questa competizione.
Era un modo per coinvolgere una comunità di data scientist, previsionisti e alcuni quant, e dire: “Guarda, ecco questa sorta di battaglia, e ho pensato che fosse davvero divertente farlo.” Quindi è quello che ho fatto, e ora sono rimasto piuttosto sorpreso di quanto alto sono arrivato nella classifica. Credo di essere stato a soli .002 punti Brier dal vincere qualche soldo, così vicino da far male. Ma il punto principale era solo vedere, sai, avrei battuto il 70% dei partecipanti, sarebbe stato l'80%? Alla fine si è rivelato essere il 96% dei partecipanti. Sono rimasto un po’ sorpreso da questo, ad essere onesto.
Joannes Vermorel: La cosa interessante per me, provenendo da un background di supply chain, è che sono sempre incredibilmente impressionato da quanto la finanza sia letteralmente decenni avanti rispetto alla supply chain per quanto riguarda tutte le cose.
La mia principale battaglia in Lokad è che la volatilità esiste. Siamo ancora nella battaglia su se esista o meno perché nei circoli della supply chain ci sono molte persone che dicono: “Prevediamo fino a quattro decimali quanto venderemo l’anno prossimo.” Se avessi una previsione di vendite perfetta, tutto diventerebbe una questione di orchestrare. Puoi decidere esattamente quanto produrre, quanto devi acquistare e quanto devi allocare in termini di inventario. Quindi, se avessi previsioni perfette e tutta l’esecuzione per consegnare beni e servizi diventerebbe solo una questione di orchestrare in modo banale.
Quando Lokad ha iniziato a spingere per previsioni probabilistiche nella supply chain dieci anni fa, non era una novità, poiché la finanza lo fa con il value at risk da almeno tre o quattro decenni. L’idea chiave è, innanzitutto, dobbiamo rinunciare all’idea di avere una previsione perfetta. Il primo passo è riconoscere che non sai tutto ciò che c’è da sapere sul futuro. Sembra ovvio per le persone che vengono dalla finanza, ma nella supply chain non è ancora ampiamente riconosciuto che non puoi arrivare a una previsione perfetta.
Una volta accettato che hai incertezza, non significa che non sai nulla. Puoi avere sia l’incertezza che quantificare la struttura di questa incertezza con la volatilità. Non è perché è incerto che è incomprensibile. Ci sono cose da sapere sulla struttura dell’incertezza, ed è quando diciamo previsioni probabilistiche. Da una prospettiva di supply chain, lo usiamo per dire che non prendi le stesse decisioni di fronte a una grande dispersione o a un’incertezza molto concentrata. Quando ti trovi di fronte a una grande volatilità, non affronti il rischio quantitativamente allo stesso modo rispetto a quando è quasi una cosa certa in confronto.
Peter Cotton: È vero che ci vogliono ancora decenni per cercare di far passare questo messaggio. Ci sono persone nelle scienze manageriali che hanno cercato di diffondere questa idea, come Sam Savage con il Flaw of Averages, e incoraggiare le persone a capire che prendere una strada o un valore medio ti porterà nei guai. In finanza, hai avuto tutte queste incredibili nozioni molto dettagliate di rischio di convessità per anni. È incredibile quanto sia diverso.
L’ho notato anch’io perché alcuni concorrenti devono fornire previsioni distribuzionali, e se provieni da Kaggle o da qualche altra parte, potresti non essere familiare con la motivazione per questo. Quindi, qual è la soluzione? Come incoraggiamo il mondo a pensare in termini più stocastici e a farlo funzionare nelle decisioni delle persone o nei fogli di calcolo? Non è così facile.
Joannes Vermorel: Assolutamente. E credo che uno degli ingredienti che sta confondendo ulteriormente il quadro sia che, almeno dalla mia esperienza nel software aziendale nella supply chain, la parola di moda del decennio sia stata l’IA. È interessante perché, non appena hai l’IA, si suppone che tu abbia una comprensione superiore del futuro.
Dal mio punto di vista personale, l’IA è solo una parola di moda per mascherare la propria incompetenza con qualcosa. Una volta che sei molto competente, tendi a chiamarlo in modo diverso, come un modello iper-parametrico o alberi potenziati dal gradiente. Quando dici IA, è solo il ciarlatanismo di qualcosa che non capisci.
La cosa interessante è che, molto spesso, quando ti trovi di fronte a qualcosa di incredibilmente caotico e complesso, la mia esperienza e i nostri risultati con il M5 mostrano che Lokad ha ottenuto ottimi risultati con un metodo che era ordini di grandezza più semplice dei metodi basati sull’IA. Quello che ho trovato interessante del tuo approccio di micro previsione è che credo tu abbia fatto qualcosa di molto simile nella sua semplicità. Quindi, di fronte a qualcosa di incredibilmente complesso, è meglio avere un sistema che rifletta tutta quella complessità o, al contrario, avere qualcosa di molto semplice per guidarti attraverso la tempesta?
Joannes Vermorel: Ho effettuato un paio di esperimenti in questo senso. Ero desideroso di avere il maggior numero possibile di buoni algoritmi provenienti dal mondo open-source per la previsione delle serie temporali. Cerco di mantenere questi pacchetti open-source che rendono piuttosto facile fare il benchmark delle cose o capire quale sia una buona serie temporale per il tuo scopo. Alcuni di questi hanno una vita autonoma propria e cercano di vedere se sono bravi a prevedere qualcosa. La micro previsione è sorta di come il M6 per gli algoritmi, ma tipicamente a frequenze più elevate.
Peter Cotton: Ovviamente, nel tempo abbiamo iniziato a sviluppare opinioni su ciò che funziona effettivamente e su ciò che è robusto in diverse situazioni. Ho fatto alcuni benchmark offline di serie temporali univariate e ci sono probabilmente 20 o 50 pacchetti Python per la previsione delle serie temporali. La maggior parte di essi avvolge altri pacchetti come TSA e modelli statistici. Ma quando li confronti con cose classiche, scopri che le medie ponderate di precisione delle prestazioni recenti di un insieme di modelli semplici finiscono in cima. I modelli semplici includono cose come Auto ARIMA e le loro varianti o cose ancora più semplici.
Joannes Vermorel: Per il pubblico, penso che tu stia sottolineando che il P-hacking è un problema molto reale. Quando ti avventuri nel campo dei modelli sofisticati, puoi quasi sempre trovare un modello che per caso si comporta bene. Questo può portare all’overfitting e al P-hacking, dove si selezionano dimensioni e ipotesi per superare un qualche test statistico di confidenza. Le competizioni di previsione impediscono ciò rilasciando i dati solo dopo che le persone hanno inviato i loro risultati in modo che non possano modificare i loro modelli per ottenere risultati falsi.
Peter Cotton: Esatto. La maggior parte della letteratura accademica comprende una piccola e chiusa competizione gestita dalla stessa persona che partecipa. Decidono chi altro è autorizzato a partecipare, fanno correre la gara 10 volte e poi pubblicano il risultato. È ridicolo. Lo scopo delle competizioni di previsione è impedire che ciò accada.
Sono d’accordo. È assolutamente ridicolo. Perché esiste anche una letteratura empirica? Non lo so. Ho passato il mio tempo cercando di deridere l’idea stessa di una letteratura empirica. Perché dovresti pubblicare un articolo sull’efficacia di un modello in tempo reale se l’articolo non si aggiornerà da solo, giusto? Non so cosa possiamo fare per evitarlo, purtroppo. Come tutti sappiamo e come dice The Economist, il problema degli incentivi non è che non funzionano, è che funzionano troppo bene. Quindi, se l’unico incentivo è pubblicare articoli, è quello che otterrai. Se l’unico incentivo è una metrica leggermente strana per l’M6 per il lato degli investimenti della competizione, otterrai, troverai, sai, tre su 200 persone che troveranno che è il modo per imbrogliare, giusto? È così che va.
Quindi, sì, voglio dire, invece di pubblicare articoli, io consiglio alle persone di prendere il loro algoritmo e farlo girare per sempre. E dovremmo incoraggiare un’infrastruttura che le aziende possano condividere e che consenta a questi algoritmi di passare da un problema aziendale all’altro e scoprire se effettivamente si comportano bene. E se questi metodi che stanno emergendo in questi giorni, e alcuni di essi sono molto ingegnosi e di apprendimento automatico, sono in grado di performare bene fuori dal campione e se ci sono abbastanza dati per farlo davvero, ci saranno abbastanza dati per determinare autonomamente se sono buoni o no. E quindi, non abbiamo davvero bisogno di esseri umani con le loro forti opinioni e forti pregiudizi e interessi personali e tutto il resto per determinare quale algoritmo dovrebbe funzionare per un dato problema aziendale. Spesso, almeno nel mio settore, e il tuo settore è un po’ più impegnativo perché hai previsioni a lungo termine, ma nel mio settore, se stai dicendo cosa funzionerà per te, sai, prevedere quanti clienti si presenteranno nei prossimi cinque minuti o quante auto passeranno un’intersezione nei prossimi due minuti, è un problema di grandi dimensioni. Non dovremmo avere, non c’è motivo per cui le persone con i loro PDF e tutto il resto debbano mettersi in mezzo. Questo è, secondo me, trasformiamo tutto in un M6 ma velocizziamolo o meglio trasformiamo tutto in un mercato delle opzioni.
Joannes Vermorel: Sì, e la cosa interessante è che, ancora una volta, per me, la finanza è solo una sorta di pratica e lo dico nel senso buono perché vedi c’è questa percezione generale del pubblico che, sai, se hai un cattivo in un film, sarà il tipo di finanza e le opzioni. Ma la mia opinione è che quei mercati sono un esercizio di razionalità. Voglio dire, se sei profondamente irrazionale, vai semplicemente in bancarotta. E sono solo le persone che possono mantenere un livello molto, molto elevato di razionalità in ciò che fanno nel corso del tempo che non vanno in bancarotta. È un ambiente molto spietato. Anche le piccole inefficienze vengono sfruttate molto rapidamente. Se hai alcuni concorrenti che sono, anno dopo anno, di qualche percento più efficienti di te, allora le persone riallocano i loro fondi verso quelle persone e tu letteralmente vai in bancarotta. Quindi è letteralmente il darwinismo ad alta velocità in azione in un modo abbastanza brutale.
In modi che quelle, sai, previsioni a lungo termine, sono anche il tipo di cose che le persone non si rendono conto nelle supply chain, che ci sono molte aziende che possono sopravvivere per decenni non perché sono molto, molto brave, ma perché c’è un’incredibile inerzia nell’allestire l’infrastruttura, aggiornare le pratiche e così via, puoi rimanere super inefficiente per un decennio o più prima che faccia anche solo una piccola differenza. Ad esempio, molti rivenditori sono andati su internet per aprire il loro negozio online due decenni dopo Amazon, e hanno sofferto molto invece di scomparire. In finanza, c’erano molte cose - se sei in ritardo di due decenni alla festa, è semplicemente insopportabile. Quindi, da un background di supply chain, quando si tratta di pensare al futuro, uno dei metodi più popolari è ancora S&OP, che significa Vendite e Operazioni. Coinvolge avere tutte le persone insieme nella stanza e discutere, in modo che attraverso la discussione emergerà la previsione corretta. Dal tuo punto di vista di trader quantitativo, sembrerebbe una scelta ragionevole? Tipo, vogliamo fare bene, quindi portiamo 20 persone nella stanza, diamo un’occhiata a quei grafici e poi facciamo un voto per decidere la previsione, con punti bonus se hai un rango più alto nell’organizzazione.
Peter Cotton: Oh Dio, ad essere perfettamente onesto, non invidio le persone che si trovano nella posizione di fare previsioni per uno o due anni in avanti. Ovviamente, è un gioco difficile. La questione dell’intelligenza collettiva tra gli esseri umani in quel tipo di compito di previsione e come si realizza ha certamente una letteratura interessante. Ma sento che a volte c’è un semplice fatto che il pregiudizio puritano degli Stati Uniti sta semplicemente ostacolando una soluzione piuttosto ovvia. Voglio dire, sono cresciuto in Australia, e se vuoi sapere se due mosche stanno strisciando su un muro quale arriverà prima, lascia che le persone scommettano. È davvero così semplice. Non compliciamo le cose.
Il miglior dispositivo di previsione, il primo grande dispositivo di previsione, è stato costruito delle dimensioni di un edificio all’ippodromo di Ellerslie e aperto, credo, nel 1913. Era la prima macchina totalizzatrice meccanica al mondo. Le persone potevano scommettere sui cavalli, e questi enormi pistoni si alzavano lentamente in aria per far sapere alle persone quanto era stato scommesso su ogni cavallo. E attraverso questo incredibile apparato meccanico, la probabilità è emersa - il primo esempio di probabilità neutrale al rischio definita in un sistema di elaborazione delle informazioni in tempo reale. In 100 anni, quella è ancora l’unico modo davvero ragionevole per arrivare alle probabilità future degli eventi per quanto ne so. Non penso ci sia stata un’invenzione migliore.
Joannes Vermorel: Sì, e un punto che mi interessa molto è che stai sottolineando che è in atto un meccanismo di scoperta. Di questo stiamo parlando, e c’è ingegnosità in questo. Quello che vale davvero non è necessariamente il modello che lo accompagna o il pensiero dell’intuizione umana, ma è avere un approccio in cui si pensa: “Qual è il mio meccanismo di scoperta per ottenere informazioni più affidabili su questo futuro? Esiste anche qualcosa che agisce come un meccanismo di scoperta, o sto solo inventando cose e dichiarando che quelle affermazioni che sto facendo implicitamente riguardano il futuro sono buone e valide prima ancora di considerare che potrebbe esserci qualcosa di un viaggio per arrivarci?” Qualcosa che è stato progettato con questa scoperta in mente, ed è un ottimo modo di dirlo.
Peter Cotton: Qui hai un meccanismo che è stato testato in mille diversi luoghi per un secolo, e continua a funzionare. Le persone arriveranno costantemente e diranno: “Beh, aspetta, c’è qualcos’altro che possiamo fare”, come un ottimo esempio di opinioni ponderate compensate in una stanza che guarda una diffusione. Beh, forse quello è il meccanismo giusto per la previsione, chi lo sa? Guarda la storia. Ho iniziato la mia carriera nel 2001 nel credito e ho vissuto l’esperienza del 2006. Avevi un mercato che forniva un numero di correlazione implicita che ti diceva quale fosse la visione del mercato sulla codependenza relativa delle fortune di un’azienda e di un’altra. Diciamo che quel numero era 30. Le agenzie di rating hanno adottato un approccio attuariale, proprio come i partecipanti al M6. Hanno ignorato le informazioni di mercato e hanno creato il loro modello, anche nell’ignoranza delle matematiche a volte necessarie per riconoscere le informazioni. Hanno detto agli investitori istituzionali che il numero non era 30, nemmeno 20, ma il 5 percento. Questa è una discrepanza enorme in un numero. Quindi, come è andata a finire oltre a una crisi finanziaria globale e ad altri disastri nella supply chain? Quanto ci vorrà per capire che il mercato è l’unico modo? Di quanti esempi abbiamo bisogno?
Joannes Vermorel: La cosa divertente è che c’è una sorta di follia parziale in corso. Solo per fare un esempio, nel settore della vendita al dettaglio, Lokad sta lavorando con molti grandi rivenditori. Tipicamente, quando si tratta di prevedere l’impatto delle promozioni, come uno sconto del 30% su una barretta di cioccolato, le persone sono entusiaste dell’effetto. Vogliono spostare l’ago della bilancia e acquisire quote di mercato. Ma quando guardiamo le previsioni delle promozioni, i numeri sono quasi sempre sovrastimati. Le persone pensano che le vendite saranno tre o quattro volte la quantità normale. Tuttavia, quando si applica un modello di mediazione super di base e si guardano le promozioni passate, la realtà è più conservativa. È interessante perché quando mostri loro un modello più conservativo, sentono che il loro entusiasmo e l’intelligenza umana vengono ridimensionati.
Peter Cotton: In informatica, c’è un massimo: scrivi prima il test. Ma nessuno scrive prima il test quando si tratta di previsioni o di fare previsioni sul futuro, giusto? E solo circa il cinque percento delle volte scrivono il test dopo, se mai tornano indietro in modo rigoroso e guardano ciò che hanno effettivamente fatto.
Sì, è vero. I mercati, nonostante tutti i loro difetti, hanno un modo incredibile di fornire disciplina. C’è una ragione per cui alcuni dei migliori hedge fund, ad esempio, incorporano cose come i campi di poker. Sono cresciuto cercando di capire i mercati del gioco d’azzardo di vario genere, e se non hai quella disciplina, non migliorerai nella previsione delle cose. Quindi come creiamo quella disciplina?
Non vogliamo che l’UE imponga a tutti di mettere i residui del proprio modello sulla blockchain, poiché sarebbe inefficiente per vari motivi. Tuttavia, possiamo forse incoraggiare le persone a pensare a come potrebbero utilizzare cose simili ai mercati, ma più leggere, e iniziare a pensare a come potrebbero inserirsi nelle loro pipeline di data science esistenti.
Potremmo iniziare a incoraggiare le persone a dire: “Ehi, guarda, cosa stai facendo con gli errori nei tuoi modelli di previsione? Dove vanno? Vengono gettati nella spazzatura? Rendili pubblici, sono davvero così proprietari?” La maggior parte delle persone nemmeno sa qual è il tuo modello, o cosa stai modellando, o come lo facevi in passato, e stai producendo qualcosa che affermi sia rumore.
Beh, di cosa hai paura? Potrebbe essere un approccio. L’area dei mercati di previsione è sicuramente interessante e, almeno negli Stati Uniti, è stata praticamente ostacolata nel corso degli anni dalla regolamentazione. Tutti i tipi di persone hanno cercato di utilizzare questa disciplina, ma poi si sono tirati indietro quando è emersa l’etichetta del gioco d’azzardo. Perché le cose funzionino bene, a volte è necessario scommettere, quindi può esserci un costo. Non vogliamo trasformare il mondo in macchine da poker, ma senza una qualche forma di disciplina di mercato, non vedo come possa migliorare mai. Vedo solo una ripetizione delle cose.
Joannes Vermorel: Penso che tu stia toccando un argomento molto importante e anche qualcosa che ho sostenuto per decenni: se non hai un ciclo di feedback dal mondo reale quando operi nel tuo spazio matematico con modelli statistici e algoritmi, non sai se stai facendo cose folli o meno.
La matematica ti dice solo la coerenza, se ciò che stai facendo all’interno di questo spazio matematico è coerente con se stesso, non con il mondo. Se non hai un ciclo di feedback, non lo sai. Al massimo, se sei statisticamente e graficamente corretto, ciò significa solo che sei coerente con te stesso, il che è buono, ma non dice nulla sul mondo in generale.
Quando dicevi: “Saresti disposto a scommettere qualche euro o dollaro sul caso?”, è letteralmente il ciclo di feedback. Questa è la punizione, la ricompensa e il coinvolgimento personale. Nella supply chain, uno dei problemi di questi esercizi di previsione è che sono tipicamente completamente sconnessi da ciò che le persone stanno facendo.
Il problema che ho identificato è che la maggior parte delle aziende ha un team che si occupa delle previsioni, che produce previsioni di serie temporali, e poi il resto dell’azienda si occupa delle conseguenze. Si finisce con pratiche molto strane. Ad esempio, i venditori, quando devono contribuire alla previsione delle vendite, sottostimeranno notevolmente in un processo chiamato sandbagging. Perché? Perché se prevedono la loro quota come 100 ma sono sicuri di venderne 200, supereranno la loro quota e otterranno il bonus.
D’altra parte, nella produzione, prevedere una forte domanda ti consente di ottenere un budget maggiore per aumentare la tua capacità produttiva. Se hai un’azienda che può produrre il doppio di quanto ti serve, la produzione è regolare perché la tua capacità è molto superiore a quanto effettivamente ti serve. Il problema non è che le persone stanno giocando a questi giochi; è avere il ciclo di feedback progettato in modo che le persone subiscano le conseguenze. Vuoi che i modelli predittivi siano fondati e gli allegati finanziari come le scommesse possono essere un modo incredibilmente diretto e concreto per raggiungere questo obiettivo. Operativamente, è anche relativamente semplice da eseguire.
Peter Cotton: C’è stato un buon partecipante al concorso M6, che chiamerò “modello Philip”. Una parte importante del suo approccio era trovare più dati. Non si accontentava delle azioni e degli ETF forniti dagli organizzatori, quindi cercava altri dati, costruiva modelli e verificava come si comportavano rispetto a un universo più ampio. Questo lo rendeva meno incline a sovradattare a una storia particolare. Sebbene i mercati di previsione possano essere ingombranti, alternative leggere senza scommesse possono comunque essere efficaci. Ad esempio, Microprediction.org consente alla crema di emergere senza scommesse.
Nel mio libro, parlo di “micromanager”, che sono meccanismi autonomi che ricevono o sollecitano previsioni e servono a uno scopo a monte per un’applicazione aziendale. Ci sono molti meccanismi diversi per fare questo. Ad esempio, microprediction.org utilizza un sistema di lotteria continua con una distribuzione collettiva del valore futuro di una variabile. Puoi essere ricompensato per guidare la distribuzione collettiva verso quella vera. C’è molta letteratura sul punteggio e sulle caratterizzazioni delle stime puntuali e delle distribuzioni. La sfida riguarda di più la cultura: le aziende vogliono avere la disciplina che si trova nelle finanze degli ultimi 40 anni?
Joannes Vermorel: È davvero un problema divertente da risolvere e la cultura gioca un ruolo significativo. La supply chain è un concetto recente emerso negli anni ‘90, con la logistica che era il campo dominante prima. L’eccellenza nella logistica significa non avere incidenti, eliminare i pericoli e garantire la sicurezza sul posto di lavoro. In questo settore sono stati compiuti molti progressi, con le professioni pericolose che sono diventate molto più sicure. La supply chain, tuttavia, si concentra sulla visione a lungo termine, facendo accadere le cose sul campo, il che rappresenta una sfida diversa.
E la cosa è che, quando inizi a pensarci, è quello che ho sentito, sai, tutti i tipi di concetti, ad esempio, sai, la distanza di Kullback-Leibler, tutto questo è di nuovo, sono letteralmente tutti strumenti concettuali in cui accetti che il futuro sia incerto e quindi puoi lavorare con l’incertezza, e hai persino lo strumento matematico per farlo.
Questa è la cosa interessante. La sfida culturale per la supply chain è che è incredibilmente difficile. La logistica, dove è emersa la supply chain, era finalizzata a rimuovere l’incertezza in un certo senso. Non vuoi avere una probabilità che qualcuno muoia sotto la tua responsabilità, vuoi che questa probabilità sia zero o qualcosa di così piccolo che quando accade, è davvero qualcosa che onestamente era quasi impossibile da prevenire. Quindi le persone, e questo è positivo, vogliono avere certezza nei loro processi. Ma poi, quando ti evolvi in questa mentalità di supply chain in cui pensi a anni avanti e improvvisamente non puoi ottenere quelle certezze per cose che accadranno tra anni. C’è questa cultura che deve essere riprogettata perché avere una certezza completa è molto buono sul campo per la tua operazione, ma è un gioco completamente diverso quando inizi a pensare al futuro, soprattutto non al futuro immediato ma un po’ oltre.
Conor Doherty: Stimeresti quanto tempo ci è voluto per la finanza per abbracciare, nel corso del XX secolo, questa visione probabilistica più elaborata del futuro? Credo che gli strumenti Value at Risk siano stati introdotti negli anni ‘80, ma non sono sicuro al 100% sui tempi.
Peter Cotton: È una buona domanda. I mercati delle opzioni esistevano molto prima, e molte persone avevano una buona comprensione di ciò che stava accadendo. Ci sono sempre state persone intelligenti là fuori, e hanno pubblicato molto. La scienza dei dati non ha 10 anni; ha almeno 40 anni, se leggi la biografia di Jim Simons. L’idea che la probabilità sia denaro è molto antica, e l’idea che la probabilità sia inaffidabile se non è denaro è anche molto antica.
Conor Doherty: Solo un’ultima domanda per mettere tutto insieme. Il M6 ha dimostrato che è possibile battere il mercato e fare meglio di quanto abbiano fatto storicamente altre persone per oltre sei decenni?
Peter Cotton: Il problema con questo, e è una distinzione molto importante da fare, è che Warren Buffett non sarebbe finito tra i primi 10. Warren Buffett avrebbe avuto stime di probabilità terribilmente calibrate. C’è una differenza tra essere in grado di battere il mercato e creare stime probabilistiche uguali o migliori rispetto a quelle che il mercato può fare. Né Warren Buffett né Jim Simons né alcun singolo hedge fund possono farlo. M6 è un concorso e una raccolta di sforzi individuali per creare probabilità, ma un mercato è molto di più. È un’attività collettiva, e non puoi battere quell’attività collettiva. Dal M6, mi aspettavo di trovare persone intelligenti e tutto il merito a Philip che mi ha battuto in modo leale. Ma se guardi una simulazione numerica, è impossibile dire che Philip era effettivamente migliore di me o viceversa.
Le prestazioni complessive del mercato delle opzioni nel M6 sono abbastanza schiaccianti. C’era una fase pilota, e poi il primo trimestre, il secondo trimestre, il terzo trimestre e il quarto trimestre. In ognuno di essi, cinque volte su cinque, la mia partecipazione era nel quartile superiore. Se non è fortuna, penso, spero che il M6 insegni alle persone che la disciplina del mercato è molto più elevata rispetto alla disciplina a cui sono abituate nei loro articoli o conferenze di apprendimento automatico o qualsiasi altra cosa.
Spero che la morale non sia che le persone dovrebbero stare lontane dai mercati perché sono troppo difficili da battere. Spero che la morale sia diversa, che le persone inizino a pensare a come possono utilizzare il potere dei mercati o cose simili, o questi loop di feedback, nelle loro proprie pipeline e nelle loro proprie aziende. Questo è ciò che spero che le persone traggano da tutto ciò. Non sono sicuro se lo faranno, ma si può solo sperare.
Conor Doherty: Penso che sia probabilmente la fine. Concluderò le cose. Voglio ringraziarti per il tuo tempo, Peter, e grazie mille, Joannes, per la tua competenza e ancora congratulazioni per il M6. Grazie a tutti voi che state guardando da casa. Ci vediamo la prossima volta.
