00:00:00 Discussione sulla volatilità e introduzione di Peter Cotton.
00:01:22 La performance di Peter alla competizione M6 e la sua struttura.
00:03:21 Il tema della competizione M6 e l’indagine sull’ipotesi dei mercati efficienti.
00:06:01 L’approccio del modello di Peter per prevedere la volatilità utilizzando il mercato delle opzioni.
00:08:10 Confronto tra finanza e supply chain in termini di comprensione della volatilità.
00:09:20 Previsioni probabilistiche nella supply chain e nella finanza.
00:10:01 La difficoltà di far pensare le persone in termini stocastici.
00:12:26 L’AI come parola d’ordine e il suo impatto sulla previsione.
00:14:55 Semplicità e robustezza di fronte alla complessità.
00:17:01 Benchmarking degli algoritmi di previsione delle serie temporali e delle loro prestazioni.
00:18:58 Discussione su come una visione distorta delle prestazioni del modello possa portare a overfitting e P hacking.
00:20:14 Lo scopo delle competizioni di previsione nel prevenire overfitting e manipolazione dei dati.
00:21:27 Critica alla struttura degli incentivi accademici e promozione di test continui degli algoritmi nel mondo reale.
00:22:55 Confronto tra finanza e supply chain management e la necessità di razionalità ed efficienza.
00:27:15 Il potenziale dei mercati di previsione per ottenere previsioni accurate e superare i bias.
00:28:14 Discussione sulle probabilità future e i meccanismi di scoperta.
00:29:34 Confronto tra meccanismi testati e opinioni ponderate retribuite.
00:31:40 Discrepanza nei numeri durante il M6 e la crisi finanziaria del 2006.
00:32:25 Distorsione nelle aspettative e effetto delle promozioni nel retail.
00:36:31 I trader quantitativi che infrangono le barriere e automatizzano i processi nella supply chain.
00:38:09 L’importanza della disciplina nei mercati di previsione.
00:39:58 L’impatto delle regolamentazioni sui mercati di previsione.
00:40:44 Il problema con i modelli statistici e l’esempio delle elezioni di Trump.
00:42:57 La necessità di cicli di feedback e conseguenze nel mondo reale.
00:46:10 Il successo del modello Philip nella competizione M6 grazie alla ricerca di dati aggiuntivi.
00:47:20 Meccanismi leggeri per le previsioni nelle pipeline di data science.
00:48:41 MicroPrediction.org e la sua microstruttura unica per le previsioni.
00:50:47 L’evoluzione dei concetti di supply chain e logistica.
00:52:35 La sfida culturale nell’abbracciare l’incertezza nella supply chain management.
00:54:46 La storia della data science in finanza e la sua relazione con le probabilità.
00:56:41 Battere il mercato azionario e confronto con Warren Buffett.
00:58:36 Concorso M6, sforzi individuali e attività collettiva.
01:00:08 Il messaggio morale dal M6 e l’uso della potenza di mercato in altri ambiti.
Riepilogo
In un’intervista, Peter Cotton, Chief Data Scientist di Intech, e Joannes Vermorel, fondatore di Lokad, discutono di previsione probabilistica, della competizione di previsione M6 e delle differenze tra le prospettive di finanza e supply chain su volatilità e incertezza. Sottolineano che previsioni perfette sono impossibili e che la previsione probabilistica può aiutare a prendere decisioni migliori in mezzo alla volatilità. Entrambi concordano sul valore della semplicità e della robustezza nel gestire sistemi complessi, siano essi mercati finanziari o supply chain. Discutono inoltre di problematiche come il P-hacking, la trasparenza negli errori dei modelli di previsione e i meccanismi di mercato per migliorare le previsioni. Vermorel evidenzia le sfide culturali nella supply chain management, mentre Cotton sottolinea l’importanza dei mercati nel migliorare la previsione complessiva.
Riepilogo esteso
In questa intervista, Peter Cotton, Chief Data Scientist di Intech e trader quantitativo specializzato in previsione, viene invitato da Conor Doherty, il presentatore, e dialoga con Joannes Vermorel, il fondatore di Lokad, una società software specializzata nell’ottimizzazione della supply chain. La discussione ruota attorno alla previsione probabilistica, alla competizione di previsione M6 e alle differenze tra le prospettive di finanza e supply chain in merito a volatilità e incertezza.
Peter Cotton, che si è classificato tra i primi 10 nella competizione di previsione M6, racconta che la competizione mirava a indagare l’ipotesi dei mercati efficienti e se dei buoni predittori potessero creare portafogli diversificati sensati e performanti. Spiega che il suo approccio alla competizione era diverso dagli altri, in quanto ha utilizzato dati dal mercato delle opzioni per prevedere la volatilità invece di previsionarla direttamente. Ha considerato la competizione M6 come una battaglia tra data scientist, esperti di previsione e professionisti della finanza quantitativa contro il mercato delle opzioni. Nonostante il suo alto posizionamento, Peter è rimasto sorpreso da quanto bene si è comportato in confronto agli altri partecipanti.
Joannes Vermorel aggiunge che la finanza è molto avanti rispetto alla supply chain nell’ammettere e affrontare la volatilità e l’incertezza. Osserva che i professionisti della supply chain spesso ancora puntano a previsioni perfette, cosa irrealistica. Il primo passo per affrontare questo problema è riconoscere che le previsioni perfette sono impossibili, e il secondo è capire che l’incertezza non significa che le cose siano insondabili. La previsione probabilistica può aiutare a quantificare la struttura dell’incertezza e a prendere decisioni migliori in situazioni di volatilità.
Entrambi, Peter e Joannes, concordano sul fatto che rimane ancora molto lavoro da fare per incoraggiare il mondo a pensare in termini più stocastici e a integrare questa comprensione nei processi di decision-making. Mentre la finanza ha una lunga storia nell’affrontare l’incertezza e il rischio, ci è voluto molto più tempo perché questi concetti fossero ampiamente riconosciuti e utilizzati nell’industria della supply chain.
Vermorel osserva che l’AI è diventata una parola d’ordine che spesso maschera l’incompetenza. Ritiene che quando i professionisti sono competenti, si riferiscono alle loro tecniche con i nomi tecnici, come modelli iperparametrici o gradient boosted trees.
Vermorel e Cotton discutono della complessità e della natura caotica delle supply chain e del miglior approccio per gestire tali sistemi. Entrambi concordano sul fatto che, invece di puntare tutto sulla complessità, è più ragionevole trovare qualcosa di semplice e robusto. Cotton condivide la sua esperienza con la micro-prediction, che si concentra sul mantenimento di pacchetti open-source per la previsione delle serie temporali supply chain. Sottolinea che i modelli di maggior successo sono spesso i più semplici, come le medie ponderate per precisione delle performance recenti.
Gli intervistati toccano anche il tema del P-hacking, in cui i ricercatori manipolano i dati per supportare l’esito desiderato. Sostengono che le competizioni di previsione, come il M5, possano mitigare questo problema rilasciando i dati solo dopo che i partecipanti hanno presentato i loro risultati, impedendo così di modificare i modelli per ingegnerizzare risultati falsi.
Cotton critica la letteratura accademica per il fatto di organizzare spesso contest chiusi gestiti dalla stessa persona che partecipa e giudica la competizione. Suggerisce che, invece di pubblicare articoli, i ricercatori dovrebbero far girare i loro algoritmi ininterrottamente e lasciarli determinare autonomamente la loro efficacia su diversi problemi aziendali. Cotton sostiene un approccio più guidato dai dati, come trasformare tutto in una competizione M6 o in un mercato delle opzioni, per aumentare razionalità ed efficienza.
Vermorel paragona anche l’ambiente impietoso della finanza con l’inerzia presente nelle supply chain, dove le aziende possono rimanere inefficienti per lunghi periodi senza subire conseguenze gravi. Interroga la pratica dello sales and operations planning (S&OP), che comporta il riunirsi di persone per discutere e votare le previsioni, suggerendo che questo metodo non sia il modo più efficace per fare previsioni.
Vermorel racconta le sue esperienze lavorando con grandi rivenditori sulla previsione dell’impatto delle promozioni. Nota che le aspettative sono spesso gonfiate, e un semplice modello di media dei dati storici può produrre previsioni più accurate. Tuttavia, presentare queste stime più conservative può talvolta essere accolto con resistenza, poiché potrebbe essere visto come un indebolimento dell’entusiasmo o una diminuzione dell’intelligenza umana.
Cotton sottolinea l’importanza della disciplina nel realizzare previsioni accurate, che può essere favorita attraverso approcci basati sul mercato. Suggerisce di incoraggiare le persone a essere più trasparenti riguardo agli errori dei loro modelli di previsione e a considerare l’utilizzo di meccanismi di mercato leggeri all’interno delle loro pipeline di data science. I mercati di previsione, sebbene interessanti, sono stati ostacolati dalla regolamentazione e dalle preoccupazioni legate al gioco d’azzardo.
Cotton racconta un disaccordo con il team dietro il modello elettorale di The Economist prima delle elezioni presidenziali statunitensi del 2016, che aveva assegnato una probabilità molto più bassa a una vittoria di Trump rispetto ai mercati delle scommesse. Lo scambio mette in evidenza la necessità di metodi migliori per valutare l’accuratezza dei modelli e le limitazioni del basarsi esclusivamente sul parere degli esperti.
I partecipanti concordano sul fatto che i meccanismi di mercato si sono dimostrati più affidabili rispetto a metodi alternativi per fare previsioni, ma sottolineano l’importanza di trovare modi per introdurre disciplina di mercato in altri ambiti, come l’ottimizzazione della supply chain e la previsione nel retail.
Vermorel individua un problema negli esercizi di previsione tradizionali, che spesso coinvolgono team separati disconnessi dal resto dell’azienda. Ciò porta a pratiche come lo sandbagging, in cui i venditori sottostimano le loro previsioni per superare le quote e ottenere bonus. La produzione, d’altra parte, tende a sovrastimare le previsioni per garantire budget più elevati per aumentare la produzione. Vermorel suggerisce che creare cicli di feedback con conseguenze reali possa aiutare a radicare i modelli predittivi e renderli più efficaci.
Cotton discute il ruolo dei mercati di previsione nel migliorare i modelli predittivi. Mentre i mercati di previsione tradizionali possono essere ingombranti, alternative leggere possono essere più efficaci in una pipeline di data science. Cotton menziona anche il suo libro sui meccanismi di microprediction capaci di ricevere o sollecitare previsioni e di servire a scopi a monte per applicazioni aziendali.
Gli intervistati riconoscono le sfide culturali nella supply chain management, in particolare poiché la supply chain è emersa dal campo della logistica negli anni ‘90. La logistica si concentra sulla certezza operativa, mentre la supply chain management implica una pianificazione a lungo termine e il lavoro con l’incertezza. Vermorel si chiede quanto tempo abbia impiegato la finanza ad abbracciare i modelli probabilistici del futuro, mentre Cotton osserva che la data science è stata seria da almeno 40 anni.
Cotton tocca anche la differenza tra battere il mercato e fornire stime di probabilità accurate. Spiega che, mentre individui come Warren Buffett hanno battuto costantemente il mercato, non possono creare modelli indipendenti che forniscano stime probabilistiche migliori rispetto al mercato stesso. Sottolinea l’importanza dei mercati come combinazione degli sforzi individuali per creare probabilità e migliorare la previsione complessiva.
Trascrizione Completa
Conor Doherty: Bentornati a Lokad TV, sono il vostro host Conor, e come sempre, sono in compagnia del fondatore di Lokad, Joannes Vermorel. L’ospite di oggi è Peter Cotton, Senior VP e Chief Data Scientist presso InTech Investment. Oggi ci parlerà di previsione probabilistica e forse di come battere il mercato azionario. Peter, benvenuto a Lokad.
Peter Cotton: Grazie per avermi invitato.
Conor Doherty: A Lokad, ci piace sapere chi abbiamo di fronte. Quindi, Peter, potresti raccontarci un po’ del tuo background e cosa fai presso InTech Investment?
Peter Cotton: Oh, certo. Mi descriverei come un quant di carriera. Ho lavorato sia nel buy side che nel sell side, e ho avuto una breve esperienza come imprenditore costruendo una società di dati. Attualmente trascorro il mio tempo cercando di prevedere le cose, cosa che non ti sorprenderà, e anche spingendo i confini della teoria del portafoglio.
Conor Doherty: Dovremmo dire fin dall’inizio, congratulazioni per la tua recente performance nella competizione M6. Credo che tu sia arrivato tra i primi 10, è corretto?
Peter Cotton: È vero. Non so se sia merito mio o i meriti di tutti quegli option traders e quanti li supportano. In un certo senso, non è stato affatto il mio lavoro; sono stato solo un semplice tramite da una fonte di potere predittivo a un’altra.
Joannes Vermorel: Per il pubblico, l’M6 era in realtà la sesta iterazione di una serie molto nota di competizioni di forecasting, dove l’obiettivo è letteralmente fare previsioni. La competizione funziona come segue: viene reso pubblico un dataset, poi ci sono determinate regole e le persone devono fare previsioni, tipicamente sotto forma di previsioni di serie temporali. In questo caso, c’era un aspetto probabilistico nelle ultime due iterazioni della competizione, l’M5 e l’M6. Era un gioco iterato con 12 iterazioni, in cui le persone dovevano inviare i loro risultati e la competizione andava avanti. Avevano molte regole per stabilire chi si comportava al meglio e, in realtà, superava il mercato. È un esercizio molto impegnativo e brutale, perché c’è pochissimo margine per falsificare i propri risultati.
Conor Doherty: La mia impressione è che ogni iterazione della competizione M sia diversa. Quindi, Peter, qual era il tema dell’M6? Voglio dire, qual era l’obiettivo espressamente indicato?
Peter Cotton: L’obiettivo degli organizzatori, in termini generali, era quello di indagare l’Efficient Markets Hypothesis, la quale afferma, in varie forme, che è difficile battere il mercato. La ragione per cui è difficile battere il mercato è che vi è un forte incentivo finanziario a farlo, e ci sono molte persone intelligenti che hanno passato gli ultimi 40 anni della loro carriera cercando di farlo, formando team e raccogliendo tutti i dati possibili a tal fine. È innegabile che la cosa migliore prevista su questo pianeta sia probabilmente il prezzo delle azioni di Google o qualcosa di simile. Tutto il resto è un gradino inferiore in termini di previsione, quindi quell’era uno degli obiettivi dichiarati dagli organizzatori. Un altro obiettivo era quello di verificare se le persone che erano brave a prevedere potessero anche trasformare queste previsioni in portafogli diversificati sensati che performassero secondo una metrica discutibile. Quindi, penso che questi siano stati i due obiettivi principali degli organizzatori, almeno per come li ho compresi. E cosa ha fatto esattamente il tuo modello che gli altri partecipanti non sono riusciti a fare altrettanto bene?
Quello che differenziava la mia partecipazione era che, da una prospettiva filosofica, vedevo il problema nel trovare qualunque dato fosse rilevante. Naturalmente, altre persone potrebbero vederlo allo stesso modo, ma credo che la differenza sia che a volte si trascura il fatto che i dati possono assumere la forma di numeri impliciti o di numeri latenti nei mercati esistenti.
Ora, se osservi la competizione M6, quello che ci è stato chiesto di fare era cercare di prevedere la probabilità che un dato titolo o ETF avesse dei rendimenti, diciamo, nel secondo quantile rispetto ai suoi pari su 100 dopo un mese. Quindi, ti chiedi: cosa determina realmente se un titolo finirà nel secondo quantile dei suoi pari? Beh, se hai una visione sulla direzione del titolo, questo naturalmente aumenterà la probabilità di finire tra i due quantili più alti. Ma se non hai un’opinione sul titolo, cosa che personalmente non avevo, allora ciò che influenza maggiormente se finirai nel primo o nel terzo quantile è la volatilità del titolo.
Quindi, sostengo che si trattava in realtà di una competizione per prevedere la volatilità, non la direzione del titolo, forse in contrasto con l’ipotesi dichiarata dagli organizzatori, ma va bene, era un esperimento di laboratorio. Quello che ho fatto è stato: “Beh, guarda, esiste già una fonte di informazioni incredibilmente affidabile sulla volatilità dei titoli. Si chiama il mercato delle opzioni.” Quindi, mi sono semplicemente affidato al mercato delle opzioni e, invece di prevedere personalmente la volatilità, ho utilizzato quei numeri. Fondamentalmente, è tutto ciò che ho fatto.
Quindi, si potrebbe considerare la mia partecipazione come un semplice benchmark di mercato, forse non lo stesso benchmark che ci si aspetterebbe. Gli organizzatori hanno introdotto un benchmark di mercato diverso e meno forte. Ma quello era il mio, e ho pensato: “Guarda, è molto difficile ottenere stime previsionali migliori su quanto si muoverà un titolo di quanto implicherebbe il mercato delle opzioni, perché se potessi farlo, potresti guadagnare comprando e vendendo opzioni.” Naturalmente, ci sono alcune persone che guadagnano vendendo, acquistando e rivendendo opzioni, lo faccio anch’io, ma ciò porta il mercato a uno stato di efficienza elevata, e questo è ciò che ho trovato divertente in questa competizione.
È stato un modo per riunire una comunità di data scientist, forecaster e alcuni quant e dire: “Guardate, ecco questa specie di sfida”, e ho trovato davvero divertente farlo. Quindi, è quanto ho fatto, e poi sono rimasto un po’ sorpreso dalla mia posizione in classifica. Penso di essere stato a .002 di Brier score dal guadagnare davvero qualcosa, vincendo effettivamente dei soldi, quindi a un soffio. Ma il punto principale era semplicemente vedere, sai, se sarei riuscito a battere il 70% dei partecipanti, o l'80%. Alla fine, si è scoperto che ero migliore del 96% dei partecipanti. Devo ammettere che mi ha un po’ sorpreso.
Joannes Vermorel: La cosa interessante per me, provenendo da un background in supply chain, è che sono sempre così incredibilmente impressionato da come la finanza sia letteralmente decenni avanti rispetto alla supply chain in termini di ogni sorta di cosa.
La mia principale sfida a Lokad consiste nel riconoscimento dell’esistenza della volatilità. Siamo ancora in dibattito sul fatto se essa esista o meno, perché nei circoli della supply chain ci sono molte persone che dicono: “Prevediamo fino a quattro decimali quanto venderemo l’anno prossimo.” Se avessi una previsione di vendita perfetta, tutto diventerebbe una questione di orchestrazione. Puoi decidere esattamente quanto produrrai, quanto devi comprare e quanta scorta devi allocare. Così, se avessi previsioni perfette, l’esecuzione per consegnare beni e servizi diventerebbe una semplice questione di ordinaria orchestrazione.
Quando Lokad ha iniziato a promuovere le previsioni probabilistiche nella supply chain un decennio fa, non era una novità, poiché la finanza lo fa con il value at risk da almeno tre o quattro decenni. L’idea chiave è, innanzitutto, rinunciare all’idea di una previsione perfetta. Il primo passo è riconoscere che non si può conoscere tutto sul futuro. Questo può sembrare ovvio per chi viene dalla finanza, ma nella supply chain non è ancora ampiamente riconosciuto che non si possa ottenere una previsione perfetta.
Una volta accettata l’incertezza, ciò non significa che non si sappia nulla. Si può avere l’incertezza e, allo stesso tempo, quantificarne la struttura attraverso la volatilità. Il fatto che qualcosa sia incerto non lo rende inconoscibile. Ci sono aspetti della struttura dell’incertezza che possono essere compresi, ed è qui che si parla di previsioni probabilistiche. Da un punto di vista della supply chain, lo utilizziamo per affermare che non si prendono le stesse decisioni di fronte a una dispersione immensa o a un’incertezza molto concentrata. Quando affronti un’enorme volatilità, non affronti il rischio in modo quantitativo allo stesso modo in cui lo fai quando è quasi una certezza.
Peter Cotton: È vero che ci vogliono ancora decenni per far passare questo messaggio. Ci sono persone nelle scienze gestionali che hanno cercato di rendere popolare questa nozione, come Sam Savage con il Flaw of Averages, e di incoraggiare la gente a capire che affidarsi a un singolo percorso o a un valore medio ti condurrà nei guai. In finanza, si usano da anni concetti incredibilmente dettagliati come il rischio di convessità. È sorprendente quanto ciò sia diverso.
Ho notato anch’io, perché alcuni concorrenti devono fornire previsioni distribuzionali, e se vieni da Kaggle o da qualche altra parte, potresti non essere familiare con la motivazione di tutto ciò. Quindi, qual è la soluzione? Come possiamo incoraggiare il mondo a pensare in termini più stocastici e a integrare questo approccio nelle decisioni o nei fogli di calcolo delle persone? Non è così semplice.
Joannes Vermorel: Assolutamente. E credo che uno degli ingredienti che confonde ulteriormente il quadro è che, almeno dal mio background in enterprise software nella supply chain, la parola d’ordine del decennio è stata AI. È interessante perché, non appena si parla di AI, si suppone di avere una comprensione superiore del futuro.
Dalla mia personale prospettiva, l’AI è solo una parola d’ordine per mascherare una propria incompetenza. Una volta che sei veramente competente, tendi a definirla in altro modo, come un modello iperparametrico o degli alberi potenziati con gradienti. Quando parli di AI, è solo un gergo privo di significato per qualcosa che non comprendi.
La cosa interessante è che, molto spesso, quando ti confronti con qualcosa di incredibilmente caotico e complesso, la mia esperienza e i nostri risultati con l’M5 dimostrano che Lokad ha fatto molto bene con un metodo che era ordini di grandezza più semplice rispetto ai metodi guidati dall’AI. Quello che ho trovato interessante nel tuo approccio di micro prediction è che credo tu abbia fatto qualcosa di molto simile nella sua semplicità. Quindi, quando ci si trova di fronte a qualcosa di incredibilmente complesso, è preferibile avere un sistema che rifletta tutta quella complessità oppure, al contrario, qualcosa di molto semplice che ti guidi attraverso la tempesta?
Joannes Vermorel: Ho condotto un paio di esperimenti in tal senso. Ero ansioso di raccogliere quanti più buoni algoritmi open-source possibili per la previsione di serie temporali. Cerco di mantenere questi pacchetti open-source che rendono abbastanza facile fare benchmarking o capire quale serie temporale sia adatta al tuo scopo. Alcuni di questi pacchetti hanno una loro vita autonoma e cercano di capire se sono bravi a prevedere qualcosa. La micro prediction è un po’ come l’M6 per gli algoritmi, ma tipicamente su frequenze più elevate.
Peter Cotton: Naturalmente, col tempo abbiamo sviluppato opinioni su ciò che funziona effettivamente e su ciò che risulta robusto in situazioni differenti. Ho effettuato alcuni benchmark offline di serie temporali univariate e ci sono probabilmente 20 o 50 pacchetti Python là fuori per la previsione di serie temporali. La maggior parte di essi incapsula altri pacchetti come TSA e stats models. Ma quando li confronti con metodi classici, scopri che delle medie pesate per precisione delle prestazioni recenti di una serie di modelli semplici finiscono per primeggiare. I modelli semplici includono soluzioni come l’Auto ARIMA e le sue varianti o addirittura soluzioni ancora più basilari.
Joannes Vermorel: Per il pubblico, penso che quello che stai evidenziando è che il P-hacking è un problema molto reale. Quando ti avventuri nel mondo dei modelli sofisticati, puoi quasi sempre trovare un modello che per caso performa bene. Questo può portare a overfitting e P-hacking, in cui si selezionano alcune dimensioni e ipotesi per superare un test statistico di affidabilità.
Peter Cotton: Esatto. La maggior parte della letteratura accademica consiste in un concorso chiuso, organizzato dalla stessa persona che vi partecipa. Decidono chi altro può partecipare, fanno la gara 10 volte, e poi pubblicano il risultato. È ridicolo. Lo scopo delle competizioni di forecasting è proprio quello di prevenire ciò.
Sono d’accordo. È assolutamente ridicolo. Perché esiste addirittura una letteratura empirica? Non lo so. Io passavo il mio tempo cercando di deridere l’idea stessa di una letteratura empirica. Perché pubblicare un articolo sull’efficacia di un modello in tempo reale se l’articolo non si aggiorna da solo, giusto? Non so cosa possiamo fare per allontanarci da questo, purtroppo. Come tutti sappiamo, e come afferma The Economist, la battuta sugli incentivi è che il problema non è che non funzionino, bensì che funzionino troppo bene. Quindi, se l’unico incentivo è pubblicare articoli, questo è ciò che otterrai. Se l’unico incentivo è una metrica leggermente strana per l’M6 nella parte di investimento della competizione, alla fine troverai che su 200 persone ce ne saranno tre che scopriranno che questo è il modo per manipolarlo, giusto? È così che va.
Quindi, sì, intendo dire, propongo che, invece di pubblicare articoli, le persone dovrebbero prendere il loro algoritmo e farlo girare in eterno. E dovremmo incoraggiare un’infrastruttura che le aziende possano condividere, permettendo a questi algoritmi di transitare da un problema aziendale a un altro per verificare se effettivamente funzionano bene. E se questi metodi emergenti, alcuni dei quali sono molto ingegnosi e machine learning, sono capaci di performare davvero bene fuori campione e se ci sono abbastanza dati affinché possano farlo, allora ci saranno dati sufficienti a determinare autonomamente se sono validi o meno. Quindi, non abbiamo davvero bisogno di uomini con le loro opinioni forti, preconcetti, interessi personali e funzioni di gatekeeping per decidere quale algoritmo debba essere adottato per un determinato problema aziendale. Spesso, almeno nel mio ambito – e il tuo è un po’ più sfidante perché prevede previsioni a lungo termine – se parliamo di prevedere quanti clienti arriveranno nei prossimi cinque minuti o quante auto passeranno a un incrocio nei prossimi due minuti, si tratta di un problema di big data. Non c’è motivo che persone con i loro PDF e tutto il resto debbano interferire. A mio avviso, trasformiamo tutto in un M6, ma accelerato, o addirittura trasformiamo tutto in un mercato delle opzioni.
Joannes Vermorel: Sì, e la cosa interessante è che, per me, la finanza rappresenta proprio quella pratica – e lo dico in senso positivo, perché vedi, esiste la percezione generale che, se in un film c’è un cattivo, sarà il tizio della finanza e delle opzioni. Ma secondo me, quei mercati sono un esercizio di razionalità. Voglio dire, se sei profondamente irrazionale, finirai in bancarotta. E sono solo le persone che riescono a mantenere un livello di razionalità estremamente alto per lunghi periodi a non fallire. È un ambiente in cui non si fa scontato nulla. Anche piccole inefficienze vengono sfruttate molto rapidamente. Se hai alcuni concorrenti che, anno dopo anno, risultano pochi percento più efficienti di te, i capitali si riallocano verso di loro e poi tu finisci letteralmente in bancarotta. Quindi, è letteralmente un darwinismo a ritmo serrato in azione, in un modo abbastanza brutale.
In molti modi, quelle previsioni a lungo termine, sai, sono anche quel tipo di cose che le persone non si rendono conto nelle supply chain, che ci sono molte aziende che possono sopravvivere per decenni non perché siano molto, molto brave, ma perché esiste un’incredibile inerzia nel creare l’infrastruttura, aggiornare le pratiche e così via, si può rimanere super inefficienti per un decennio o più prima che ciò faccia anche solo una piccola differenza. Ad esempio, molti rivenditori sono andati su internet per allestire il loro negozio online due decenni dopo Amazon, e hanno sofferto molto invece di scomparire. In finanza, c’erano un sacco di cose – se arrivi due decenni in ritardo alla festa, è semplicemente insopportabile. Quindi, provenendo da un background di supply chain, quando si tratta di pensare al futuro, uno dei metodi più popolari è ancora S&OP, che significa Sales and Operations. Implica avere tutte le persone riunite in una stanza e discutere, in modo che attraverso la discussione emerga la previsione corretta. Dal tuo punto di vista di quantitative trader, ti sembrerebbe un’opzione ragionevole? Tipo, vogliamo performare bene, quindi portiamo 20 persone nella stanza, diamo un’occhiata a quei grafici, e poi votiamo per decidere la previsione, con punti bonus se hai un grado più alto nell’organizzazione.
Peter Cotton: Oh cielo, ad essere perfettamente onesto, non invidio le persone che devono fare previsioni a uno o due anni di anticipo. Ovviamente, è un gioco complicato. La questione dell’intelligenza collettiva tra gli esseri umani in quel tipo di compito predittivo e come la si realizza ha sicuramente una letteratura interessante. Ma sento che a volte c’è una semplice realtà: il pregiudizio puritano degli Stati Uniti sta semplicemente intralciando una soluzione ovvia. Voglio dire, sono cresciuto in Australia, e se vuoi sapere quale delle due mosche che strisciano su un muro arriverà prima, lasci che la gente scommetta su di essa. È davvero così semplice. Non complicamo le cose.
Il miglior dispositivo di previsione, il primo grande dispositivo di previsione, fu costruito delle dimensioni di un edificio all’ippodromo Ellerslie e inaugurato, credo, nel 1913. Fu la prima macchina totalizzatrice meccanica al mondo. Le persone potevano piazzare le loro scommesse sui cavalli, e questi giganteschi pistoni si sollevavano lentamente in aria per far sapere a tutti quanto era stato scommesso su ciascun cavallo. E attraverso questo incredibile apparato meccanico nacque la probabilità – il primo esempio di probabilità neutrale al rischio definita in un sistema di elaborazione di informazioni in tempo reale. In 100 anni, per quanto ne so, è ancora l’unico modo veramente ragionevole per arrivare alle probabilità future degli eventi. Non credo ci sia stata un’invenzione migliore.
Joannes Vermorel: Sì, e un punto che mi interessa molto è che stai evidenziando che è in gioco un meccanismo di scoperta. È di questo che stiamo parlando, e c’è ingegnosità in ciò. Ciò che conta davvero non è necessariamente il modello associato o il pensiero dell’intuizione umana, ma avere un approccio in cui pensi, “Qual è il mio meccanismo di scoperta per ottenere informazioni più affidabili su questo futuro? Esiste davvero qualcosa che funzioni come meccanismo di scoperta, o sto solo inventando cose e dichiarando che quelle affermazioni che implicitamente sto facendo sul futuro sono buone e valide prima ancora di considerare che ci potrebbe essere un percorso per arrivarci?” Qualcosa che è stato progettato con questa scoperta in mente, ed è un ottimo modo di dirlo.
Peter Cotton: Qui avete un meccanismo che è stato testato in mille luoghi differenti per un secolo, e continua a funzionare. La gente verrà costantemente a dire, “Aspetta, c’è qualcos’altro che possiamo fare,” come un ottimo esempio di opinioni ponderate compensate in una stanza che osserva uno spread. Beh, forse quello è il meccanismo giusto per la previsione, chissà? Guardate la storia. Ho iniziato la mia carriera nel 2001 nel credito e ho vissuto l’esperienza del 2006. Avevamo un mercato che forniva un numero di correlazione implicita che indicava quale fosse la visione del mercato sulla codipendenza relativa tra le fortune di un’azienda e un’altra. Supponiamo che quel numero fosse 30. Le agenzie di rating adottarono un approccio attuariale, proprio come i partecipanti dell’M6. Ignorarono le informazioni di mercato e svilupparono un loro modello, persino nell’ignoranza della matematica talvolta necessaria per riconoscere l’informazione. Dissero agli investitori istituzionali che il numero non era 30, nemmeno 20, ma il 5 percento. È una discrepanza enorme in un numero. Quindi, come si è evoluta la situazione, a parte una crisi finanziaria globale e altri disasters nella supply chain? Quanto ci vorrà per renderci conto che il mercato è l’unica via? Quanti esempi ci servono?
Joannes Vermorel: La cosa divertente è che c’è una sorta di follia parziale in atto. Solo per fare un esempio, nel retail, Lokad collabora con molti grandi rivenditori. Tipicamente, quando si tratta di prevedere l’impatto delle promozioni, come una barretta di cioccolato scontata del 30%, la gente è entusiasta dell’effetto. Vogliono muovere l’ago della bilancia e acquisire quote di mercato. Ma quando guardiamo le previsioni delle promozioni, i numeri sono quasi sempre gonfiati. La gente pensa che le vendite saranno tre o quattro volte l’ammontare normale. Tuttavia, quando si applica un modello di mediazione molto basilare e si guardano le promozioni passate, la realtà è più conservativa. È interessante perché quando mostri loro un modello più conservativo, sembrano sentire che il loro entusiasmo e la loro intelligenza umana vengono sminuiti.
Peter Cotton: In informatica, c’è un adagio: scrivi prima il test. Ma nessuno scrive il test prima quando si tratta di fare previsioni o predizioni sul futuro, giusto? E solo circa il cinque percento delle volte scrivono il test in seguito, se mai tornano indietro in modo rigoroso a guardare cosa hanno effettivamente fatto.
Sì, è vero. I mercati, nonostante tutti i loro difetti, hanno un modo incredibile di fornire disciplina. C’è una ragione per cui alcuni hedge fund di punta, ad esempio, incorporano cose come campi di poker. Sono cresciuto cercando di capire i mercati del gioco d’azzardo in varie forme, e se non hai quella disciplina, non migliorerai nelle previsioni. Quindi, come creiamo quella disciplina?
Non vogliamo che l’UE imponga a tutti di mettere i residui dei loro modelli sulla blockchain, poiché sarebbe inefficiente per vari motivi. Tuttavia, possiamo forse incoraggiare le persone a pensare a come potrebbero impiegare cose simili ai mercati, ma più leggere, e iniziare a riflettere su come potrebbero integrarsi nelle loro pipeline di data science esistenti.
Potremmo iniziare a incoraggiare le persone a dire, “Ehi, guarda, cosa ne fai degli errori nei tuoi modelli predittivi? Dove vanno? Li butti via? Rendili pubblici, sono davvero così proprietari?” La maggior parte delle persone non sa nemmeno cosa sia il tuo modello, né cosa stai modellando, o come lo facevi una volta, e stai producendo qualcosa che affermi essere rumore.
Beh, di cosa hai paura? Quella potrebbe essere una strategia. L’area dei prediction markets è sicuramente interessante, e almeno negli Stati Uniti è stata praticamente limitata nel corso degli anni dalla regolamentazione. Tutti i tipi di persone hanno cercato di utilizzare questa disciplina, ma poi si tirano indietro quando viene etichettata come gioco d’azzardo. Affinché le cose funzionino bene, a volte è necessario il meccanismo di staking, quindi può comportare un costo. Non vogliamo trasformare il mondo in macchine da poker, ma senza una qualche forma di disciplina di mercato, non vedo che possa migliorare mai. Vedo solo una ripetizione delle stesse cose.
Joannes Vermorel: Penso che tu stia toccando qualcosa di molto importante, e anche qualcosa per cui ho fatto da decenni da sostenitore: se non hai un circuito di feedback dal mondo reale quando operi nel tuo spazio matematico con modelli statistici e algoritmi, non sai se quello che stai facendo è folle o meno.
La matematica ti dice solo la coerenza, se ciò che stai facendo all’interno di questo spazio matematico è coerente con se stesso, non con il mondo. Se non hai un circuito di feedback, non lo sai. Nel migliore dei casi, se sei statisticamente e graficamente corretto, ciò significa solo che sei coerente con te stesso, il che è positivo, ma non dice nulla sul mondo in generale.
Quando dicevi, “Saresti disposto a scommettere qualche euro o dollaro sul fatto?”, è letteralmente il circuito di feedback. Quella è la punizione, la ricompensa, e l’impegno personale. Nella supply chain, uno dei problemi con quegli esercizi di previsione è che sono generalmente completamente scollegati da ciò che le persone stanno facendo.
Il problema che ho identificato è che la maggior parte delle aziende ha un team dedicato alle previsioni, che produce previsioni delle serie temporali, mentre il resto dell’azienda si occupa delle conseguenze. Finisci per avere pratiche molto strane. Ad esempio, i venditori, quando devono contribuire alla previsione delle vendite, sottostimeranno di gran lunga le stime in un processo chiamato sandbagging. Perché? Perché se prevedono la loro quota come 100 ma sono sicuri di vendere 200, supereranno la quota e otterranno il bonus.
D’altra parte, nella produzione, prevedere una domanda elevata ti consente di ottenere un budget maggiore per aumentare il tuo impianto produttivo. Se hai una fabbrica che può produrre il doppio di quello di cui hai bisogno, la produzione procede senza intoppi perché la tua capacità è ben oltre quel che ti occorre realmente. Il problema non è che le persone giochino a questi giochi; è invece avere un circuito di feedback progettato in modo che le persone subiscano le conseguenze. Vuoi che i modelli predittivi siano ancorati, e attacchi finanziari come le scommesse possono essere un modo incredibilmente diretto e concreto per ottenere questo. Operativamente, è anche relativamente semplice da eseguire.
Peter Cotton: C’era un buon partecipante nel concorso M6, che chiamerò il “modello Philip”. Una parte importante del suo approccio era trovare più dati. Non si accontentava delle azioni e degli ETF forniti dagli organizzatori, quindi cercò più dati, costruì modelli e osservò come si comportavano in un universo più ampio. Questo lo rendeva meno incline a sovradattarsi a una storia particolare. Mentre i prediction markets possono essere ingombranti, alternative leggere senza staking possono comunque essere efficaci. Microprediction.org, per esempio, permette alla crema di salire in cima senza staking.
Nel mio libro, parlo dei “micromanagers”, che sono meccanismi autonomi che ricevono o sollecitano previsioni e servono a uno scopo a monte per un’applicazione aziendale. Esistono molti meccanismi diversi per farlo. Ad esempio, microprediction.org utilizza un sistema di lotteria continua con una distribuzione collettiva del valore futuro di una variabile. Puoi essere ricompensato per spingere la distribuzione collettiva verso quella vera. C’è molta letteratura sul punteggio e sulla caratterizzazione delle stime puntuali e delle distribuzioni. La sfida è più una questione di cultura: le aziende vogliono avere la disciplina che la finanza ha trovato negli ultimi 40 anni?
Joannes Vermorel: È davvero un problema divertente da risolvere, e la cultura gioca un ruolo significativo. Supply chain è un concetto recente che è emerso negli anni ‘90, mentre prima la logistica era il campo dominante. L’eccellenza nella logistica significa non avere incidenti, eliminare i pericoli e garantire la sicurezza sul posto di lavoro. Molti progressi sono stati fatti in quest’area, con le professioni pericolose che sono diventate molto più sicure. Supply chain, tuttavia, si concentra sulla visione a lungo termine, facendo accadere le cose sul campo, il che rappresenta una sfida diversa.
E il fatto è che, quando inizi a pensarci, è quello che ho sentito, sai, tutti quei concetti, per esempio, la distanza di Kullback-Leibler, sono in realtà, sono letteralmente tutti strumenti concettuali in cui accetti che il futuro sia incerto e quindi puoi lavorare con l’incertezza, e hai persino lo strumento matematico per farlo.
Questa è la cosa interessante. La sfida culturale per la supply chain è che è incredibilmente difficile. La logistica, da cui è emersa la supply chain, mirava a eliminare l’incertezza in un certo senso. Non vuoi avere la probabilità che qualcuno muoia sotto la tua supervisione, vuoi che questa probabilità sia zero o qualcosa di così trascurabilmente piccolo che, quando accade, è veramente qualcosa che onestamente era quasi impossibile da prevenire. Così, le persone, e questo è bene, vogliono avere certezza nei loro processi. Ma poi, quando evolvi in questa mentalità della supply chain in cui pensi a anni avanti, e improvvisamente non puoi ottenere quelle certezze per eventi che devono accadere tra anni, c’è una cultura che deve essere riprogettata perché avere una certezza completa è molto utile sul campo per la tua operazione, ma è un gioco completamente diverso quando inizi a pensare al futuro, specialmente non al futuro immediato ma un po’ oltre.
Conor Doherty: Stimeresti quanto tempo ha impiegato la finanza ad abbracciare, nel corso del XX secolo, questa visione probabilistica più elaborata del futuro? Credo che gli strumenti Value at Risk siano stati introdotti negli anni ‘80, ma non sono al 100% sicuro della mia cronologia.
Peter Cotton: È una buona domanda. I mercati delle opzioni esistevano molto prima, e molte persone avevano una comprensione piuttosto buona di ciò che stava accadendo. Ci sono sempre state persone intelligenti là fuori, e hanno pubblicato molto. La data science non ha 10 anni; ha almeno 40 anni, se leggi la biografia di Jim Simons. L’idea che la probabilità sia denaro è molto vecchia, e il concetto che la probabilità sia inaffidabile se non sono in denaro è anch’esso molto vecchio.
Conor Doherty: Solo un’ultima domanda per riassumere. L’M6 ha dimostrato che è possibile battere il mercato e fare meglio di quanto hanno storicamente fatto altre persone per oltre sei decenni?
Peter Cotton: Il problema di ciò, e questa è una distinzione molto importante da fare, è che Warren Buffett non sarebbe finito tra i primi 10. Warren Buffett avrebbe avuto stime di probabilità terribilmente calibrate. Esiste una differenza tra essere in grado di battere il mercato e creare stime probabilistiche pari o migliori di quelle del mercato. Né Warren Buffett, né Jim Simons, né un singolo hedge fund sono capaci di farlo. L’M6 è un concorso e una raccolta di sforzi individuali per creare probabilità, ma un mercato è molto più di questo. È un’attività collettiva, e non puoi battere quell’attività collettiva. Con l’M6, mi aspettavo di trovare alcune persone intelligenti e tutto il merito è per Philip che mi ha battuto onestamente. Ma se guardi una simulazione numerica, è impossibile dire che Philip sia stato in realtà migliore di me o viceversa.
Le prestazioni complessive del mercato delle opzioni nell’M6 sono piuttosto travolgenti. C’è stata una fase pilota, e poi il primo trimestre, il secondo trimestre, il terzo trimestre e il quarto trimestre. In ognuno di essi, in cinque occasioni su cinque, il mio ingresso è stato nel quartile superiore. Se non si tratta di fortuna, spero che l’M6 insegni alle persone che la disciplina del mercato è nettamente superiore rispetto alla disciplina a cui sono abituate nei loro articoli o conferenze sul machine learning o altro.
Spero che la morale non sia che le persone debbano stare lontane dai mercati perché sono troppo difficili da vincere. Spero che la morale sia un’altra, ovvero che le persone comincino a pensare a come possono utilizzare il potere dei mercati o simili, o questi circuiti di retroazione, nelle proprie pipeline e nelle proprie aziende. È questo che spero le persone portino a casa. Non sono sicuro che lo faranno, ma si può solo sperare.
Conor Doherty: Penso che questo sia probabilmente la fine. Concluderò. Voglio ringraziarti per il tuo tempo, Peter, e grazie mille, Joannes, per la tua esperienza e ancora congratulazioni per l’M6. Grazie a tutti quelli a casa per aver guardato. Ci vediamo alla prossima occasione.
