00:00:43 Introduzione di Pierre Pinson
00:01:25 Il background di Pierre Pinson e il suo lavoro nell’ingegneria del design incentrata sui dati e nella previsione.
00:02:20 Come Pierre si è avvicinato alla previsione probabilistica e le sue applicazioni nell’energia, nella logistica e nell’analisi aziendale.
00:04:17 Valutare la qualità delle previsioni, la sua importanza nel processo decisionale, e come si connette al valore della previsione.
00:07:41 Reazioni iniziali alla previsione probabilistica.
00:08:27 Il problema dell’eccessiva fiducia.
00:10:00 La critica di Claude Bernard alla statistica e alle probabilità.
00:13:00 Determinismo vs. comportamenti stocastici nel mondo.
00:14:37 Colmare il divario tra meteorologia e business con la previsione probabilistica.
00:15:11 L’importanza delle previsioni meteorologiche e le implicazioni culturali.
00:16:46 Spiegare le probabilità e comprendere le previsioni.
00:18:58 Le sfide del sovraccarico di informazioni e del processo decisionale.
00:20:31 Trasformare le probabilità in valutazioni del rischio.
00:22:14 Bilanciare la decisione automatizzata e la fiducia degli utenti.
00:23:36 L’importanza delle previsioni meteorologiche nel business e nella logistica.
00:25:01 Previsioni del vento e la loro importanza nel settore energetico.
00:26:00 Uso dei dati meteorologici nelle previsioni della domanda di energia e nelle situazioni della supply chain.
00:30:25 Differenze nell’applicazione della previsione probabilistica nei contesti meteorologici e della logistica.
00:32:46 Discutere le difficoltà della traduzione di previsioni probabilistiche complesse per i clienti.
00:33:32 Preoccupazioni riguardo i costi del cloud computing e l’hosting di grandi quantità di dati.
00:35:02 L’uso di istogrammi bidimensionali e il loro impatto sulla memoria e sui costi.
00:37:19 Insegnare la previsione probabilistica e le sfide che gli studenti affrontano.
00:40:00 Rendere la previsione probabilistica più semplice e comprendere la verifica dei modelli.
00:42:40 Inefficienza nei processi e nei metodi di trasporto.
00:43:57 La sfida di eliminare le incertezze dalla supply chain.
00:45:20 Il costo dell’eliminazione delle incertezze e il suo impatto su vari settori.
00:47:00 L’evoluzione delle previsioni e il suo passaggio dalla matematica applicata all’economia.
00:50:53 La convergenza di diversi campi nelle previsioni e nel processo decisionale in condizioni di incertezza.
00:52:30 Adattare la spiegazione della previsione probabilistica per diversi background.
00:53:21 Applicare la previsione probabilistica a varie aziende e i suoi benefici.
00:55:53 L’attrattiva di previsioni probabilistiche visivamente interessanti e storie di violazione del copyright.
00:58:03 Le limitazioni dei grafici a torta nel trasmettere informazioni e il loro uso nelle fasi di pre-vendita.
01:00:01 Accettare l’incertezza nelle carriere professionali e comprendere la prospettiva probabilistica.
01:02:23 Approccio interdisciplinare e incertezza in vari settori.
01:04:27 L’importanza dell’educazione e come le nuove generazioni influenzino il settore.
01:07:00 La curva di adozione della previsione probabilistica in diversi campi.
01:08:33 La visione di Joannes su un orizzonte temporale di un secolo per accettare l’incertezza.
01:10:37 Le sfide nell’adozione di nuove idee e il lento ritmo del cambiamento in alcuni settori.
01:12:14 L’importanza della matematica nella tecnologia delle previsioni.
01:13:26 I futuri progressi nella scienza e nella tecnologia delle previsioni.
Riassunto
In un’intervista con Conor Doherty, Joannes Vermorel, fondatore di Lokad, e Pierre Pinson, Chair of Data-centric Design Engineering all’Imperial College London, discutono della previsione probabilistica e delle sue applicazioni in vari campi. Sottolineano l’importanza di comprendere l’incertezza nelle previsioni e la necessità di un’educazione continua in quest’area. Tutti e tre concordano che l’innovazione avviene più rapidamente di quanto le persone possano accoglierla, e incoraggiano a rimanere aggiornati sui nuovi sviluppi nel campo e a essere preparati per i progressi che devono ancora arrivare.
Riassunto Esteso
In questa intervista, il presentatore Conor Doherty discute della previsione probabilistica con gli ospiti Joannes Vermorel, fondatore di Lokad, e Pierre Pinson, Chair of Data-centric Design Engineering all’Imperial College London. Pinson ha un ampio background nell’ingegneria del design incentrata sui dati e si è concentrato su varie aree applicative, tra cui l’energia e la logistica. Vermorel, invece, ha affrontato la previsione probabilistica da una supply chain perspective.
Pinson era inizialmente interessato al meteo e alle energie rinnovabili e gli fu offerto un dottorato in previsione per parchi eolici. Egli sottolinea l’importanza di comprendere l’incertezza di una previsione e la gamma potenziale di risultati. Il percorso di Vermorel verso la previsione probabilistica è iniziato con la consapevolezza che molte previsioni della supply chain erano per lo più nulle. Ha constatato che, sebbene tutto sia possibile, non tutto è ugualmente probabile, e comprendere la struttura delle imprecisioni delle previsioni può essere prezioso.
La meteorologia utilizza vari parametri per valutare la qualità delle previsioni, come la distanza fra le previsioni e i risultati effettivi, e la media delle differenze assolute tra i due. Tuttavia, questi parametri potrebbero non indicare sempre se una previsione è buona o cattiva per un’applicazione specifica. Vermorel aggiunge che la previsione probabilistica può contribuire a fornire un’opinione informata sul campo delle possibilità.
Una delle principali sfide per chi lavora con la previsione probabilistica è convincere gli altri ad accettare e adottare l’idea di quantificare l’incertezza. Le persone generalmente preferiscono previsioni deterministiche a causa di bias cognitivi che favoriscono l’eccessiva fiducia. Tuttavia, le previsioni probabilistiche offrono una rappresentazione più trasparente e equa dei possibili risultati. L’utilizzo di previsioni probabilistiche nel decision-making può portare a risultati migliori, ma le persone devono essere aperte all’idea dell’incertezza.
Claude Bernard, fisiologo francese del XIX secolo, si oppose all’uso di statistiche e probabilità negli esperimenti scientifici, suggerendo che la variabilità fosse il risultato di una comprensione incompleta o di una scienza pigra. Tuttavia, Pinson ritiene che, sebbene gli approcci deterministici possano funzionare bene per certi problemi, il mondo non è fondamentalmente deterministico. La previsione probabilistica è preziosa per situazioni con comportamenti stocastici intrinseci e incertezza.
Una delle principali sfide della previsione probabilistica è il sovraccarico informativo. Le persone hanno già molte informazioni da elaborare, e aggiungere dati probabilistici può rendere ancora più difficile dare un senso a tutto. Questo è particolarmente vero quando si tratta di grandi set di dati, come la previsione per milioni di prodotti in una supply chain.
Per affrontare questo problema, alcune aziende hanno ricorso alla decisione automatizzata o alle valutazioni del rischio per aiutare gli utenti a comprendere le previsioni probabilistiche. Trasformando i dati probabilistici in rischi quantificati, gli utenti possono comprendere meglio le potenziali conseguenze delle loro decisioni senza essere sopraffatti dalla complessità dei dati.
Nel campo della meteorologia, la previsione probabilistica si è dimostrata utile per prevedere variabili come temperatura, precipitazioni, velocità del vento e radiazione solare. Queste variabili possono avere un impatto significativo su vari aspetti della vita quotidiana e aziendale, come la produzione e il consumo di energia. In alcuni casi, l’uso dei dati meteorologici nelle previsioni della supply chain può portare a previsioni più accurate, soprattutto quando si affrontano cambiamenti improvvisi dei modelli meteorologici.
Tuttavia, gli intervistati riconoscono anche che l’integrazione dei dati meteorologici nelle previsioni della supply chain è stata una sfida, con pochi esempi di successo. Un caso ha riguardato l’utilizzo dei dati meteorologici per migliorare le previsioni della domanda di energia per un fornitore elettrico in Europa. Integrando i dati meteorologici nelle loro previsioni, l’azienda è riuscita a ridurre le imprecisioni causate dai rapidi cambiamenti del tempo.
Vermorel condivide le sue esperienze con Lokad, che ha raggiunto un’impressionante accuratezza nei suoi modelli di previsione, nonostante la loro semplicità. Un esempio che fornisce è un progetto con un venditore di gelati che voleva prevedere picchi di domanda basandosi sulle condizioni meteorologiche. Sebbene l’analisi post-mortem sia stata efficace nel determinare le ragioni dell’aumento delle vendite, prevedere la domanda si è rivelato più difficile a causa dei lunghi lead times coinvolti nella supply chain. Vermorel sottolinea che nonostante le sfide affrontate, c’è ancora potenziale per il successo della previsione probabilistica in vari settori.
Pinson discute le differenze tra l’applicazione della previsione probabilistica in contesti meteorologici rispetto a quelli della logistica e del business. Spiega che la principale sfida è determinare il prodotto di previsione corretto da utilizzare come input per i processi decisionali. Menziona che scenari, intervalli e quantili sono alcune delle opzioni da considerare, ma alla fine dipende dalle esigenze specifiche del cliente o dell’utente.
Vermorel sottolinea inoltre l’importanza di considerare i costi computazionali quando si implementano tecniche di previsione probabilistica. Nella sua esperienza, gli istogrammi e le densità di probabilità forniscono le informazioni più dettagliate, ma possono essere computazionalmente costosi, soprattutto quando si lavora con dati ad alta dimensionalità. Di conseguenza, Lokad impiega spesso un mix di tecniche per mantenere i costi contenuti e rendere i calcoli efficienti.
Quando insegna agli studenti la previsione probabilistica, Pinson ritiene che la sfida più grande non sia convincerli dei meriti del concetto, ma piuttosto aiutarli a comprendere le modalità pratiche di applicazione di queste tecniche in situazioni reali. Vermorel aggiunge che è fondamentale per i professionisti bilanciare gli aspetti teorici della previsione probabilistica con le considerazioni pratiche sui costi e sull’efficienza computazionale.
Vermorel condivide le sue difficoltà nell’insegnare a persone che hanno già ricevuto un’educazione da consulenti che sostengono i movimenti lean e l’eliminazione dell’incertezza dalle supply chains. Egli ritiene che alcune incertezze possano essere eliminate, ma altre sono accettabili e dovrebbero essere gestite con strumenti adeguati.
Pinson sottolinea che eliminare l’incertezza può essere costoso, e che è meglio accettarla e gestirla con saggezza. Egli cita l’esempio delle energie rinnovabili, dove sviluppare sistemi di stoccaggio in grado di gestire una quantità infinita di energia sarebbe estremamente costoso e non fattibile. Invece, accettare l’incertezza e fare previsioni può essere più conveniente e pratico.
La discussione si sposta sugli aspetti storici e culturali delle previsioni, dove le persone hanno sempre cercato di vivere in un mondo deterministico e di eliminare l’incertezza. Discutono anche della convergenza di diversi campi, come le scienze naturali, le scienze sociali e l’economia, nelle previsioni e nel processo decisionale in condizioni di incertezza.
Pinson parla delle sfide nell’insegnare la previsione probabilistica a persone con background diversi e della necessità di una versione semplificata per coloro che non hanno una solida preparazione matematica. Suggerisce di iniziare con esempi semplici e di aumentare gradualmente la complessità, sottolineando l’importanza di comprendere i principi e i concetti alla base.
Vermorel racconta la sua esperienza con la violazione del copyright, poiché alcuni grafici della sua azienda sono stati riutilizzati su LinkedIn senza permesso. Tuttavia, questi grafici accattivanti possono catturare l’attenzione di potenziali clienti e far apparire l’azienda come più tecnologicamente avanzata.
Pinson parla di come l’incertezza sia presente in ogni aspetto della nostra vita, e di come comprenderla e gestirla sia cruciale per i professionisti in vari campi. L’istruzione gioca un ruolo fondamentale nel promuovere questa comprensione, poiché gli studenti che apprendono la previsione probabilistica possono portare queste competenze nel mondo del lavoro e fare la differenza nelle loro aziende.
Pinson crede che l’adozione della previsione probabilistica continuerà a crescere in diversi settori, man mano che un numero maggiore di persone ne verrà istruito e le aziende cercheranno l’ispirazione e le idee l’una nell’altra. Egli cita l’industria della navigazione come esempio di un campo che è stato lento ad adottare la previsione probabilistica, ma che ora guarda ad altri settori per orientarsi su come integrarla nelle proprie operazioni.
Vermorel sottolinea l’importanza di comprendere l’incertezza nelle previsioni, citando l’esempio della Battaglia del XIX secolo, dove ci volle quasi un intero secolo perché le persone ammettessero che la chimica era rilevante per la medicina. Suggerisce che l’innovazione avviene più rapidamente di quanto le persone possano accoglierla, e che l’istruzione gioca un ruolo cruciale in questo processo. Vermorel menziona anche la citazione di Niels Bohr, “La scienza avanza un funerale alla volta,” enfatizzando il fatto che i progressi significativi possono avvenire rapidamente, ma comprendere le loro implicazioni richiede un tempo apparentemente infinito.
Pinson discute delle applicazioni della previsione probabilistica in meteorologia, menzionando che, sebbene la matematica alla base della tecnologia di previsione possa non essere la parte più rilevante della discussione, è essenziale riconoscere gli sviluppi in corso nella matematica applicata. Egli spiega che progettare macchinari per prevedere milioni di serie temporali in parallelo comporta delle sfide, ma i ricercatori stanno continuamente sviluppando nuovi modelli e tecnologie per il futuro.
Sia Vermorel che Pinson concordano sul fatto che ci sia ancora molto da fare nella previsione e nella previsione probabilistica, oltre alla necessità di una formazione continua e di una migliore comprensione dell’incertezza. Incoraggiano a rimanere aggiornati sui nuovi sviluppi nel settore e a prepararsi per i progressi che devono ancora arrivare.
Trascrizione Completa
Conor Doherty: Bentornati a LokadTV! Sono il vostro host, Conor, e come sempre sono accompagnato dal fondatore di Lokad, Joannes Vermorel. Oggi si unisce a noi Pierre Pinson, caporedattore dell’International Journal of Forecasting e Chief Scientist presso Half Space. Oggi ci parlerà di molte interessanti applicazioni della previsione probabilistica. Benvenuto a Lokad, è un piacere conoscerti.
Pierre Pinson: Grazie per avermi invitato oggi.
Conor Doherty: E grazie mille per esserti unito a noi. Siamo entrambi molto entusiasti di averti qui. Ora, Pierre, ho fatto un’introduzione molto breve; in realtà hai un CV piuttosto vasto. Quindi, per cominciare, potresti dare a tutti un’idea del tuo percorso e di cosa ti occupi, visto che so che sei coinvolto in vari progetti in diversi settori?
Pierre Pinson: Sì, grazie mille. Innanzitutto, attualmente sono professore all’Imperial College di Londra. Dirigo una cattedra che si concentra sull’ingegneria progettuale incentrata sui dati. Con l’aumento continuo del flusso di dati, dobbiamo generare valore dai dati, ed è questo l’obiettivo della mia ricerca e del mio insegnamento. Ovviamente, una delle applicazioni più interessanti e immediate che associamo ai dati è la previsione, quindi è qualcosa che faccio da 20 anni, concentrandomi su diversi ambiti applicativi, principalmente nel settore energetico, perché oggi le previsioni sono molto rilevanti e necessarie per l’energia, ma anche per la logistica, l’analisi aziendale, ecc.
Conor Doherty: Molti campi interessanti e molta sovrapposizione con ciò che vogliamo fare. Quindi, per cominciare, come sei entrato nel mondo della previsione probabilistica?
Pierre Pinson: Beh, devo confessare che in realtà non avevo mai desiderato dedicarmi alla previsione probabilistica. Ero molto interessato al meteo e alle energie rinnovabili, e mi è stato offerto di fare un dottorato sulla previsione per le energie rinnovabili, per i parchi eolici, sai, per capire quanta energia produrranno domani. Il fatto è che un previsore è sempre in errore, e il mio supervisore di dottorato disse: “Beh, vorremmo sapere quanto si sbagliano, ma non dovrebbe limitarsi a una singola metrica, giusto? Tipo, una previsione è così buona o così cattiva in media. Vorremmo sapere, in questo preciso istante, guardando a domani, se la mia previsione sarà buona o meno.” Ed è così che mi sono avvicinato alla previsione probabilistica, perché allora hai questa idea, condizionata a ciò che so oggi, di proiettarmi verso il domani, e di come posso in qualche modo descrivere l’incertezza su ciò che potrebbe accadere, indicare magari qual è l’esito più probabile, quello atteso, e quale potrebbe essere un intervallo per ciò che potrebbe succedere.
Conor Doherty: Beh, è interessante, e a breve mi rivolgerò a te, Joannes, su questo argomento, ma quando parli di cosa rende una previsione meteorologica buona, quali metriche utilizzi per valutare l’efficacia? Non può essere semplicemente “beh, oggi non ha piovuto, quindi è stata al 100% accurata”. Quali sono le metriche per questo?
Pierre Pinson: Sì, ed è per questo che è in realtà una scienza a sé stante, come valutare una previsione e decidere se sia stata buona o meno. In linea di principio, quando hai una previsione per una variabile continua, come la velocità del vento o la temperatura, consideriamo la qualità della previsione in relazione alla distanza tra ciò che hai previsto e ciò che è realmente accaduto. Poi esistono diversi modi per trattare questa distanza. Puoi considerare la somma delle distanze al quadrato o degli errori quadratici, oppure calcolare la media della differenza assoluta tra i due, ecc. Quindi, ci sono molte metriche che indicano quanto la previsione sia buona o meno. Il problema è che è solo un numero. Quindi, se ti dico che in media la mia previsione è sbagliata di due, potresti dire: “Ok, bene”, ma questo rende una previsione buona o cattiva per la mia applicazione? E questo è stato spesso il problema negli ultimi decenni nello sviluppo delle previsioni: dobbiamo collegare la qualità della previsione, cioè quanto sei preciso in termini di questa distanza, al valore della previsione, ovvero quanto sarà utile se utilizzi questa previsione per problemi decisionali.
Conor Doherty: Ci sono delle somiglianze con il nostro approccio?
Joannes Vermorel: È molto interessante, perché in Lokad siamo arrivati alle previsioni probabilistiche attraverso una strada completamente diversa, e ciò che descrivi è molto più vicino all’opinione informata che ho maturato dopo alcuni anni, rispetto al punto di partenza. La mia visione iniziale era qualcosa di molto più ordinario. Il fatto era che, in realtà, stavamo prevedendo molte cose in supply chain, e prevedevamo solo zeri. Ho raccontato questo aneddoto un paio di volte perché quando abbiamo fatto i nostri primi tentativi di previsione delle vendite per mini market, dove la maggior parte dei prodotti viene venduta in media zero volte al giorno, questo è il valore più vicino che si possa ottenere arrotondato all’intero più prossimo. In un tipico mini market circa il 95% dei prodotti registra zero vendite in un giorno qualsiasi. E il problema era proprio questo, così abbiamo sviluppato un bias nella previsione che ci ha portato ai quantili. Poi, mentre sperimentavamo con i quantili, ci siamo resi conto che probabilmente avremmo dovuto avere tutti i quantili contemporaneamente, e siamo passati alle previsioni probabilistiche. Ma al giorno d’oggi, quando devo spiegare perché le previsioni probabilistiche sono importanti, penso che il nostro approccio sia: sì, la tua previsione è disperatamente imprecisa, lo sappiamo. La mia previsione, nel caso in cui fossi un fornitore, è disperatamente imprecisa, ma questo non significa dire che non ho alcuna idea su quali possano essere le imprecisioni. In realtà, ho un’opinione abbastanza informata sul campo delle possibilità. Tutto è possibile, ma non tutto è ugualmente probabile. Nella tua opinione informata sul campo delle possibilità, tutto è possibile, ma non ugualmente probabile, e c’è una struttura nell’analisi dell’errore. Puoi elaborare su questo?
Pierre Pinson: L’aspetto più bizzarro e intrigante per le persone è l’idea che esista una struttura in questa analisi dell’errore. Le persone pensano intuitivamente che l’incertezza derivi dal non sapere, e poi tu dici loro che esiste una struttura in ciò che non conoscono. Sembra confuso. Quando ho iniziato a sostenere le previsioni probabilistiche, la reazione iniziale che ricevevo era che, qualunque cosa accadesse, non avrei mai potuto sbagliare perché la mia previsione avrebbe sempre tenuto conto della possibilità che qualcosa accadesse. Le persone lo vedevano come l’ultimo meccanismo di difesa del fornitore.
Joannes Vermorel: È interessante ascoltare i tuoi aneddoti, ma si potrebbe anche vederla da un’altra prospettiva. C’è il “paradosso del topo grosso” dalla psicologia e dal marketing, dove le persone troppo sicure in una stanza ricevono più credito, anche se possono sbagliarsi. La maggior parte delle persone preferisce una previsione deterministica perché dà loro una sensazione di sicurezza, anche se sanno che sarà sbagliata. Fornire una previsione probabilistica equivale a essere più trasparenti e corretti, ma le persone devono accettarlo e andare contro il loro bias cognitivo verso il determinismo.
Quando ammettiamo che non possiamo essere precisi, ma possiamo dare un’idea abbastanza buona dell’intervallo delle possibilità, stiamo essendo più trasparenti e possibilmente migliori in termini di qualità della previsione. Il problema più grande per noi che lavoriamo con la previsione probabilistica è far accettare alle persone l’idea di abbracciare l’incertezza e di utilizzarla nel processo decisionale. In realtà, questo porterà a risultati migliori. Questo tipo di determinismo nella tua vita rappresenta un grande problema per chi lavora con la previsione probabilistica. Dobbiamo in qualche modo far accettare alle persone che devono rilassarsi con l’idea di voler avere un singolo punto che sia informativo e vero. Devono accettare il fatto che, finché riesci a quantificare l’incertezza e a utilizzarla per prendere decisioni, andrà tutto meglio. Puoi solo migliorare.
Conor Doherty: Quali sono i tuoi pensieri a riguardo, Joannes?
Joannes Vermorel: È molto interessante questa idea di ammettere le proprie debolezze. Se torniamo indietro nel tempo a Claude Bernard, che inventò l’esperimento di controllo, egli presentò un intero argomento contro l’uso delle statistiche e delle probabilità. Il suo ragionamento è in realtà molto ben congegnato. Sosteneva che se qualcosa varia, significa semplicemente che l’esperimento è mal fatto e non si controllano abbastanza le variabili. Operava nel campo della medicina e affermava che se c’è variabilità, esiste una terza variabile che la spiega. Quindi, era contrario all’uso delle statistiche e delle probabilità perché, dal suo punto di vista, era un’ammissione di una comprensione incompleta, di essere uno scienziato pigro. Finisci per ottenere statistiche sofisticate che sono solo una scusa per le tue inadeguatezze. Qual è la tua prospettiva su questa obiezione, Pierre?
Pierre Pinson: Concordo che ciò valga per certi problemi che si basano esclusivamente sulle leggi della fisica, in un ambiente molto controllato, e in cui l’approccio deterministico dovrebbe essere sufficiente. Non dovresti preoccuparti troppo di tutte queste incertezze e dell’avere un quadro probabilistico. Ma se consideri il caso più generale, è quasi un’affermazione filosofica sul mondo. Crediamo che il mondo sia fondamentalmente deterministico per tutto ciò che accade? Oppure esiste in realtà qualche tipo di comportamento stocastico intorno a noi? Sai, alcune regole stocastiche, e questo fa sì che l’idea di base del determinismo non sia sempre applicabile. Lo vediamo nel meteo, e abbiamo pensato che, se avessimo sempre più misurazioni, se fossimo migliori con le leggi della fisica, in qualche modo dovremmo essere in grado di considerarlo un processo deterministico e prevederlo. Ed è una buona speranza, ma credo che ci siano stati ripetuti esperimenti negli ultimi 100 anni in cui ci siamo resi conto che forse non tutto può essere deterministico, e anche questi argomenti che hai menzionato, questa conoscenza incompleta: penso che ci siano così tante cose da modellare e prevedere per le quali non avremo mai conoscenze sufficienti da poterci inquadrare in un contesto deterministico. Semplicemente non è possibile.
Conor Doherty: Beh, se posso intervenire a questo punto, perché una domanda che volevo fare un attimo fa era se in qualche modo si intrecciasse l’idea di business e meteorologia, poiché esiste un ponte interessante tra questi due ambiti, soprattutto dato il tuo background che unisce esperienza aziendale e meteorologica. Presumibilmente ti sei trovato in una situazione in cui hai applicato la previsione probabilistica a un problema aziendale, magari incontrando una certa resistenza, come “oh, non voglio usare la previsione probabilistica, sono le arti oscure”, ma quella stessa persona 10 secondi dopo estrae il suo iPhone e dice, “oh, c’è il 60% di possibilità che piova più tardi, meglio portare un ombrello.” Come gestisci in quel momento questo tipo di dissonanza cognitiva?
Pierre Pinson: È un punto molto valido, e qui c’è una questione culturale. Penso che abbiamo visto, come hai menzionato, che la previsione meteorologica è un campo importante perché è ovunque, tutti la usano e sono sensibili a queste informazioni. È un campo in cui si è notato che, se cambiamo il modo in cui comunichiamo le informazioni previsionali, ci sono metodi che funzionano e altri che non funzionano. A volte è difficile per le persone valutare realmente di cosa si tratti l’informazione, ma troviamo che, in ogni caso, sia utile. Sappiamo che ci è utile, ma è un processo, e penso che lo stesso processo debba essere seguito in diversi ambiti. Quindi può essere in business, in problemi di ingegneria, in assicurazioni; ci sono tantissime situazioni nelle quali noi, in qualità di scienziati o fornitori di previsioni, dell’ecosistema industriale, dobbiamo contribuire a cambiare la cultura affinché le persone, i clienti o gli utenti generali si rendano conto che possiamo pensare in modo diverso e che ci sono benefici.
Conor Doherty: Bene, solo per approfondire, perché hai detto di aver notato, se ho capito bene, che esistono alcuni meccanismi per trasmettere l’informazione meteorologica o le previsioni meteo che risuonano con le persone, e altri che non lo fanno. Potresti approfondire un po’ questo concetto, per favore, o fornire magari un esempio in modo che le persone possano capire?
Pierre Pinson: Sono stati condotti diversi studi da parte di psicologi che collaborano con i meteorologi. Per esempio, se si facesse una dichiarazione riguardo alla probabilità di pioggia, come dire che c’è il 60% di possibilità di pioggia su Londra nelle prossime due ore, le persone la interpretano in modi diversi. Alcuni pensano che significhi che pioverà il 60% del tempo su Londra, mentre altri credono che significhi che c’è una probabilità del 60% di pioggia in una determinata area di Londra. Le persone hanno difficoltà a comprendere cosa significhi fondamentalmente la probabilità.
Joannes Vermorel: Sì, abbiamo visto anche questo problema lavorando con utenti o clienti. C’è un lavoro significativo che va nello sviluppo della metodologia per le previsioni di probabilità e nel valutare come possano essere utilizzate nella pratica. Ma c’è anche molto lavoro nel far comprendere alle persone cosa significhi davvero quell’informazione e come possa influenzare il loro processo decisionale. La sfida consiste nel far capire come passare da una previsione probabilistica a una decisione migliore rispetto a quella che si prenderebbe utilizzando previsioni deterministiche. Se non la comprendono, non la accetteranno.
Conor Doherty: Come lo chiarisci? Usi un approccio white box?
Joannes Vermorel: Stiamo facendo qualcosa che è allo stesso tempo simile e dissimile. La mia lotta, provenendo da un background nella supply chain, è affrontare il sovraccarico informativo. Le persone hanno già troppe informazioni. Anche le previsioni deterministiche possono essere travolgenti, poiché sono spesso super aggregate e presentano vari problemi. Quando entri nel campo delle previsioni probabilistiche, peggiora di due ordini di grandezza, con istogrammi per ogni punto dati e ancora più complessità se consideri probabilità ad alta dimensionalità.
Inizialmente, abbiamo cercato di migliorare la visualizzazione e altri aspetti, ma alla fine siamo convergenti su una soluzione in cui rimuoviamo le probabilità dalla prospettiva dell’utente. Basiamo le decisioni sulle probabilità, ma le trasformiamo in valutazioni del rischio espresse in valuta. Per esempio, potremmo dire a un cliente che il rischio di overstock è una certa quantità X, e il rischio di stockout è una quantità Y. Quantifichiamo le classi di rischio e le prospettive, con la previsione probabilistica sottostante che funge da infrastruttura per queste valutazioni.
Certo, questa non è la soluzione perfetta, ma funziona per i nostri clienti. A volte, i team di data scientist amano lavorare con le probabilità, ma gli esperti di supply chain, meno versati nelle probabilità, trovano questo approccio più accessibile. Direi che l’esperto di supply chain, incredibilmente competente nella supply chain ma non così esperto in probabilità, trova molto difficile interessarsi a ciò, semplicemente a causa del sovraccarico informativo che ciò comporta. Molto rapidamente, questi manager devono valutare se questi istogrammi valgano davvero il loro tempo. È un punto di forza molto difficile da proporre ogni volta che inizi a parlare con persone che danno un alto valore al loro tempo.
Pierre Pinson: D’accordo, sono completamente d’accordo. Esistono traiettorie molto diverse. Come hai menzionato, ci sono modi differenti per affrontare questo problema del sovraccarico informativo. Concordo pienamente con la tua strategia. Penso che cercare di avere decisioni automatizzate, o suggerire decisioni ottimali, avendo compreso il rapporto costo-perdita dell’utente, ecc., sia una cosa positiva. Ma ancora, devono capire come ci si è arrivati e perché dovrebbero fidarsi in primo luogo, il che è curioso perché, quando era deterministico, si fidavano. E ora che esiste la parola probabilità, non si fidano più. Ma questa è un’altra storia. La bellezza di avere informazioni probabilistiche è che puoi fornire questo strato extra di valutazioni molto basilari, valutazioni del rischio, che è ciò che vogliono veramente quando dicono di accettare il probabilistico. Per favore, dimmi a quale rischio sono esposto. Questo è il tipo più semplice di informazione che puoi fornire per dare i vantaggi delle previsioni probabilistiche senza quel sovraccarico informativo di cui hai parlato. Quindi, in realtà, penso che sia una strategia molto buona.
Conor Doherty: Bene, abbiamo iniziato a fondere insieme temi come la meteorologia e il business. Quindi, a questo proposito, Pierre, dato che hai molta esperienza in entrambi, quali sono alcuni esempi di previsioni meteorologiche chiave o dati meteorologici che hai preso e applicato in un contesto aziendale o logistico?
Pierre Pinson: Le informazioni delle previsioni meteorologiche che potresti voler usare come input per il processo decisionale contengono pochissime variabili estremamente importanti, e poi l’importanza della variabile diminuisce rapidamente. Le variabili più importanti sono la temperatura, che guida così tanti altri processi nelle nostre vite, e poi c’è la precipitazione. Più recentemente, c’è il vento perché, ai vecchi tempi, circa 30 anni fa, quando i meteorologi parlavano del vento, producevano previsioni del vento quasi per divertimento, perché a nessuno importava troppo. Era semplicemente: farà vento o no? E magari, se pratichi la vela, ti interessa di più. Ma oggi, a causa delle applicazioni energetiche, le previsioni sulla velocità del vento sono estremamente importanti perché anche un piccolo errore nelle previsioni del vento si traduce in enormi errori nelle previsioni dell’energia che sarà disponibile domani. Quindi, pensa a un paese come la Danimarca, dove in media metà dell’energia proviene dal vento. È abbastanza importante avere buone previsioni del vento. Queste sono le variabili più rilevanti, e ora si sta andando anche verso l’irradianza solare a causa dell’energia solare. Ma direi che queste sono le variabili più importanti e, in termini di impatto, queste variabili meteorologiche sono usate ovunque oggi. Voglio dire, quando guardi all’importanza delle previsioni meteorologiche e alla qualità delle stesse nella nostra vita quotidiana, sia in un contesto aziendale che nella vita di ogni giorno, è estremamente importante.
Conor Doherty: Sicuramente, in termini di tempi di consegna per le merci spedite dall’estero, intendo, comprendendo ciò che Pierre ha appena descritto, ciò deve influenzare le previsioni probabilistiche per le supply chain, per esempio.
Joannes Vermorel: In tutta la storia di Lokad, credo che ci siano state solo due occorrenze in cui siamo riusciti a utilizzare dati meteorologici in situazioni di supply chain. Ancora, ciò potrebbe essere dovuto alla mancanza di talento, alla mancanza di dedizione o a molte altre ragioni. Ma il punto fondamentale era che, per fare previsioni, avevamo un grande fornitore europeo di energia elettrica circa un decennio fa, e avevamo un contratto per migliorare la loro previsione della domanda energetica tenendo conto del meteo. E quello, per me, è l’unico caso in cui c’è stato un chiaro successo nell’utilizzo dei dati meteorologici. Funziona, e il punto era che stavamo guardando previsioni già abbastanza aggregate, essenzialmente per regioni. Quindi, la previsione anche senza il meteo era già molto accurata, cioè, con una precisione del 2% perché erano molto aggregate. Ma, a proposito, quella riguardava solo la domanda di energia, e soltanto la domanda di energia da un giorno all’altro. Quindi, guardavi solo 24 ore avanti, e le regioni aggregate sarebbero state, diciamo, un paese come il Belgio, o forse la Francia divisa in cinque aree, a un livello piuttosto elevato.
Senza il meteo, avresti una previsione, una previsione di serie temporali precisa al 2%, e la maggior parte delle imprecisioni era causata da rapidi cambiamenti del meteo. Quando fa freddo, tende a rimanere freddo, ma poi quando improvvisamente c’è un cambiamento, si verifica un salto che non viene previsto. Quindi, era come avere una previsione con una precisione media dello 0,5%, che poi poteva accumulare forse il 5 o il 6% di imprecisione nel giorno in cui il meteo cambiava. E introducendo il meteo, avevano già raggiunto qualcosa come lo 0,5% di precisione, e con Lokad abbiamo ottenuto più o meno lo stesso livello di accuratezza, ma con modelli che erano effettivamente molto più semplici e gestibili in termini di software.
Quella è stata la prima cosa in cui ho detto che funziona, sai, davvero bene. Il secondo caso è stato con marchi FMCG che volevano prevedere essenzialmente picchi di domanda utilizzando le previsioni meteorologiche. Sfortunatamente, i risultati sono stati per lo più negativi. Ciò che ha funzionato molto bene è stato, e non darò il nome del marchio, ma diciamo che si trattava di un venditore di gelati, e volevano solo sapere cosa funzionasse molto bene dopo l’estate. La domanda era: abbiamo venduto più gelati perché faceva molto caldo o perché il promotion di marketing era molto buono. Come tecnica post-mortem per spiegare la situazione, ha funzionato bene. Tuttavia, il problema quando si tratta di prevedere è che i tempi di consegna nella maggior parte delle situazioni di supply chain sono significativi. Ad esempio, se produci gelati, devi ordinare le materie prime e preparare il programma di produzione circa sei settimane in anticipo. A quel punto, la precisione delle previsioni meteorologiche tende a riconnettersi alle medie stagionali, che non sono sufficientemente migliori della media stagionale da cambiare la tua decisione. Nella nostra esperienza, si è rivelato incredibilmente difficile, e abbiamo ottenuto pochi successi, ma è stato molto istruttivo sotto molti aspetti.
Conor Doherty: Pierre, quando si tratta di applicare le previsioni probabilistiche in un contesto meteorologico, come si traduce questo nell’applicazione in un contesto logistico o aziendale? Ci sono similitudini in termini di vincoli o nel processo?
Pierre Pinson: Una delle questioni principali quando pensiamo alle diverse applicazioni, sia in meteorologia che in settori sensibili al meteo, è il tipo di prodotto previsivo utile come input per il processo decisionale. Tipicamente, le previsioni meteorologiche utilizzano previsioni ensemble, che consistono in molteplici traiettorie o futuri potenziali. Per esempio, il Centro europeo dispone di 51 scenari alternativi. Tuttavia, esistono molti tipi di processi decisionali in cui sono necessari differenti prodotti previsivi.
Nel trading, ad esempio, le persone preferiscono usare densità, che sono descrizioni complete della funzione di densità di probabilità. Alcuni preferiscono intervalli e livelli di confidenza predefiniti come input per il processo decisionale. Altri richiedono quantili specifici in base alle loro considerazioni di costo-perdita. Quindi, la principale differenza che ho osservato tra la meteorologia e altri campi è che dobbiamo dedicare molto tempo a riflettere sul prodotto previsivo giusto da utilizzare come input. Dobbiamo proiettarci nel mondo dei nostri clienti e trovare il modo migliore per tradurre l’informazione complessa delle previsioni probabilistiche in ciò che è più utile per loro. Quindi, la previsione dovrebbe essere utile per i clienti, e il tuo approccio si concentra anche su questo. Puoi elaborare ulteriormente sulle preoccupazioni legate ai costi del cloud computing e su come questi influenzino il tuo lavoro?
Joannes Vermorel: Sì, in quanto fornitore di enterprise software, una delle preoccupazioni primarie è il costo del cloud computing, in modo molto banale. Solo per darti un’idea di scala, la base clienti di Lokad gestisce circa un petabyte di dati, ed è questo che attualmente paghiamo a Microsoft, il nostro fornitore di hosting cloud. È un buon affare per Microsoft e per Lokad, ma ci sono dei costi coinvolti. La maggior parte di ciò che osserviamo è guidata dall’efficienza in termini di costi che possiamo ottenere per l’hardware di calcolo.
Gli istogrammi e le densità di probabilità sono tipicamente i migliori. Sono super ricchi, super piacevoli e super facili da usare. Ma il problema è che in una dimensione ciò va bene. Hai un costo fisso, quindi ingrandisci la quantità di dati, diciamo, di 100 volte e ottieni un bel istogramma. Ma poi, se passi a due dimensioni, perché vuoi avere una matrice di probabilità, diventa più complicato. Per esempio, potresti voler esaminare le probabilità di avere una domanda specifica per un prodotto e le probabilità di avere la stessa domanda per un altro prodotto, ma congiuntamente. Il motivo è che questi prodotti sono concorrenti, e quando la domanda per un prodotto aumenta, tende a essere dovuta alla cannibalizzazione dell’altro. Quindi vuoi probabilità che riconoscano il fatto che, molto probabilmente, se la domanda di un prodotto è destinata a crescere, la domanda di un altro diminuirà, e viceversa. Ora, se lo fai con una matrice, ottieni un istogramma bidimensionale, e la memoria richiesta aumenta significativamente. Peggiora ulteriormente man mano che sali in dimensionalità, rendendo le cose molto costose.
Allo stesso modo, quando vuoi passare a simulazioni in stile Monte Carlo, che sono molto efficaci per affrontare problemi ad alta dimensionalità, il problema è che i rendimenti decrescono con l’aumentare degli scenari. Potrebbe servirti un gran numero di scenari per osservare anche solo un rischio un po’ raro, come 10.000 istanze. La maggior parte delle nostre considerazioni dipende dal fatto che dobbiamo mantenere i costi computazionali gestibili. Non si tratta solo del costo che paghiamo a Microsoft, ma anche del fatto che, utilizzando metodi più complessi, i calcoli richiedono più tempo e le persone devono aspettare che la previsione termini prima di poter proseguire con le loro attività.
Per le tecniche di serie temporali deterministiche, specialmente quelle pre-machine learning utilizzate fino agli anni ‘90, si possono ottenere risultati quasi in tempo reale, anche se ci sono ciclicità e simili. Sono super veloci, e puoi ottenere rapidamente i risultati con metodi come ARIMA o l’exponential smoothing, tutte queste cose possono essere fatte in tempo reale, anche se hai ciclicità e simili. Ma se opti per qualcosa di super sofisticato, come una rete Deep Learning molto profonda, questo tipo di approccio può richiedere ore per l’addestramento, e per noi ha un costo elevato. Inoltre, dal nostro punto di vista, ciò che tende a dominare è la sua praticità, e questo rappresenta una grande preoccupazione.
Conor Doherty: Pierre, una delle cose che fai è insegnare all’Imperial College London, e incontri studenti che vengono in classe per imparare per la prima volta a fare previsioni probabilistiche. Con persone che hanno già un background in matematica e sono già convinte dell’importanza di abbracciare l’incertezza, nella tua esperienza, qual è la sfida più grande che incontrano nel apprendere queste competenze, seguendo sostanzialmente il tuo esempio?
Pierre Pinson: Per quanto riguarda l’insegnamento delle previsioni, l’ho fatto soprattutto quando ero basato in Danimarca con un forte focus sull’energia. Penso che i problemi siano sempre gli stessi. Uno dei primi ostacoli è ciò di cui abbiamo già parlato; riguarda l’accettazione. Perché dovrei optare per il probabilistico in primo luogo? Devo dire che di solito trascorro molto tempo a descrivere i problemi, i problemi decisionali, e a mostrare agli studenti che puoi solo prendere decisioni migliori se adotti il probabilistico. È molto importante per uno sviluppatore o utente di una previsione, un cliente da entrambe le parti, capire che puoi solo migliorare se adotti il probabilistico. Ti costerà qualcosa, ma se lo accetti, andrà meglio. Ci vuole molto impegno per convincere te stesso e per renderti conto e comprendere il perché. Se non capisci perché sarebbe meglio, forse incontrerai difficoltà ad accettarlo. Quindi, dedichiamo molto tempo a questo.
Poi voglio che capiscano che non è difficile produrre queste previsioni. Hai citato alcuni dei modelli classici, ma puoi pensarla anche in termini di variabili casuali di base. Se vuoi fare una previsione probabilistica per qualcosa che è Gaussiano, quando facciamo la previsione puntuale classica stiamo semplicemente prevedendo la media. E ora che diciamo che vogliamo passare alla probabilistica, dobbiamo solo prevedere in aggiunta la varianza, e poi abbiamo una previsione probabilistica completa. Anche se non vuoi adottare un approccio parametrico, se vuoi prevedere quantili puoi usare effettivamente gli stessi modelli del caso deterministico, basta cambiare la loss function nel tuo addestramento, ed ecco, hai una quantile forecast. Un aspetto importante è che insegno agli studenti che non è qualcosa di ordini di grandezza più complesso da imparare e gestire.
L’ultima parte è la verifica, perché abbiamo già discusso in precedenza che alcune persone hanno l’idea che ora ci si possa rilassare, giusto? Perché se si adotta un approccio probabilistico, potresti dire qualsiasi cosa, e in qualche modo mi dirai dopo che non ti sbagli mai. Ma esistono dei framework molto rigorosi per verificare le previsioni probabilistiche e dimostrare effettivamente che hanno senso, che le tue probabilità sono corrette e che stai cercando di concentrare l’informazione, ecc. Questi sono i blocchi principali che affronto con i miei studenti, e la mia esperienza è che queste sono le fondamenta necessarie se, in seguito, nel tuo lavoro devi gestire previsioni probabilistiche.
Joannes Vermorel: La mia esperienza è divertente perché probabilmente sei privilegiato in un certo senso per avere i tuoi studenti. I miei potenziali clienti hanno tipicamente già ricevuto un’educazione nella forma di ciò che i consulenti gli comunicano. Facciamo nemici oggi. Il problema è che esiste una posizione anti-advocacy, come il movimento lean. Il movimento lean e l’idea, per esempio, che dovremmo sprecare meno. Voglio dire, in linea di principio, sì, è meglio evitare lo spreco. Per definizione, lo spreco è qualcosa di indesiderabile, quindi l’affermazione è tautologica per natura. Nessuno dice “produciamo sprechi per il gusto di farlo”, ma questo fa parte del movimento di lean manufacturing e del lean supply chain movement. Il problema con questa linea di pensiero è che finisci per avere situazioni come, ad esempio, se hai processi dispendiosi come lunghi tempi di consegna, vuoi eliminarli. Ma a un certo punto, potresti avere un processo che non è necessariamente molto dispendioso ma comunque molto inefficiente, a causa del fatto che hai cercato di comprimere i tempi di consegna il più possibile. Ad esempio, se vuoi trasportare le merci il più velocemente possibile, un aereo è il migliore, ma l’efficienza degli aerei in termini di carburante è terribile rispetto a treni o navi cargo. Quindi, in sé, puntare direttamente a obiettivi come zero scorte, zero ritardi, zero sprechi, che è la prospettiva generale sostenuta da alcuni movimenti, è un tentativo di eliminare completamente l’incertezza. Se hai zero tempo di consegna, allora improvvisamente perché fai previsioni? Hai solo bisogno di gestire ciò che è proprio davanti a te. Se hai zero scorte, perché devi gestire il potenziale rischio di sovrapproduzione o altro? Quindi, il mio punto di vista interessante è che parte della sfida è che le persone che non hanno beneficiato, nei primi anni di un corso in cui si dimostrava la superiorità del pensiero probabilistico, hanno attraversato una o due, e talvolta tre o quattro decenni di advocacy opinabile da parte dei consulenti per eliminare ogni tipo di incertezza dalla loro supply chain. Alcune delle incertezze, direi, sono quelle accidentali, dove si presentano incertezze che emergono a causa di un processo scadente – quelle, sì, dovrebbero essere eliminate. Se le persone, per esempio, non possiedono le competenze adeguate e alcune producono risultati scadenti, quella non è il tipo di incertezza che desideri. Ma ci sono altre incertezze, come il fatto che magari le navi cargo siano un po’ più lente a causa del tempo, quindi non andranno alla stessa velocità ogni singola volta. Tuttavia, è perfettamente accettabile tollerare questa incertezza se hai gli strumenti per affrontarla in modo sensato.
Pierre Pinson: Hai ragione. Tipicamente, inquadriamo questo problema come una questione di costi perché, in qualche modo, per eliminare le incertezze c’è un costo. Se avessi una quantità infinita di denaro da investire per eliminare tutte le incertezze, potresti farlo. Ma qualsiasi tipo di incertezza, a parte quelle dovute a errori o inefficienze, oppure qualsiasi incertezza più fondamentale nel tuo processo che vuoi eliminare, probabilmente ti costerà molto. Quindi, è un problema tipico in cui dici: “Okay, fantastico, vuoi eliminare tutte le incertezze come se fossero gratuite. Se fossero gratuite, lo avremmo fatto anche noi.” Quindi, questo costo è qualcosa che dobbiamo decidere se possiamo sopportare. Abbiamo un parallelo molto interessante nel campo dell’energia. Per esempio, lavoro molto con le energie rinnovabili. Se stessimo sviluppando sistemi di accumulo per avere una quantità infinita di energia da immagazzinare in qualsiasi momento e per tutto il tempo che desideriamo, in qualche modo il problema sarebbe risolto. Alcune persone dicono che non avremmo bisogno di fare previsioni, non dovremmo preoccuparci. Ma sviluppare e implementare batterie a questa scala
