00:00:43 Introduzione di Pierre Pinson
00:01:25 Il background di Pierre Pinson e il suo lavoro nell’ingegneria del design centrata sui dati e nelle previsioni.
00:02:20 Come Pierre è entrato nel campo delle previsioni probabilistiche e delle sue applicazioni nell’energia, nella logistica e nell’analisi aziendale.
00:04:17 Valutare la qualità delle previsioni, la sua importanza nella presa di decisioni e come si collega al valore delle previsioni.
00:07:41 Reazioni iniziali alle previsioni probabilistiche.
00:08:27 Il problema della sovrafiducia.
00:10:00 La critica di Claude Bernard alle statistiche e alle probabilità.
00:13:00 Determinismo vs comportamenti stocastici nel mondo.
00:14:37 Collegare la meteorologia e l’azienda con le previsioni probabilistiche.
00:15:11 L’importanza delle previsioni meteorologiche e le implicazioni culturali.
00:16:46 Spiegare le probabilità e comprendere le previsioni.
00:18:58 Sfide dell’eccesso di informazioni e della presa di decisioni.
00:20:31 Trasformare le probabilità in valutazioni del rischio.
00:22:14 Bilanciare la presa di decisioni automatizzata e la fiducia dell’utente.
00:23:36 Importanza delle previsioni meteorologiche nel settore aziendale e della logistica.
00:25:01 Previsioni del vento e la loro importanza nel settore dell’energia.
00:26:00 Utilizzo dei dati meteorologici nella previsione della domanda di energia e nelle situazioni della supply chain.
00:30:25 Differenze nell’applicazione delle previsioni probabilistiche nei contesti meteorologici e logistici.
00:32:46 Discutere delle sfide della traduzione di previsioni probabilistiche complesse per i clienti.
00:33:32 Preoccupazioni di costo del cloud computing e dell’hosting di grandi quantità di dati.
00:35:02 Utilizzo di istogrammi bidimensionali e il loro impatto sulla memoria e sui costi.
00:37:19 Insegnare le previsioni probabilistiche e le sfide che gli studenti affrontano.
00:40:00 Rendere le previsioni probabilistiche più facili e comprendere la verifica del modello.
00:42:40 Inefficienza nei processi e nei metodi di trasporto.
00:43:57 La sfida di rimuovere le incertezze dalla supply chain.
00:45:20 Il costo di rimuovere le incertezze e il suo impatto su vari settori.
00:47:00 L’evoluzione delle previsioni e il loro passaggio dalle matematiche applicate all’economia.
00:50:53 Convergenza di diversi campi nelle previsioni e nella presa di decisioni in condizioni di incertezza.
00:52:30 Adattare l’esplicazione delle previsioni probabilistiche a diversi contesti.
00:53:21 Applicare le previsioni probabilistiche a diverse aziende e i loro vantaggi.
00:55:53 L’attrattiva delle previsioni probabilistiche visivamente interessanti e storie di violazione del copyright.
00:58:03 I limiti dei grafici a torta nel trasmettere informazioni e il loro utilizzo nelle fasi di pre-vendita.
01:00:01 Abbracciare l’incertezza nelle carriere professionali e comprendere la prospettiva probabilistica.
01:02:23 Approccio interdisciplinare e incertezza in vari settori.
01:04:27 Importanza dell’istruzione e come le nuove generazioni influenzano l’industria.
01:07:00 Curva di adozione delle previsioni probabilistiche in diversi campi.
01:08:33 La visione di Joannes su un orizzonte temporale di un secolo per abbracciare l’incertezza.
01:10:37 Sfide nell’adozione di nuove idee e il lento ritmo di cambiamento in alcuni settori.
01:12:14 Importanza della matematica nella tecnologia delle previsioni.
01:13:26 Futuri sviluppi nella scienza e nella tecnologia delle previsioni.
Riassunto
In un’intervista con Conor Doherty, Joannes Vermorel, fondatore di Lokad, e Pierre Pinson, presidente di Data-centric Design Engineering all’Imperial College di Londra, discutono delle previsioni probabilistiche e delle loro applicazioni in vari campi. Sottolineano l’importanza di comprendere l’incertezza nelle previsioni e la necessità di un’educazione continua in questo campo. Tutti e tre concordano sul fatto che l’innovazione avviene più velocemente di quanto le persone possano abbracciarla e incoraggiano a rimanere aggiornati sulle nuove evoluzioni del settore e a essere pronti per i progressi futuri.
Riassunto esteso
In questa intervista, l’ospite Conor Doherty discute delle previsioni probabilistiche con gli ospiti Joannes Vermorel, fondatore di Lokad, e Pierre Pinson, presidente di Data-centric Design Engineering all’Imperial College di Londra. Pinson ha una vasta esperienza nell’ingegneria del design centrata sui dati e si è concentrato su diverse aree di applicazione, tra cui l’energia e la logistica. Vermorel, d’altra parte, ha affrontato le previsioni probabilistiche da una prospettiva della supply chain.
Pinson era inizialmente interessato al meteo e alle energie rinnovabili e gli è stata offerta una borsa di dottorato sulle previsioni per i parchi eolici. Sottolinea l’importanza di comprendere l’incertezza di una previsione e la gamma potenziale di risultati. Il percorso di Vermorel verso le previsioni probabilistiche è iniziato con la constatazione che molte previsioni della supply chain erano principalmente zero. Ha scoperto che mentre tutto è possibile, non tutto è altrettanto probabile, e comprendere la struttura delle inesattezze delle previsioni può essere prezioso.
La meteorologia utilizza diverse metriche per valutare la qualità delle previsioni, come la distanza tra le previsioni e i risultati effettivi e la media delle differenze assolute tra i due. Tuttavia, queste metriche potrebbero non sempre indicare se una previsione è buona o cattiva per una specifica applicazione. Vermorel aggiunge che le previsioni probabilistiche possono aiutare a fornire un’opinione informata sul campo delle possibilità.
Una sfida che si presenta a coloro che lavorano con le previsioni probabilistiche è convincere gli altri ad accettare e abbracciare l’idea di quantificare l’incertezza. Le persone preferiscono in generale previsioni deterministiche a causa di bias cognitivi che favoriscono l’eccessiva fiducia in sé stessi. Le previsioni probabilistiche, tuttavia, forniscono una rappresentazione più trasparente e equa dei possibili risultati. Utilizzare previsioni probabilistiche nella presa di decisioni può portare a risultati migliori, ma le persone devono essere aperte all’idea di incertezza.
Claude Bernard, un fisiologo francese del XIX secolo, si oppose all’uso di statistiche e probabilità negli esperimenti scientifici, suggerendo che la variabilità fosse il risultato di una comprensione incompleta o di una scienza pigra. Tuttavia, Pinson ritiene che mentre gli approcci deterministici possono funzionare bene per certi problemi, il mondo non è fondamentalmente deterministico. Le previsioni probabilistiche sono preziose per situazioni con comportamenti stocastici e incertezza intrinseca.
Una delle principali sfide delle previsioni probabilistiche è l’eccesso di informazioni. Le persone hanno già molte informazioni da elaborare e l’aggiunta di dati probabilistici può rendere ancora più difficile dare un senso a tutto. Questo può essere particolarmente vero quando si lavora con grandi set di dati, come le previsioni per milioni di prodotti in una supply chain.
Per affrontare questo problema, alcune aziende si sono rivolte alla presa di decisioni automatizzata o alle valutazioni del rischio per aiutare gli utenti a comprendere le previsioni probabilistiche. Trasformando i dati probabilistici in rischi quantificati, gli utenti possono capire meglio le possibili conseguenze delle loro decisioni senza essere sopraffatti dalla complessità dei dati.
Nel campo della meteorologia, le previsioni probabilistiche si sono rivelate utili per prevedere variabili come temperatura, precipitazioni, velocità del vento e radiazione solare. Queste variabili possono avere un impatto significativo su vari aspetti della vita quotidiana e delle attività commerciali, come la produzione e il consumo di energia. In alcuni casi, l’utilizzo dei dati meteorologici nelle previsioni della supply chain può portare a previsioni più accurate, soprattutto quando si affrontano cambiamenti improvvisi nei modelli meteorologici.
Tuttavia, gli intervistati riconoscono anche che l’incorporazione dei dati meteorologici nelle previsioni della supply chain è stata una sfida, con pochi esempi di successo. Un caso ha coinvolto l’utilizzo dei dati meteorologici per migliorare le previsioni della domanda di energia per un fornitore di energia elettrica in Europa. Incorporando i dati meteorologici nelle loro previsioni, l’azienda è riuscita a ridurre le imprecisioni causate dai rapidi cambiamenti meteorologici.
Vermorel condivide le sue esperienze con Lokad, che ha ottenuto un’ accuratezza impressionante nei suoi modelli di previsione, nonostante la loro semplicità. Un esempio che fornisce è un progetto con un venditore di gelati che voleva prevedere gli aumenti di domanda in base alle condizioni meteorologiche. Sebbene l’analisi post-mortem sia stata efficace nel determinare le ragioni delle vendite aumentate, prevedere la domanda si è rivelato più difficile a causa dei lunghi tempi di consegna coinvolti nella supply chain. Vermorel sottolinea che nonostante le sfide affrontate, c’è ancora il potenziale per le previsioni probabilistiche di avere successo in vari settori.
Pinson discute le differenze tra l’applicazione delle previsioni probabilistiche nei contesti meteorologici rispetto a quelli logistici e commerciali. Spiega che la sfida principale è determinare il giusto prodotto di previsione da utilizzare come input per i processi decisionali. Menziona che gli scenari, gli intervalli e i quantili sono alcune delle opzioni che possono essere prese in considerazione, ma dipende principalmente dalle esigenze specifiche del cliente o del consumatore.
Vermorel sottolinea anche l’importanza di considerare i costi di calcolo durante l’implementazione delle tecniche di previsione probabilistiche. Nella sua esperienza, gli istogrammi e le densità di probabilità forniscono le informazioni più dettagliate, ma possono essere computazionalmente costosi, soprattutto quando si lavora con dati ad alta dimensionalità. Di conseguenza, Lokad spesso utilizza una combinazione di tecniche per mantenere i costi gestibili e i calcoli efficienti.
Quando insegna agli studenti le previsioni probabilistiche, Pinson trova che la sfida più grande non è convincerli dei meriti del concetto, ma piuttosto aiutarli a comprendere le praticità dell’applicazione di queste tecniche in situazioni reali. Vermorel aggiunge che è cruciale per i professionisti bilanciare gli aspetti teorici delle previsioni probabilistiche con le considerazioni pratiche di costo ed efficienza computazionale.
Vermorel condivide le sue difficoltà nell’insegnare a persone che hanno già ricevuto un’educazione da consulenti che promuovono i movimenti lean e la rimozione dell’incertezza dalle supply chain. Crede che alcune incertezze possano essere eliminate, ma altre sono accettabili e dovrebbero essere gestite con gli strumenti appropriati.
Pinson sottolinea che eliminare l’incertezza può essere costoso e che è meglio accettarla e gestirla saggiamente. Egli dà l’esempio dell’energia rinnovabile, dove lo sviluppo di sistemi di stoccaggio per gestire una quantità infinita di energia sarebbe estremamente costoso e non fattibile. Invece, accettare l’incertezza e fare previsioni può essere più conveniente e pratico.
La discussione passa agli aspetti storici e culturali delle previsioni, dove le persone hanno sempre cercato di vivere in un mondo deterministico e rimuovere l’incertezza. Discutono anche della convergenza di diversi campi, come le scienze naturali, le scienze sociali ed l’economia, nelle previsioni e nelle decisioni in condizioni di incertezza.
Pinson parla delle sfide nell’insegnare le previsioni probabilistiche a persone con background diversi e della necessità di una versione abbreviata per coloro che non hanno una solida formazione matematica. Suggerisce di iniziare con esempi semplici e di costruire gradualmente la complessità, sottolineando l’importanza di comprendere i principi e i concetti sottostanti.
Vermorel condivide la sua esperienza con la violazione del copyright, poiché alcuni grafici della sua azienda sono stati riutilizzati su LinkedIn senza autorizzazione. Tuttavia, questi grafici attraenti possono catturare l’attenzione dei potenziali clienti e far apparire l’azienda più tecnologicamente avanzata.
Pinson parla di come l’incertezza sia presente in ogni aspetto della nostra vita e di come comprenderla e gestirla sia cruciale per i professionisti di vari settori. L’educazione svolge un ruolo chiave nella promozione di questa comprensione, poiché gli studenti che imparano le previsioni probabilistiche possono portare queste competenze nel mondo del lavoro e fare la differenza nelle loro aziende.
Pinson crede che l’adozione delle previsioni probabilistiche continuerà a crescere in diversi settori, man mano che sempre più persone si istruiscono su di esse e le aziende si ispirano e si scambiano idee tra loro. Cita l’industria del trasporto come esempio di un settore che è stato lento ad adottare le previsioni probabilistiche, ma che ora sta cercando ispirazione in altri campi per incorporarle nelle proprie operazioni.
Vermorel sottolinea l’importanza di comprendere l’incertezza nelle previsioni, citando l’esempio della Battaglia del XIX secolo, dove ci sono voluti quasi un intero secolo affinché le persone ammettessero che la chimica era rilevante per la medicina. Suggerisce che l’innovazione avviene più velocemente di quanto le persone possano abbracciarla e l’educazione svolge un ruolo cruciale in questo processo. Vermorel menziona anche la citazione di Niels Bohr, “La scienza progredisce un funerale alla volta”, sottolineando l’idea che progressi significativi possono avvenire rapidamente, ma capirne le implicazioni richiede apparentemente un’eternità.
Pinson discute le applicazioni delle previsioni probabilistiche in meteorologia, menzionando che sebbene la matematica dietro la tecnologia delle previsioni potrebbe non essere la parte più rilevante della discussione, è essenziale riconoscere gli sviluppi in corso nella matematica applicata. Spiega che progettare macchinari per prevedere milioni di serie temporali in parallelo presenta sfide, ma i ricercatori stanno continuamente sviluppando nuovi modelli e tecnologie per il futuro.
Sia Vermorel che Pinson concordano sul fatto che ci sia ancora molto progresso da fare nelle previsioni e nelle previsioni probabilistiche, così come la necessità di un’educazione continua e di una comprensione dell’incertezza. Incoraggiano a rimanere aggiornati sulle nuove evoluzioni del settore e a essere pronti per i progressi ancora da venire.
Trascrizione completa
Conor Doherty: Bentornati a LokadTV! Sono il vostro conduttore, Conor, e come sempre, sono qui con il fondatore di Lokad, Joannes Vermorel. Oggi ci accompagna Pierre Pinson, è il direttore editoriale dell’International Journal of Forecasting e Chief Scientist di Half Space. Oggi ci parlerà di molteplici interessanti applicazioni delle previsioni probabilistiche. Benvenuto a Lokad, è un piacere conoscerti.
Pierre Pinson: Grazie per avermi qui oggi.
Conor Doherty: E grazie mille per esserti unito a noi. Siamo entrambi molto entusiasti di averti qui. Ora, Pierre, ho fatto una breve introduzione; in realtà hai un curriculum molto ampio. Prima di tutto, potresti darci un’idea del tuo background e di cosa fai perché so che sei coinvolto in molti progetti in diversi settori?
Pierre Pinson: Sì, grazie mille. Innanzitutto, al momento sono professore all’Imperial College di Londra. Sono a capo di una cattedra che si concentra sull’ingegneria del design centrata sui dati. Con l’aumento dei dati che circolano in questi giorni, dobbiamo generare valore dai dati, ed è questo l’obiettivo della mia ricerca e della mia insegnamento. Ovviamente, una delle applicazioni più interessanti e importanti che pensiamo ai dati è la previsione, quindi è qualcosa che faccio da oltre 20 anni, concentrandomi su diversi tipi di settori applicativi, principalmente l’energia perché ci sono così tante previsioni rilevanti e necessarie per l’energia oggi, ma anche per la logistica, l’analisi aziendale, ecc.
Conor Doherty: Ci sono molti campi interessanti e molte sovrapposizioni con ciò che vogliamo fare. Allora, innanzitutto, come sei arrivato alle previsioni probabilistiche?
Pierre Pinson: Beh, in realtà non volevo fare previsioni probabilistiche in primo luogo, devo confessarlo. Ero molto interessato al tempo e alle energie rinnovabili, e mi è stata offerta la possibilità di fare un dottorato di ricerca sulle previsioni per le energie rinnovabili, per i parchi eolici, sapete, quanto produrranno i parchi eolici domani. Il fatto è che un previsionista ha sempre torto, e il mio supervisore di dottorato ha detto: “Beh, vorremmo sapere quanto sbagliano, ma non dovrebbe essere solo una misura, giusto? Come una previsione è buona o cattiva in media. Vorremmo sapere, proprio adesso, guardando verso domani, se la mia previsione sarà buona o no?” Ed è così che mi sono avvicinato alle previsioni probabilistiche, perché allora hai questa idea, condizionata a ciò che so oggi, proiettandomi verso domani, e come posso descrivere in qualche modo l’incertezza di ciò che potrebbe accadere e dire forse quale è l’esito più probabile, quale è l’esito atteso e quale potrebbe essere un intervallo per ciò che potrebbe accadere.
Conor Doherty: Beh, è interessante, e tra un attimo ti rivolgerò a te, Joannes, ma quando parli di cosa rende una buona previsione in meteorologia, quali metriche usi per valutarne l’efficacia? Non può essere solo “beh, oggi non è piovuto, quindi è stata accurata al 100%”. Quali sono le metriche per questo?
Pierre Pinson: Sì, ecco perché è effettivamente una scienza a sé stante, sapere come valutare una previsione e decidere se è stata una buona previsione o no. In linea di principio, quando si ha una previsione per una variabile continua, come la velocità del vento o la temperatura, pensiamo alla qualità della previsione come correlata a una distanza tra ciò che hai previsto e ciò che è realmente accaduto. Poi ci sono diversi modi per manipolare questa distanza. Puoi prendere una somma di distanze quadrate o errori quadratici, puoi guardare la media della differenza assoluta tra i due, ecc. Quindi, ci sono molte metriche che indicano quanto sia buona o cattiva la previsione. Il problema è che è solo un numero. Quindi, se ti dico che in media la mia previsione è sbagliata di due, potresti dire: “Ok, ottimo”, ma questa rende una previsione buona o cattiva per la mia applicazione? E questo è stato molto spesso il problema negli ultimi decenni di sviluppo delle previsioni, cioè dobbiamo collegare la qualità della previsione, quindi quanto sei bravo in termini di questa distanza, al valore della previsione, quanto sarà buona se uso questa previsione per i miei problemi decisionali.
Conor Doherty: Ci sono delle somiglianze con il nostro approccio?
Joannes Vermorel: È molto interessante perché da Lokad, siamo arrivati alla previsione probabilistica attraverso un percorso completamente diverso, e ciò che descrivi è molto più vicino all’opinione informata che ho acquisito dopo alcuni anni, rispetto al punto di partenza. La mia prima impressione era qualcosa di molto più banale. Il fatto era che, in realtà, stavamo facendo previsioni su molte cose nelle catene di approvvigionamento e stavamo semplicemente prevedendo zeri. Ho raccontato questa aneddoto un paio di volte perché quando abbiamo fatto i nostri primi tentativi di prevedere le cose dalle vendite per i minimarket, dove la maggior parte dei prodotti viene venduta zero volte al giorno in media, quello è il valore più vicino che puoi ottenere arrotondato all’intero più vicino. Hai circa il 95% dei prodotti nel tuo tipico minimarket che vendono zero unità in un qualsiasi giorno. E il problema era letteralmente che avevamo questo problema, e così abbiamo iniziato ad avere un bias di previsione che ci ha portato ai quantili. E mentre stavamo giocando con i quantili, ci siamo resi conto che probabilmente dovremmo avere tutti i quantili contemporaneamente, e siamo passati alle previsioni probabilistiche. Ma oggi, quando devo spiegare perché le previsioni probabilistiche sono importanti, penso che il modo in cui ci avviciniamo sia che sì, la tua previsione è disperatamente inaccurata, lo sappiamo. La mia previsione, nel caso in cui io sia un fornitore, è disperatamente inaccurata, ma questo non significa che non ho assolutamente idea di quali saranno queste inesattezze. In realtà, ho un’opinione abbastanza informata sul campo delle possibilità. Tutto è possibile, ma tutto non è altrettanto probabile. Nella tua opinione informata sul campo delle possibilità, tutto è possibile ma non altrettanto probabile, e c’è una struttura per analizzare l’errore. Puoi approfondire questo argomento?
Pierre Pinson: L’aspetto più bizzarro e intrigante per le persone è l’idea che ci sia una struttura in questa analisi dell’errore. Le persone pensano intuitivamente che l’incertezza derivi dal non conoscere le cose, e poi dici loro che c’è una struttura in ciò che non conoscono. Sembra confuso. Quando ho iniziato a sostenere le previsioni probabilistiche, la reazione iniziale che ho ottenuto è stata che non importa cosa accada, non potrei mai sbagliare perché la mia previsione terrebbe sempre conto della possibilità che qualcosa accada. Le persone lo vedevano come il meccanismo di difesa definitivo per il fornitore.
Joannes Vermorel: È interessante sentire le tue aneddoti, ma potresti anche vederlo da un’altra prospettiva. C’è il “paradosso del topo grande” della psicologia e del marketing, in cui le persone sicure di sé in una stanza vengono considerate più credibili, anche se potrebbero sbagliarsi. La maggior parte delle persone preferisce una previsione deterministica perché dà loro una sensazione di fiducia, anche se sanno che sarà sbagliata. Fornire una previsione probabilistica è in realtà essere più trasparenti e corretti, ma le persone devono accettarlo e andare contro il loro bias cognitivo per il determinismo.
Quando ammettiamo che non possiamo essere precisi, ma possiamo dare un’idea abbastanza precisa dell’intervallo di possibilità, stiamo essendo più trasparenti e forse migliori in termini di qualità delle previsioni. Il problema più grande per coloro di noi che lavorano con la previsione probabilistica è far accettare alle persone l’idea di abbracciare l’incertezza e usarla nella presa di decisioni. In realtà, ciò porterà a risultati migliori. Questo tipo di determinismo nella tua vita è un grande problema che abbiamo come persone che lavorano con la previsione probabilistica. Dobbiamo in qualche modo far accettare alle persone che devono rilassarsi con l’idea che vogliono che questo singolo punto sia informativo e vero. Devono accettare il fatto che finché puoi quantificare l’incertezza e usarla nella presa di decisioni, sarà meglio. Puoi solo fare meglio.
Conor Doherty: Quali sono le tue opinioni su questo, Joannes?
Joannes Vermorel: È molto interessante, questa idea di ammettere la propria debolezza. Se torniamo indietro nel tempo a Claude Bernard, che ha inventato l’esperimento di controllo, ha fatto un’intera argomentazione contro l’uso di statistiche e probabilità. Il suo punto è in realtà molto valido. Ha sostenuto che se hai qualcosa che varia, significa semplicemente che hai un cattivo esperimento e non controlli abbastanza le cose. Lui era nel campo della medicina e diceva che se c’è variabilità, c’è una terza variabile che la spiega. Quindi, era contrario all’idea di usare statistiche e probabilità perché, secondo lui, era un’ammissione di avere una comprensione incompleta e di essere un pigrone come scienziato. Alla fine ti ritrovi con queste statistiche fantasiose che sono solo una scusa per le tue inadeguatezze. Qual è la tua prospettiva su questa obiezione, Pierre?
Pierre Pinson: Concordo sul fatto che sia vero per certi tipi di problemi in cui si basa solo sulle leggi della fisica, in un ambiente molto controllato, e si pensa che l’approccio deterministico sia sufficiente. Non dovresti preoccuparti troppo di tutte queste incertezze e di avere un quadro probabilistico. Ma se guardiamo al caso più generale, è quasi una dichiarazione filosofica sul mondo. Crediamo che il mondo sia fondamentalmente deterministico per tutto ciò che accade? O c’è effettivamente qualche tipo di comportamento stocastico intorno a noi? Sai, alcune regole stocastiche, e quindi l’idea di base del determinismo non è sempre applicabile. Lo vediamo per il meteo, e abbiamo cercato di pensare, sai, se abbiamo sempre più misurazioni, se siamo migliori con le leggi della fisica, in qualche modo dovremmo essere in grado di considerarlo come un processo deterministico e predirlo. E questa è una buona speranza, ma ci sono stati, penso, esperimenti ripetuti negli ultimi 100 anni in cui ci siamo resi conto che forse non tutto può essere deterministico, e anche questi argomenti che hai menzionato, questa conoscenza incompleta, penso che ci siano così tante cose che dobbiamo modellare e prevedere in cui non avremo mai abbastanza conoscenza in modo da poterci inserire in un quadro deterministico. Semplicemente non è possibile.
Conor Doherty: Beh, se posso intervenire a questo punto perché una domanda che volevo fare un attimo fa era che hai appena collegato l’idea di business e meteorologia perché c’è un interessante collegamento tra questi due punti, soprattutto dato il tuo background qui perché, ancora una volta, hai esperienza in campo aziendale e meteorologico. Quindi presumibilmente ti sei trovato in una situazione in cui hai applicato la previsione probabilistica a un problema aziendale, forse hai incontrato una certa resistenza, tipo “oh, non voglio usare la previsione probabilistica, è l’arte oscura”, ma la stessa persona esatta 10 secondi dopo estrae il suo iPhone e dice: “oh, 60% di probabilità che piova più tardi, meglio portare un ombrello”. Come affronti in quel momento questa sorta di dissonanza cognitiva?
Pierre Pinson: È un punto molto valido, e c’è una questione culturale. Credo che abbiamo visto che, hai menzionato la previsione del tempo come un campo importante perché è ovunque, tutti usano la previsione del tempo e ne sono sensibili. Sono sensibili a queste informazioni, quindi è effettivamente un campo in cui si è visto che se cambiamo il modo in cui comunichiamo le informazioni previsionali, ci sono cose che funzionano, ci sono cose che non funzionano. A volte è difficile per le persone valutare realmente di cosa si tratta l’informazione, ma la troviamo utile qualunque cosa accada. Sappiamo che la troviamo utile, ma è un processo, e penso che lo stesso processo dobbiamo affrontarlo in campi diversi. Quindi può essere nel business, può essere in problemi di ingegneria, può essere nell’assicurazione, ci possono essere così tante cose in cui in realtà noi come scienziati o fornitori di previsioni, l’ecosistema industriale, devono contribuire a cambiare la cultura in modo che le persone, i clienti o gli utenti in generale, si rendano effettivamente conto che possiamo pensare in modo diverso e che ci sono dei vantaggi.
Conor Doherty: Beh, solo per approfondire perché hai detto che hai scoperto, se ho capito correttamente, che c’erano certi meccanismi per comunicare le informazioni, informazioni meteorologiche o previsioni meteorologiche, che risuonavano con le persone, e c’erano meccanismi che non lo facevano. Potresti espandere un po’ di più su questo, per favore, o dare forse un esempio in modo che le persone possano capire?
Pierre Pinson: Quindi ci sono stati diversi studi condotti da psicologi che lavorano con i meteorologi. Ad esempio, se dovessi fare una dichiarazione riguardante la probabilità di pioggia, come dire che c’è una probabilità del 60% di pioggia su Londra nelle prossime due ore, le persone interpretano ciò in modo diverso. Alcune persone pensano che significhi che pioverà il 60% del tempo su Londra, mentre altre credono che significhi che c’è una probabilità del 60% di pioggia in una determinata località di Londra. Le persone hanno difficoltà a capire cosa significa fondamentalmente la probabilità.
Joannes Vermorel: Sì, abbiamo riscontrato questo problema anche lavorando con utenti o clienti. C’è una quantità significativa di lavoro che viene dedicata allo sviluppo di metodologie di previsione della probabilità e all’analisi di come potrebbe essere utilizzata nella pratica. Ma c’è anche molto lavoro da fare per aiutare le persone a capire cosa significhi realmente l’informazione e come possa influenzare le loro decisioni. La sfida consiste nel far capire alle persone come passare da una previsione probabilistica a una decisione migliore rispetto a se avessero utilizzato previsioni deterministiche. Se non lo capiscono, non lo accetteranno.
Conor Doherty: Come lo rendi chiaro? Utilizzi un approccio a scatola bianca?
Joannes Vermorel: Stiamo facendo qualcosa di simile e diverso allo stesso tempo. La mia sfida, provenendo da un background di supply chain, è affrontare l’eccesso di informazioni. Le persone hanno già troppe informazioni. Anche le previsioni deterministiche possono essere schiaccianti, in quanto spesso sono superaggregate e presentano vari problemi. Quando si passa al campo delle previsioni probabilistiche, la situazione peggiora di due ordini di grandezza, con istogrammi per ogni punto dati e ancora più complessità se si considerano probabilità ad alta dimensionalità.
Inizialmente, abbiamo cercato di migliorare la visualizzazione e altri aspetti, ma alla fine abbiamo convergito su una soluzione in cui rimuoviamo le probabilità dal punto di vista dell’utente. Basiamo le decisioni sulle probabilità, ma le trasformiamo in valutazioni del rischio espresse in valuta. Ad esempio, potremmo dire a un cliente che il rischio di sovrastock è di una certa quantità e il rischio di stockout è di un’altra quantità. Quantifichiamo classi e prospettive di rischio, con la previsione probabilistica sottostante che funge da “impianto idraulico” per queste valutazioni.
Ovviamente, questa non è la soluzione perfetta, ma funziona per i nostri clienti. A volte, i team di data scientist amano lavorare con le probabilità, ma gli esperti di supply chain che sono meno esperti in probabilità trovano questo approccio più accessibile. Direi che l’esperto di supply chain, che è incredibilmente competente nella supply chain ma non altrettanto esperto in probabilità, trova molto difficile suscitare il suo interesse, proprio a causa dell’eccesso di informazioni che richiede. Molto rapidamente, questi manager devono valutare se questi istogrammi valgono anche solo il tempo che impiegheranno a guardarli. Questo è un punto di vendita molto difficile quando si inizia a parlare con persone che danno molto valore al loro tempo.
Pierre Pinson: Concordo, sono totalmente d’accordo. Ci sono traiettorie molto diverse. Come hai detto, ci sono diversi modi in cui si potrebbe cercare di affrontare questo problema dell’eccesso di informazioni. Concordo pienamente con la tua strategia qui. Penso che cercare di avere decisioni automatizzate o suggerire decisioni ottimali, avendo compreso il rapporto costo-perdita dell’utente, ecc., sia una cosa buona. Ma ancora una volta, devono capire come ci sei arrivato e perché dovrebbero fidarsi in primo luogo, il che è divertente perché quando era deterministico, si fidavano. E ora che c’è la parola probabilità, non si fidano più. Ma questa è un’altra storia. La bellezza di avere informazioni probabilistiche è che puoi fornire questo strato aggiuntivo di valutazioni molto basilari, valutazioni del rischio, che è ciò che vogliono davvero quando dicono di accettare il concetto di probabilità. Per favore, dimmi a quale rischio sono esposto. Questo è il tipo di informazione più semplice che puoi fornire che offre i vantaggi delle previsioni probabilistiche senza l’eccesso di informazioni che hai menzionato. Quindi, penso che sia una strategia molto buona.
Conor Doherty: Beh, abbiamo iniziato a fondere insieme gli argomenti, come la meteorologia e il business. Quindi, su questo punto, Pierre, dato che hai molta esperienza in entrambi, quali sono alcuni esempi di previsioni meteorologiche chiave o dati meteorologici che hai preso e applicato in un contesto aziendale o logistico?
Pierre Pinson: Le informazioni sulla previsione del tempo che potresti voler utilizzare come input per la presa di decisioni hanno poche variabili estremamente importanti, e poi l’importanza della variabile diminuisce rapidamente. Le variabili più importanti sono la temperatura, che influenza così tanti altri processi nella nostra vita, e poi c’è la precipitazione. Più recentemente, c’è il vento perché, ai vecchi tempi, tipo 30 anni fa, quando i meteorologi parlavano di vento, producevano previsioni del vento quasi per divertimento, perché a nessuno interessava troppo. È solo, sarà ventoso o no? E forse se fai vela, sei un po’ più interessato. Ma oggi, a causa delle applicazioni energetiche, le previsioni della velocità del vento sono estremamente importanti perché anche un piccolo errore di previsione nella velocità del vento si traduce in enormi errori di previsione nell’energia che sarà disponibile domani. Quindi, pensa a un paese come la Danimarca, dove in media la metà dell’energia proviene dal vento. È abbastanza importante avere buone previsioni del vento. Queste sono le variabili più rilevanti, e ora si sta andando anche verso l’irraggiamento solare a causa dell’energia solare. Ma direi che queste sono le variabili più importanti, e dopo di esse, in termini di impatto, queste variabili meteorologiche vengono utilizzate ovunque oggi. Voglio dire, quando si guarda all’importanza delle previsioni del tempo e alla qualità delle previsioni del tempo nella nostra vita quotidiana, sia in un contesto aziendale che nella nostra vita quotidiana, è estremamente importante.
Conor Doherty: Sicuramente, in termini di tempi di consegna quando si tratta di merci spedite dall’estero, voglio dire, capire ciò che Pierre ha appena descritto, deve influire sulle previsioni probabilistiche per le catene di approvvigionamento, ad esempio.
Joannes Vermorel: Nell’intera storia di Lokad, penso che ci siano state solo due occasioni in cui siamo riusciti effettivamente a utilizzare dati meteorologici in situazioni di catena di approvvigionamento. Di nuovo, potrebbe essere mancanza di talento, mancanza di dedizione o molte altre cose. Ma il punto è che, per fare previsioni, avevamo un grande fornitore europeo di energia elettrica dieci anni fa, e avevamo un contratto per migliorare la previsione della domanda di energia tenendo conto del tempo. E quello, per me, è l’unico caso in cui c’è stato un chiaro vantaggio nell’utilizzo dei dati meteorologici. Funziona, e il punto è che stavamo guardando previsioni che erano già abbastanza aggregate, essenzialmente per regioni. Quindi, la previsione anche senza il tempo era già molto accurata, voglio dire, accurata al 2% perché erano molto aggregate. Ma a proposito, si trattava solo della domanda di energia, non solo, e solo per il giorno successivo. Quindi, si stava guardando solo 24 ore avanti, e le regioni aggregate sarebbero state, diciamo, un paese come il Belgio, o forse la Francia divisa in cinque aree, a un livello piuttosto alto.
Senza il tempo, avresti avuto una previsione, una previsione di serie temporali che era accurata al 2%, e la maggior parte delle inesattezze era causata da rapidi cambiamenti nel tempo. Quando fa freddo, tende a rimanere freddo, ma poi quando improvvisamente hai un cambiamento nel tempo, hai questo salto e non lo vedi. Quindi, era più come se avessi una previsione che era accurata al 0,5% in media, ma poi avresti accumulato forse un’inesattezza del 5 o 6% nel giorno in cui il tempo stava cambiando. E introducendo il tempo, avevano già raggiunto una precisione di circa lo 0,5%, e con Lokad, abbiamo raggiunto praticamente la stessa precisione ma solo con modelli che erano effettivamente molto più semplici e gestibili in termini di software per computer. Quindi, era un tipo specifico di impresa.
Questo è stato il primo punto in cui ho detto che funziona molto bene. Il secondo riguardava i marchi FMCG che volevano prevedere essenzialmente picchi di domanda utilizzando previsioni del tempo. Purtroppo, i risultati erano per lo più negativi. Ciò che funzionava molto bene era, e non darò il nome del marchio, ma diciamo che era un venditore di gelati, e volevano solo sapere cosa funzionava molto bene dopo l’estate. La domanda era: abbiamo venduto più gelati perché faceva molto caldo o perché il marketing era molto buono. Come tecnica post-mortem per spiegare la situazione, funzionava bene. Tuttavia, il problema quando si tratta di prevedere è che i tempi di consegna coinvolti nella maggior parte delle situazioni della supply chain sono significativi. Ad esempio, se produci gelati, devi ordinare materie prime e preparare il tuo programma di produzione circa sei settimane in anticipo. A quel punto, la precisione delle previsioni del tempo tende a tornare alle medie stagionali, che non sono sufficientemente migliori delle medie stagionali per cambiare la tua decisione. Nella nostra esperienza, si è rivelato incredibilmente difficile e abbiamo avuto pochi successi, ma è stato molto educativo in molti modi.
Conor Doherty: Pierre, quando si tratta di applicare previsioni probabilistiche in un contesto meteorologico, come si traduce nell’applicazione in un contesto logistico o aziendale? Ci sono similitudini in termini di vincoli o processo?
Pierre Pinson: Uno dei principali problemi chiave quando pensiamo a diverse applicazioni, che si tratti di meteorologia o settori sensibili al tempo, è il tipo di prodotto di previsione che è utile come input per la presa di decisioni. Tipicamente, le previsioni del tempo utilizzano previsioni ensemble, che consistono in molteplici traiettorie o futuri potenziali. Ad esempio, il Centro europeo ha 51 scenari alternativi. Tuttavia, ci sono molti tipi di processi decisionali in cui sono necessari diversi prodotti di previsione.
Nel trading, ad esempio, le persone preferiscono utilizzare densità, che sono descrizioni complete della funzione di densità di probabilità. Alcune persone preferiscono intervalli e livelli di confidenza predefiniti come input per la presa di decisioni. Altri richiedono quantili specifici in base alle loro considerazioni di costo-perdita. Quindi, la principale differenza che ho riscontrato tra la meteorologia e altri settori è che dobbiamo dedicare molto tempo a pensare al giusto prodotto di previsione da utilizzare come input. Dobbiamo proiettarci nel mondo dei nostri clienti e trovare il modo migliore per rendere le complesse informazioni delle previsioni probabilistiche in ciò che è più utile per loro. Quindi, la previsione dovrebbe essere utile per i clienti, e il tuo approccio si concentra anche su questo. Puoi approfondire di più le preoccupazioni relative ai costi del cloud computing e come influiscono sul tuo lavoro?
Joannes Vermorel: Sì, come fornitore di software aziendale, una delle principali preoccupazioni è il costo del cloud computing, in modo molto banale. Solo per darti un’idea, la base di clienti di Lokad gestisce circa un petabyte di dati, ed è quello che stiamo pagando attualmente a Microsoft, il nostro fornitore di hosting cloud. È un buon affare per Microsoft e per Lokad, ma ci sono costi coinvolti. La maggior parte di ciò a cui stiamo guardando è guidata dall’efficienza dei costi che possiamo avere in termini di hardware di calcolo.
Gli istogrammi e le densità di probabilità sono tipicamente i migliori. Sono molto ricchi, molto belli e molto facili da usare. Ma il problema è che in una dimensione, va bene così. Hai un costo fisso, quindi aumenti la quantità di dati di, diciamo, 100 e hai un bello storico. Ma poi, se passi a due dimensioni, perché vuoi avere una matrice di probabilità, diventa più complicato. Ad esempio, potresti voler guardare le probabilità di avere una domanda specifica per un prodotto e le probabilità di avere la stessa domanda per un altro prodotto, ma congiuntamente. Il motivo è che questi prodotti sono concorrenti, e quando la domanda aumenta per un prodotto, tende ad essere dovuta alla cannibalizzazione dell’altro. Quindi vuoi probabilità che riconoscano il fatto che molto probabilmente, se la domanda di un prodotto sta per aumentare, significa che la domanda di un altro prodotto sta per diminuire, e viceversa. Ora, se lo fai con una matrice, hai un istogramma bidimensionale, e la memoria richiesta aumenta significativamente. Peggiora man mano che si sale di dimensioni, rendendo le cose molto costose.
Allo stesso modo, quando si vuole passare a simulazioni di tipo Monte Carlo, che sono molto efficaci nel trattare con cose ad alta dimensionalità, il problema è che si hanno rendimenti decrescenti con molti scenari. Potrebbe essere necessario un gran numero di scenari solo per poter osservare un rischio che è un po’ raro, come 10.000 istanze. La maggior parte delle nostre considerazioni sono dovute al fatto che dobbiamo mantenere i costi di calcolo gestibili. Non è solo il costo che paghiamo a Microsoft, ma anche il fatto che quando si utilizza qualcosa di più complesso, i calcoli richiedono più tempo, e le persone devono aspettare che la previsione sia completata prima di poter proseguire con i loro compiti.
Per le tecniche deterministiche di serie temporali, specialmente quelle pre-machine learning che venivano utilizzate fino agli anni ‘90, è possibile averle quasi in tempo reale, anche se si hanno ciclicità e altro. Sono molto veloci, e si possono ottenere rapidamente risultati con metodi come ARIMA o smoothing esponenziale, tutte queste cose possono essere fatte in tempo reale, anche se si hanno ciclicità e altro. Ma se si opta per qualcosa di molto sofisticato, come una rete di Deep Learning, questo tipo di cosa può richiedere ore per l’addestramento, e quindi per noi c’è un costo molto elevato. Inoltre, dal nostro punto di vista, ciò che tende a dominare è la praticità, ed è una grande preoccupazione.
Conor Doherty: Pierre, una delle cose che fai è insegnare all’Imperial College di Londra, e incontri studenti che vengono al tuo corso per imparare per la prima volta la previsione probabilistica. Con persone che hanno già una formazione in matematica e che sono già in qualche modo convinte del concetto di abbracciare l’incertezza, secondo la tua esperienza, qual è la sfida più grande che hanno nel imparare queste competenze, seguendo il tuo esempio essenzialmente?
Pierre Pinson: Per quanto riguarda l’insegnamento della previsione, l’ho fatto di più quando ero in Danimarca, con un grande focus sull’energia. Credo che i problemi siano sempre gli stessi. Uno dei primi problemi è quello che abbiamo sentito prima; riguarda l’accettazione. Perché dovrei passare alla previsione probabilistica in primo luogo? Devo dire che di solito, dedico parecchio tempo a descrivere problemi, problemi di decisione, e a mostrare agli studenti che si possono prendere decisioni migliori solo se si passa alla previsione probabilistica. È molto importante per uno sviluppatore o utente di una previsione, un cliente da entrambe le parti, capire che si può fare meglio solo se si passa alla previsione probabilistica. Ti costerà qualcosa, ma se lo abbracci, andrà meglio. Ci vuole molto lavoro per convincersi e capire il perché. Se non capisci perché sarebbe meglio, forse avrai difficoltà ad accettarlo. Quindi, dedichiamo parecchio tempo a fare questo.
Poi voglio che capiscano che non è difficile produrre queste previsioni. Hai menzionato alcuni dei modelli classici, ma puoi pensarci anche in termini di variabili casuali di base. Se vuoi fare una previsione probabilistica per qualcosa che è gaussiano, quando facciamo la previsione classica a punto, stiamo solo prevedendo la media. E ora che diciamo che vogliamo passare alla previsione probabilistica, dobbiamo solo prevedere anche la varianza, e poi abbiamo una previsione probabilistica completa. Anche se non vuoi andare parametrico, se vuoi prevedere quantili, puoi effettivamente utilizzare gli stessi modelli del caso deterministico, devi solo cambiare la funzione di perdita nel tuo addestramento, e voilà, hai una previsione quantile. Un aspetto importante è che insegno agli studenti che non è qualcosa che è come ordini di grandezza più complesso da imparare e gestire.
L’ultima parte è la verifica perché abbiamo anche discusso in precedenza che alcune persone hanno questa idea che ora vai tranquillo, giusto? Perché se vai probabilistico, potresti dire qualsiasi cosa, e in qualche modo mi dirai dopo che non hai mai torto. Ma ci sono alcuni framework molto rigorosi per verificare le previsioni probabilistiche e mostrare effettivamente che hanno senso, le tue probabilità sono corrette, e stai cercando di concentrare le informazioni, ecc. Questi sono i principali concetti che affronto con i miei studenti, e la mia esperienza è che queste sono le basi di cui hai bisogno se devi gestire previsioni probabilistiche nel tuo lavoro.
Joannes Vermorel: La mia lotta è divertente perché sei probabilmente privilegiato nel senso di avere i tuoi studenti. I miei potenziali clienti hanno già ricevuto un’istruzione sotto forma di ciò che i consulenti dicono loro. Facciamo nemici oggi. Il problema è che c’è un’anti-advocacy, come il movimento lean. Il movimento lean e l’idea, ad esempio, che dovremmo sprecare meno. Voglio dire, come principio generale, sì, è meglio evitare gli sprechi. Per definizione, lo spreco è qualcosa di indesiderabile, quindi è tautologico per natura in termini di affermazione. Nessuno sta dicendo di produrre sprechi per il gusto di farlo, ma fa parte del movimento di produzione snella e del movimento di supply chain snella. Il problema di questo modo di pensare è che finisci con cose come, ad esempio, se hai processi spreconi come tempi di consegna lunghi, vuoi eliminarli. Ma a un certo punto, puoi avere un processo che non è necessariamente molto sprecone ma comunque molto inefficiente, a causa del fatto che hai cercato di comprimere i tuoi tempi di consegna il più possibile. Ad esempio, se vuoi spostare le cose il più velocemente possibile, un aereo è il migliore, ma l’efficienza di un aereo in termini di carburante è terribile rispetto a treni o navi da carico. Quindi, di per sé, andare dritto per l’obiettivo in termini di cose come zero stock, zero ritardo, zero spreco, che è la prospettiva generale sostenuta da certi movimenti, è un tentativo di eliminare completamente l’incertezza. Se hai zero tempo di consegna, allora improvvisamente perché fare previsioni? Devi solo occuparti di ciò che hai di fronte. Se hai zero stock, perché hai bisogno di gestire il potenziale rischio di sovrastock o altro? Quindi, il mio interessante punto di vista è che parte della sfida è che le persone che non hanno beneficiato nei primi anni di un corso che dimostrava la superiorità del pensiero probabilistico hanno attraversato uno o due, e a volte tre o quattro decenni di advocacy opinabile da parte dei consulenti per eliminare ogni tipo di incertezza dalla loro supply chain. Alcune delle incertezze, direi, sono quelle accidentali, in cui hai semplicemente incertezze che emergono a causa di un processo di scarsa qualità - quelle, sì, dovresti eliminarle. Se le persone, ad esempio, non hanno le competenze adeguate e alcune persone fanno solo spazzatura, quella non è il tipo di incertezza che vuoi. Ma hai altre incertezze, come il fatto che forse le navi da carico sono un po’ più lente a causa del tempo, quindi non andranno alla stessa velocità ogni volta. Ma è perfettamente accettabile tollerare questa incertezza se hai gli strumenti per affrontarla in modo sensato.
Pierre Pinson: Hai ragione. Tipicamente, inquadriamo questo problema come una questione di costo perché, in qualche modo, per eliminare le incertezze, c’è un costo. Se hai una quantità infinita di denaro che sei pronto a investire per eliminare tutte le incertezze, potresti farlo. Ma qualsiasi tipo di incertezza, a parte quelle perché stai facendo qualcosa di sbagliato o alcune inefficienze, qualsiasi incertezza più fondamentale nel tuo processo che vuoi eliminare, probabilmente ti costerà molto. Quindi, è un problema tipico in cui dici, “Okay, ottimo, vuoi eliminare tutte le incertezze come se fosse gratis. Se fosse gratis, l’avremmo fatto anche noi.” Quindi, questo costo è qualcosa che dobbiamo decidere se possiamo sopportare. Abbiamo un parallelo, che è molto interessante nell’energia. Ad esempio, lavoro molto con l’energia rinnovabile. Se stessimo sviluppando lo stoccaggio per avere una quantità infinita di energia che possiamo conservare in qualsiasi momento e per tutto il tempo che vogliamo, in qualche modo il problema sarebbe risolto. Alcune persone dicono che non avremmo bisogno di fare previsioni, non avremmo bisogno di preoccuparci. Ma sviluppare e implementare batterie a questa scala
