00:00:00 Introduzione dell’intervista
00:00:47 Background e lavoro di Nikos Kourentzes
00:03:25 Comprensione della congruenza delle previsioni
00:04:44 Limitazioni dell’accuratezza nelle previsioni
00:06:14 Congruenza nelle previsioni delle serie temporali
00:08:02 Considerazioni sulla modellazione delle scorte della supply chain
00:09:03 Congruenza e coerenza delle previsioni
00:10:29 Metriche matematiche nella produzione
00:12:08 Considerazioni sulle scorte di un produttore di orologi di lusso
00:14:47 Fluttuazione verso l’alto che attiva la produzione
00:16:03 Ottimizzazione del modello per la domanda di un SKU
00:17:41 Ricerca sugli stimatori di riduzione e gerarchie temporali
00:19:05 Migliori modelli per tutti gli orizzonti
00:21:32 Controversia sulla congruenza delle previsioni
00:24:05 Calibrazione delle politiche di gestione delle scorte
00:26:27 Bilanciamento tra accuratezza e congruenza
00:31:14 Trucchi dall’aggregazione temporale per levigare le previsioni
00:32:54 Importanza dei gradienti nell’ottimizzazione
00:35:28 Correlazioni nella supply chain
00:38:10 Oltre la previsione delle serie temporali
00:40:27 Onestà delle previsioni probabilistiche
00:42:32 Somiglianze tra congruenza e rapporto bullwhip
00:45:18 Importanza dell’analisi delle decisioni sequenziali
00:47:27 Benefici di mantenere separate le fasi
00:49:34 Interazione umana con i modelli
00:52:05 Mantenere l’elemento umano nelle previsioni
00:54:35 Fiducia negli esperti e negli analisti
00:57:28 Situazione realistica nella gestione di milioni di SKU
01:00:01 Regolazioni di alto livello del modello
01:02:13 Decisioni guidate dalla probabilità di eventi rari
01:04:44 Opinione di Nikos sulle regolazioni
01:07:14 Perdere tempo per regolazioni minori
01:09:08 Contro le regolazioni manuali quotidiane
01:11:43 Benefici aziendali della modifica del codice
01:13:33 Ruolo del team di data science
01:15:35 Le previsioni probabilistiche scoraggiano l’interferenza manuale
01:18:12 La domanda da un milione di dollari sull’IA
01:21:11 Importanza della comprensione dei modelli di intelligenza artificiale
01:24:35 Valore e costo dei modelli di intelligenza artificiale
01:26:02 Affrontare i problemi di inventario
Ospite
Nikolaos Kourentzes è un professore di analisi predittiva e intelligenza artificiale presso il laboratorio di intelligenza artificiale dell’Università di Skövde in Svezia. I suoi interessi di ricerca sono nella previsione delle serie temporali, con lavori recenti sulla modellazione dell’incertezza, gerarchie temporali e modelli di previsione gerarchica. La sua ricerca si concentra sulla traduzione delle previsioni in decisioni e azioni, in settori come la gestione delle scorte, la modellazione della liquidità per le operazioni monetarie e la sanità. Ha una vasta esperienza lavorativa sia nell’industria che nel settore pubblico ed è autore di varie librerie open-source per facilitare l’uso di metodi avanzati di previsione nella pratica.
Riassunto
In un recente intervista a LokadTV, Nikos Kourentzes, professore presso l’Università di Skövde, e Joannes Vermorel, CEO di Lokad, hanno discusso la congruenza delle previsioni nella presa di decisioni della supply chain. Hanno sottolineato l’importanza di allineare le previsioni alle decisioni, riconoscendo che i modelli possono essere specificati in modo errato. Hanno distinto tra accuratezza delle previsioni e congruenza, sostenendo che la previsione più accurata potrebbe non essere la migliore per la presa di decisioni se non si allinea con l’obiettivo della decisione. Hanno anche discusso dell’applicazione pratica della congruenza delle previsioni nella presa di decisioni sugli inventari e del suo potenziale per mitigare l’effetto bullwhip. È stata anche affrontata la questione del ruolo dell’IA e dell’interazione umana nella congruenza delle previsioni.
Riassunto esteso
In un recente intervista condotta da Conor Doherty, responsabile delle comunicazioni presso Lokad, Nikos Kourentzes, professore presso l’Università di Skövde, e Joannes Vermorel, CEO e fondatore di Lokad, hanno discusso il concetto di congruenza delle previsioni nel contesto della presa di decisioni nella supply chain.
Kourentzes, che guida un team focalizzato sulla ricerca sull’IA presso l’Università di Skövde, ha spiegato che il suo lavoro ruota principalmente attorno al rischio del modello e alla specifica del modello. Ha sottolineato l’importanza di allineare le previsioni alle decisioni che supportano, un concetto che definisce come congruenza delle previsioni. Questo approccio mira a migliorare l’accuratezza riconoscendo che i modelli possono essere specificati in modo errato.
Kourentzes ha inoltre distinto tra accuratezza delle previsioni e congruenza delle previsioni. Mentre l’accuratezza è una misura della magnitudine degli errori di previsione, la congruenza descrive la coerenza delle previsioni nel tempo. Ha sostenuto che la previsione più accurata potrebbe non essere necessariamente la migliore per la presa di decisioni se non si allinea con la funzione obiettivo della decisione.
Vermorel, concordando con Kourentzes, ha sottolineato che le metriche matematiche spesso non sono sufficienti quando vengono messe in pratica. Ha fornito esempi di come decisioni diverse possano avere costi asimmetrici diversi, come la vendita di beni deperibili rispetto a beni di lusso. Vermorel ha anche discusso dell’effetto ratchet nella gestione della supply chain, dove le fluttuazioni nelle previsioni della domanda possono portare a decisioni irreversibili.
Kourentzes ha condiviso il suo passaggio dal concentrarsi esclusivamente sull’accuratezza a considerare altri fattori nella previsione. Ha sottolineato l’importanza di comprendere il funzionamento sottostante dei modelli e le assunzioni su cui si basano. Ha suggerito che una volta trovata una collezione di previsioni accurate, dovrebbe essere scelta quella più congruente.
Vermorel, d’altra parte, ha condiviso che presso Lokad, ottimizzano direttamente per i risultati finanziari, anziché concentrarsi sulle metriche matematiche. Ha spiegato che i gradienti sono cruciali per l’ottimizzazione, in quanto forniscono la direzione in cui i parametri dovrebbero essere regolati per minimizzare gli errori. Ha anche discusso dell’importanza della previsione probabilistica, che considera tutti i futuri possibili, non solo per la domanda, ma anche per i tempi di consegna variabili e le incertezze.
La discussione si è quindi spostata sull’applicazione pratica della congruenza delle previsioni nella presa di decisioni sugli inventari e sul suo potenziale per mitigare l’effetto bullwhip. Kourentzes ha spiegato che la congruenza e il rapporto bullwhip hanno molte somiglianze e progettare previsioni tenendo conto della congruenza può aiutare a ridurre l’effetto bullwhip.
È stata anche discussa il ruolo dell’intervento umano nella congruenza delle previsioni. Kourentzes ritiene che l’intervento umano non debba essere eliminato, ma piuttosto guidato per aggiungere valore dove possibile. Vermorel, tuttavia, ha condiviso che Lokad non consente più l’adattamento delle previsioni da parte degli esseri umani, poiché ciò ha portato a risultati migliori.
La conversazione si è conclusa con una discussione sul ruolo dell’IA nella congruenza delle previsioni e nella presa di decisioni nelle supply chain. Sia Kourentzes che Vermorel hanno concordato sul fatto che, sebbene l’IA abbia un ruolo da svolgere nel affrontare le sfide della previsione, non dovrebbe sostituire tutti i metodi esistenti e la comprensione del processo è cruciale.
Nelle sue osservazioni finali, Kourentzes ha chiesto un cambiamento rispetto ai metodi di previsione tradizionali e verso un approccio più integrato con la presa di decisioni. Ha sottolineato la necessità di aggiornare il nostro modo di pensare, il software e i libri di testo e ha accolto l’inclusione di persone provenienti da vari settori nel campo della previsione. Ha concluso sottolineando l’importanza della collaborazione e delle diverse prospettive nel affrontare queste sfide.
Trascrizione completa
Conor Doherty: Bentornati. Di solito, le discussioni sulla previsione si concentrano sull’idea dell’accuratezza. L’ospite di oggi, Nikos Kourentzes, ha una prospettiva diversa. È un professore presso il Laboratorio di Intelligenza Artificiale dell’Università di Skövde. Oggi, parlerà con Joannes Vermorel e con me del concetto di congruenza delle previsioni. Ora, Nikos, puoi confermare sulla telecamera che ho pronunciato correttamente Skövde?
Nikos Kourentzes: È il meglio che posso fare anche io.
Conor Doherty: Beh, allora non ho altre domande. Grazie mille per essere stato con noi.
Nikos Kourentzes: È stato un piacere.
Conor Doherty: Scherzi a parte, lavoro presso l’Università di Skövde, nel Laboratorio di Intelligenza Artificiale. Sembra molto impressionante. Cosa fai esattamente e qual è la tua formazione in generale?
Nikos Kourentzes: Bene, permettimi di presentare un po’ il laboratorio e poi parlerò un po’ della mia formazione. Siamo un team diversificato di accademici interessati alla ricerca sull’IA. Il focus è principalmente sulla scienza dei dati, ma lo spazio di applicazione è piuttosto diversificato. Ad esempio, come hai già detto, probabilmente parlerò di previsioni e modellazione delle serie temporali. Ma ad esempio, altri colleghi sono interessati a argomenti come la fusione delle informazioni, l’analisi visiva, le auto a guida autonoma, gli aspetti cognitivi dell’IA. Questo è il bello del team perché abbiamo una polifonia di ricerche e, sai, quando si hanno le discussioni, si ottengono molte idee diverse che vanno oltre la letteratura tipica. Almeno io lo trovo uno spazio molto piacevole in cui trovarsi.
L’università è, sai, quello che di solito dico ai miei colleghi è che, non essendo svedese, quando si usano nomi svedesi a livello internazionale, può essere qualsiasi cosa. Quindi, probabilmente sarebbe utile dire che l’università, in termini di scienza dei dati e IA, ha una tradizione piuttosto consolidata anche se il suo nome non è ampiamente conosciuto. Ma, sai, sono molto felice di far parte del team. Per quanto mi riguarda, ho lavorato nella previsione, nella modellazione delle serie temporali, sia con la statistica, l’econometria che l’IA, per circa 20 anni. Ho fatto il mio dottorato di ricerca presso l’Università di Lancaster in intelligenza artificiale. Era nella facoltà di economia. E la mia formazione iniziale è in realtà nel campo della gestione. Ma a un certo punto ho detto, ok, è bello sapere quali domande fare, ma non so come risolverle. Quindi ho deciso di fare qualche lavoro nella ricerca operativa, da qui il mio interesse per la supply chain, e alla fine ho conseguito il dottorato di ricerca in intelligenza artificiale. E in seguito mi sono interessato sempre di più all’econometria. Quindi sono riuscito a diversificarmi un po’ anche nella comprensione delle serie temporali.
Conor Doherty: Grazie, Nikos. E in realtà, come Joannes e io abbiamo scoperto per la prima volta il tuo profilo, o meglio come l’ho scoperto io, è stato un supply chain scientist che segue effettivamente alcuni dei tuoi lavori su LinkedIn a inviarmi un articolo in cui avevi scritto sulla congruenza delle previsioni e avevi incluso un link al tuo working paper sull’argomento. Il fulcro della conversazione di oggi sarà sulle previsioni e sulla loro applicazione alla supply chain. Ma prima di entrare nei dettagli, potresti fornire un po’ di background su cosa sia la congruenza delle previsioni e come sia emersa come area di ricerca per te?
Nikos Kourentzes: Una buona parte del mio lavoro riguarda il rischio del modello e la specifica del modello. Spesso, nella previsione delle serie temporali, identifichiamo un modello e diciamo, va bene, ora andiamo avanti con questo. Ma non riconosciamo davvero che ogni modello sarà sbagliato in qualche modo. Voglio dire, è il solito mantra nella previsione, lo sentiamo sempre, ok, tutti i modelli sono sbagliati, alcuni sono utili. Ma penso che possiamo andare oltre perché possiamo iniziare a quantificare quanto sbagliati siano i modelli. Ma anche l’altro aspetto, che spesso nella letteratura non andiamo così lontano, e questo sta cambiando, devo dire che sta cambiando, non sono solo io a dirlo, ci sono molti colleghi che lo dicono, è che dobbiamo collegare la previsione alla decisione che viene supportata.
Quindi la congruenza è nata da queste due idee. Ho lavorato con il mio collega all’Università di Lancaster, Kandrika Pritularga, che è anche coautore del paper che hai menzionato. E ci interessava molto dire, ok, se entrambi abbiamo un punto di vista secondo cui i modelli sono in qualche modo non specificati correttamente, quindi stiamo solo approssimando la domanda a cui facciamo fronte o le vendite a seconda di come si vuole prendere, allora qual è il costo reale di ciò? E la congruenza nella previsione va essenzialmente nell’idea di dire, possiamo fare qualcosa di meglio dell’accuratezza? Perché l’accuratezza in molti modi assume che tu stia facendo un buon lavoro nell’approssimare i tuoi dati.
E sai, sì, stiamo cercando di farlo con tutta la serietà possibile, ma potremmo semplicemente non stiamo usando il modello giusto. Ad esempio, potresti avere un software che ti offre una selezione di X modelli, ma l’approssimazione corretta sarebbe un modello mancante nel tuo pool di modelli. Quindi è qui che tutto questo diventa una motivazione, cercando di collegare la previsione con una decisione una volta che riconosciamo che probabilmente i nostri modelli saranno non specificati correttamente. Quindi questo è un po’ lo sfondo.
Se voglio essere più scientifico al riguardo, una cosa che dovrei dire è che di solito, con i miei colleghi, iniziamo sempre i nostri argomenti di ricerca con un’idea un po’ più sciocca. Quindi, sai, stiamo facendo qualcos’altro e diciamo, oh, c’è un gancio interessante qui, esploriamolo un po’ più a fondo. E spesso, una volta che fai questo, finisci per avere qualcosa che può essere un’idea utile. Perché sto menzionando questo è perché penso che la congruenza nella previsione, ciò che offre sul tavolo, sia un po’ un modo di pensare diverso. Ecco perché penso che sia originariamente bello perché, partendo come uno scherzo in un certo senso, ci ha permesso di vedere l’intero punto da una prospettiva diversa.
Conor Doherty: Joannes, arriverò da te tra un attimo su questo, ma potresti espandere un po’ di più? Di nuovo, quando dici accuratezza nella previsione, tutti hanno un’idea più o meno di cosa significhi. Ma quando dici congruenza o congruenza nella previsione aiuta le persone a vedere le cose da una prospettiva diversa, potresti spiegare un po’ di più questa distinzione in modo che le persone capiscano esattamente cosa intendi per congruenza nel contesto delle previsioni delle serie temporali?
Nikos Kourentzes: Giusto, innanzitutto, il nome non è molto diretto e c’è una ragione per questo. Quello che stiamo cercando di descrivere con quella congruenza nella previsione è essenzialmente quanto sono simili le previsioni nel tempo. Ora, questa è una maniera più semplice di dirlo, ma ci sono alcuni problemi. Molte delle parole che si potrebbero usare per questo, ad esempio stabilità, sono già usate nella previsione statistica, quindi non vogliamo creare confusione lì.
E l’altro problema è che, come probabilmente andremo a discutere un po’ più avanti, ci sono difficoltà tecniche nel misurare quanto sono simili le previsioni nel tempo. Perché ad esempio, se si pensasse a una serie temporale stagionale e a una serie temporale non stagionale, implicano qualcosa di molto diverso poiché la stagionalità stessa imporrebbe una differenza nella previsione nel tempo. Quel è il pattern che devi gestire lì. Quindi non è il tipo di non-similarità che ci interessa. Ed è quello che rende un po’ di, se vuoi, ginnastica matematica definire la congruenza. Ma qui sta la differenza con l’accuratezza. L’accuratezza, di solito la comprendiamo, indipendentemente dalla metrica che si intende utilizzare, come un riassunto della magnitudine degli errori di previsione.
Ora, assumiamo naturalmente che se otteniamo la previsione più accurata, ciò implicherebbe che forniamo le migliori informazioni per le decisioni supportate. Tuttavia, ciò implica che le decisioni supportate abbiano lo stesso tipo di funzione obiettivo della previsione più accurata, diciamo minimizzare gli errori quadratici. Ma non è così. Voglio dire, se pensiamo a un modello di inventario della supply chain, potremmo dover considerare i costi a causa del raggruppamento degli ordini, potremmo dover considerare i costi di eccesso e difetto che potrebbero modificare la nostra posizione rispetto alla previsione più accurata. Potremmo dover pensare ad altri aspetti come ad esempio i vincoli derivanti dai nostri fornitori o altre limitazioni di capacità dalle linee di produzione o dai nostri magazzini e così via. Quindi, una volta che si pensa al vero costo dell’inventario o della supply chain in generale, si vede improvvisamente che la previsione più accurata non è necessariamente quella che è meglio allineata alla decisione. E questo è davvero il punto più interessante della congruenza.
Quindi, da un lato, c’è una linea di ricerca, e i miei coautori e io abbiamo pubblicato parecchio in quella direzione, che evidenzia che la maggior parte delle metriche di accuratezza non correlano bene con le buone decisioni. Ciò non significa che siano inutili o cose del genere, è solo che non forniscono la storia completa. Quindi, questo spinge un po’ verso la congruenza. D’altra parte, la congruenza cerca di dire se le previsioni non cambiano troppo nel tempo, allora probabilmente c’è una certa fiducia nelle previsioni da un lato. Ma dall’altro lato, potrebbe anche essere una previsione su cui le persone possono pianificare con una certa coerenza. Non devo aggiornare tutto il mio piano ad ogni ciclo di previsione perché la previsione sarà abbastanza simile. Quindi, anche se non sono le previsioni più accurate, falliscono in modo prevedibile che potrebbe rendere più facile prendere decisioni. E questo è effettivamente ciò che troviamo anche nel nostro lavoro. Troviamo che le decisioni supportate da previsioni più congruenti sono decisioni che sono più coerenti nel tempo. Quindi c’è meno sforzo nel prendere quelle decisioni.
Conor Doherty: Beh, grazie, Nikos. E Joannes, ora passo a te. Sento che alcune di queste cose risuonano molto con te. Previsioni più accurate non si traducono necessariamente in una migliore presa di decisioni sull’inventario.
Joannes Vermorel: Sì, esattamente. La nostra prospettiva generale al giorno d’oggi è che praticamente tutte le metriche matematiche, nel senso in cui si sceglie una formula e si dice che questa è una formula matematica che caratterizza la tua metrica che si cerca di ottimizzare, quando questa formula cade letteralmente dal cielo o è solo inventata, anche se viene con buone intenzioni, diciamo norma uno, norma due, qualcosa che ha alcune proprietà matematiche associate, di solito è molto deludente una volta messa in produzione per una varietà di motivi.
Più di un decennio fa, Lokad ha iniziato a diffondere l’idea che le persone non dovrebbero fare quello che chiamiamo ora previsioni isolate. Fondamentalmente, sostengo Nikos nella sua proposta che una previsione è uno strumento per una decisione e puoi valutare la validità della previsione attraverso la validità delle decisioni.
Ed è un po’ strano perché se hai 10 decisioni diverse, potresti finire con previsioni inconsistenti per supportare quelle decisioni. E sembra bizzarro, ma la realtà è che va bene, anche se è controintuitivo. E perché va bene? Beh, perché hai un insieme di decisioni che possono avere costi asimmetrici molto diversi in termini di eccesso o difetto.
E quindi, se hai una decisione in cui se vai oltre, è una catastrofe. Diciamo, ad esempio, che stai vendendo fragole. Quindi le fragole, tutto ciò che non vendi alla fine della giornata, lo butti via. Quindi tutto ciò che vai oltre è catastrofico nel senso che è una perdita immediata garantita o una cancellazione dell’inventario.
Al contrario, se sei un produttore di orologi di lusso e i tuoi articoli sono fatti di oro, platino e altri metalli e pietre di lusso, se non li vendi, le scorte non scadono. Anche se tutto ciò che forgi e metti negli articoli esce di moda, puoi sempre riprendere i materiali e creare qualcosa di più in sintonia con il desiderio attuale del mercato.
Quindi fondamentalmente, se fai gioielli, non hai mai cancellazioni di inventario. Potresti avere alcuni costi per rimodellare i tuoi prodotti, ma è un gioco molto, molto diverso.
Uno dei problemi di base che praticamente non viene mai menzionato nei manuali di supply chain è l’effetto cricchetto. Diciamo che stai facendo un gioco di riapprovvigionamento dell’inventario. Ogni giorno hai un SKU, hai una previsione della domanda e se la domanda supera una certa soglia, fai un riordino.
Ma si scopre che se la tua previsione è un po’ fluttuante, significa che il tuo inventario è sempre impostato per catturare il punto più alto della tua fluttuazione. Voglio dire, considerando, sai, un mese ad esempio, se il tuo ciclo di riordino tipico è di circa un mese, allora la tua previsione fluttua durante questo mese. E diciamo che ogni singolo giorno, quindi saranno, sai, 30, 31 giorni del mese, esegui semplicemente la logica di previsione e passerai invariabilmente un ordine di acquisto nel giorno in cui la tua previsione è la più alta.
È un effetto cricchetto perché una volta che la tua previsione fluttua verso l’alto o verso il basso, e in termini di accuratezza può essere abbastanza buono avere quelle fluttuazioni. Cattura bene la variazione a breve termine, ma il prezzo che devi pagare è che ogni volta che attivi una decisione, sei impegnato a questa decisione.
E quando hai quelle fluttuazioni, quello che di solito succede è che catturerai la fluttuazione verso l’alto. La fluttuazione verso il basso non è così grave, ritardi solo qualcosa di un giorno in più, ma la fluttuazione verso l’alto attiva il lotto di produzione, il riapprovvigionamento dell’inventario, l’allocazione dell’inventario, la riduzione del prezzo.
Perché ancora una volta, è la stessa cosa. Se abbassi il prezzo e poi hai un’impennata della domanda causata dalla riduzione del prezzo, ma hai sottovalutato la domanda, e ora pensavi di avere troppo stock, ma la realtà è che non era così. E ora che hai abbassato il prezzo, ti sei accidentalmente messo in una posizione di stock-out programmato.
Sono tutte quelle cose in cui hai quegli effetti cricchetto in cui se hai quelle fluttuazioni, agirai e le prestazioni della tua azienda rifletteranno il tipo di variazione estrema del tuo modello statistico predittivo, qualunque esso sia. Non è buono perché stai catturando, in termini di decisioni, il rumore del modello predittivo.
Nikos Kourentzes: Posso aggiungere qualcosa? Prima di tutto, sono abbastanza d’accordo. Ma potrebbe aiutare un po’ vedere anche lo stesso argomento dal punto di vista di un esperto di serie temporali come me che è stato educato a pensare all’accuratezza.
Dove alla fine ho cambiato idea è perché supponiamo che tu abbia una certa domanda di un’unità di mantenimento delle scorte, un SKU, e poi trovi il tuo miglior modello e ottimizzi quel modello su qualcosa come una verosimiglianza o minimizzando l’errore quadratico medio.
Ora, l’assunzione alla base di ciò è che tu abbia fatto una buona approssimazione del modello e tipicamente il tuo errore è una previsione a un passo avanti. Questo è quello che facciamo di solito, minimizziamo l’errore in-sample.
Se il tuo modello non è il modello corretto, il modello corretto implica che in qualche modo conosci il processo di generazione dei dati, cosa che non è mai vera, se minimizzassi quell’errore, allora la tua previsione sarebbe perfetta per tutti gli orizzonti di previsione. Ma non è così perché il tuo modello è solo un’approssimazione.
Quindi supponiamo che tu minimizzi i tuoi errori per un passo avanti come facciamo di solito, allora il tuo modello potrebbe funzionare molto bene per questa previsione a un passo avanti, ma non per il lead time. Il lead time richiede ulteriori passi avanti.
Se poi dici, “Oh, posso tarare il mio modello per essere molto buono magari tra 3 mesi, diciamo tre passi avanti,” beh, allora finisci per avere l’effetto opposto. Il tuo modello è molto buono nel essere tarato su quell’orizzonte di previsione, ma non sull’orizzonte di previsione più breve. Quindi di nuovo, sul lead time, ti perdi delle informazioni.
Quindi quello a cui sto cercando di arrivare è che il modo tradizionale di pensare, come ottimizziamo i modelli, inevitabilmente porterà a previsioni effettivamente inaccurate nel senso che saranno sempre calibrate per l’errore che l’ottimizzatore sta considerando e non per la decisione effettiva che stiamo cercando di supportare. Ha un orizzonte diverso.
Qui è dove, ad esempio, molte ricerche sugli stimatori di riduzione o il lavoro che io e i miei colleghi abbiamo fatto sulle gerarchie temporali hanno aiutato un po’ perché queste tecniche pensano sempre a “Non adattiamoci troppo ai dati. Non ossessioniamoci nel minimizzare qualche statistica di errore.”
Quindi, sai, quello che Joannes ha descritto è essenzialmente possibile vederlo da due prospettive. Uno è l’effetto sulla supply chain e l’altro è il fondamento statistico per cui avrai inevitabilmente questo.
Joannes Vermorel: Sì, infatti. Da Lokad, la nostra pratica attuale, ed è così da parecchio tempo come parte del framework della catena logistica quantitativa, facciamo un’ottimizzazione finanziaria pura. Quindi ottimizziamo direttamente euro o dollari.
E in effetti, queste metriche vengono scoperte. Abbiamo persino una metodologia specifica per questo chiamata ottimizzazione sperimentale, perché i sistemi di supply chain sono molto opachi, molto complessi, quindi la metrica non è data, è un argomento a sé per scoprirlo.
Ora, la cosa interessante riguarda gli orizzonti di previsione e la previsione che varia con essi. Ci ho pensato a lungo, ma essenzialmente l’ultima competizione di previsione di Makridakis, M4, M5, M6, ha dimostrato che praticamente i migliori modelli sono i migliori per tutti gli orizzonti, non importa quale scegli.
Lokad, nel 2020, siamo arrivati primi a livello di SKU per Walmart e siamo stati i migliori per un giorno avanti, 7 giorni avanti, tutto. Da molto tempo lavoro con questa possibilità che potresti avere modelli che funzionano meglio a certi orizzonti.
Ma se guardi i modelli moderni, quelli come la programmazione differenziabile, ad esempio, quelle moderne classi di modelli di previsione, ora è abbastanza uniforme. È molto raro al giorno d’oggi avere modelli che funzionano meglio un passo avanti piuttosto che sei mesi avanti.
E fondamentalmente, ci sono modelli che sono a orizzonte indefinito, che fanno previsioni fino alla fine dei tempi, e ti fermi solo per risparmiare risorse di calcolo perché sarebbe uno spreco. Ma comunque, il punto è che in generale, la metrica che viene ottimizzata non dovrebbe essere considerata come nota.
Non dovrebbe essere considerata una delle eleganti metriche matematiche come la log likelihood se si vuole adottare un approccio bayesiano, o l’errore quadratico medio, o qualsiasi altra cosa. È molto bello se si vogliono dimostrare teoremi su carta, ma dimostrare teoremi e proprietà dei modelli non si traduce in risultati operativi.
Può creare molti difetti sottili nel comportamento che non sono immediatamente evidenti dal punto di vista matematico.
Conor Doherty: Beh, grazie. Nikos, solo per tornare a qualcosa che hai detto prima e approfondire, hai detto che ti definisci un esperto di serie temporali e che in passato ti sei concentrato sull’accuratezza e poi hai detto: “Oh, ho cambiato idea e ho superato l’accuratezza o mi sono concentrato sull’accuratezza in modo isolato.” Potresti descrivere questo processo? Perché è qualcosa che quando parlo di previsioni, è abbastanza difficile convincere le persone a non considerare l’accuratezza delle previsioni come fine a se stessa. Ricordo che anche nel tuo articolo hai detto: “L’obiettivo delle previsioni non è l’accuratezza.” Questa affermazione è piuttosto controversa a seconda di chi la dici. Quindi, come hai affrontato esattamente questo percorso?
Nikos Kourentzes: Sì, è controverso, hai ragione. Ma penso che sia un argomento che le persone che si occupano di serie temporali siano più disposte ad accettare rispetto agli utenti delle previsioni, se posso dirlo così. Iniziamo prendendo in considerazione ciò che hai appena menzionato sugli orizzonti di previsione.
Credo che questa comprensione che i modelli siano in grado di produrre buone previsioni per tutti gli orizzonti derivi dal confronto tra i modelli stessi. Come sai, riprendendo le competizioni M che hai menzionato. Questa è una lettura utile delle competizioni M, ma tutti questi modelli sono ottimizzati in modi simili. Anche se prendi una semplice media mobile esponenziale e cambi la tua funzione obiettivo, come stimi i tuoi parametri, puoi effettivamente farlo funzionare molto meglio o molto peggio su diversi obiettivi o diversi orizzonti.
Quindi anche per me questo è stato un punto di partenza per dire, beh forse c’è qualcosa che non va qui. Ed è qui che ad esempio sono un po’ critico nell’usare solo… lascia che riformuli. Quando devo lavorare con studenti di dottorato o studenti magistrali che fanno una tesi, a volte chiedo loro di fare l’implementazione nel modo difficile piuttosto che prendere una libreria e farlo perché voglio che capiscano cosa sta realmente accadendo sotto il modello. Ed è qui che puoi trovare alcuni dettagli e dire, beh ha senso?
Una delle cose che è stata già menzionata in precedenza è che ci piacciono le formule e le espressioni che sono facili da gestire matematicamente. Voglio dire, facili tra virgolette, a volte sono abbastanza complesse, ma sì, sono comunque facili nel senso che con le giuste ipotesi, puoi ancora lavorare sulla matematica. Ma qui sta il problema per me, che facendo questo finiamo per avere una buona comprensione di ciò che sta accadendo sotto le ipotesi e questo è molto utile. Ma spesso poi dimentichiamo di dire, bene, cosa succede se questa ipotesi ora viene violata? Cosa succede se abbiamo una specifica del modello?
Quindi questa specifica del modello per me è il punto di partenza. Una volta introdotta, molte di queste espressioni diventano problematiche. Dovrei stare attento qui e, essendo anch’io un accademico, questo non rende in alcun modo questa ricerca inutile. Ma è un punto di partenza. Dobbiamo capire tutte le proprietà e poi dire, ora introduciamo la specifica del modello.
Ho alcuni colleghi dalla Spagna con cui ho lavorato sulla calibrazione delle politiche di inventario. E un articolo su cui stiamo cercando di ottenere la revisione, questo è sempre un aspetto complicato per gli accademici, sta cercando di fare proprio questo. Sta cercando di dire, sai, supponiamo di avere una politica molto semplice come una politica di ordine fino a, questo è ciò che otterremmo se assumessimo che il modello è corretto e questo è ciò che otterremmo se diciamo no, il modello è specificato in modo errato. Perché puoi vedere che ci sono rischi aggiuntivi nella supply chain, ci sono rischi aggiuntivi nella gestione dell’inventario.
Quindi per me, il momento in cui dico che l’accuratezza non è sufficiente è quando inizio a pensare, beh, il modello è specificato in modo errato, cosa implica questo rischio aggiuntivo? Se ci pensi nelle politiche di inventario stocastiche, stiamo dicendo oh c’è un rischio stocastico derivante dal processo di domanda, va bene. Ma non è l’unico rischio. E non sto suggerendo in alcun modo che sto catturando tutti i rischi nel modo in cui lo sto pensando, ma almeno la logica è quella che dice che deve essere qualcosa che è più di un obiettivo di accuratezza.
Non significa eliminare completamente quell’obiettivo, deve esserci, anche se elimini quell’obiettivo ci deve comunque essere una sorta di correlazione tra quell’obiettivo e altri obiettivi. Perché se ignori completamente l’avere una previsione accurata, nel senso più ampio, allora non stai facendo bene il tuo lavoro, almeno secondo la mia esperienza.
Puoi cambiare completamente l’obiettivo, ad esempio nella congruenza troviamo anche teoricamente che c’è una connessione con l’accuratezza. Non è una connessione al 100%, ma c’è una connessione debole. Quindi questo non significa per me, ok quindi buttiamo l’accuratezza dalla finestra. Ma sicuramente non è la fine della discussione. Ora, se puoi sostituirla con una metrica migliore che ha comunque proprietà simili o una collezione di metriche, ottimo. Sono contento di questo. Non mi importa se chiamiamo la metrica così o così, o se è la mia metrica o la metrica di qualcun altro. Ma credo davvero che quando andiamo con la specifica del modello e implicano i rischi di ciò nel processo, non possiamo attenerci alle metriche tradizionali.
Conor Doherty: Grazie, Nikos. E Joannes tornerò da te tra un attimo, ma voglio sottolineare un punto, beh due punti. Primo, penso di aver parlato male. Avrei dovuto dire che l’accuratezza non è l’obiettivo delle previsioni. Penso di averlo detto al contrario. Ma per seguire un punto che hai appena fatto, ed è un punto chiave penso dell’articolo, è che tu non stai sostenendo, correggimi se sbaglio, che si debba perseguire la previsione più congruente. È un mix tra accuratezza e congruenza. È una lettura corretta? E se sì, potresti espandere su questo per qualcuno che potrebbe non capire come si persegue un mix di queste due metriche?
Nikos Kourentzes: Quindi dovrei prima sottolineare che questo è un lavoro in corso, quindi non ho la risposta completa su questo. Ma sembra che una semplice euristica sarebbe qualcosa del tipo, una volta trovate le tue previsioni accurate, poi da quelle scegli la più congruente. Non scegliere direttamente la previsione più congruente perché potrebbe essere una previsione molto inaccurata, se ha senso.
Quindi vedo questi due obiettivi, se lo esprimo in modo diverso, c’è una regione in cui entrambi migliorano insieme e poi si finisce per avere un compromesso. Quando raggiungi quel compromesso, allora vai e pesa di più sul lato della congruenza.
Conor Doherty: Beh, questa sarebbe stata la domanda successiva. Usi il termine compromesso e ancora una volta è qualcosa su cui ci concentriamo molto, ancora i compromessi. Come fai, e capisco ancora che è un lavoro in corso, come fai o come fa un’azienda a valutare quei compromessi, precisione versus congruenza? E so ancora una volta che stai cercando di ridurre l’instabilità, la fluttuazione tra tutte le previsioni congruenti. Ma anche così, voglio dire che la precisione delle previsioni è semplice. Possiamo concordare sul fatto che potrebbe essere difettosa, ma è semplice da comprendere. Voglio solo che sia più accurata, voglio che il numero aumenti. Ma ora stiamo introducendo un’altra dimensione. Quindi, di nuovo, il peso di ciò, come un’azienda lo affronta è più specificamente ciò che intendo.
Nikos Kourentzes: Sì, quindi sto avendo difficoltà a dare una risposta chiara perché non ho ancora la risposta chiara. Ma forse posso dare un esempio della logica.
Ho fatto in precedenza il punto sulle serie temporali stagionali. Quindi, quando la difficoltà nel definire la congruenza come metrica, e questa è una discussione che ho avuto con alcuni colleghi che dicono oh ma potresti fare questo o potresti fare quello invece, è essenzialmente l’idea della media condizionale della previsione. Cos’è? Supponiamo che la domanda sia effettivamente stagionale, quindi c’è una certa struttura sottostante. Quella struttura sottostante che è sconosciuta è la media condizionale.
Se dicessi che voglio la previsione più stabile o come la chiamiamo congruente, in principio sarebbe una linea retta, una linea piatta. Quella linea piatta non porterebbe alcuna informazione sulla stagionalità. Quindi la previsione più congruente sarebbe effettivamente una previsione deterministica che non assume alcuna stocasticità, nessuna struttura nella serie, niente del genere. Quindi è chiaramente una previsione sbagliata.
Quindi dove entra in gioco l’equilibrio è che vogliamo la previsione più congruente in termini di questa media condizionale. Vogliamo che cerchi di essere stagionale, vogliamo che cerchi di seguire questa struttura. Ma non andremo abbastanza lontano da dire che cercherò di prendere ogni singolo dettaglio. Quindi si potrebbe dire che c’è una certa connessione con l’overfitting e l’underfitting, ma non è una connessione al 100% perché possiamo tutti concordare sul fatto che l’overfitting è una cosa sbagliata.
Ma quando abbiamo analizzato lo stesso aspetto in termini di sovracongruenza e sottocongruenza, è facile dimostrare che la sottocongruenza è una cosa sbagliata, come questa linea piatta che abbiamo menzionato prima. Ma la sovracongruenza in realtà non è necessariamente una cosa sbagliata. E il “non necessariamente” è dove le cose diventano interessanti e complicate. Il “non necessariamente” è molto collegato ai punti che Joannes ha sollevato in precedenza, che ci sono altri aspetti nella gestione delle scorte nella supply chain che ci interessano. Quindi, avendo questa congruenza aggiuntiva nelle previsioni, effettivamente stiamo rendendo la vita dei decision maker più facile in seguito. Da un punto di vista statistico, questa non sarà la previsione più accurata, ma fornirà informazioni sufficienti per il decision maker per agire. In modo che le decisioni successive saranno più facili da ottenere dal punto di vista finanziario o da qualsiasi altra metrica di inventario che si intende utilizzare, come ad esempio meno sprechi o qualcosa del genere.
Sto essendo un po’ vago qui perché non ho qualcosa di meglio dell’euristica che ho menzionato prima da offrire in questo momento. Questo è, come ho detto, spero che il prossimo articolo fornirà l’espressione matematica completa per dire, ah è effettivamente un problema banale. Non ho ancora quello. Quindi direi che nella pratica, in questo momento, ciò che suggerisco alle persone di fare è identificare la propria collezione di previsioni accurate e su quelle previsioni scegliere quella che massimizza la congruenza. Quindi in un certo senso una selezione a due fasi, prima ottenere un gruppo di previsioni accurate e poi optare per quella congruente.
Quello che è interessante è che si scopre che nella maggior parte dei nostri esperimenti, questo si rivela essere un modello che utilizza trucchi da stimatori di riduzione o da aggregazione temporale e così via perché tendono a levigare le previsioni. Dovrei sottolineare qui che ci sono anche altri colleghi che hanno proposto idee simili. Possono modificare la funzione di perdita per avere, ad esempio, un termine per cercare di minimizzare anche la variabilità della previsione e così via. Quello che penso che renda un po’ diversa la metrica di congruenza è che cerchiamo anche di mostrare la connessione con l’accuratezza, quindi fornire le espressioni per dire esattamente dove sono collegati, esattamente dove divergono.
Conor Doherty: Grazie, Nikos. Joannes, cosa ne pensi?
Joannes Vermorel: Sì, voglio dire, da Lokad, affrontiamo questo da un angolo leggermente diverso. Andiamo alla radice che letteralmente gli errori in dollari, gli errori in euro, e assumiamo che le metriche verranno scoperte, quindi sono completamente arbitrarie. È così brutale ottimizzare qualcosa in cui la metrica è qualsiasi cosa. Quindi come affrontiamo questo? Beh, si è scoperto che se la metrica è qualsiasi cosa, è effettivamente un programma, sai, un programma informatico. Potresti avere metriche che non possono nemmeno essere rappresentate come programmi informatici, in matematica puoi inventare il tipo di cose che sfuggono persino ai computer. Ma per il bene della discussione, assumiamo che non stiamo entrando in spazi matematici super strani, iper astratti. Quindi, abbiamo qualcosa che può essere almeno calcolato. Quindi, questo è un programma, un programma arbitrario.
La cosa buona è che se vuoi ottimizzare praticamente qualsiasi cosa, ciò di cui hai bisogno sono i gradienti. Appena hai i gradienti, puoi guidare. Per il pubblico, appena puoi avere la pendenza, significa che puoi guidare i tuoi parametri nella direzione giusta che minimizza ciò che stai cercando di minimizzare. Quindi ogni volta che vuoi ottimizzare, ottenere qualcosa di più alto o più basso con uno scopo specifico, se puoi ottenere i gradienti, ti dà la direzione in cui dovresti andare, aiuta enormemente.
Ecco dove Differentiable Programming aiuta davvero perché Differentiable Programming è letteralmente un paradigma di programmazione che Lokad utilizza ampiamente. Ti consente di prendere qualsiasi programma e ottenere i gradienti, ed è super potente. Questo è tipicamente come collegiamo questa prospettiva finanziaria. Scopriremo quegli elementi finanziari. Sarà un processo caotico, molto casuale, e ciò che diventeremo è un programma un po’ strano che riflette le particolarità, le stranezze della supply chain di interesse.
Possiamo differenziare qualsiasi programma, quindi possiamo differenziare quello e poi possiamo ottimizzare in base a quello qualsiasi modello abbiamo, a condizione che il modello stesso abbia una struttura differenziabile. Quindi ciò limita il nostro approccio a modelli che hanno una struttura differenziabile, ma guarda caso, è effettivamente la maggioranza. In questa competizione, la M5, per quella competizione di Walmart, siamo essenzialmente al primo posto a livello di SKU con un modello differenziabile.
Quindi, imporre la differenziabilità non è qualcosa che impedisce di ottenere risultati all’avanguardia. Ora, andando avanti, questo è solo il succo di ciò che accade quando rinunci alle tue metriche e rinunci perché tipicamente finiamo per bilanciare tonnellate e tonnellate di cose.
Ora un’altra cosa è la previsione probabilistica, l’idea che guardiamo a tutti i futuri possibili, ma non solo per la domanda. Ad esempio, hai menzionato i tempi di consegna con orizzonti possibili e così via, ma la realtà è che il tempo di consegna varia, c’è anche incertezza.
Ancora peggio, il tempo di consegna che osserverai è legato alla quantità che ordini. Se ordini, ad esempio, 100 unità, potrebbe andare più veloce rispetto a se ordini 1000 unità solo perché, beh, la fabbrica che produce le cose avrà bisogno di più tempo.
Quindi ti ritrovi con tonnellate di correlazioni che plasmano e strutturano l’incertezza. Quindi la prospettiva unidimensionale sulla serie temporale è insufficiente, anche se stiamo parlando di un solo SKU, perché dobbiamo aggiungere alcuni livelli di ulteriore incertezza, almeno con i tempi di consegna, almeno con i resi con l’e-commerce, e così via.
Userò il termine “congruenza” in modo generico perché l’hai appena introdotto, ma la nostra osservazione pratica, quando siamo passati ai modelli probabilistici, è stata che quei modelli, numericamente parlando, erano molto più stabili.
Questo è stato molto interessante perché la maggior parte di quelle instabilità, incongruenze, qualunque cosa, riflettono semplicemente che hai molta incertezza ambientale. E hai aree di probabilità relativamente piatte. Quindi, secondo praticamente qualsiasi metrica, finché hai una previsione puntiforme, il modello può oscillare ampiamente.
E in termini di metriche, praticamente qualsiasi metrica che scegli, sarà praticamente la stessa. Quindi, ti ritrovi con la strana proprietà che ancora una volta, se sei bloccato con previsioni puntiformi, è che se hai una situazione di alta incertezza ambientale, ti ritrovi con il tipo di problemi che possono avere previsioni molto, molto diverse che sono, secondo le tue metriche, quasi le stesse.
E quindi, ti ritrovi con questa instabilità e così via. Ed è quando passi a quelle previsioni probabilistiche che entri in un ambito in cui, beh, il buon modello sarà semplicemente quello che esprime questa dispersione, che esprime questa alta incertezza ambientale. E questo di per sé è molto più, direi, costante.
È molto strano, ma ti ritrovi con situazioni in cui abbiamo faticato così tanto per ottenere un po’ di stabilità numerica, e poi quando passi al campo delle previsioni probabilistiche, di default, hai qualcosa che è molto più stabile, dove quei problemi che stavano davvero facendo male diventano secondari.
Quindi, è abbastanza interessante. E poi possiamo collegare tutto questo ad altre cose. Quando andiamo oltre la previsione delle serie temporali, ne abbiamo discusso un po’ su questo canale, ma sarebbe un’ulteriore digressione.
E quindi, molto spesso dobbiamo passare a una prospettiva non basata sulle serie temporali, una prospettiva più ad alta dimensionalità. Ma ancora una volta, questa è una digressione su una digressione.
Nikos Kourentzes: Sono completamente d’accordo. La previsione probabilistica è assolutamente necessaria. Sono arrivato al punto in cui, quando guardo alcuni dei lavori non finiti che sono stati messi da parte per alcuni anni e vedo che non c’è previsione probabilistica, penso che devo rielaborare l’intera cosa. Deve avere una previsione probabilistica, siamo nel 2024 ora. Ma ecco la cosa, mi piace la previsione probabilistica, specialmente il modo in cui Joannes l’ha spiegata, perché mi offre un altro modo per sottolineare la specifica del modello.
Quando guardi l’incertezza intorno alla tua previsione, di solito assumiamo che questa incertezza sia dovuta alla stocasticità della serie temporale. Ma una buona parte di quell’incertezza è dovuta all’incertezza del modello stesso. Hai l’incertezza derivante dai dati, l’incertezza derivante dalla tua stima e l’incertezza del modello stesso. Potrebbe mancare qualche termine, o potrebbe avere più termini, o potrebbe essere completamente sbagliato. Suddividere quell’incertezza rimane un grande problema.
Se non suddividi quell’incertezza, spesso scoprirai che molti modelli diversi, a meno che non siano sostanzialmente diversi, finiranno per mascherare l’incertezza con la loro incertezza di modello. Ti daranno un’incertezza maggiore, almeno dal punto di vista empirico, e una buona parte di quell’incertezza sembrerà simile perché sta cercando di dirti che tutti questi modelli sono problematici.
Non stai arrivando alla vera profondità di avere questa incertezza dovuta agli elementi stocastici della domanda. Non sono ancora riuscito a trovare un buon modo per risolverlo e non ho visto nulla nella letteratura. Ma almeno la previsione probabilistica è onesta nel dire, guarda, questa è la tua incertezza. È un po’ più grande di quanto pensassimo se passi dalla previsione puntata. Questo è un buon passo verso la soluzione.
Conor Doherty: Grazie a entrambi. Mi viene in mente che ho sia due accademici che due professionisti qui. Credo che a questo punto mi convenga indirizzarlo verso l’aspetto pratico. L’intero scopo di ciò che fa Lokad, ma certamente il tuo articolo e la tua ricerca in generale, Nikos, è applicarlo alla presa di decisioni sugli inventari. A tal proposito, Joannes, quando hai parlato delle stranezze e delle particolarità della supply chain, dei tempi di consegna variabili e dell’effetto bullwhip, tutti questi concetti, la tua posizione, Nikos, nel working paper di cui stiamo parlando, era che perseguire la congruenza delle previsioni può aiutare a gestire o mitigare gli effetti dell’effetto bullwhip. Potresti spiegarlo per far capire alle persone come questa idea può aiutare a far fronte a un problema serio, l’effetto bullwhip?
Nikos Kourentzes: Presumo che il tuo pubblico ne sia abbastanza consapevole. Il problema che ho con molte ricerche sull’effetto bullwhip è che si tratta più di una descrizione che di fornire effettivamente azioni per rimediare. Almeno provenendo soprattutto dal punto di vista delle serie temporali in cui diciamo, oh guarda, ecco il tuo rapporto bullwhip. Ma questo in molti modi è solo una descrizione del problema. Non ti dice come affrontarlo una volta che l’hai misurato.
Ecco dove dico, beh, se voglio collegare la previsione alla decisione anziché tenerle separate, allora necessariamente devo avere qualcosa che possa dirmi, beh, se vai in quella direzione, ridurrai il tuo effetto bullwhip. Risulta che senza capire questo all’inizio, se lavori sulle equazioni, la congruenza e il rapporto bullwhip sembrano avere molte somiglianze. Questa imposizione di somiglianza nel tempo, o congruenza come la chiamiamo semplicemente, sembra essere allineata molto con l’idea di avere un basso effetto bullwhip derivante dalle tue previsioni. Naturalmente, ci sono molte altre ragioni per cui avrai un effetto bullwhip.
Quindi, se stiamo per utilizzare una metrica congrua o qualcosa di simile per selezionare o specificare i tuoi modelli di previsione, puoi già puntare a una soluzione che sarà più favorevole in termini di effetto bullwhip. Qui penso che almeno dal momento che sto lavorando nella sfera delle previsioni, devo riconoscere che l’effetto bullwhip è molto più ampio delle previsioni. Le previsioni sono solo una parte di esso. Ci sono così tanti altri elementi che entrano in gioco. Ma almeno per le previsioni, puoi progettare, se pensi alla congruenza e a modi simili di pensare, previsioni che siano almeno favorevoli ad essa.
Joannes Vermorel: Quando iniziamo a parlare dell’effetto bullwhip, quando ho detto che guardiamo la decisione e ottimizziamo euro e dollari, in realtà stavo semplificando. Perché la realtà è che stiamo effettivamente guardando il processo decisionale sequenziale. E qui stiamo toccando essenzialmente l’ottimizzazione stocastica dei processi decisionali sequenziali, argomento discusso con il Professor Warren Powell.
Stiamo ottimizzando non solo la prossima decisione, ma tutte le altre che verranno dopo. Abbiamo bisogno di un meccanismo per riportare tutte queste informazioni dal futuro, dove abbiamo simulato le decisioni future che verranno generate attraverso quelle previsioni, al giorno presente. Ecco dove brilla la programmazione differenziabile perché essenzialmente hai un programma che simula, se vuoi, le decisioni del futuro e devi essere in grado di calcolare il gradiente in modo da poter reiniettare quei futuri risultati finanziari nell’ingegneria delle tue previsioni attuali.
Il modo in cui di solito guardiamo a questo è che se torniamo all’effetto bullwhip, non stupirti dell’effetto bullwhip. Non c’è nulla nel tuo framework di ottimizzazione che riconosca nemmeno i costi in euro che genererà nel tempo. Non c’è nulla che faccia questa analisi decisionale sequenziale di ripetere la decisione nel tempo e vedere se avrai problemi di effetto bullwhip.
La soluzione non è così complicata. È solo ottimizzare non solo la prossima decisione che stiamo guardando, ma tutto ciò che segue. Implicitamente ciò che stiamo ottimizzando è una sorta di politica. Ma di solito le persone pensano all’ottimizzazione della politica come qualcosa di completamente indipendente dalla previsione. Avrebbero l’ottimizzazione della politica che consuma solo la previsione. Il modo in cui Lokad vede questo è che no, queste cose sono effettivamente intrecciate.
La previsione superiore va di pari passo con la politica superiore. I due sono molto collegati. C’è persino un recente articolo di Amazon, “Deep Inventory Optimization”, in cui eliminano completamente la distinzione. Hanno direttamente qualcosa che unifica l’approccio di modellazione predittiva e l’approccio di ricerca operativa che sono tipicamente separati. Dicono no, faremo le due cose contemporaneamente e hanno un modello di ottimizzazione predittiva tutto in una volta attraverso il deep learning.
Questo è molto interessante perché sta letteralmente dicendo che la decisione viene ottimizzata in modo predittivo, ma la previsione stessa diventa completamente latente. Questo è solo un altro modo di guardare al problema, ma è molto futuristico e crea altri problemi. Ma per guardarlo, stiamo ancora affrontando la parte di modellazione predittiva e la parte di ottimizzazione stocastica come due fasi, ma due fasi che sono altamente collegate e ci sarà molto scambio tra le due fasi.
Nikos Kourentzes: In realtà penso che mantenere separate le fasi abbia i suoi vantaggi. Tuttavia, non dovrebbero essere isolate e c’è una ragione per questo. Sono completamente d’accordo sul fatto che una dovrebbe guidare l’altra. Ho lavorato in passato con l’idea di avere un’ottimizzazione congiunta sia per la politica di inventario che per la previsione. L’articolo è disponibile, quindi i dettagli sono lì per chiunque voglia approfondire. La mia preoccupazione con questo lavoro era che non riuscivo a renderlo scalabile. Non avevo un modo per ottimizzare in modo che mi permettesse di gestire un gran numero di SKU. Questo potrebbe essere dovuto alle mie limitazioni nell’ottimizzazione piuttosto che alla configurazione stessa.
Credo che mantenere separati i due passaggi aiuti a ottenere maggiore trasparenza nel processo. Se ho una soluzione congiunta e improvvisamente dico che il tuo inventario per i tuoi ordini per il prossimo periodo dovrebbe essere 10 e qualcuno dice che dovrebbe essere 12, è molto difficile giustificare perché 10 ha più merito di 12. Se si comprende la previsione e la politica guidata dalla previsione, si può avere una discussione più trasparente. “Va bene, ecco la mia previsione, queste sono le entrate e le uscite della previsione, ecco la mia politica guidata da una buona previsione o eventualmente adattata a causa delle opzioni di previsione che ho o viceversa”, si può dire, “Se sono bloccato con queste politiche, forse solo queste tipologie di opzioni di previsione dovrebbero essere in gioco”. Ma si ha comunque la trasparenza e si dice: “Posso vedere elementi di previsione problematica qui, posso vedere elementi di ordinazione problematica qui”.
E l’altro elemento con cui ho un problema è che le persone si affidano completamente a un’ottimizzazione o a una previsione oscura in cui si ha molta fiducia nell’apprendimento approfondito. Non importa come modelliamo, a un certo punto gli esseri umani interagiranno con il modello e con i risultati. La ricerca e la mia esperienza suggeriscono che se le persone capiscono cosa sta accadendo, la loro interazione con il modello e con i numeri, gli aggiustamenti che possono fare per incorporare informazioni contestuali, avranno maggior successo.
Se è un numero molto oscuro, questa scatola nera, molte persone tendono a dire che le persone non sapranno cosa fare con il numero o interagiranno distruttivamente con il numero. Mi piace mantenere la separazione perché aiuta la trasparenza. Compongono il problema, dicono che questa è la contribuzione che viene da qui, questa è la contribuzione che viene da qui. Quindi sono propenso ad essere d’accordo con l’approccio che Johannes sta descrivendo. Dobbiamo in qualche modo unire i compiti, uno deve portare all’altro, ma dobbiamo anche essere in grado di descrivere cosa fa ogni passaggio.
Conor Doherty: Grazie, Nikos. Torno da te, ma voglio approfondire un punto lì. Hai menzionato più volte il coinvolgimento umano e l’override. Qual è il ruolo del coinvolgimento umano in termini di congruenza delle previsioni? La tendenza spesso è dire, “il modello è sbagliato, io so meglio, lasciami intervenire”, e ovviamente in molti casi si aumenta solo il rumore. Come affronta la congruenza delle previsioni come concetto questo problema? Comporta molto override o no?
Nikos Kourentzes: Questa previsione comportamentale o gli aggiustamenti giudiziosi, con nomi diversi nella letteratura, penso che ancora non ne sappiamo abbastanza, anche se è un’area di ricerca molto attiva. Alcuni articoli sostengono che dovremmo eliminare questi aggiustamenti perché sono controproducenti o addirittura distruttivi in termini di accuratezza o risultato finale. Il problema di questo modo di pensare è che bisogna avere una metrica. Se uso l’errore percentuale medio assoluto, otterrò una risposta. Se uso l’errore quadratico medio, otterrò un’altra risposta. Se uso la congruenza, otterrò un’altra risposta.
Tuttavia, la domanda che mi pongo torna al nostro punto iniziale della discussione, ovvero perché non mi attengo solo all’accuratezza? Voglio dire, lo stesso vale per voi, non vi attenete solo all’accuratezza. Finché riconosciamo che questo è importante, ovviamente dovremmo valutare o valutare gli aspetti comportamentali del processo di previsione o del processo di inventario con una metrica che sia più consapevole dell’accuratezza. Non penso che dovremmo eliminare l’intervento umano. Penso che ci siano prove sufficienti che quando le informazioni contestuali che possono utilizzare sono ricche, possono fare meglio della maggior parte dei modelli. Tuttavia, non possono aggiungere valore in modo coerente. Ci sono molti casi in cui sentono semplicemente di dover fare qualcosa o possono reagire in modo eccessivo all’entusiasmo o alle informazioni che è molto difficile capire come influenzeranno il tuo inventario. In quei casi, si tratta di un’interazione distruttiva con il modello o le previsioni.
Dobbiamo mantenere l’elemento umano perché può aggiungere valore, ma dobbiamo guidare quando dovrebbero aggiungere valore. È un processo che richiede tempo. Se posso dire agli analisti di lasciare alcune attività all’automazione completa e concentrare la loro attenzione su azioni specifiche, posso anche rendere il loro lavoro più efficace. Possono dedicare più tempo e risorse a fare meglio ciò in cui sono bravi. La congruenza entra in questa discussione quando diciamo che se dobbiamo andare oltre l’accuratezza, allora valutare quali passaggi aggiungono valore può aiutare a discriminare quelli nell’impostazione dell’inventario o nell’impostazione della presa di decisioni in generale.
Una discussione simile la farei per gli ordini. I modelli o le politiche ti forniranno una buona base se stai facendo bene il tuo lavoro come analista. Tuttavia, non posso vedere che questo possa essere universalmente il numero più informativo. Ci saranno sempre elementi, qualche interruzione che è appena accaduta questa mattina nella supply chain, ad esempio, qualcosa di difficile da valutare. Questo non avrà un problema se invecchia bene o meno. C’è qualche conflitto che sta accadendo nel mondo. Tipicamente, nel mondo ci sono sempre dei conflitti che accadono. A volte influenzeranno la tua supply chain, a volte non influenzeranno la tua supply chain. A volte potrebbero mettere pressioni, diciamo sull’inflazione e così via, quindi i tuoi consumatori potrebbero iniziare a comportarsi in modo diverso. Queste sono cose estremamente difficili da modellare.
Quindi qui ho fiducia negli esperti e negli analisti che hanno il tempo per fare questo, il loro lavoro correttamente. E forse posso concludere con questo, in termini di aggiustamenti, dicendo che la ricerca suggerisce che decomporre i tuoi aggiustamenti, ovvero se stai per dire: “Ok, sto per affinare il numero di 100”, dicendo: “Ok, perché 100? Perché 20 per questa ragione e 80 per questa ragione”, correla molto con ciò che stavamo dicendo prima, decomporre se vuoi o mantenere i due passaggi di previsione e inventario distinti, ma non isolati.
Perché se stai per dire: “Va bene, sto per cambiare il mio ordine del x%”, se chiediamo alla persona che sta facendo ciò, “Puoi spiegare per favore quale parte di ciò è dovuta alla tua comprensione del rischio derivante dal modello del modello di previsione o dalle realtà della supply chain?” Potenzialmente, possono trovare un miglioramento.
Conor Doherty: Grazie, Nikos. Johannes, mi rivolgo a te. Sei un grande fan dell’override umano, è corretto?
Joannes Vermorel: No, durante i primi cinque anni a Lokad, lasciavamo che le persone apportassero aggiustamenti alle previsioni ed è stato un errore terribile. Il giorno in cui abbiamo iniziato a diventare un po’ dogmatici e abbiamo semplicemente impedito del tutto, i risultati sono migliorati in modo drammatico. Quindi, non lo permettiamo praticamente più.
Quindi, innanzitutto, consideriamo il ruolo degli esseri umani. Voglio dire, le persone dicono un SKU e pensano, ma non è tipico. Una supply chain tipica è costituita da milioni di SKU. E quindi quando le persone dicono che vogliono apportare aggiustamenti, in realtà stanno gestendo in modo microgestito un sistema incredibilmente complesso. E quindi, in pratica, è un po’ come se entrassi nella memoria casuale del tuo computer e cercassi di riorganizzare il modo in cui le cose sono memorizzate nel tuo computer mentre hai gigabyte di memoria e unità e così via. Stai solo scegliendo alcune cose che hanno attirato la tua attenzione e non è un buon uso del tuo tempo.
E non importa quante informazioni ottieni, le informazioni che ottieni, quasi mai le ottieni a livello di SKU. Quindi sì, c’è qualcosa che sta accadendo nel mondo, ma è qualcosa che avviene a livello di SKU? Perché se la tua interazione con un sistema consiste nel modificare qualcosa come un SKU, su quali basi hai queste informazioni di alto livello che si traducono in qualcosa di remotamente rilevante a livello di SKU? Quindi c’è questa enorme disconnessione.
Le persone penserebbero che quando, prendi ad esempio un esempio giocattolo, penso che sia una situazione realistica, pensa a 10 milioni di SKU, quella è una base per un’azienda che non è nemmeno molto grande. Questa è la mia critica e qui è dove Lokad, abbiamo visto che ha migliorato enormemente, è che perché è per lo più senza senso. Stai solo scegliendo lo 0,5% degli SKU per fare cose e non ha senso e di solito crea molti problemi. E più di così, crea molto codice perché le persone non si rendono conto che consentire l’interazione significa che devi scrivere molto codice per supportarla e molto codice che potrebbe avere bug. Questo è il problema del software aziendale. Le persone di solito guardano a questo come se fosse solo una questione di proprietà matematiche, ma il software aziendale ha bug, anche quello che Lokad scrive, sfortunatamente.
E quando hai un’azienda grande, vuoi avere interazione umana, devi avere flussi di lavoro, approvazioni, controlli, tracciabilità. Quindi ti ritrovi con così tante funzionalità che, fondamentalmente, inizi con un modello che ha mille righe di codice, che è il modello statistico se vuoi, e finisci con un flusso di lavoro che è come un milione di righe di codice solo per far rispettare tutto.
Quindi sì, l’intento è un po’ buono e credo che ci sia valore nell’interazione umana, ma assolutamente non nel modo tipico in cui viene prodotta. Il modo tipico in cui Lokad affronta l’interazione umana è dire, ok, hai qualcosa che sta accadendo nel mondo, sì. Ora rivediamo la struttura stessa del modello. Vedi, di nuovo, del modello predittivo e dell’ottimizzazione. E di nuovo, l’atteggiamento classico nella letteratura è pensare ai modelli come qualcosa che è dato. Hai un articolo, è pubblicato, quindi operi con quello. Lokad, non operiamo così. Affrontiamo solo la modellazione predittiva e l’ottimizzazione attraverso paradigmi di programmazione essenzialmente. Quindi Lokad non ha modelli, abbiamo solo una lunga serie di paradigmi di programmazione. Quindi fondamentalmente è sempre completamente personalizzato e assemblato sul posto.
E quindi fondamentalmente è codice, con i giusti paradigmi di programmazione. E quando succede qualcosa, allora fondamentalmente quei paradigmi di programmazione ti danno un modo per esprimere i tuoi modelli predittivi o modelli di ottimizzazione in modi molto stretti, molto snelli, molto concisi. È letteralmente ridurre quelle 1.000 righe di codice, farle diventare 20 con una notazione adeguata se vuoi.
Poi puoi tornare al tuo codice e pensare, ok, ho qualcosa e devo fare un intervento. Non è a livello di SKU, è molto raro che tu abbia queste informazioni di livello. Le informazioni che ottieni dal mondo esterno sono tipicamente qualcosa di molto più alto livello. E quindi di solito modificherai qualche aspetto di alto livello del tuo modello. E questa è la bellezza, è che non hai necessariamente bisogno di avere molte informazioni molto precise.
Ad esempio, se pensi, diciamo che sei nell’industria dei semiconduttori e sei preoccupato per il riscaldamento della Cina e di Taiwan. Quello che diresti è: beh, prenderò solo i tempi di consegna e aggiungerò una coda in cui dirò, ad esempio, che c’è una probabilità del 5% che i tempi di consegna raddoppino. Normalmente i tempi di consegna dei semiconduttori sono molto lunghi, come 18 mesi, ma qui aggiungi dal nulla un aspetto, diciamo una probabilità del 5% annuale che i tempi di consegna raddoppino per qualsiasi motivo.
Non è necessario essere precisi, sai, alla fine può essere un conflitto, può essere una serie di blocchi, può essere un’influenza che chiude i porti, può essere qualsiasi cosa. Ma questa è la bellezza di questo approccio probabilistico combinato con i paradigmi di programmazione, ti consente di inserire l’intento ad alto livello nella struttura stessa dei tuoi modelli. Sarà molto grezzo, ma ti permetterà anche di fare ciò che vuoi in termini di direzione anziché gestire in modo microscopico le sovrascritture a livello di SKU.
E la cosa interessante è che se torno a questo esempio in cui aggiungiamo questa probabilità del 5% di raddoppiare i tempi di consegna, la cosa interessante è che puoi letteralmente dare un nome a questo fattore. Diresti che questo è il nostro Fattore di Paura e basta. Dici solo, ok, è il mio fattore di paura delle cose, sai, delle cose davvero brutte che accadono ed è tutto. E qui sta la bellezza, una volta che hai questo, tutte le tue decisioni saranno gentilmente orientate verso questa probabilità extra di un evento raro e non dovrai gestire in modo microscopico l’SKU per SKU e fare tutte le cose che non invecchieranno bene.
E se dopo sei mesi ti rendi conto che la tua paura era ingiustificata, allora è molto facile annullarla. Perché? Perché hai del codice in cui hai questo Fattore di Paura che viene fornito con un commento che dice, questo è il mio termine che è il Fattore di Paura. Quindi vedi, in termini di documentazione, tracciabilità, reversibilità, quando affronti un problema attraverso i paradigmi di programmazione, ottieni qualcosa di estremamente mantenibile. Perché questo è anche un problema che avevamo in passato quando le persone facevano interventi manuali ed era la maggior parte dei costi, era la scarsa manutenzione delle sovrascritture.
Le persone a volte possono avere l’idea giusta, mettono una sovrascrittura e poi se ne dimenticano. E poi la cosa rimane e poi diventa radicalmente sbagliata. E questo è il problema perché vedi, una volta che introduci una sovrascrittura, diresti, oh, ma perché hai quella? Beh, il problema con le sovrascritture è che quando sei un fornitore di software come Lokad, rigenererai la tua previsione ogni singolo giorno. Quindi le persone non possono semplicemente sovrascrivere la tua previsione e basta perché domani rigenererai tutto.
E quindi devono persistere in qualche modo la sovrascrittura. E il problema è che ora hai una configurazione persistente che sarà lì e chi è responsabile di mantenerla? E poi ti ritrovi con un flusso di lavoro ancora più complesso per la manutenzione delle sovrascritture, la sorta di fase di eliminazione della sovrascrittura, ecc. E tutte queste cose non vengono mai discusse nella letteratura. È molto interessante, ma dal punto di vista di un fornitore di software aziendale, è solo una situazione molto dolorosa e ti ritrovi ad avere come 20 volte o addirittura 100 volte più righe di codice per gestire quella situazione, che è un aspetto molto poco interessante rispetto all’affrontare l’aspetto più fondamentale dell’ottimizzazione predittiva.
Nikos Kourentzes: In linea di principio, la posizione che Joannes assume è una posizione con cui penso che molte persone non sarebbero in disaccordo, o almeno le persone che hanno affrontato entrambi i lati. La mia opinione è che gli aggiustamenti non debbano avvenire in questo modo. Non ho ancora una soluzione a riguardo perché è un’area di ricerca molto attiva. Come ho detto, so che molte persone hanno lavorato su come eliminare questo tipo di aggiustamenti o quello tipo di aggiustamenti.
Potresti anche pensare al problema in un modo molto diverso. Cercherò di rispondere in qualche modo prendendo in considerazione una ricerca analoga con uno dei miei colleghi, Ive Sager. Lui è in Belgio. Abbiamo lavorato molto per cercare di capire come possiamo trasferire le informazioni che esistono a livello strategico o a livello aziendale a livello di SKU.
Quindi potrebbe potenzialmente offrire un modo in cui potresti dire, guarda, non sto andando a regolare ogni SKU. Sono completamente d’accordo che la microgestione non sia una buona idea, intendo per la tua SKU o in generale, direi. Ma questa è una discussione diversa. Se lasci che le persone si lascino andare con i loro aggiustamenti, nella maggior parte dei casi, a causa dei pregiudizi umani, della proprietà, e così via, di solito perderanno tempo. Se saranno distruttivi o costruttivi con gli aggiustamenti è da vedere, ma sicuramente perderanno tempo.
Il lato software che Joannes ha menzionato, devo prendere la tua opinione così com’è. Non sono nella stessa area, anche se concordo sul fatto che ci siano bug ovunque, nel mio codice di sicuro. Ma posso vedere che c’è un modo diverso in cui qualcuno potrebbe pensare agli aggiustamenti come a un processo nel suo complesso.
Non penso che sia utile dire, sai, devo ora gestire X numero di serie temporali. Sarebbe più come, sai, strategicamente facciamo un cambiamento di direzione o il nostro concorrente ha fatto X. Queste sono azioni molto difficili da quantificare, quindi potrebbe essere ancora meglio dire che l’inazione è meglio della quantificazione casuale.
Ma posso anche vedere che queste informazioni non sono presenti nei modelli. Quindi, se aggiungessi al modello qualche rischio aggiuntivo che l’utente può calibrare o se potessi chiedere all’utente, puoi trovare un modo diverso per regolare il tuo output? Rimane comunque un elemento di giudizio in un modo o nell’altro. Qual è il modo migliore per introdurre quell’elemento di giudizio, penso che sia una domanda aperta.
Non vedo il modo usuale di fare gli aggiustamenti come il modo produttivo. Non sono solo gli aspetti di complicazione del processo che Joannes sta menzionando, ma vedo anche le persone che perdono tempo. Si fanno troppo prendere da quello, dicono che il mio lavoro è venire in ufficio e passare attraverso ogni serie temporale una per una, guardare i numeri o i grafici. Questo non è quello che dovrebbe fare un analista.
Soprattutto oggi che le aziende iniziano ad avere team di data science, c’è competenza, ci sono persone ben addestrate sul mercato. Non dovremmo sprecare il loro tempo in quel modo, dovremmo usarli per sistemare il processo. Quindi, ecco perché penso che ci sia spazio per gli aggiustamenti, ma non nel modo tradizionale. Penso che la ricerca sia abbastanza conclusiva a riguardo, che a causa delle incongruenze, a causa dei pregiudizi, in media, non otterrai il beneficio.
Conor Doherty: Non c’è nulla nel perseguire la congruenza delle previsioni come metrica che precluda la possibilità di avere l’automazione. L’automazione potrebbe comunque far parte del processo di previsione in vista della congruenza, giusto? O ho capito male?
Nikos Kourentzes: In un certo senso, hai ragione. La mia comprensione della congruenza, come è definita e come l’abbiamo vista empiricamente nei dati aziendali, indicherebbe effettivamente all’utente di eliminare tutti gli aggiustamenti minori. Perché gli aggiustamenti causerebbero fluttuazioni aggiuntive che sarebbero incongruenti. Quindi naturalmente, spingerebbe verso l’eliminazione di molti aggiustamenti.
Ma sono un po’ scettico perché dovremmo capire dove stiamo diventando troppo congruenti, dove le informazioni che gli esperti avrebbero sarebbero cruciali. Questa è ancora una domanda aperta. Ma se pensiamo al solito processo che sia Joannes che io abbiamo criticato, le metriche di congruenza ti aiuterebbero a vedere il problema.
Conor Doherty: Quindi, nessuno di voi ritiene che si debba fare un’aggiustamento manuale giorno per giorno per ogni singolo SKU. Sarebbe solo uno spreco di denaro. Quindi c’è totale accordo su questo punto.
Joannes Vermorel: Ma questa è una pratica de facto della maggior parte delle aziende. Sono d’accordo quando dici che vuoi tradurre l’intento strategico. Sono completamente d’accordo. E quando dico che uso il termine paradigmi di programmazione, mi riferisco solo agli strumenti che ti permettono di farlo. Quindi, fondamentalmente, vuoi che, proprio come non vuoi che le persone si perdano nella gestione dettagliata degli SKU, non vuoi che chiunque nel team di data science stia cercando di tradurre l’intento strategico si perda nella scrittura di codice lungo e inelegante che è più probabile di avere ancora più bug e problemi.
Ad esempio, hai una distribuzione di probabilità per la domanda, hai una distribuzione di probabilità per i tempi di consegna e vuoi solo combinare le due. Hai un operatore per farlo? Se hai un operatore, Lokad ne ha uno, puoi letteralmente avere una riga di codice che ti dà la domanda nel lead time. Questa è la domanda integrata su un tempo di consegna variabile. Se non ce l’hai, allora puoi risolvere la situazione con il metodo Monte Carlo, nessun problema. Non è molto difficile. Sai, con il Monte Carlo, campionerai la tua domanda, campionerai i tuoi tempi di consegna e guarda un po’, lo farai, nessun problema. Ma invece di avere qualcosa che richiede una sola riga, richiederà tempo e avrai un ciclo. Quindi, se hai un ciclo, significa che puoi avere eccezioni di indice fuori intervallo, puoi avere eccezioni di fuori di uno, hai tutti i tipi di problemi. Di nuovo, puoi risolvere tutto questo con la programmazione in coppia, i test unitari e così via, ma aggiunge codice.
Quindi il mio punto era, e ti seguo davvero, penso che qui, vedi, è l’essenza di cui parlavi. Hanno un team di data science. È per spostare la correzione e sono completamente d’accordo con te, è per spostare la correzione da “aggiusto un numero” a “aggiusto un pezzo di codice”. E penso che sia esattamente, penso che qui su queste cose, siamo un po’ allineati. Se spostiamo essenzialmente l’intervento umano da “aggiusto un numero” e “scelgo a caso una costante nel mio sistema e la aggiusto” a “ok, affronterò un codice e ripenserò un po’ a quale è l’intento e farò questo aggiustamento”, allora posso approvare e funziona.
Il mio punto era spostare la correzione dall’aggiustare un numero all’aggiustare un pezzo di codice. Se spostiamo l’intervento umano dall’aggiustare un numero all’affrontare il codice e ripensare un po’ a quale è l’intento e fare questo aggiustamento, allora posso approvare e funziona.
E infatti, se torniamo allo spreco di tempo, la cosa interessante è che quando si modifica il codice, sì, ci vuole molto più tempo per cambiare una riga di codice. Ci vorrà forse un’ora, mentre cambiare un numero richiede solo un minuto. Ma quest’ora si applicherà poi all’intera azienda. Sai, quando viene fatto al livello giusto, hai quest’ora di codifica che ti dà un beneficio a livello aziendale rispetto a questo minuto su un SKU che ti dà possibilmente un beneficio, ma solo per l’SKU.
Conor Doherty: Quindi, stai parlando della differenza tra l’aggiustare manualmente un output, ciò che ha previsto il forecast, rispetto all’aggiustare la ricetta numerica che produce il forecast?
Joannes Vermorel: Esattamente, c’è un’informazione in questo mondo, il presupposto di base penso sia che ci sia un’informazione che è nelle notizie o forse un’informazione privata a cui si ha accesso attraverso la rete dell’azienda stessa. Quindi, hai un’informazione extra che non è nel modello, che non è nei dati storici.
Quindi concordo con l’affermazione e concordo con l’idea che sì, non abbiamo ancora una super intelligenza, una intelligenza generale. Non possiamo avere ChatGPT che, sai, elabora tutte le email dell’azienda e lo fa per noi. Quindi non abbiamo questo grado di intelligenza a nostra disposizione. Quindi devono essere le menti umane a fare questo processo di selezione. E concordo sul fatto che ci sia valore nel avere persone che pensano criticamente a queste informazioni e cercano di riflettere in modo accurato ciò nell’approvvigionamento.
E seguo davvero Nikos nel senso che dice, e poi la scienza dei dati, perché sì, alla fine dovrebbe essere il compito del team di scienza dei dati dire ogni singolo giorno: ho un modello. È veramente fedele all’intento strategico della mia azienda? Che è una domanda molto generale, che riflette veramente la strategia espressa da chiunque stia elaborando la strategia nell’azienda? Che è un problema qualitativo, non quantitativo.
Nikos Kourentzes: Lasciatemi aggiungere qualcosa qui perché penso che Joannes abbia detto qualcosa che è molto utile per far capire alle persone perché siamo critici degli aggiustamenti tradizionali. Ha menzionato che non si tratta della previsione del punto, ma dell’espressione probabilistica di quella. Le persone aggiustano le previsioni del punto, che non ha senso in termini di inventario. Ci interessa la probabilità dell’intera distribuzione.
Quindi se qualcuno potesse farlo, forse potrebbe effettivamente fare qualcosa. Ma nessuno lo fa, e sai, lavoro con le statistiche da, come ho detto, la maggior parte dei 20 anni. Non posso farlo facilmente in modo immediato. E sai, la mia incapacità non significa che altre persone non possano farlo, ma tutto quello che sto dicendo è che quando si pensa in senso probabilistico, l’informazione è così astratta che è molto difficile per qualcuno andare manualmente e dire, sì, aggiustalo di 10 unità. È un processo molto difficile. Quindi in un certo senso, molte persone fanno tutti questi aggiustamenti sulla quantità sbagliata comunque.
Joannes Vermorel: Sono completamente d’accordo. Quando ho detto che a Lokad abbiamo smesso di fare aggiustamenti dieci anni fa, è stato esattamente il momento in cui siamo diventati probabilistici. Le persone dicevano che dovevamo fare aggiustamenti, e poi mostravamo loro gli istogrammi della distribuzione di probabilità.
Diremmo loro, sii mio ospite, e poi le persone si sarebbero tirate indietro e avrebbero detto, no, non lo faremo. Era davvero un meccanismo per impedire alle persone di interferire al livello sbagliato. Quando venivano mostrate le distribuzioni di probabilità, si rendevano conto che c’è molta profondità. Voglio dire, le persone penserebbero a quelle distribuzioni di parità per una supply chain come a delle curve a campana gentili, sai, gaussiane e così via. Questo non è il caso.
Ad esempio, diciamo che hai un negozio fai-da-te. Le persone comprerebbero certi prodotti solo in multipli di quattro o otto o dodici perché c’è una certa logica in questo. Quindi il tuo istogramma non è come una curva a campana, ha picchi dove le persone comprano uno solo perché ne hanno bisogno o ne comprano quattro o otto e niente in mezzo. Quindi quando inizi a pensare, “Ok, dovrei spostare la media da 2,5 a 3,5?” Ma guardi l’istogramma e l’istogramma è come tre picchi: una unità, quattro unità, otto unità.
Improvvisamente le persone dicono, non ha davvero senso per me cercare di spostare quelle cose. Non sposterò la probabilità che attualmente è assegnata a quattro a cinque perché non sta succedendo. Quello che probabilmente vorrei fare se voglio aumentare la media è diminuire la probabilità di zero e aumentare la probabilità di tutte le altre occorrenze.
Le persone si rendono conto che c’è molta profondità in quelle distribuzioni di probabilità. Ci sono molte truffe, solo menzionando quei multipli magici che esistono. Questa era la nostra osservazione. Siamo completamente d’accordo sul fatto che quando le persone vedono quelle distribuzioni di probabilità, si rendono conto che non regoleranno manualmente questo bucket dell’istogramma. Quindi questa reazione di impraticabilità è reale.
Conor Doherty: Beh, ancora una volta, tengo presente che abbiamo effettivamente preso molto del tuo tempo, Nikos. Ma ho una sola ultima domanda. Lavori in un laboratorio di intelligenza artificiale, sembrerebbe un’omissione non chiederti come l’IA potrebbe inserirsi nel contesto di ciò di cui stiamo parlando in futuro. Quindi, che sia l’automazione della previsione in congruenza con l’IA che fa gli override, non so, delineare ciò che vedi come il futuro lì, per favore.
Nikos Kourentzes: È una domanda da un milione di dollari. Posso rispondere allo stesso modo in cui uno dei revisori che ha esaminato l’articolo aveva alcune preoccupazioni. La domanda era tipo, “Va bene, e allora? Sai, ecco un’altra metrica, e allora?”
E io dicevo, “Guarda, se hai un modello statistico abbastanza semplice, puoi lavorare attraverso i calcoli, puoi trovare tutto analiticamente, va bene. Quando inizi a entrare nel machine learning e soprattutto con i modelli di IA massicci che stiamo usando ora, questa è una sfida molto difficile. Quindi è molto utile se abbiamo dei punti di riferimento, qualcosa del genere, che possano effettivamente rendere un po’ più semplice capire cosa stanno facendo questi modelli.
Se, ad esempio, ho un modello di IA massiccio e possiamo dire, guarda, questo spinge la previsione verso una maggiore congruenza, allora potrei avere un modo per considerare questo modello in modo più semplice. Quel modo più semplice non consiste nel ridurre la complessità del modello in alcun modo, ma nel capire come questo influisce sul mio inventario, come influisce sul mio processo decisionale, come influisce sulla mia assunzione di bullwhip menzionata in precedenza, processo in corso.
Questo è essenzialmente come finiamo effettivamente il working paper. Stiamo dicendo che il vantaggio di questa metrica è capire come possono comportarsi i modelli che sono scatole nere. Non penso che vedremo in futuro modelli che non siano in qualche modo ispirati dall’IA. Sono un po’ scettico quando le persone vogliono sostituire tutto con l’IA perché alcune cose possono essere semplicemente più semplici, più efficienti. La mia preoccupazione non deriva necessariamente dalla matematica del problema o dalla ricchezza dei dati e così via. Penso che questi siano problemi che possiamo risolvere. La mia preoccupazione deriva più da un aspetto molto semplice del processo e dalla sostenibilità della questione.
Se ho un modello di IA massiccio in esecuzione che alla fine, una volta che inizio a scalare tutto su quel modello, inizia a consumare molta potenza di calcolo cloud e molta elettricità, devo fare tutto questo se avrò solo una differenza del 1% da un liscio esponenziale? A volte avrò molto più di una differenza del 1%, vai avanti. Ma a volte non ho bisogno di tutta questa complicazione. Posso optare per qualcosa di più semplice che è anche più trasparente per gli esperti non di IA.
L’IA è una strada da percorrere per molti dei problemi che abbiamo. Penso che in molti casi le sfide di previsione che stiamo affrontando e soprattutto le decisioni che supportiamo con queste previsioni siano un terreno molto fertile per le applicazioni di IA. Ma questo non significa che dobbiamo dimenticare tutto ciò che sapevamo, andare solo con l’IA. Questo è un po’ riflesso anche nel paper. Perché come ho detto prima, non è il primo paper che dice, “Oh, modifichiamo un po’ l’obiettivo per non essere solo l’accuratezza.” Anche altri colleghi lo hanno fatto. La differenza è che stiamo cercando di fare un po’ di algebra per mostrare, “Beh, questo è davvero ciò che succede una volta che facciamo questo.” Quindi mi piace quando siamo in grado di fare questo tipo di interpretazione o ottenere l’intuizione di questa azione.
L’IA è una strada da percorrere per molte domande, ma non dovremmo dimenticare che è utile per capire cosa stiamo facendo. Non dovremmo solo fidarci ciecamente e dire che in qualche modo il modello di IA farà ciò che spero stia facendo. Non sto suggerendo che i modelli di IA non possano fare cose davvero buone. Sto solo dicendo, “Non lasciamolo o spero che funzioni. Dovrebbe essere meglio di quello che spero.”
Conor Doherty: Cosa ne pensi?
Joannes Vermorel: Penso che Nikos abbia assolutamente ragione. Proprio come dicevo che per l’aggiustamento, la quantità di righe di codice deve essere considerata. Il sovraccarico dei modelli di deep learning è assolutamente enorme e complica tutto. Pochi si rendono conto che per molte schede GPU, non è nemmeno chiaro come effettuare calcoli deterministici. Ci sono molte situazioni in cui esegui letteralmente il calcolo due volte e ottieni due numeri diversi perché l’hardware stesso non è deterministico.
Questo significa che ti ritrovi con gli Heisenbugs? Sai, gli Heisenbugs sono quando hai un bug, cerchi di riprodurlo e scompare. Quindi ad un certo punto smetti di inseguirlo perché dici, “Beh, sto cercando di riprodurre il caso, non succede, quindi suppongo che funzioni.” E poi lo rimetti in produzione e il bug si ripresenta e non riesci a riprodurlo.
Quindi sono completamente d’accordo. La semplicità rende tutto un po’ migliore, quando è remotamente nella stessa fascia di prestazioni. Se hai qualcosa che è molto più semplice, la cosa più semplice vince sempre nella pratica. Non ho mai visto una situazione in cui un modello che supera di qualche percento un altro modello, secondo qualsiasi metrica, superi nel mondo reale.
È un’alternativa se l’alternativa è di un ordine di grandezza più semplice per ottenere più o meno gli stessi risultati, anche se la metrica sono quei cosiddetti dollari o euro che Lokad ha cercato di ottimizzare. La ragione è un po’ strana, ma la ragione è che le catene di approvvigionamento cambiano, come abbiamo accennato, grazie all’intervento umano.
Quando vuoi intervenire per apportare modifiche, il tempo è essenziale. Se hai un programma, un modello complesso, migliaia di righe, significa che solo la logistica, ad esempio, qualche anno fa a Lokad, avevamo decine di clienti colpiti dalla nave Evergreen che aveva bloccato il Canale di Suez. Avevamo essenzialmente 24 ore per adattare tutti i tempi di consegna per praticamente tutti i nostri clienti europei che importavano dall’Asia.
È qui che è cruciale essere in grado di rispondere in poche ore, invece di aver bisogno di una settimana solo perché il mio modello è molto complicato. Se vuoi che ti fornisca la soluzione senza introdurre così tanti bug nel processo da minare ciò che faccio, hai bisogno di un modello più semplice. Sono completamente d’accordo che ci sia un valore e un costo. Per quelle aziende che hanno iniziato a giocare con GPT4, il costo è molto alto.
Conor Doherty: Beh, Nikos, non ho altre domande, ma è consuetudine dare l’ultima parola all’ospite. Quindi, per favore, qualche chiamata all’azione o qualcosa che vorresti condividere con i telespettatori?
Nikos Kourentzes: La mia chiamata all’azione è che dobbiamo superare le visioni tradizionali della previsione isolata dalla presa di decisioni. Nel contesto della nostra discussione, l’inventario e così via, dobbiamo cercare di vedere queste cose in modo più congiunto.
Sono un accademico, altri colleghi avranno altre opinioni, Lokad ha la sua prospettiva anche. Penso che ci sia valore in tutte queste prospettive perché tutte puntano nella stessa direzione. Dobbiamo lasciare ciò che facevamo qualche decennio fa, aggiornare il nostro modo di pensare, aggiornare il nostro software, aggiornare i nostri libri di testo. C’è valore nel farlo. Non si tratta solo di cambiare il nostro software o altro, porterà effettivamente a decisioni diverse.
Accolgo con favore l’inclusione nel campo della previsione di molte persone provenienti dall’informatica, dall’apprendimento approfondito, dalla programmazione, dal lato dell’inventario perché questo è il momento in cui possiamo affrontare questi problemi seriamente. Non voglio dare l’impressione che questo tolga qualcosa al valore del mondo della previsione come campo di ricerca. Appartengo a quel mondo, quindi vorrei anche dire che non possiamo semplicemente prendere un mucchio di librerie, eseguire alcuni codici e dire che va bene.
Molte volte, quando lavoro con l’industria o gli istituti, il valore sta nel trovare il processo giusto, affrontare la metodologia sbagliata, che è tutto ciò che il campo della previsione può offrire. Mi piace l’idea di mantenere i passaggi nel processo, ma dobbiamo lavorare insieme per trovare una soluzione congiunta. È uno spazio interessante.
Tornando all’inizio della domanda, quando ho detto che mi piace lavorare con il team all’università. C’è polifonia, ci sono molte idee. Io propongo la mia domanda di previsione e altre persone dicono: “E questa? Hai pensato a questa prospettiva?” E io sono come, “Guarda questa, non ci avevo mai pensato.”
Conor Doherty: Grazie, Nikos. Non ho altre domande. Joannes, grazie per il tuo tempo. E ancora una volta, Nikos, grazie mille per essere stato con noi e grazie a tutti voi per aver guardato. Ci vediamo la prossima volta.
