00:00:00 Avvio del panel, dibattito sui KPI guidato dal pubblico
00:04:00 La supply chain equivale all’economia: allocare risorse scarse
00:08:00 Il valore dell’informazione collega le previsioni alla finanza
00:12:00 I piccoli Beanie Babies smascherano la fallacia dell’accuratezza
00:16:00 I livelli di servizio nascondono asimmetria e incentivi
00:20:00 Scommesse sull’inventario in stile poker; la previsione degli stockout è importante
00:24:00 Opzionalità: pricing, sconti, trasferimenti rimodellano gli esiti
00:28:00 L’incertezza del lead-time e le correlazioni compromettono le metriche semplici
00:32:00 Cigni viola: le code rivelano futuri stockout
00:36:00 Domanda aerospaziale: retrofit e richieste fantasma
00:40:00 Simulazioni decision-to-cash sostituiscono l’inseguimento dei KPI
00:44:00 Due dashboard: valore esecutivo e integrità dei dati
00:48:00 Inconsistenze nella qualità dei dati: negativi, resi, potenza mancante
00:52:00 Le sovrascritture manuali segnalano difetti del modello
00:56:00 I bonus KPI creano conflitti e comportamenti di gaming
01:00:00 La legge di Goodhart: gli obiettivi si degradano col tempo
01:04:00 Elimina i muri metrici; conserva i cinque elementi essenziali
01:08:00 Considerazioni finali e conclusione
Sommario
La supply chain è un’applicazione dell’economia: allocare risorse scarse per massimizzare il ritorno. KPI percentuali come forecast accuracy e service levels sembrano “scientifici” eppure spesso ignorano le vere asimmetrie—gli stockout possono annullare il margine, mentre un inventario in eccesso solitamente comporta “solo” costi o il rischio di markdown. L’alternativa è una valutazione decisionale end-to-end espressa in euro: previsioni probabilistiche, simulazione Monte Carlo e confronti tra risultati finanziari attesi e reali. La governance dovrebbe monitorare gli indicatori di fallimento del modello (in particolare le sovrascritture manuali) e l’integrità dei dati, evitando schemi di incentivi che invitano al gaming dei KPI.
Riassunto esteso
La discussione inizia trattando la supply chain per quello che è: un’applicazione dell’economia in condizioni di scarsità. Ogni scelta—acquistare inventario, consumare materiali, spostare scorte—utilizza risorse limitate che non possono essere spese due volte. Quindi, l’obiettivo corretto non è massimizzare percentuali “belle da vedere”, ma massimizzare il ritorno sulle risorse impiegate.
Da questo presupposto, il panel smantella gli idoli usuali: forecast accuracy e service levels. Queste metriche sono facili da calcolare e da venerare, proprio perché sono distaccate dalla realtà aziendale. Una percentuale può sembrare scientifica—97,17% ha un suono rassicurante—pur dicendo ben poco su profitto, flusso di cassa o rischio. Peggio ancora, le metriche standard di accuratezza penalizzano in maniera simmetrica sia l’over-forecasting che l’under-forecasting, nonostante l’economia sia asimmetrica: un stockout può distruggere il margine e la fiducia dei clienti, mentre un inventario eccessivo solitamente comporta “solo” costi di carrying cost o rischio di markdown.
L’alternativa è collegare le decisioni agli esiti finanziari in maniera end-to-end. Patrick inquadra questo concetto come il “value of information”: utilizzare previsioni probabilistiche (distribuzioni complete, non stime puntuali), simulare le decisioni tramite Monte Carlo, propagare l’incertezza attraverso i KPI fino ai bilanci, per poi confrontare risultati attesi e reali. Joannes è d’accordo, aggiungendo che il dibattito tecnico—simulazione contro modellamento della densità—è secondario; la chiave è che la catena debba terminare in euro o dollari, non in metriche astratte.
La conversazione attacca anche il mindset della “static forecast”. Nel retail, la domanda dipende dalle azioni sui prezzi e dalle opzioni di liquidazione; prevedere un singolo futuro senza riconoscere l’opzionalità trasforma la pianificazione in un impegno prematuro. Le operazioni reali sono dinamiche: trasferimenti tra negozi, sconti e altre leve modificano gli esiti dopo la decisione iniziale.
Per quanto riguarda l’incertezza, lead times ed eventi rari sono importanti. Le distribuzioni possono essere bimodali con code lunghe, appaiono correlazioni per ordini di grandi dimensioni, e i casi limite dominano le perdite. L’“accuratezza” spesso ignora l’esoso 1%—il malfunzionamento che innesca ordini di acquisto sconsiderati, il mancato rispetto stagionale dei prodotti perishable, la parte aerospaziale che diventa urgente a causa di retrofit o finestre di manutenzione. Questi non sono curiosità statistiche; sono le situazioni in cui il denaro brucia.
Infine, la governance: Joannes sostiene che il segnale non finanziario più importante siano le sovrascritture manuali delle decisioni automatizzate, perché queste rivelano l’ignoranza del modello o un fallimento dei dati. Entrambi enfatizzano i controlli sull’integrità dei dati e avvertono che gli incentivi legati ai KPI invitano al gaming. Se si trasforma una metrica in un obiettivo, essa si degrada; è meglio mantenere poche metriche, ancorate finanziariamente, e fare affidamento sul giudizio gestionale piuttosto che su una valutazione burocratica con punteggi.
Trascrizione completa
Conor Doherty: Questo è Supply Chain Breakdown, e il panel di oggi analizzerà i KPI che contano di più per la tua supply chain performance. Voi sapete chi sono. Io sono Conor, Direttore della Comunicazione qui a Lokad.
Alla mia sinistra, come sempre, Joannes Vermorel, fondatore di Lokad. Il nostro ospite speciale di oggi, che ci raggiunge in remoto, è Patrick McDonald. È Consulente Esecutivo presso Evolution Analytics, e porta a questo panel circa 30 anni di esperienza molto rilevante.
Quindi Patrick, prima di tutto, ti ringrazio molto per essere qui con noi.
Patrick McDonald: Grazie mille, Conor. È davvero, davvero un piacere essere qui.
Conor Doherty: Perfetto. È un piacere averti qui.
Ora, prima di iniziare, questa è una chat live. Questo panel è stato organizzato su richiesta del nostro pubblico. Quindi, se avete domande o commenti, inviateli. Pensate che il forecast accuracy sia un KPI importante per la vostra supply chain? Perché? E i service levels? Non fateci iniziare a discuterne.
Ma andiamo avanti. Patrick, in qualità di ospite, iniziamo da te. Quindi, prima di addentrarci nei dettagli della decostruzione dei KPI, siamo tutti logici qui, così credo che la prima domanda debba essere: qual è esattamente, secondo te, l’obiettivo delle decisioni nella supply chain? E poi, più tardi, potremo parlare dei KPI per misurare l’efficacia di tali decisioni, giusto?
Patrick McDonald: E penso che questa sia una domanda veramente importante. Ho lavorato, come ho detto, per 30 anni nella consulenza gestionale e in progetti di data science. Rispondere correttamente a questa domanda è spesso molto più difficile di quanto si possa pensare.
Entriamo e diciamo: “Qual è esattamente l’obiettivo qui?” E penso che, praticamente di consueto, la risposta sia: stiamo cercando di prendere una decisione su come allocare una risorsa.
Molto spesso si tratta di dove posizionare l’inventario. In altri contesti, potrebbe riguardare dove concentrare i nostri sforzi, come allocare il tempo del personale, ecc.
Ma dal punto di vista della supply chain, si tratta essenzialmente di: come andremo ad allocare l’inventario? E questa è la decisione fondamentale che stiamo cercando di prendere. Credo che sia necessario esaminare le decisioni che si stanno prendendo in quel contesto per poter concentrarsi davvero e ottenere i migliori risultati.
Quindi, è qualcosa che ho cercato di fare nel corso della mia carriera, ed è a questo che entreremo oggi. Non vedo l’ora.
Conor Doherty: Bene, grazie, Patrick. E Joannes, so che preferisci concentrarti sull’ottimizzazione dei service levels in isolamento, giusto? Questo per te è l’obiettivo della supply chain. Sto parafrasando, giusto?
Joannes Vermorel: Non proprio. Apprezzo davvero l’approccio di Patrick, che consiste nel concentrarsi sulle decisioni.
Più specificamente, il mio punto di vista è che la supply chain è un ramo applicato dell’economia. Quindi abbiamo una serie di scelte che riguardano l’allocazione di risorse scarse.
Inventario: prima hai i tuoi fondi che devi spendere per decidere cosa acquistare. Una volta speso un dollaro per qualcosa, non puoi spenderlo per qualcos’altro. Poi, se hai le materie prime e le consumi per produrre qualcosa, non appena vengono consumate, spariscono.
Se sposti un pezzo di inventario di un prodotto finito da un luogo A ad un luogo B, non appena viene spostato non è più disponibile nel luogo A. Hai quelle risorse scarse che dovrebbero essere rese il più utili possibile per l’azienda.
Poi, quando arriviamo al concetto di sfruttare al meglio quelle risorse scarse, la risposta breve è: massimizzare il tasso di ritorno.
In sostanza, per ogni dollaro o equivalente che impieghi, vuoi assicurarti di ottenere il massimo ammontare di denaro in cambio. Quindi, in definitiva, devi massimizzare il tasso di ritorno.
Conor Doherty: Bene, grazie. Patrick, ritorniamo a te. Sei d’accordo con questa visione—che la supply chain sia fondamentalmente un ramo applicato dell’economia?
Patrick McDonald: Penso di sì, assolutamente. L’approccio che ho adottato negli ultimi anni è un concetto di quel ramo che forse non è stato pubblicato molto bene. Si chiama value of information.
Il lavoro che tendo a fare è aiutare a rispondere alla domanda: da una prospettiva di data science potremmo usare una previsione come intuizione, giusto? E sulla base di ciò prendiamo una decisione su come posizionare l’inventario.
Quindi procediamo in tal modo, e possiamo fare una previsione basata sul nostro modello: se posizioniamo l’inventario lì, quali saranno probabilmente le vendite? Se so quali saranno, a quanto ammontano, le vendite, posso anche dire: qual è il livello di inventario previsto?
Se lo so, posso allora calcolare quali saranno probabilmente i miei KPI. Conoscendo i miei KPI, posso poi calcolare quali saranno gli elementi finanziari nel bilancio.
Quindi, negli ultimi anni mi sono dedicato a esaminare l’intera catena. Tipicamente, quello che faccio è un’analisi Monte Carlo basata sul livello di incertezza presente nella previsione.
Questo è uno degli aspetti chiave, giusto? Le persone inseguono quella precisione puntuale, a cui personalmente non do molta importanza. Io mi preoccupo molto, molto di più della funzione di massa di probabilità effettiva, o della funzione di densità, attorno alla previsione stessa.
Quindi sto sfruttando ciò. Sto eseguendo analisi Monte Carlo, seguendo quella catena dall’intuizione, passando per la decisione, attraverso i KPI, fino ai bilanci finanziari. Questo mi permette di comprendere davvero cosa sta accadendo, effettuare simulazioni, e osservare i possibili risultati con una comprensione della probabilità che si verifichino.
Essere in grado di arrivare fino a un bilancio finanziario che poi puoi presentare in sala riunioni e dire: “Va bene, se prenderete questo tipo di decisioni, questi sono i risultati che potete aspettarvi.”
Poi possiamo tornare indietro e confrontare effettivamente il reale con l’atteso, ottenendo un valore concreto. Ho constatato che questo è un approccio molto migliore rispetto a quello che vedo fare nella maggior parte delle aziende, che spazia da semplici fogli di calcolo, basati su regressioni lineari per ottenere una linea, fino a previsioni più sofisticate e l’inseguimento della precisione individuale delle previsioni.
Ha senso?
Conor Doherty: Bene, Joannes, ha senso?
Joannes Vermorel: Sì, ha senso. È molto, molto in linea con il modo in cui Lokad affronta le supply chain.
Infatti, esiste addirittura una dualità tra ogni tipo di simulatore—le tecniche Monte Carlo—e la previsione probabilistica con modellamento diretto della densità. Se disponi di qualcosa che può generare molte varianti sul futuro, puoi ricostruire le densità di probabilità.
E se hai le densità di probabilità, allora puoi generare varianti che le riflettono. Quindi puoi andare avanti e indietro. A volte è più pratico usarne una piuttosto che l’altra, ma si tratta più di un aspetto tecnico che di un concetto di alto livello.
L’intenzione in entrambi i casi è la stessa. Sì, l’idea è che vogliamo davvero collegare tutto in modo end-to-end all’esito finanziario.
Ci sono molti passaggi, ma fondamentalmente tutti questi passaggi sono artefatti numerici che sono solo un mezzo per un fine. Il fine è l’esito finanziario che si desidera massimizzare per l’azienda.
Conor Doherty: Bene, okay. Ho ascoltato molti termini matematici. Perfetto. Li capisco.
Ma voglio mantenere questo discorso un po’ più concreto. Quindi, se torniamo al punto, Patrick: sembriamo essere in completa unanimità—consenso totale—nel dire che l’impatto economico è ciò a cui dovremmo prestare attenzione. Quindi la supply chain è economia applicata.
Ok, a qualcuno che dice, “Beh, aspetta, Patrick. Se continuiamo a spingere per livelli sempre più alti di forecast accuracy e service levels, massimizzeremo il ritorno economico della nostra supply chain.” Come potrebbero numeri migliori—una forecast accuracy migliore e dei service levels migliori—non tradursi in una migliore performance economica?
Patrick McDonald: Giusto. So che è controintuitivo, ma semplicemente non è vero.
C’è un principio matematico—scusami, dovrò tuffarmi un po’ nel linguaggio matematico con te qui—chiamato disuguaglianza di Jensen, che ci aiuta a capire perché ciò non sia vero.
Ci sono un paio di aspetti chiave. Innanzitutto, se si considerano le metriche di accuratezza tradizionali, esse sono ponderate in modo uguale. Se il valore è troppo alto o troppo basso, il peso sarà lo stesso.
Ma non è questo che abbiamo nell’inventario. Il modello del value of information afferma: se perdo una vendita, perdo tutto il mio margine. Se ho troppo, allora ho solo il costo di mantenimento dell’inventario. Quindi, già da qui, esiste un’asimmetria da considerare.
Tipicamente, farò comunque questo tipo di valutazione sulle mie metriche di accuratezza.
L’altra cosa che ci sfugge è che sappiamo che c’è un’incertezza intrinseca nella previsione—intrinseca all’esito futuro—e quell’incertezza è fondamentalmente contenuta in quella funzione di densità.
Ora, puoi gestire ciò in diversi modi. Il modo più semplice, che abbiamo usato per anni, è comprendere la deviazione standard e cercare di usarla, impostando alcuni limiti.
Era appropriato ai vecchi tempi quando avevamo capacità di calcolo davvero limitate. Ma ora posso fare sul mio MacBook personale cose che un tempo avrebbero richiesto un supercomputer Cray, quando ero all’università.
Quindi la nostra capacità di calcolo è oggi così tanto superiore rispetto a prima che possiamo fare molto di più. Dobbiamo considerare sia quella funzione del valore dell’informazione sia anche la forma di quella funzione di densità di probabilità.
È qui che penso entrino in gioco alcune metriche chiave.
Se mi permetti solo per un minuto, ti racconterò una piccola storia su come mi sono avvicinato a questo—quando lo osservavo per la prima volta—e perché è diventato così importante per me nel corso della mia carriera.
Stavo appena iniziando, e stavamo costruendo un data warehouse per McDonald’s. Ero un consulente per Proco, ed era il 1997, il che ti dice quanti anni avevo.
Fu il primo anno in cui fecero la promozione dei Teeny Beanie Baby. Non so se te li ricordi o meno, ma fu enorme. Finì sui giornali. La gente comprava gli Happy Meals, butttava via il cibo solo per avere il giocattolo.
C’era un poveraccio, un fattorino, che fu aggredito perché qualcuno tentò di rubare i Teeny Beanie Babies. Finì nelle notizie nazionali. Fu un problema davvero grosso.
Siamo arrivati praticamente lunedì mattina quella prima settimana della promozione, e gli executive aziendali ci facevano pressione dicendo: “Abbiamo bisogno di un report sulla data di esaurimento del negozio”, giusto?
Perché vendevano i Teeny Beanie Babies così in fretta. Era il loro articolo promozionale. Deve essere economico. Alimenta l’intero carrello della spesa, no?
Deve essere economico. Li ordinano dalla Cina, quindi devono farlo con un anno di anticipo. Avevano una quantità fissa. Nessuna opportunità per il riapprovvigionamento.
Se la tua promozione dura quanto dura, quando finiscono i Teeny Beanie Babies, la promozione finisce. Le vendite crollano, giusto?
Quindi abbiamo preparato il report per loro. Infatti, si sono esauriti in circa una settimana e mezza.
Allora, è stata una buona promozione o no? Penso di sì, potenzialmente, ma riflettici: le tue vendite sono state quattro volte quello che ti aspettavi per una settimana e mezza, per poi crollare al di sotto del normale perché non c’era promozione per le restanti tre settimane del mese.
Così sono tornati da noi e hanno detto: “Beh, quanti dovremmo ordinare l’anno prossimo?” E noi abbiamo risposto: “Beh, sapete, quattro volte tanto.” E la decisione fu: “No, è decisamente troppo. Ne faremo due volte tanto.”
L’anno seguente si sono esauriti in due settimane e mezzo.
Sono proprio queste situazioni che mi hanno fatto iniziare a comprendere la sfida. Una parte del problema era che non riuscivano ad ottenere previsioni accurate.
Così abbiamo sviluppato quello che veniva chiamato un sistema interinale di previsione per loro, e funzionò per 18 anni. Doveva essere solo una soluzione temporanea finché non avessero trovato qualcosa di migliore, e per 18 anni calcolò i giocattoli degli Happy Meal e le polpette dei burger di McDonald’s.
Quello che mi dava davvero fastidio era che i fornitori di previsioni venivano e dicevano: “Posso garantirti una migliore accuratezza e, se ti offro una precisione superiore, otterrai risultati migliori per l’azienda.”
Per me era un po’ come quel fumetto Far Side di Gary Larson in cui un tizio, davanti a una lavagna piena di equazioni, indica un punto al centro inspiegabile e dice: “Ed allora accade un miracolo.”
Non sono mai riuscito a collegare i puntini finché non ho capito come realizzare questa value chain, con il valore degli analytics o il valore dell’informazione, lungo tutta la catena per poterla modellare.
Quindi questo è stato, in un certo senso, il percorso della mia carriera, ed è una delle cose su cui ho lavorato nel corso di questi 30 anni in cui mi sono occupato di data science.
Conor Doherty: Beh, grazie. Joannes, questo si sposa perfettamente con la tua prospettiva.
Nel tuo libro, sul tavolo, lo so—e sto citando i termini—tu definisci l’accuratezza e il livello di servizio come distrazioni, proxy scadenti, e uno dei tuoi termini preferiti: artefatti numerici.
Ora, in termini semplici, perché ti senti così? E presumo sia una qualche versione di ciò che Patrick ha appena detto.
Joannes Vermorel: Fondamentalmente, se guardi al livello di servizio, prima di tutto è un costrutto molto matematico nel senso che, essenzialmente, è una percentuale. Non riflette alcun valore economico per l’azienda.
Quindi, la prima cosa è che ogni volta che abbiamo elementi basati su percentuali, dobbiamo fare attenzione perché non è affatto chiaro che questo elemento abbia radici in qualcosa di concreto per l’azienda.
Questo è il trucco: potrebbe sembrare molto scientifico perché hai delle misurazioni e via dicendo, ma lo è davvero?
Apprezzo molto il commento di Patrick: “ed allora accade un miracolo.” Hai la tua percentuale, ma come si collega alla redditività? “Ed allora accade un miracolo.” Forse, ma forse no.
Il pericolo è che, ogni volta che hai quelle percentuali, rischi lo scientismo. Sembra scienza. C’è un numero, c’è una metrica, puoi avere anche una percentuale molto precisa—97,17—e questo la fa sembrare estremamente razionale.
Ma non lo è. È comunque solo una percentuale, e non è chiaro che sia collegata in alcun modo agli interessi a lungo termine dell’azienda.
Ora, se torniamo a quei livelli di servizio, possiamo considerare l’aspetto descrittivo e quello prescrittivo.
L’aspetto descrittivo è: io guardo al passato. Il problema è che se osservo il passato per un determinato SKU, e tipicamente ho un livello di servizio relativamente alto, posso avere molti SKU al 100%. Questo non mi dice molto.
Perché, ad esempio, questo giocattolo Beanie Baby, prima che iniziasse la promozione, per sempre era al 100% o indefinito. In termini descrittivi, non era molto utile.
E poi, quando scende a zero—perché le vendite si azzerano perché non lo hai più—il livello di servizio non fa distinzione se ti manca una sola unità o un milione.
Quindi, se noti questo, è un altro problema: dice “sono esaurito”, sì, ma non è la stessa cosa essere esauriti perché ho venduto 100 unità e mi manca una sola, rispetto a vendere una sola, e mi manchino 100 unità, rimanendo esaurito.
Quindi, ancora una volta, in termini descrittivi, non si racconta la storia.
Poi, se consideriamo l’aspetto prescrittivo—cioè: cosa dovrei cercare in termini di livello di servizio—è esattamente come hai descritto: le asimmetrie in termini economici non vengono prese in considerazione.
Se ho qualcosa che può, come McDonald’s, avere un impatto a doppia cifra percentuale sulla crescita delle mie vendite—cioè posso aumentare sostanzialmente le mie vendite—andrà a costare pochi centesimi per pasto avere quel giocattolo dalla Cina—questo è altamente, altamente asimmetrico.
Significa che con un investimento limitato posso ottenere una crescita massiccia.
In una situazione del genere diresti: “Sai una cosa, quei giocattoli di plastica non sono deperibili, sono molto economici, il potenziale di guadagno è altissimo, forse dovrei rischiare di avere un eccesso di scorte.”
Se le cose non andranno bene, li liquiderei gradualmente. I clienti non saranno… per esempio, da McDonald’s, nel peggiore dei casi, i clienti riceveranno due giocattoli con il loro pasto per un mese.
Probabilmente, anche se il secondo giocattolo non è dei migliori, non farà incazzare tanti clienti se l’Happy Meal include un secondo giocattolo.
Quindi posso vedere che il rischio che corro avendo troppe scorte non è così elevato, finché il costo per pasto rimane sotto controllo.
Patrick McDonald: Esattamente. Adoro il modo in cui, prima di tutto, parli dell’accuratezza come di un artefatto matematico.
Penso che, fondamentalmente, io l’abbia interpretato in maniera un po’ diversa. Lo chiamo uno dei seducenti sei. Ci sono sei ipotesi che i data scientist fanno troppo spesso.
Una di queste è quella dell’ottimo locale contro l’ottimo globale. Quindi, se dici che è un artefatto numerico—se mi concentro sull’accuratezza—mi sto focalizzando su un ottimo matematico artificiale locale invece di concentrarmi su ciò su cui dovrei concentrarmi, ovvero: come posso massimizzare il flusso di cassa o il profitto che genero?
Questo è il locale contro il globale.
L’altra cosa che mi viene in mente quando se ne parla è: quale decisione stai davvero cercando di prendere?
Io penso alle decisioni di inventario un po’ come si gioca a poker, giusto? Metti in gioco le tue fiches sul tavolo per scommettere basandoti su informazioni incerte.
Vuoi avere quante più informazioni possibili, e c’è un elemento di rischio.
Il mio attuale cliente è nei Paesi Bassi. Sono una società software-as-a-service dove, per il retail, si occupano di forecasting e aiutano i piccoli rivenditori a posizionare il loro inventario.
Una delle cose che hanno scoperto nelle loro applicazioni di forecasting è che puntavano prima all’accuratezza, e hanno constatato che quella non era la cosa più importante per quei rivenditori in particolare.
La cosa più importante era essere in grado di prevedere se sarebbero rimasti senza scorte, perché i rivenditori devono rifornirsi.
Se hai un capo di abbigliamento, solitamente ne hai uno per ogni stile, colore e taglia—magari un paio—ma non più di così. Spedisci una volta a settimana.
Rifornisci o no, giusto? Lo tieni in magazzino, lì, in attesa. Non c’è molta differenza in termini di spese operative se sta in magazzino o in negozio, ma non vuoi troppa merce sul pavimento del negozio.
Ma vuoi avere abbastanza scorte. Quindi la loro capacità di forecasting è davvero orientata a capire: ok, vendo quell’unità e rimango senza scorte?
È così che rispondono alla domanda: devo procedere e spingere l’inventario dal DC al punto vendita?
È un approccio molto valido perché rispondono a una domanda diversa, invece di cercare di dire: ok, quanti venderò, e posso raggiungere quel numero in modo specifico ed esatto?
La domanda è: prendo la decisione di spedire o no?
Capire davvero questo porta al nocciolo della questione: a quale domanda stai cercando di rispondere, e quindi quale metrica utilizzerò.
Quindi osservano il recall e la precisione in maniera molto più ravvicinata in relazione a una decisione categorica—rimango senza scorte o no—rispetto alla metrica numerica: quanto venderò.
Questo è un altro tipo di metrica che penso a volte dobbiamo considerare da una prospettiva di forecasting, poiché ci fornisce informazioni migliori riguardo alle decisioni che effettivamente prenderemo.
Ha senso?
Conor Doherty: Assolutamente. Assolutamente sì.
Joannes Vermorel: C’è un altro vantaggio se inizi a considerare la decisione. Ad esempio, il forecast della domanda: il problema è che, a seconda di come operi, potrebbe non esserci nemmeno una risposta buona—una risposta accurata.
Un esempio: hai la tua rete di moda retail. Alla fine della collezione, alla fine della stagione, hanno l’opportunità di applicare sconti per liquidare la collezione corrente.
Quindi, se dici “Prevedo questo livello di domanda”, la domanda è: a quale livello di prezzo stai formulando la previsione?
C’è il prezzo attuale, ma c’è anche l’opzione di applicare uno sconto. Ora devi considerare le varie strategie.
Se tengo l’unità in magazzino fino alla fine della stagione, dovrò spostarla da qualche parte e applicare uno sconto.
Se la trasferisco in negozio, potrei avere l’opportunità di venderla prima della fine della stagione, prima di dover applicare uno sconto.
Ma forse questo particolare negozio, in termini di potere di mercato quando si tratta di sconti—forse la clientela locale è molto povera e poco reattiva agli sconti per questo specifico negozio rispetto agli altri.
Quindi vedi: si tratta di diverse questioni—quella del locale contro il globale—ma anche, ciò che volevo sottolineare è che se pensi al futuro come qualcosa di statico, elimini tutta la capacità d’azione che hai di modellare questo futuro mentre lo percorri.
Quello che sto dicendo è che il problema della mentalità “forecasting-first” è che rimuove tutte le possibilità d’azione che l’azienda potrebbe avere, perché stai essenzialmente dicendo: questo è il piano, questo diventa un impegno, ed è quello che faremo.
Invece di pensare: questa è la decisione giusta, e tengo molte opzioni disponibili per supportare la decisione che sto prendendo in questo momento.
Non devo impegnarmi oltre la decisione. La decisione che prendo è il mio unico impegno. Il resto rimane aperto.
Questo è il problema del forecasting: tende a vincolare l’azienda a una traiettoria che è completamente cieca a qualsiasi opzione alternativa.
E se vuoi effettuare un trasferimento successivamente tra negozi? Forse è un’opzione, forse non lo è. Ma se pensi in termini di decisione, ciò viene in modo molto naturale.
Se pensi in termini di forecasting—soprattutto di serie temporali—questa è una cosa quasi impossibile da esprimere.
Patrick McDonald: Il mio attuale cliente, in realtà, sta facendo qualcosa di simile. Hanno un modulo di trasferimento, quindi si chiedono: ok, trasferisco questa particolare variante da un negozio all’altro perché è più probabile che si venda lì?
Abbiamo anche condotto alcune analisi sui prezzi. Abbiamo fatto una analisi basilare di price elasticity, esaminandola e chiedendoci: ok, se applico uno sconto, otterrò un volume maggiore, oppure sto semplicemente cedendo margine?
Stiamo iniziando a riuscire a rispondere a quella domanda.
Mi piace il fatto che parli un po’ di se si tratti di qualcosa di dinamico o piuttosto statico. Quello è il numero quattro dei miei sacred six di cui pensiamo costantemente: consideriamo tutto come un problema di equilibrio statico, mentre la maggior parte delle cose è dinamica.
Quindi, assolutamente, penso che quelle siano decisioni critiche e dobbiamo tener conto di quella opzionalità.
Penso che l’altra area a cui non dedichiamo abbastanza attenzione—e io stesso non ci sono ancora arrivato perché il problema è abbastanza complicato, e so che ci sono altre persone che vi hanno lavorato—sia che c’è molta incertezza riguardo ai tempi di consegna.
I tuoi fornitori, in particolare se lavori nella produzione e hai un intero bill of materials in attesa, forniscono la merce e devi aspettarli.
A volte consegnano in tempo, a volte no. C’è incertezza che deve essere modellata.
Lo so che ci sono persone che fanno un lavoro piuttosto buono su questo, ma credo che ora abbiamo maggiore capacità dal punto di vista del calcolo per poter esaminare la questione in maggiore profondità.
Quindi penso che ci siano opportunità anche dal lato dell’offerta in termini di comprendere come appare e dove va.
Joannes Vermorel: Sì. Tra l’altro ho anche delle lezioni su YouTube sul modellamento probabilistico dei tempi di consegna.
Abbiamo sviluppato tecnologie per parecchi anni ormai per combinare molte fonti di incertezza, ed è per questo che, tipicamente, l’accuratezza classica fallisce miseramente.
È molto difficile a causa di quelle preoccupazioni asimmetriche. Stai combinando molte incertezze, ciascuna con le proprie asimmetrie che possono risultare alquanto controintuitive.
Possono combinarsi. Ad esempio, i tempi di consegna tendono ad avere… la maggior parte delle distribuzioni dei tempi di consegna è bimodale. Hai una modalità, un picco, per la data normalmente attesa quando tutto va liscio, e poi c’è una coda che è super lunga quando le cose non vanno secondo i piani.
Spesso è una distribuzione che non ha nemmeno una media, perché alcune cose non vengono mai consegnate. Quindi, matematicamente parlando, non ha nemmeno una media. È un po’ strano.
Inoltre, il caso in cui i tempi di consegna tendono a impazzire completamente si verifica quando effettui un ordine più grande, il che non sorprende. Effettui un grande ordine, inusuale, e poi il tuo fornitore fatica.
Quindi hai delle correlazioni.
Quello che sto dicendo è che se adottiamo il paradigma classico della supply chain che pensa in termini di accuratezza, con percentuali dappertutto, quando combini tutti quegli effetti ti rendi conto che ciò che può costarti denaro non è affatto ovvio da un punto di vista percentuale.
Potresti ritrovarti con cose davvero sciocche. Ad esempio, se hai un prodotto fresco e deperibile che venderai a Natale—diciamo ostriche—è incredibilmente sensibile al tempo.
Se perdi Natale e Capodanno, sei fritto. Venderai ciò che hai a uno sconto dell'80%, e quello potrebbe essere il caso migliore.
Non è che ogni cosa sia una rara allineazione planetaria a farti del male in quel modo, ma molto frequentemente hai una miriade di casi limite. Hai una foresta di casi limite, dove molti prodotti presentano le proprie eccezioni.
Ecco perché inizialmente sottolineavo che dobbiamo tradurre tutto in termini di dollari alla fine—o in euro.
Perché quando combini quelle incertezze, ti rendi conto che la debolezza del tuo modello predittivo può essere molto controintuitiva. Potrebbero essere elementi che, in apparenza, uno statistico direbbe: “Oh, sembra abbastanza accurato e ben calibrato”, ma poi ti accorgi che finiscono per creare problemi.
Un esempio: se riesegui la tua logica ogni giorno per sapere se vuoi passare un ordine d’acquisto da, diciamo, la Cina, e un giorno su 100—quindi con una probabilità dell'1%—il sistema impunta un picco solo a causa dell’instabilità numerica, significa che finirai per passare qualcosa come tre ordini all’anno al tuo fornitore in Cina solo a causa di quell’instabilità numerica.
Oggi ha fatto un picco e ora stai inseguendo come un fantasma. È un artefatto numerico, semplicemente l’instabilità numerica del tuo modello in quel giorno.
Per quanto riguarda l’accuratezza, se questo tipo di problemi si verifica solo una volta—l'1% delle volte—non comparirà nemmeno nell’accuratezza media perché sarà completamente oscurato da altri aspetti.
Questo è quello che sto dicendo: le debolezze del tuo modello predittivo devono essere valutate in termini di dollari. Altrimenti hai elementi che sembrano insignificanti per la maggior parte delle metriche basate su percentuali, ma una volta guardati in termini di dollari ti rendi conto: “Oh cavolo, questa cosa che sembra piccola, in realtà non lo è, è grande”, per esempio, a causa del mio effetto cricchetto sugli ordini d’acquisto effettuati da questo fornitore in Cina.
Patrick McDonald: Abbiamo cominciato a pensarci. Taleb ne ha parlato per primo nel suo libro The Black Swan. Sono sicuro che ne sei a conoscenza, vero?
Ora abbiamo i gray swans e i black swans. Io ho quello che chiamo purple swans, che sono distribuzioni dall’aspetto davvero bizzarro che si verificano a causa di eventi abbastanza unici. Sono quei casi limite.
Non rientrano in una distribuzione standard. Non sono numericamente descrivibili. Devo utilizzare una vera funzione di densità di probabilità e impiegarla come un array di valori per descriverla.
Il primo esempio che ho avuto è stato: stavamo realizzando una soluzione di forecasting come prova di concetto per un’azienda aerospaziale, e mi hanno chiesto di calcolare scorte di sicurezza. Era qualcosa che non avevo mai fatto prima.
L’ho analizzato in modo un po’ diverso. Ho sfruttato il lavoro di Sam Savage di Stanford sulla gestione della probabilità, e lui ha un piccolo strumento Excel che ti permette fondamentalmente di fare calcoli con le funzioni di densità di probabilità.
Quindi ho fatto qualcosa di davvero semplice. Ho preso l’intervallo di previsione per il forecast e ne ho usato uno di base, cioè una distribuzione normale.
È stata la prima volta in cui ho realizzato questa mappatura del modello del valore dell’informazione fino in fondo e ho detto: ok, in base a ciò, come devo impostare le mie scorte di sicurezza?
Ho iniziato ad esaminarlo. Stavo osservando una serie temporale individuale e: distribuzione normale, distribuzione normale, distribuzione normale. All’improvviso ne vedo una che non avevo mai visto prima, e appare così—boom.
Che diavolo è quello?
Ho capito. Quello che avevo fatto era inserire una funzione in cui dicevo: le mie vendite sono il minimo tra il livello di stock e la domanda, giusto?
La domanda era una distribuzione normale. Il livello di stock era proprio qui. E se la domanda superava il livello di stock, la distribuzione—la coda—si evidenziava. Beh, quello è semplicemente il rischio di stockout.
Sono stato in grado di prevederlo con 11 mesi di anticipo osservando quella distribuzione di probabilità.
Quindi, questo è un esempio di una sorta di purple swan.
Per quanto riguarda il tuo punto, quando inseguiamo quell’accuratezza, una cosa che molti di noi fanno è prendere quella metrica di accuratezza in isolamento. Calcoliamo un intervallo di previsione, ma poi lo scartiamo e non lo utilizziamo.
Utilizzarlo e inserirlo in una simulazione è quando inizi a vedere concretamente manifestarsi quei casi limite e puoi ottenere una comprensione migliore.
Joannes Vermorel: Sì, assolutamente. Per il settore aerospaziale, è molto interessante perché abbiamo fatto così tanto.
Alcuni esempi: l’accuratezza ti vincola alla prospettiva delle serie temporali, il che è particolarmente errato in questo caso.
Una delle nostre prime scoperte quando lavoravamo nel settore aerospaziale è stata scoprire il concetto di retrofit. Hai dei pezzi che sono richiesti perché è necessaria una riparazione, quindi un pezzo deve arrivare.
Ma poi ti rendi conto che hai i retrofit, ovvero quei componenti per i quali l’OEM dice: devi far entrare quei pezzi—quelli nuovi—come sostituzione per l’aeromobile perché non ci si fida più dei vecchi.
Quindi, nella tua serie temporale, stai miscelando, in effetti, due tipi diversi di unità: quelle che vengono richieste per le riparazioni e quelle che vengono spinte per i retrofit.
Ma non è tutto.
Un altro elemento: quando osserviamo la domanda nel settore aerospaziale, molto frequentemente l’aeromobile deve completare la riparazione, diciamo, entro otto ore per una piccola manutenzione.
Di conseguenza, l’equipaggio chiederà molti più pezzi di quanti ne abbiano effettivamente bisogno, perché avranno solo otto ore per completare la riparazione.
Quindi direbbero: “Abbiamo bisogno di 100 di quei pezzi”, ma poi il giorno successivo ti ritroverai con una quantità massiccia di pezzi restituiti, ma non utilizzati.
Quindi devi comprendere il segnale della tua domanda.
Queste cose non sono super complicate, ma devono essere prese in considerazione, e devi avere una prospettiva adatta al settore aerospaziale per capire veramente: ok, cosa stanno cercando di fare?
Stanno cercando di riparare un aereo. Sono preoccupati per il tempismo della loro operazione. Quindi devono richiedere un po’ di più e poi restituiranno molte cose.
Alcuni pezzi sono in realtà richiesti dall’equipaggio. Alcuni sono effettivamente promossi dall’OEM.
Quindi qui abbiamo delle sfumature da tenere in considerazione, ecc.
Ecco perché tutte quelle idee—a differenza delle percentuali—nascono dalla comprensione di come far riparare un aeromobile in primo luogo. È un ambito di conoscenza diverso.
Il mio messaggio qui, quando si tratta di quegli indicatori, è che, per regola generale, devi essere estremamente diffidente nei confronti di qualsiasi indicatore che provenga direttamente dal mondo della matematica—matematica pura—piuttosto che di qualcosa che sia realmente guidato da una comprensione molto precisa di ciò che stai cercando di ottenere sul campo.
Sfortunatamente, la maggior parte dei KPI che vedo proviene da molta matematica, solitamente perché sono molto più facili da definire.
Se torniamo al settore aerospaziale, è una situazione piuttosto pessima in cui l’equipaggio dice: “Voglio 100”, ma tu hai solo 80, e alla fine ne restituiscono 30.
Hai soddisfatto la domanda? Sì, no, sì?
L’equipaggio era molto teso perché pensava che forse sarebbero rimasti a corto, ma alla fine non è successo.
Quindi è proprio in quelle situazioni che, all’improvviso, entriamo nel dettaglio minuzioso della comprensione della situazione, a differenza dell’errore quadratico medio contro il MAPE contro l’errore assoluto, ecc.—tutti i criteri teorici.
Conor Doherty: Bene, signori, a tal proposito, penso che abbiamo denunciato a fondo ciò che entrambi vedreste come l’approccio mainstream per il monitoraggio delle prestazioni.
Ma ciò che rimane ancora un po’ vago è ciò che proponiamo come alternativa.
Quindi, per esempio, per tornare a Patrick: hai detto, ancora una volta, che inseguire l’accuratezza della previsione in isolamento è un’impresa da stupidi. Concediamolo per il bene della discussione.
Ok, ma allora cosa dovremmo monitorare? Dire “monitoriamo solo i soldi” risulta un po’ poco chiaro per le persone.
Quindi qual è la tesi effettiva che proponiamo—o che proponi tu—per sostituire i tradizionali KPI?
Patrick McDonald: Esatto. Tendo a fare quella che chiamo analisi del valore dell’informazione.
Voglio simulare quel flusso di cassa in termini delle decisioni che stiamo effettivamente considerando e di come le prendiamo.
Per fare ciò, devi davvero avere una chiara comprensione di quel modello del valore dell’informazione.
Qual è il costo di non concludere la vendita se andiamo in stockout? Qual è il mio costo di mantenimento associato?
A che aspetto ha quell’incertezza, sia che si tratti di una previsione o di una convoluzione con i tempi di consegna o di qualunque altra cosa nella simulazione, per modellararla?
Cerca di tracciare tutto a partire da: ecco il mio insight, ecco la decisione che intendo prendere, questa è la leva che intendo utilizzare nel business, qui definirò il mio posizionamento, qui stabilirò il mio impegno.
Quali sono gli esiti che mi aspetto?
Esegui quella simulazione—fai l’analisi Monte Carlo—e osserva quali saranno le distribuzioni di probabilità degli esiti.
Poi confronta il reale con il predittivo in termini di questa analisi.
Questo è l’approccio che ho adottato. Tende a funzionare abbastanza bene. Richiede però una certa sofisticazione in più da parte dei manager aziendali.
I manager aziendali tendono a voler pensare alle cose in maniera molto lineare e alquanto semplicistica. Questa è un’altra delle mie sei preoccupazioni.
Ma questo è l’approccio che adotto, ed è quello che consiglierei veramente: riflettere su quel modello del valore dell’informazione e su come applicarlo.
Ora, le tradizionali metriche di forecasting—sono ancora utili dal punto di vista statistico? Sì, possono esserlo.
Io tendo a pesarle. Guardo, come dico, a una precisione ponderata, a un richiamo ponderato, a una metrica pinball ponderata, che ritengo sia molto più utile di una metrica di accuratezza.
Il pinball ti permette di analizzare l’accuratezza lungo l’intero profilo della domanda—quella funzione di densità.
Se lo posizioni correttamente, gli applichi uno skew del valore dell’informazione e lo pesi adeguatamente, può darti qualche intuizione per quell’analisi del valore che stai cercando.
Sono cose che sto davvero implementando solo ora. Sono in procinto di imparare mentre faccio tutto questo.
Sono passati, come dico, 30 anni di lavoro, e ogni giorno che vado in ufficio imparo qualcosa di nuovo.
Quindi è a quel punto che mi trovo. Questo è l’approccio che sto attualmente adottando, e sembra avere un impatto reale per alcuni dei miei clienti.
Conor Doherty: Grazie, Patrick.
Joannes, stessa domanda. Presumo che tu lo stia affrontando anche da una prospettiva finanziaria molto concreta.
Joannes Vermorel: Direi che ci sono veramente due ampi insiemi di indicatori che tipicamente generiamo e monitoriamo per scopi e pubblici completamente differenti.
Il primo pubblico sarebbe supply chain management—supply chain executives. Per questi, saranno fondamentalmente economic drivers.
Diciamo: vogliamo massimizzare il ritorno sull’investimento, cioè il tasso di rendimento di ogni decisione. Ma dobbiamo scomporre ciò in una serie di impatti: costo dell’inventario, margine atteso, costo atteso della svalutazione dell’inventario, penalità per stockout.
Quindi effettuiamo questa scomposizione.
In questo ambito, abbiamo indicatori che sono prospettici—quindi dipendenti dal modello predittivo—e indicatori che sono puramente descrittivi: osservano semplicemente ciò che accade.
Qui stiamo parlando di forse, direi, al massimo una dozzina di indicatori. Alcuni sono puramente descrittivi—statistiche descrittive—e altri che sono embedding condizionati alla correttezza del modello predittivo.
Ad esempio, se ti dico che questo inventario comporta un rischio di svalutazione dell’inventario pari a tanti dollari, non ho ancora osservato questa svalutazione. Quindi è un numero che sto costruendo grazie a un modello predittivo di qualche tipo.
Questo è per il pubblico di dirigenti e professionisti.
Poi abbiamo un secondo insieme di indicatori che sono tipicamente piuttosto mostruosi. Possono essere centinaia di numeri per gli stessi data scientists.
Qui stiamo tipicamente cercando quel segnale che qualcosa possa andare storto in tutta la catena di elaborazione, perché stiamo ricevendo dati. È generalmente un processo disordinato in cui abbiamo decine e decine di tabelle estratte dagli ERP—potenzialmente multipli—un WMS, un CRM.
Quindi consolidiamo molte cose dal panorama applicativo dell’azienda, e ci sono così tante cose che possono andare storte.
Ad esempio: cosa succede se improvvisamente, da un giorno all’altro, hai una variazione con il 5% in più di fornitori? È significativo o non significativo? Qualcuno ha introdotto duplicati o no?
Che dire del 20% in più di fornitori? Ok, il 20%—probabilmente è un duplicato o probabilmente un bug.
Quindi devi monitorare un sacco di cose che rappresentano problemi che possono insinuarsi lungo la tua pipeline di elaborazione dati.
Praticamente tutto: monitorerai il numero di SKU, il numero di fornitori.
A volte cerchi di identificare elementi quasi invarianti da poter utilizzare per rilevare che si è verificato un bug nella tua data pipeline.
Esempio: un nostro e-commerce che vende ricambi auto. Abbiamo notato anni fa che era estremamente stabile: “due pezzi e mezzo per carrello.”
Era incredibilmente stabile—durante l’estate, l’inverno, Natale—tutto super, super stabile: due pezzi e mezzo per carrello.
Ciò significa che abbiamo qualcosa di estremamente stabile. L’attività potrebbe fluttuare molto, ma in realtà questo elemento è molto stabile.
Il che significa che se abbiamo una deviazione su questo, probabilmente vuol dire che c’è un bug nella pipeline: ad esempio, le righe d’ordine sono state eliminate, oppure abbiamo solo la prima riga d’ordine di ogni ordine, o qualcosa di insensato come quello.
Quindi il Supply Chain Scientist compilerà un dashboard, ma qui non è affatto guidato dal valore. Per noi, è ciò che chiamiamo guidato dalla follia.
Vuoi tenere d’occhio tutte le cose che possono letteralmente fare disastri nei tuoi calcoli e compromettere completamente i tuoi modelli. Possono essere un sacco di cose stupide.
Può anche essere, per esempio, il rapporto tra lettere e numeri nelle etichette delle descrizioni dei prodotti. Se hai etichette che improvvisamente sono costituite solo da numeri, molto probabilmente non hai più le etichette corrette per la descrizione.
Ci sono molte euristiche che servono a garantire che i dati che elabori automaticamente su larga scala siano ancora sensati.
Questo interessa solo a quello che chiamiamo il Supply Chain Scientist, perché il Supply Chain Scientist vuole assicurarsi che ogni singolo giorno le decisioni su larga scala abbiano lo 0% di follia.
Definisco la follia come qualcosa in cui chiunque, guardando quelle decisioni, direbbe: “Una decisione folle—oh no, è pazzesco, non dovresti farlo.” Qualcosa è andato storto da qualche parte nella pipeline dei dati.
Per noi è molto importante assicurarsi che questo numero di decisioni folli sia pari a zero.
Non possiamo essere accurati, ma possiamo eliminare la follia grossolana.
Conor Doherty: Patrick, qualcosa da aggiungere prima di andare avanti?
Patrick McDonald: Voglio solo dire in breve: nel corso della mia carriera nella data science, l’accuratezza dei dati e la qualità dei dati sono sempre state un problema.
Ho visto cose strane—livelli di inventario negativi. Come si può avere un livello di inventario negativo? Non ha alcun senso.
Un cliente—un grande cliente FAANG—, il direttore dei data center entrava in un nuovissimo data center, apriva il suo report sull’energia, e il report diceva che non veniva prelevata energia.
Si guarda intorno e, ovviamente, tutte le macchine sono in funzione e le luci lampeggiano, quindi sa che il report è sbagliato. Cosa è successo?
Quindi sì, molte cose possono accadere nella prospettiva dell’elaborazione dei dati.
Penso che il controllo statistico del processo sia qualcosa che può essere utilizzato per aiutare in questo. Sembra che sia quello che voi state utilizzando, ed è il modo giusto per gestirlo.
Se non hai dati buoni, garbage in, garbage out si applica ancora. Con i big data, significa che avrai molta spazzatura. Quindi devi affrontarlo.
Joannes Vermorel: Sì, assolutamente.
A volte la cosa più positiva è che i dati sono effettivamente corretti—solo in un modo molto, molto strano. Ad esempio, SAP decise 30 anni fa che i resi sarebbero stati conteggiati come vendite negative.
Quindi ciò significa che ci sono giorni in cui le vendite risultano negative. Vuol dire semplicemente che in realtà hai avuto più resi che articoli venduti.
Se ti occupi di e-commerce in Germania, dove la percentuale di resi è intorno al 40% degli articoli spediti, avrai un sacco di vendite negative.
Ma queste sono informazioni molto importanti—tranne che non si tratta di una vendita negativa, ma di un reso.
Quindi sono questo tipo di cose.
Ma sono d’accordo: i dati sono estremamente disordinati, ed è molto importante assicurarsi che rimangano sotto controllo.
Conor Doherty: Ottimo.
Bene, signori, ho una domanda conclusiva, ma la rimanderò alla fine e invece darò la precedenza ad alcune domande del pubblico.
Queste sono state estratte da alcune domande inviate direttamente in questa discussione, ma anche da una domanda interessante della scorsa settimana che penso si applichi molto bene ad oggi.
Quindi inizierò con una domanda di Miguel Lara. Questa è per il panel. Patrick, passo a te per primo.
Ci sono dei KPI—o ci sono dei KPI—che non influenzano necessariamente i risultati finanziari ma che considerereste comunque ad alto impatto, o utili?
Patrick McDonald: Sì.
Penso che molte delle metriche standard che osserviamo siano ancora importanti da considerare.
Il MAPE è una cosa importante quando osservi e cerchi di capire quanto bene funzionerà un modello di previsione.
Anche il tuo MAE o il tuo MASE sono indicatori che guarderò e utilizzerò.
Non è che quelle non siano metriche importanti a cui pensare, ma non sono le metriche più importanti, e non sono quelle che dovremmo inseguire.
Penso che questo sia in qualche modo il punto di vista che adotterei.
Comprendi cosa ti stanno dicendo le metriche e usale per il loro scopo designato.
Non fare quell’assunzione “e poi accade un miracolo” e applicare quelle metriche all’idea che otterrai valore in termini finanziari quando le usi in modi per cui non erano destinate.
Quindi suppongo che questa sia la mia risposta. Adatto allo scopo è qualcosa che cerco di tenere a mente in tutto ciò che faccio, ed è ciò che consiglierei per molte di quelle metriche.
Conor Doherty: Grazie.
Joannes, stessa domanda. Hai bisogno che la ripeta?
Joannes Vermorel: Penso che per Lokad, la metrica non finanziaria più importante sia il numero di override manuali per giorno per decisioni che dovrebbero essere automatizzate. Quella è la cosa numero uno.
Quindi non è finanziaria, ma per noi qualsiasi cosa superiore a zero è un problema, e lo consideriamo come un difetto.
Il problema è che quando abbiamo un difetto, significa che il nostro modello è in qualche modo sbagliato. Se è sbagliato, allora non possiamo nemmeno fidarci della modellazione economica che abbiamo.
Per definizione, se le persone stanno facendo quegli override, significa che vedono cose che noi non vediamo.
Quindi tutte quelle misurazioni economiche che possediamo potrebbero essere completamente messe in discussione da questa prova di incorrettezza.
Quindi per noi, quella è la numero uno: quegli override manuali, perché ogni volta che accadono significa che c’è qualcosa che stiamo sbagliando nel modello stesso, e quindi potenzialmente può minare tutta l’analisi economica end-to-end.
Ecco perché dobbiamo prestare molta attenzione. Lo consideriamo come un bug. A meno che non comprendiamo il bug, non sappiamo quanto in profondità vada il problema.
Patrick McDonald: L’ho trovato vero anche io.
Penso che la domanda che farei sia: è sempre così? Quando ti sei accorto che quasi tutti quegli override sono sbagliati?
O ci sono casi in cui qualcuno interviene con un override e, sì, c’era un problema col modello e lo abbiamo capito e risolto?
Joannes Vermorel: Innanzitutto, la cosa è che, all’inizio, quando iniziamo un progetto, molto spesso la maggior parte degli override—sfortunatamente per noi—è reale. Ci sono cose che abbiamo trascurato. Ci sono cose che non abbiamo compreso.
Quindi, quando iniziamo, la maggior parte di quegli override riflette solitamente cose che non conoscevamo.
Per esempio, quando abbiamo iniziato aviation, circa un decennio e mezzo fa, non sapevo cos’era un retrofit—l’importanza del retrofit.
Abbiamo avuto molte persone che modificavano i numeri, e a un certo punto ho detto: “Che sta succedendo?” Ci hanno detto che si trattava di un retrofit. Io ho risposto: “Cosa?”
Poi siamo tornati indietro. Il tizio che ha fatto la modellazione era molto ignorante su qualcosa di molto importante.
Ma poi, col tempo, può succedere qualsiasi cosa. Può essere un nuovo arrivato che effettua override senza alcun motivo, solo perché era abituato a fare override nella sua azienda precedente, arriva qui e dice: “Oh, dovrei fare override.” Beh, in realtà non ha alcun senso.
Io considero questo… la percentuale di report critici diminuisce notevolmente.
Ma è un po’ come quando sei un’azienda di software: hai report di bug dagli utenti. Hai molti rifiuti. La gente dirà, “Oh, è pieno di bug,” no, hai semplicemente sbagliato la funzionalità—è in realtà il comportamento previsto.
Tuttavia, tendiamo a monitorarli molto attentamente, perché, secondo Nassim Taleb, quelle occasionali prove di correttezza possono essere molto significative.
Quindi, anche se dici che il 99% dei casi è dovuto all’errore dell’utente, magari quell'1% risulta essere molto impattante.
Ecco perché teniamo d’occhio la situazione.
Per un progetto maturo, la stragrande maggioranza è essenzialmente rumore, ma alcuni non lo sono, e su quelli è su cui siamo davvero concentrati.
Conor Doherty: Va bene. Grazie.
La prossima domanda è stata posta da—spero di pronunciarlo correttamente—Lucio Zona. Ora questa riguardava la discussione sugli stock di sicurezza della settimana scorsa, ma è molto pertinente.
Quindi devo leggerla, e poi ci sono due domande.
Un po’ di contesto: Lucio ha fatto notare che il bonus della maggior parte dei supply chain managers è legato ai KPI. Ad esempio, puntualità e completezza. Di conseguenza, nessuno viene licenziato per eccesso di stock, solo per cattivi risultati in termini di puntualità e completezza.
Ciò spinge naturalmente—o possibilmente incentiva—le persone a gonfiare gli inventari.
In teoria, potremmo dimensionare gli stock di sicurezza utilizzando i veri costi economici per unità di carenza, per evento di stockout, ma quei numeri sono sfocati. Quindi le aziende ricorrono a KPI semplici.
Ora le due domande: a chi importano effettivamente i KPI e come dovrebbero essere progettate le strutture di incentivazione affinché quelle metriche o KPI non finiscano semplicemente per premiare le persone che manipolano il sistema?
Patrick, passo a te per primo.
Patrick McDonald: È una domanda difficile. Lo so. No, non lo è. È una domanda semplice che mi fa arrabbiare da morire.
La quantità di incentivi in conflitto nelle grandi organizzazioni in cui sono stato è davvero da far impazzire.
Questa è una delle sfide più grandi che ho.
Un argomento completamente diverso.
Ho un diverso insieme di metriche complessive che penso che le organizzazioni dovrebbero considerare in termini di gestione del loro business.
Le metriche in conflitto, in particolare quelle che incentivano comportamenti in conflitto, sono problematiche.
Questo è in parte il motivo per cui abbiamo il sales and operations planning. Le operations e la supply chain hanno i loro problemi per molte ragioni.
Non da ultimo, ognuno ha quella che viene chiamata una previsione, e ci sono almeno sette previsioni differenti in ogni organizzazione.
Uno è un piano di approvvigionamento, uno è un piano di domanda, uno è una previsione statistica, uno sono gli obiettivi di vendita, uno è il piano di marketing, e uno è un piano finanziario. Sono tutti chiamati “la previsione.” Non si conciliano.
Poi l’organizzazione si chiede perché siano fuori allineamento.
Una parte della ragione è che si ritorna alle metriche individuali su cui si basano i bonus delle persone, le quali incentivano il loro comportamento.
Quindi sì, questo è un problema enorme. Risolverlo non è una sfida da poco. È un grande lavoro di consulenza gestionale—o un grande problema di gestione—che deve essere affrontato.
Si può affrontare, ma ci vorrà una reale leadership all’interno di un’organizzazione per farlo accadere.
Quindi, questo copre la prima parte della domanda? Qual era la seconda parte? Ho dimenticato qualcosa?
Conor Doherty: I KPI importano a chi—o a chi importano effettivamente i KPI? E poi, come incentivi le persone a non manipolare il sistema?
Patrick McDonald: Ti assicuri che le tue metriche siano in allineamento e non in conflitto. È così che si fa.
Conor Doherty: Va bene. Grazie.
Joannes, stessa domanda.
Joannes Vermorel: Il mio approccio sarà un po’ diverso.
Esiste una legge aziendale che dice: qualsiasi buona metrica che viene stabilita come obiettivo smette di essere una buona metrica.
La mia opinione è che l’idea di poter incentivare le persone attraverso le metriche rappresenti un’infantilizzazione della forza lavoro. Finirà sempre per ritorcersi contro.
Le persone manipoleranno sempre la metrica. È semplicemente un disastro in attesa di accadere.
È una sorta di idea che sembra buona ma ha inesorabilmente esiti disastrosi col tempo.
Non importa quale metrica. Le persone pensano: “Oh, se scegliamo la metrica giusta, questa volta non verrà manipolata. Questa volta sarà buona. Questa volta sarà in linea con l’interesse a lungo termine dell’azienda.”
Risulta: no, non lo sarà.
Non so come, ma dai qualche mese ai membri del tuo team e troveranno un modo per renderti la vita un inferno e la tua azienda meno profittevole manipolando la metrica.
Ancora, questa è una delle più grandi qualità degli esseri umani. Gli esseri umani sono ingegnosi. E questo è positivo—sono ingegnosi. Quindi le cose succederanno. Le cose succederanno e andranno storte.
Il mio suggerimento è: rinuncia a questo razionalismo ingenuo. Per me è razionalismo ingenuo dire, “Oh, tutto quello di cui ho bisogno è avere una metrica molto chiara, e poi le persone massimizzeranno questa metrica, si allineerà con l’interesse a lungo termine, problema risolto.”
“Non devo gestire le persone, devo solo lasciare che l’incentivo faccia il lavoro per me come manager.” Questa, per me, è una visione molto infantile della natura umana. Non funziona così.
Gli incentivi sono molto potenti, ma gli incentivi—Taleb, a proposito, ne parla molto nei suoi libri, non solo in The Black Swan ma anche in Antifragile—gli esseri umani sono creature che considerano effetti di secondo ordine, terzo ordine, quarto ordine.
Le persone faranno qualcosa perché pensano che il loro prossimo datore di lavoro li giudicherà meglio, e questo e quello e quello.
Così possono fare cose seguendo un piano a lungo termine che supera completamente le tue aspettative.
Avvicinarsi al tuo staff con delle metriche è come utilizzare il ragionamento di primo ordine. Non prendi in considerazione il secondo ordine, il terzo ordine, eccetera.
In conclusione: se hai questi incentivi nella tua azienda, la priorità principale dovrebbe essere eliminarli completamente—tutti quanti.
Le uniche cose che sono in qualche modo accettabili sono, ad esempio, le stock options. Prendi le stock options, le maturi per cinque anni. Va bene. È sufficientemente vicino all’interesse a lungo termine dell’azienda, e basta.
Mantienilo super semplice e non specifico.
Poi devi renderti conto che, quando inizi a fare ottimizzazione—ottimizzazione economica—l’emivita della tua funzione obiettivo è di circa una settimana.
La tua funzione obiettivo non è qualcosa che metti su un piedistallo e dici “questo è tutto”. Essa evolverà molto.
Per esempio, quando l’amministrazione Trump ha deciso che le tariffe potevano essere modificate, diciamo, cinque volte al giorno, improvvisamente le regole del gioco sono cambiate.
Ci sono state, quanti, 400 aggiornamenti tariffari negli Stati Uniti da allora… siamo tutti molto antifragili in questo momento. Dobbiamo esserlo.
Questa è la situazione: nuove regole, la funzione obiettivo è in movimento.
Ora dovremmo introdurre una previsione probabilistica della distribuzione tariffaria per anticipare, perché nessuno può davvero mettersi nella testa del presidente.
Quindi, a quanto pare, tutto ciò che puoi avere è una previsione probabilistica di dove si troverà la tariffa, e sarà compresa tra lo 0% e il 200%, a quanto pare.
La mia opinione è: comprendi che, poiché la funzione economica sta evolvendo rapidamente—non sempre così rapidamente come le tariffe negli Stati Uniti, ma comunque rapidamente—il problema è che la metrica che hai per le tue squadre verrà rivista una volta all’anno, ogni due anni.
Farai impazzire tutti se cambi il modo in cui guadagnano ogni mese. È semplicemente pazzesco.
La realtà è: per la sicurezza psicologica le persone hanno bisogno di qualcosa che offra una sorta di proiezione di almeno 12 mesi in cui pensino, “Questo è ciò che guadagno.”
Ma la supply chain richiede di pensare talvolta in termini di giorni ed essere molto reattivi. Tali cose non sono compatibili.
Perciò dico: rimuovete quegli incentivi. In pratica, si ritorceranno contro di voi, solo perché bisogna aggiornare le funzioni economiche molto più rapidamente di quanto si possano rivedere i pacchetti offerti ai tuoi dipendenti, persino ai tuoi dirigenti.
Conor Doherty: Bello. Grazie.
Due osservazioni: una, penso di aver detto “Goodwin’s law”. Godwin’s law—ma è una cosa molto diversa. Intendevo dire Goodhart’s law. Sono due fenomeni molto, molto differenti.
In realtà solo qualche commento che arrivava, fondamentalmente solo d’accordo. Miguel Lara sottolinea: se crei un KPI che non genera alcun impatto, è sostanzialmente solo lavoro in più e non ha valore reale alla fine della giornata.
Joannes Vermorel: E, a proposito, perché nessuno pensa che le grandi aziende considerino solo elementi additivi—mai sottrattivi.
Così, ogni volta che esiste un indicatore di qualsiasi tipo, sia esso un indicatore chiave o di performance o altro, verrà semplicemente aggiunto al mucchio.
In un decennio in avanti avrai quella che chiamo la parete delle metriche, ovvero i 100 numeri che nessuno legge.
Eppure, congela ancora lo strumento di business intelligence ogni primo giorno del mese, perché ci sono così tanti indicatori di performance da calcolare.
Hanno circa 100 indicatori e l’intera istanza di BI rimane congelata per l’intera giornata.
Ho visto anche aziende in cui, per il primo giorno del mese, letteralmente devono interrompere certe operazioni perché il ERP è per metà congelato.
Quindi fermerebbero uno stabilimento per permettere all’ERP di eseguire il reporting.
Conor Doherty: Bene, signori, siamo qui da poco più di un’ora. Credo, Patrick, che tu abbia menzionato ciò come possibile soluzione.
Comunque, per riassumere: Miguel ha commentato—lo riassumerò in breve, e tu dammi le tue riflessioni finali a riguardo.
Solo perché ci sono molti KPI non significa che tu debba monitorarli tutti contemporaneamente. Dovresti selezionare solo i KPI che contano davvero, in base al tuo approccio e all’attenzione attuale.
In ordine inverso, le tue riflessioni finali a riguardo. Joannes?
Joannes Vermorel: Direi sì e no.
Il problema è che questa è la saggezza comune delle aziende moderne. Se la prendi alla lettera, il problema è: vediamo dove ci ha portati questa saggezza comune.
Nella maggior parte delle aziende, hai una parete delle metriche. Hai letteralmente decine, se non centinaia, di indicatori a cui a nessuno importa.
È completamente opaco. Nessuno lo capisce nemmeno.
Di solito prendi il tipico supply chain practitioner: ha uno schermo con 15 numeri e non riesce nemmeno a spiegare la semantica di ciò che viene calcolato per la metà di essi.
Direbbero, “Oh, questa cosa, credo che calcoli il livello medio di stock negli ultimi 30 giorni. Forse. Non ne sono sicuro.” O qualcosa del genere.
Quindi direi: questa è una saggezza comune, ma il mio approccio sarebbe molto più aggressivo.
Sappiamo che le organizzazioni più grandi tendono ad accumulare burocrazia e schifezze molto più facilmente di quanto riescano a liberarsene.
Devi raddoppiare gli sforzi nel ripulire—essere spietato—e depurare i tuoi processi da tutti quei numeri che non sono critici.
Per i tipici supply chain executives, ciò che intendiamo è: c’è una quota, diciamo, di 10 numeri. Se vuoi introdurre un nuovo numero, devi rimuovere un numero per far entrare quello nuovo.
Devi mantenere ciò.
Poi, se passiamo al lato del data scientist, dico che puoi avere centinaia di numeri, ma allora è il numerical recipe del data scientist—il Supply Chain Scientist—che fa il suo lavoro.
Il resto dell’organizzazione non ne è coinvolto. Va bene, perché non è una tassa che il resto dell’organizzazione deve pagare. È solo una tassa che impatta il data scientist stesso, non il resto dell’azienda.
Quindi quella saggezza comune: sì, sembra ragionevole, ma attento.
Avanzando di un decennio, la mia osservazione è che di solito finisci in una situazione molto brutta seguendo questa saggezza comune.
Conor Doherty: Patrick, le tue riflessioni finali. Che ne pensi?
Patrick McDonald: Se ne hai più di cinque, ne hai troppe.
Sono molto più rigoroso. Ne ho cinque specificamente che esamino, e tutti sono collegati ai bilanci finanziari.
Il numero uno è una metrica di quota di mercato. La chiamo brand equity.
Se le tue vendite sono in crescita ma il mercato cresce più velocemente, stai comunque perdendo quote. Quindi, non monitorare solo le vendite, ma tieni traccia della tua posizione nel mercato.
Voglio assicurarmi che stiamo soddisfacendo in modo affidabile la domanda dei clienti, giusto? Quindi c’è una metrica di affidabilità.
Voglio assicurarmi che stiamo allocando efficacemente le nostre risorse. Quindi c’è una metrica di efficacia.
Odia parlare di efficienza perché l’efficienza finisce sempre per essere un ottimo locale. Quindi parlo invece di produttività.
Poi l’ultimo è uno su cui sto ancora lavorando. Non ho ancora una metrica davvero buona per esso, ma è l’agilità: quanto rapidamente puoi rispondere ai rapidi cambiamenti che vediamo quotidianamente nel mercato.
Se copri questi cinque, penso che coprano la maggior parte di ciò che vuoi comprendere da un punto di vista aziendale.
Certo, ci sono modi diversi per interpretarli, ma questi sono piuttosto i miei cinque. Non hanno molta sovrapposizione e arrivano alle questioni chiave che riguardano i dati finanziari.
Conor Doherty: D’accordo.
Bene, signori, grazie mille. Non ho altre domande. Abbiamo affrontato tutto nella chat dal vivo e penso che siamo quasi al termine del tempo.
Joannes, come sempre, grazie mille per esserti unito a me.
Patrick, apprezzo davvero che ti sia unito a noi da remoto e per il tuo tempo. Le tue intuizioni sono state davvero ottime.
Patrick McDonald: È stato un piacere. Spero che potremo rifarlo un giorno. Grazie.
Conor Doherty: E a tutti gli altri che stanno guardando, grazie mille per aver partecipato—per i vostri messaggi privati, i vostri commenti.
Se volete continuare la discussione, come dico sempre, contattate Joannes, me e Patrick. Siamo sempre felici di parlare con nuove persone.
E sì, è tutto. Grazie mille. Ci vediamo la prossima settimana, e torna al lavoro.
