La limitata applicabilità del backtesting
Backtesting è un disegno sperimentale in cui si tronca i dati storici fino a un punto passato, e si applica un algoritmo di apprendimento, o un algoritmo di ottimizzazione, su questo dataset troncato per valutare quanto bene tale algoritmo avrebbe performato in quelle condizioni storiche. L’approccio è semplice ed elegante, e dunque risulta spesso molto attraente per i supply chain practitioner. Tuttavia, il backtesting è ben lontano dall’essere una bacchetta magica, e quando le sue limitazioni vengono fraintese, concentrarsi sul backtesting solitamente fa più male che bene.
Dalla nostra esperienza nell’esecuzione di iniziative Quantitative Supply Chain, le principali minacce al successo dell’iniziativa sono:
- Nessun accesso ai dati transazionali rilevanti
- Dati transazionali storici di qualità scadente
- Pre-elaborazione errata dei dati transazionali
- Mancanza di monitoraggio della salute dei dati
- Data pipeline fragile con fallimenti intermittenti
- Mancanza di comprensione dei fattori economici trainanti
- Modellizzazione strategica errata dei fattori economici trainanti
- Disallineamento tra i vincoli del mondo reale e la loro modellizzazione
- Processi o strumenti inadeguati per implementare decisioni ottimizzate
Con gli approcci tradizionali di forecasting, le previsioni inaccurate sarebbero state parte di questo elenco, ma quando si utilizzano le previsioni probabilistiche il problema è molto meno rilevante: non perché le previsioni probabilistiche siano più accurate - non lo sono - ma perché la qualità delle decisioni si deteriora in maniera molto più graduale quando l’accuratezza stessa viene compromessa.
Infatti, in pratica, una previsione probabilistica “inaccurata” è caratterizzata principalmente da una distribuzione di probabilità che si estende su una gamma di valori estremamente ampia. Sebbene questo comportamento sia indesiderabile, di solito non è affatto così negativo come le conseguenze di una previsione tradizionale inaccurata (cioè non probabilistica), in cui l’azienda scommette tutto su un unico futuro possibile che poi non si rivela essere quello corretto. Le previsioni probabilistiche inaccurate si traducono in decisioni estremamente conservative e caute. Si spreca comunque denaro, ma considerando che molte situazioni di supply chain hanno costi altamente asimmetrici, agire con cautela è tutt’altro che la peggiore strategia.
Un adeguato backtesting non è semplice da eseguire in situazioni reali. Implementazioni naive del backtesting possono facilmente essere ingannate da overfitting, dato che poche covariabili nascoste possono spiegare la maggior parte della crescita aziendale. Procedere per tentativi ed errori con un processo di backtesting porta invariabilmente a produrre un modello che ha “memorizzato” le evoluzioni passate del mercato, ma che rimane incapace di anticipare il mercato.
Da Lokad, abbiamo scoperto che l’unico modo affidabile per eseguire il backtesting di un determinato modello statistico è sfruttare dataset provenienti da decine di aziende che affrontano situazioni molto diverse. Sebbene questo approccio non elimini l’overfitting, lo mitiga in maniera significativa.
Per un’iniziativa Quantitative Supply Chain - assumendo che gli strumenti di forecasting siano adeguati e non richiedano ai supply chain practitioner di parametrizzare manualmente i modelli - un focus precoce sul backtesting di solito si traduce in un’ottimizzazione prematura che distrae il team incaricato dell’implementazione dell’iniziativa dai fattori di rischio che dominano i benefici che ci si può aspettare da un processo di backtesting.
Alcuni strumenti di forecasting risultano essere progettati in modo erroneo e richiedono che gli utenti finali individuino parametri statistici per iniziare a funzionare. Ad esempio, l’exponential smoothing, un semplice modello di previsione, richiede di fornire un smoothing factor. Poiché gli utenti finali non possono inventare questi parametri dal nulla, finiscono per ricorrere a un processo di backtesting per far funzionare i modelli. Tuttavia, la desiderabilità del backtesting non dovrebbe essere confusa con i requisiti imposti dagli errori progettuali accidentali di alcuni strumenti di forecasting.
Come regola generale, è opportuno iniziare a considerare il backtesting quando:
- l’esecuzione della data pipeline è diventata noiosa e priva di eventi.
- i fattori economici trainanti sono ben compresi e ben documentati.
- i vincoli - ad es. MOQs - sono stati ampiamente rivisti e messi in discussione.
- i processi della supply chain sono stati allineati per sfruttare al meglio le decisioni automatizzate.
Quando queste condizioni sono soddisfatte, il backtesting può essere adottato come un ulteriore approccio per migliorare le prestazioni dell’iniziativa Quantitative Supply Chain.
