La limitata applicabilità del backtesting
Backtesting è un esperimento di progettazione in cui si troncano i dati storici fino a un punto nel passato e si applica un algoritmo di apprendimento o di ottimizzazione a questo dataset troncato per valutare quanto bene questo algoritmo si sarebbe comportato in quelle condizioni storiche. L’approccio è semplice ed elegante e quindi spesso molto attraente per i professionisti della supply chain. Tuttavia, il backtesting è ben lungi dall’essere una soluzione miracolosa e quando le sue limitazioni sono fraintese, concentrarsi sul backtesting di solito fa più male che bene.
Nella nostra esperienza nell’avvio di iniziative di Quantitative Supply Chain, le principali minacce al successo dell’iniziativa sono:
- Nessun accesso ai dati transazionali pertinenti
- Dati storici transazionali corrotti
- Preelaborazione errata dei dati transazionali
- Mancanza di monitoraggio della salute dei dati
- Fragile pipeline dei dati con guasti intermittenti
- Mancanza di comprensione dei driver economici
- Modellazione strategica errata dei driver economici
- Mancorrelazione tra i vincoli del mondo reale e la loro modellazione
- Processi o strumenti inadeguati per utilizzare decisioni ottimizzate
Con approcci di previsione tradizionali, le previsioni inaccurate avrebbero fatto parte di questa lista, ma quando vengono utilizzate previsioni probabilistiche, è una preoccupazione molto minore: non perché le previsioni probabilistiche siano più accurate - non lo sono - ma perché la qualità delle decisioni si degrada in modo molto più graduale quando l’ accuratezza stessa viene degradata.
Infatti, nella pratica, una previsione probabilistica “inaccurata” è principalmente caratterizzata da una distribuzione di probabilità che si estende su un intervallo di valori estremamente ampio. Sebbene questo comportamento sia indesiderabile, di solito non è quasi così grave come le conseguenze di una previsione tradizionale (cioè non probabilistica) inaccurata, in cui l’azienda si impegna completamente in un singolo futuro possibile che non si verifica. Le previsioni probabilistiche inaccurate si trasformano in decisioni estremamente conservative e caute. Si spreca ancora denaro, ma considerando che molte situazioni della supply chain hanno costi altamente asimmetrici, sbagliare sul lato della prudenza è tutt’altro che la strategia peggiore.
Un backtesting corretto è difficile da eseguire in situazioni reali. Le implementazioni di backtesting naive sono facilmente ingannate dall’overfitting. Poiché alcune variabili nascoste possono spiegare la maggior parte della crescita aziendale. Procedere con il metodo del tentativi ed errori con un processo di backtesting finisce inevitabilmente per produrre un modello che ha “memorizzato” le evoluzioni passate del mercato, ma che rimane incapace di anticipare il mercato.
Da Lokad, abbiamo scoperto che l’unico modo affidabile per testare un determinato modello statistico è sfruttare i dataset di decine di aziende che affrontano situazioni molto diverse. Sebbene questo approccio non elimini l’overfitting, lo mitiga significativamente.
Per un’iniziativa di Quantitative Supply Chain - assumendo che gli strumenti di previsione siano adeguati e non richiedano ai professionisti della supply chain di parametrizzare manualmente i modelli - una focalizzazione precoce sul backtesting di solito porta a un’ ottimizzazione prematura che distrae il team responsabile dell’implementazione dell’iniziativa dai fattori di rischio che dominano i benefici che ci si può aspettare da un processo di backtesting.
Alcuni strumenti di previsione si rivelano essere progettati in modo improprio e richiedono agli utenti finali di creare parametri statistici per iniziare a funzionare. Ad esempio, l’espansione esponenziale, un semplice modello di previsione, richiede un fattore di smoothing da fornire. Poiché gli utenti finali non possono inventare questi parametri dal nulla, finiscono per dover ricorrere a un processo di backtesting per far funzionare i modelli in primo luogo. Tuttavia, la desiderabilità del backtesting non deve essere confusa con i requisiti imposti dagli errori di progettazione accidentali di alcuni strumenti di previsione.
Come regola generale, è opportuno iniziare a considerare il backtesting quando:
- l’esecuzione del flusso di dati è diventata noiosa e priva di eventi.
- i driver economici sono ben compresi e ben documentati.
- i vincoli - ad esempio, MOQs - sono stati ampiamente rivisti e messi in discussione.
- i processi della supply chain sono stati allineati per sfruttare al massimo le decisioni automatizzate.
Quando queste condizioni sono soddisfatte, il backtesting può essere implementato come un ulteriore angolo per migliorare ulteriormente le prestazioni dell’iniziativa di Quantitative Supply Chain.
