Risultati inaspettati nelle previsioni quantiliche - Software di ottimizzazione delle scorte

Risultati "bizzarri" nelle previsioni quantiliche


Home » Risorse » Qui

Aggiornamento maggio 2016: Molte delle stranezze che si presentano nella tecnologia di previsione quantilica di Lokad sono assenti nelle previsioni probabilistiche, che rappresentano l'ultima generazione della nostra tecnologia di previsione. In particolare, l'instabilità e l'inversione dei quantili non si verificano in questo tipo di previsione. Vedi anche come creare una lista di priorità degli acquisti con le previsioni probabilistiche.

Le previsioni quantiliche sono impareggiabili nell'ottimizzazione delle scorte. Tuttavia, alcuni quantili prodotti da Lokad potrebbero avere un comportamento piuttosto sorprendente. In questa pagina analizzeremo il meccanismo alla base di queste "bizzarrie" e vedremo come risolvere il problema.


Selezione da una libreria di modelli

Il nostro motore di previsione è concepito come una libreria di modelli di previsione, ognuno dei quali è in una sorta di competizione con gli altri per elaborare la previsione migliore. Il funzionamento completo del nostro motore di previsione è descritto nella pagina dedicata. Il procedimento di scelta del modello più accurato (1) è chiamato selezione. La selezione si basa su un intenso processo di backtesting, in cui ogni modello viene messo alla prova con una serie di dataset troncati.

Si tratta di un sistema molto potente, dal momento che:
  • Le previsioni risultano molto più accurate rispetto agli approcci a un solo modello.
  • Non vi sono troppe ipotesi preliminari sulla natura della domanda.
  • Il sistema è resistente a overfitting e altri errori sistematici.

Tuttavia, questo stesso procedimento può dar vita a comportamenti controintuitivi.

Instabilità dei quantili

Durante la selezione, i modelli più accurati mostrano comportamenti molto simili, per cui il modello che ieri era il secondo più accurato oggi potrebbe essere il più accurato in assoluto. Tuttavia, il cambiamento nei valori di previsione che ne deriva è di solito impercettibile dal punto di vista pratico.

A volte, può capitare che i due modelli migliori mostrino un comportamento molto diverso. Ad esempio, il modello A può rivelarsi ottimo nel rappresentare la stagionalità, ma non il trend; viceversa, il modello B può essere imbattibile sul trend, ma scarso sulla stagionalità. In questi casi, i modelli A e B, che risultano i due migliori, possono presentare un livello di accuratezza generale molto simile, ma generare previsioni molto diverse, se osservate in un dato momento.

Comunque sia, tali situazioni, benché si verifichino di rado nella realtà, sono comunque osservabili praticamente in ogni set di dati di dimensioni considerevoli. Infatti, ogni set con più di 100 articoli può, con tutta probabilità, dare vita a una situazione di questo tipo per almeno uno degli articoli, la cui probabilità aumenta nel caso la domanda storica sia irregolare o scarsa.

Tutto questo è ciò che avviene dietro le quinte di Lokad. Nella maggioranza dei casi, le situazioni di questo tipo passano inosservate, ma, se solo proviamo a sottoporre a Lokad due set di dati simili ma con piccole differenze, vediamo che il risultato è proprio quello che abbiamo appena descritto. Ipotizziamo di elaborare le nostre previsioni il lunedì, a partire da un set di dati A che comprende tutte le vendite fino alla domenica. Decidiamo, però, di rielaborare le stesse previsioni (per qualsiasi motivo, magari perché abbiamo dimenticato di includere alcuni dati) il mercoledì, con un set di dati B che include tutte le vendite fino al martedì. A prima vista, i set di dati saranno quasi identici, visto che ci sono appena 2 giorni di differenza, per cui potremmo essere portati a credere che le previsioni saranno più o meno uguali. Invece, vedremo che le previsioni presenteranno delle variazioni, talvolta significative. Si tratta di un caso tipico di instabilità dei quantili: durante la selezione, i 2 giorni di dati che abbiamo aggiunto in un secondo momento hanno fatto pendere il piatto della bilancia verso un altro modello matematico, con risultati molto simili in termini di performance generale. L'accuratezza generale sarà leggermente migliore, ma le previsioni, se prese singolarmente, saranno organizzate probabilmente in modo diverso, il che potrebbe essere destabilizzante.

Inversione dei quantili

Allo stesso modo, quando aumenta il livello di servizio, ci si aspetterebbe che aumenti anche il punto di riordino; questo, almeno, è il pattern di comportamento dominante che abbiamo potuto osservare con Lokad. Se, però, siamo nella stessa situazione descritta prima, e cioè inseriamo in Lokad due set di dati molto simili ma con livelli di servizio leggermente diversi (che, ad esempio, si spostano dal 97% al 98%), osserviamo che, per un certo numero di articoli, aumentare i livelli di servizio porta a un punto di riordino più basso quando vengono confrontati i risultati dei due dataset. Certo, dal punto di vista dell'utente, un simile comportamento può sembrare sbagliato.

Questo problema è noto agli statistici da decenni con il nome di inversione dei quantili.

Ancora una volta, è il procedimento di selezione a causare l'inversione dei quantili in Lokad. Tutti i nostri modelli di previsione sono coerenti: aumentando il fattore tau (livello di servizio), aumenta anche il valore del quantile (punto di riordino). Se, però, nel processo di selezione viene prescelto un altro modello, con un'accuratezza generale leggermente più alta, ma che si comporta in modo diverso, si verificherà puntualmente un salto nella serie dei quantili: osserviamo, così, un'inversione. Bisogna ricordare, però, che l'accuratezza generale delle previsioni non viene intaccata in alcun modo. Viene semplicemente scelto il modello migliore per il livello di servizio che hai deciso di applicare.

Anche in questo caso, si tratta di una situazione molto rara nella realtà, ma comunque osservabile in ogni set di dati di dimensioni rilevanti. Livelli di servizio elevati aumentano la frequenza di episodi di inversione, poiché i valori della previsione sono meno stabili. Infatti, è più difficile valutare il top 1% della domanda (livello di servizio al 99%) piuttosto che il top 10% della domanda (livello di servizio del 90%). Questo avviene perché esiste una sorta di effetto leva molto forte, che fa sì che i modelli matematici usati per generare previsioni con un livello di servizio al 98% non siano necessariamente quelli usati per le previsioni con un livello di servizio del 96 o del 97%.

Collasso dei quantili

Il collasso dei quantili è un caso estremo di inversione. Se i livelli di servizio aumentano costantemente verso valori estremi, a un certo punto non solo alcune, ma molte previsioni quantiliche inizieranno a contrarsi. In questo modo, aumentando il livello di servizio, è possibile che le quantità finali di scorte suggerite siano quasi universalmente più basse di quelle indicate al principio. Questo comportamento controintuitivo è chiamato, appunto, collasso dei quantili.

Per ottenere un collasso dei quantili, dovrebbero essere usati livelli di servizio irragionevoli. Se ti è già capitato di trovarti in una situazione come quella che abbiamo appena descritto, ti consigliamo di rivedere la nostra pagina dedicata ai livelli di servizio: seguendo le nostre linee guida, sarai in grado di affrontare il problema.

Il collasso dei quantili è causato da una ben nota mancanza nella nostra tecnologia di previsione. Semplificando, possiamo dire che usare livelli di servizio molto alti (del 99%, o anche del 97%, in caso di domanda scarsa) indebolisce la capacità del nostro motore di previsione di distinguere tra modelli di previsione buoni e modelli di previsione eccellenti. Infatti, con dei livelli di servizio molto elevati, tutti i modelli di previsione sovrastimano massicciamente la domanda, di proposito. Di conseguenza, la selezione del modello tende a regredire verso il comportamento “medio” tra i modelli di previsione, che si traduce in un possibile collasso dei quantili, con le quantità previste che diminuiscono mentre il livello di servizio aumenta.

Da un punto di vista teorico, il collasso dei quantili è sicuramente un problema interessante. Dal punto di vista pratico, il fenomeno si verifica solo quando i livelli di servizio sono molto al di sopra dei livelli di scorte sostenibili nel commercio. Produrre previsioni più accurate è una delle mission principali di Lokad: i nostri sforzi sono tutti rivolti verso scenari realmente importanti per un'attività commerciale. Per queste ragioni, il collasso dei quantili non è tra le nostre priorità di intervento.

Gestire i risultati numericamente bizzarri

L'instabilità e l'inversione dei quantili sono due riflessi di un'imperfezione delle tecnologie di previsione, dovuta a cause statistiche. Tuttavia, è importante tenere a mente che tentare di risolvere queste imperfezioni in fretta è rischioso e potrebbe addirittura peggiorare la situazione.

Si può forzare la coerenza della previsione, sostituendo il valore della previsione in modo che non si verifichino cambiamenti superiori a X%. È anche possibile far sì che il valore della previsione aumenti insieme al livello di servizio.

In entrambi i casi, però, finiamo per favorire un valore di previsione senza alcun fondamento statistico: se consideriamo una singola previsione, o due previsioni, il valore risultante potrebbe sembrare più coerente, ma, in generale, non rendiamo il valore della previsione né più accurato, né più redditizio per l'azienda che si basa su di esso.

Di conseguenza, raccomandiamo di prendere i valori dei quantili così come sono prodotti, senza tentare di correggerli manualmente, o aggiungere valori derivati da altre previsioni che sembrano più sensati. Quando si interviene in questo modo, infatti, non c'è modo di sapere quale valore sia il "migliore". È meglio fare affidamento sulla coerenza generale di un rapporto.

Infine, rammentiamo che sì, potrebbe esserci un guadagno visibile nel tenere traccia di queste stranezze, ma visibile non vuol dire importante. Nell'ottica di Lokad, potremmo apportare intere categorie di miglioramenti alla nostra tecnologia, che avrebbero risultati ben più significativi. Nell'ottica di un commerciante, investire maggiori sforzi nello stabilire lead time accurati e livelli di servizio adeguati è molto più redditizio che non andare a caccia di quel mezzo punto percentuale in più di accuratezza che si otterrebbe mitigando gli effetti di instabilità e inversione dei quantili.

La tecnologia di previsione di Lokad è in continua evoluzione. Il nostro obiettivo è quello di fornire le previsioni migliori che il mercato possa offrire. Continueremo, quindi, a lavorare per risolvere gli strani comportamenti che abbiamo fin qui descritto.

(1) In realtà, abbiamo descritto il procedimento di selezione in maniera piuttosto semplicistica. Il motore di previsione sfrutta una complessa combinazione di modelli vincenti. Tuttavia, per maggiore chiarezza, abbiamo preferito ridurre il processo di selezione alla scelta di un singolo modello “vincente”.