La migliore metrica di errore di previsione
Le metriche disponibili per valutare le prestazioni di una previsione sono molte:
- Errore Assoluto Medio (MAE)
- Errore Quadratico Medio (MSE)
- Errore Percentuale Assoluto Medio (MAPE)
- Funzione di Perdita Pinball
- …
In questo post, cercheremo di affrontare la questione della “migliore” metrica di previsione. Risulta essere più semplice di quanto la maggior parte dei professionisti si aspetterebbe.
Tra queste, MAE e MAPE sono probabilmente le metriche più utilizzate dai professionisti sia nel settore del commercio al dettaglio che nella produzione. Iniziamo dando un’occhiata ai grafici di queste due metriche.
Grafico dell’Errore Assoluto Medio. X = reale (la previsione è 1). Y = errore.
Il comportamento del MAE è abbastanza semplice. L’aspetto complicato - dal punto di vista matematico - è che la funzione non è differenziabile ovunque (non per x=1 nell’esempio qui sopra).
Grafico dell’Errore Percentuale Assoluto Medio. X = reale (la previsione è 1). Y = errore.
Il MAPE, tuttavia, è molto più complesso. Infatti, il comportamento tra previsioni “sotto” e “sopra” è molto diverso: l’errore di previsione “sotto” è limitato a 1, mentre l’errore di previsione “sopra” tende all’infinito verso lo zero.
Questo aspetto in particolare tende a creare caos quando combinato con gli eventi di esaurimento scorte (OOS). Infatti, gli OOS generano valori di vendita effettivi molto bassi, quindi potenzialmente valori di MAPE molto alti.
In pratica, suggeriamo di pensarci due volte prima di optare per il MAPE, poiché l’interpretazione dei risultati potrebbe essere una sfida in sé.
La migliore metrica dovrebbe essere espressa in Dollari o Euro
Dal punto di vista matematico, alcune metriche (come L2) sono considerate più pratiche per l’analisi statistica (ad esempio perché differenziabili), tuttavia, riteniamo che questo punto di vista sia irrilevante quando ci si trova di fronte a situazioni aziendali reali.
L’unico parametro da utilizzare per valutare le prestazioni di una previsione dovrebbe essere il denaro. Le previsioni sono sempre sbagliate e l’unico modo ragionevole per quantificare l’errore consiste nel valutare quanto denaro il delta tra previsione e realtà ha costato all’azienda.
Modellare i costi aziendali
In pratica, definire una funzione di costo ad hoc richiede un’attenta esame dell’azienda, sollevando domande come:
- Quanto costa l’inventario?
- Quanto ci si può aspettare di obsolescenza dell’inventario?
- Quanto costa la rottura di stock?
- …
Per quanto riguarda le politiche aziendali, modellare l’errore di previsione come, ad esempio, una percentuale, ignorando quindi tutte queste problematiche, ha il vantaggio di essere neutrale - lasciando al resto dell’azienda l’onere di tradurre effettivamente la previsione in un piano d’azione.
Il processo di definizione di una funzione di costo sensata non è una scienza esatta, tuttavia, obbliga, all’interno dell’azienda, l’entità responsabile delle previsioni a scrivere esplicitamente tutti questi costi. Facendo ciò, si prendono delle decisioni, che non beneficiano ogni divisione dell’azienda, ma che chiaramente beneficiano l’azienda stessa.
