La migliore metrica di errore di previsione
Le metriche disponibili per valutare le prestazioni di una previsione sono molte:
- Errore Medio Assoluto (MAE)
- Errore Quadratico Medio (MSE)
- Errore Percentuale Medio Assoluto (MAPE)
- Funzione di perdita Pinball
- …
In questo post, cercheremo di affrontare la questione della ‘migliore’ metrica di previsione. Si scopre che è più semplice di quanto la maggior parte dei professionisti si aspetterebbe.
Tra queste, MAE e MAPE sono probabilmente le metriche più ampiamente utilizzate dai professionisti sia nel retail che nella manifattura. Cominciamo dando un’occhiata ai grafici per queste due metriche.
Grafico dell’Errore Medio Assoluto. X = reale (la previsione è 1). Y = errore.
Il comportamento del MAE è ragionevolmente semplice. L’unico aspetto complicato - da un punto di vista matematico - è che la funzione non è differenziabile ovunque (non per x=1 nell’esempio sopra).
Grafico dell’Errore Percentuale Medio Assoluto. X = reale (la previsione è 1). Y = errore.
Il MAPE, tuttavia, è molto più complicato. Infatti, il comportamento tra previsioni in eccesso e in difetto è molto diverso: l’errore di previsione in difetto è limitato a 1, mentre l’errore di previsione in eccesso tende a infinito quando il valore reale si avvicina a zero.
Questo aspetto in particolare tende a provocare seri disagi quando combinato con eventi di fuori scorta (OOS). Infatti, l’OOS genera valori di vendita reali molto bassi, e quindi potenzialmente valori di MAPE molto elevati.
In pratica, suggeriamo di riflettere attentamente prima di optare per il MAPE, poiché l’interpretazione dei risultati rappresenta già di per sé una piccola sfida.
La migliore metrica dovrebbe essere espressa in Dollari o Euro
Da un punto di vista matematico, alcune metriche (come L2) sono considerate più pratiche per l’analisi statistica (grazie, ad esempio, alla loro differenziabilità), tuttavia, riteniamo che questo punto di vista sia irrilevante di fronte a situazioni aziendali reali.
L’unica unità da utilizzare per valutare la performance di una previsione dovrebbe essere il denaro. Le previsioni sono sempre sbagliate, e l’unico modo ragionevole per quantificare l’errore consiste nel valutare quanto denaro ha costato all’azienda il divario tra previsione e realtà.
Modellare i costi aziendali
In pratica, definire una funzione di costo ad hoc richiede un’attenta analisi dell’azienda, sollevando domande quali:
- Quanto costa l’inventario?
- Quanta obsolescenza dell’inventario dovrebbe essere attesa?
- Quanto costa il stock-out?
- …
Per quanto riguarda le politiche aziendali, modellare l’errore di previsione come, ad esempio, una percentuale, ignorando così tutte quelle problematiche domande, ha il vantaggio di essere neutrale - lasciando al resto dell’azienda l’onere di tradurre effettivamente la previsione in un corso d’azione.
Il processo di definizione di una funzione di costo sensata non è scienza missilistica, tuttavia, obbliga, all’interno dell’azienda, l’ente responsabile delle previsioni a scrivere esplicitamente tutti quei costi. In questo modo, vengono fatte delle scelte, che non avvantaggiano ogni divisione dell’azienda, ma chiaramente avvantaggiano l’azienda stessa.
