La migliore metrica di errore di previsione
Le metriche disponibili per valutare la performance di una previsione sono molte:
- Errore Assoluto Medio (MAE)
- Errore Quadratico Medio (MSE)
- Errore Percentuale Assoluto Medio (MAPE)
- Funzione di Perdita Pinball
- …
In questo post, cercheremo di affrontare la questione della ‘migliore’ metrica di previsione. Risulta essere più semplice di quanto la maggior parte dei professionisti si aspetti.
Tra queste, MAE e MAPE sono probabilmente le metriche più ampiamente utilizzate dai professionisti sia nel commercio al dettaglio che nella manifattura. Iniziamo dando un’occhiata ai grafici di queste due metriche.
Grafico dell’Errore Assoluto Medio. X = reale (la previsione è 1). Y = errore.
Il comportamento del MAE è abbastanza diretto. L’unico aspetto complicato - da un punto di vista matematico - è che la funzione non è differenziabile ovunque (non per x=1 nell’esempio sopra).
Grafico dell’Errore Percentuale Assoluto Medio. X = reale (la previsione è 1). Y = errore.
Il MAPE, tuttavia, è molto più complicato. Infatti, il comportamento tra previsioni sopra e sotto è molto diverso: l’errore in caso di sottostima è limitato a 1, mentre in caso di sovrastima l’errore tende all’infinito avvicinandosi a zero.
Questo aspetto in particolare tende a creare scompiglio, soprattutto se combinato con eventi di esaurimento scorte (OOS). Infatti, gli OOS generano valori di vendita reali molto bassi, creando di conseguenza potenzialmente valori di MAPE molto elevati.
In pratica, suggeriamo di pensarci due volte prima di optare per il MAPE, poiché interpretare i risultati potrebbe rappresentare una piccola sfida in sé.
La migliore metrica dovrebbe essere espressa in Dollari o Euro
Da un punto di vista matematico, alcune metriche (come L2) sono considerate più pratiche per l’analisi statistica (per esempio perché differenziabili), tuttavia, riteniamo che questo punto di vista sia irrilevante di fronte a situazioni aziendali reali.
L’unica unità da utilizzare per valutare la performance di una previsione dovrebbe essere il denaro. Le previsioni sono sempre sbagliate, e l’unico modo ragionevole per quantificare l’errore consiste nel valutare quanto denaro ha costato all’azienda la differenza tra la previsione e la realtà.
Modellare i costi aziendali
In pratica, definire una funzione di costo ad hoc richiede un’attenta analisi del business, sollevando domande come:
- Quanto costa l’inventario?
- Quanta obsolescenza dell’inventario ci si dovrebbe aspettare?
- Quanto costa un stock-out?
- …
Per quanto riguarda le politiche aziendali, modellare l’errore di previsione come, ad esempio, una percentuale, ignorando così tutte queste domande complicate, ha il vantaggio di essere neutrale - lasciando il resto dell’azienda il compito di tradurre effettivamente la previsione in un corso d’azione.
Il processo di definizione di una funzione di costo sensata non è una scienza spaziale, tuttavia, costringe, all’interno dell’azienda, l’entità responsabile delle previsioni, a scrivere esplicitamente tutti quei costi. In tal modo, si prendono decisioni, che non avvantaggiano ogni divisione dell’azienda, ma chiaramente avvantaggiano l’azienda stessa.
