Misurare l'accuratezza delle previsioni
La maggior parte degli ingegneri ti dirà che:
Non puoi ottimizzare ciò che non misuri
Si scopre che la previsione non fa eccezione. Misurare l’accuratezza delle previsioni è una delle poche pietre angolari di qualsiasi tecnologia di previsione.
Un frequente fraintendimento sulla misurazione dell’accuratezza è che Lokad debba aspettare che le previsioni diventino passate, per confrontare infine le previsioni con ciò che è realmente accaduto.
Tuttavia, questo approccio funziona fino a un certo punto, ma presenta gravi svantaggi:
- È dolorosamente lento: una previsione a 6 mesi richiede 6 mesi per essere convalidata.
- È molto sensibile all’overfitting. L’overfitting non deve essere preso alla leggera, ed è una delle poche cose che è molto probabile che crei caos nelle tue misurazioni di accuratezza.
Misurare l’accuratezza delle previsioni consegnate è un lavoro difficile per noi. La misurazione dell’accuratezza rappresenta circa la metà della complessità della nostra tecnologia di previsione: più avanzata è la tecnologia di previsione, maggiore è la necessità di misurazioni di accuratezza robuste.
In particolare, Lokad restituisce l’accuratezza delle previsioni associate ad ogni singola previsione che consegniamo (ad esempio, il nostro add-in Excel riporta l’accuratezza delle previsioni). La metrica utilizzata per la misurazione dell’accuratezza è il MAPE (Mean Absolute Percentage Error).
Per calcolare una accuratezza stimata, Lokad procede (approssimativamente) attraverso la cross-validation ottimizzata per le previsioni time-series. La cross-validation è più semplice di quanto sembri. Se consideriamo una previsione settimanale a 10 settimane in avanti con 3 anni (ovvero 150 settimane) di storico, allora la cross-validation appare come segue:
- Prendi la prima settimana, fai una previsione a 10 settimane in avanti e confronta i risultati con l’originale.
- Prendi le prime 2 settimane, fai una previsione a 10 settimane in avanti e confronta.
- Prendi le prime 3 settimane, fai una previsione a 10 settimane in avanti e confronta.
- …
Il processo è piuttosto tedioso, poiché finiamo per ricalcolare le previsioni circa 150 volte per soli 3 anni di storico. Ovviamente, la cross-validation richiede l’automazione, e c’è poca speranza di affrontare un tale processo senza il supporto di un computer. Tuttavia, i computer di solito costano meno degli errori di previsione aziendale, e Lokad si affida al cloud computing per fornire tali calcoli ad alta intensità.
I tentativi di “semplificare” il processo descritto sono molto probabili che finiscano con problemi di overfitting. Suggeriamo di essere molto attenti, poiché l’overfitting non è un problema da sottovalutare. In caso di dubbi, attenersi a una cross-validation completa.
Commenti dei lettori (1)
Voglio calcolare l’accuratezza delle previsioni rispetto alle vendite, dove ho una colonna con le cifre di vendita effettive e altre due colonne con le previsioni. Quello che devo fare è visualizzare l’accuratezza di ogni previsione rispetto alle vendite effettive in termini di percentuale. Mostrare semplicemente la differenza percentuale non è sufficiente (può variare da -200% a +200% poiché i nostri venditori sono pessimi nel fare previsioni), devo mostrare l’accuratezza come una cifra da 0% a 100%. 8 anni fa | acekard 2i
