Funzione di perdita pinball

learn menu
Di Joannès Vermorel, febbraio 2012

La funzione di perdita pinball, anche indicata come perdita di quantile, è una metrica utilizzata per valutare l’accuratezza di una previsione di quantile.

Valutare l’accuratezza di una previsione di quantile è un problema complesso. Infatti, a differenza delle previsioni classiche, in cui l’obiettivo è che la previsione sia il più vicino possibile ai valori osservati, la situazione è distorta (volutamente) quando si tratta di previsioni di quantile. Pertanto, il confronto ingenuo osservato vs previsioni non è soddisfacente. La funzione di perdita pinball restituisce un valore che può essere interpretato come l’accuratezza di un modello di previsione di quantile.

Formula

Sia $${\tau}$$ il quantile target, $${y}$$ il valore reale e $${z}$$ la previsione di quantile, allora $${L_\tau}$$, la funzione di perdita pinball, può essere scritta:

$${ \begin{eqnarray} L_{\tau}(y,z) & = & (y - z) \tau & \textrm{ se } y \geq z \\\ & = & (z - y) (1 - \tau) & \textrm{ se } z > y \end{eqnarray} }$$

Scarica: pinball-loss-function.xlsx

Il foglio di calcolo illustra come calcolare la funzione di perdita pinball all’interno di Microsoft Excel. La formula effettiva non è più complessa della maggior parte degli indicatori di accuratezza, come ad esempio il MAPE.

Illustrazione

/pinball-loss-function

La funzione di perdita pinball (in rosso) prende il nome dalla sua forma, che ricorda la traiettoria di una palla in un pinball. La funzione è sempre positiva e, quanto più ci si allontana dal target $${y}$$, tanto maggiore è il valore di $${L_\tau(y,z)}$$. La pendenza viene utilizzata per riflettere lo squilibrio desiderato nella previsione di quantile.

Il miglior modello di quantile ha la perdita pinball più bassa

Il risultato più importante associato alla funzione di perdita pinball è che più bassa è la perdita pinball, più accurata è la previsione di quantile.

Si può dimostrare che la funzione che minimizza la perdita pinball fornisce anche il quantile ottimale. Tuttavia, il formalismo richiesto per la dimostrazione va oltre lo scopo di questo articolo.

Pertanto, per confrontare l’accuratezza rispettiva di due modelli di quantile (ad esempio Lokad vs altri), è sufficiente calcolare la media della perdita pinball di ciascun modello su un numero di serie temporali sufficientemente grande da garantire che la differenza osservata sia statisticamente significativa. In pratica, qualche centinaio di serie temporali è sufficiente per valutare quale modello di quantile sia il più accurato.

Il tranello di Lokad

La presunta semplicità della nozione di accuratezza per una previsione classica (cioè la previsione media) è, a nostro avviso, ampiamente sopravvalutata. Le previsioni, sia medie che di quantile, sono soggette a overfitting, il che complica notevolmente il confronto tra modelli di previsione. Tuttavia, la funzione di perdita pinball costituisce un modo molto semplice per valutare l’accuratezza relativa di due modelli di previsione di quantile.

Ulteriori letture