Función de pérdida pinball

Por Joannès Vermorel, febrero 2012

La función de pérdida pinball, también conocida como pérdida cuantil, es una métrica utilizada para evaluar la precisión de una previsión cuantil.

Evaluar la precisión de una previsión cuantil es un problema sutil. De hecho, a diferencia de las previsiones clásicas donde el objetivo es que la previsión esté lo más cercana posible a los valores observados, la situación es intencionalmente sesgada cuando se trata de previsiones cuantílicas. Por ello, la comparación ingenua observado vs previsiones no es satisfactoria. La función de pérdida pinball devuelve un valor que puede interpretarse como la precisión de un modelo de previsión cuantil.

Fórmula

Sea $${\tau}$$ el cuantil objetivo, $${y}$$ el valor real y $${z}$$ la previsión cuantil, entonces $${L_\tau}$$, la función de pérdida pinball, se puede escribir:

$${ \begin{eqnarray} L_{\tau}(y,z) & = & (y - z) \tau & \textrm{ si } y \geq z \\\ & = & (z - y) (1 - \tau) & \textrm{ si } z > y \end{eqnarray} }$$

Descarga: pinball-loss-function.xlsx

La hoja de cálculo ilustra cómo calcular la función de pérdida pinball en Microsoft Excel. La fórmula real no es más complicada que la de la mayoría de indicadores de precisión, como el MAPE.

Ilustración

La función de pérdida pinball (en rojo) ha sido denominada así por su forma, que se asemeja a la trayectoria de una bola en un pinball. La función es siempre positiva y, cuanto más se aleja del objetivo $${y}$$, mayor es el valor de $${L_\tau(y,z)}$$. La pendiente se utiliza para reflejar el desequilibrio deseado en la previsión cuantil.

El mejor modelo cuantil tiene la función de pérdida pinball más baja

El resultado más importante asociado con la función de pérdida pinball es que cuanto menor es la función de pérdida pinball, más precisa es la previsión cuantil.

Se puede demostrar que la función que minimiza la función de pérdida pinball también entrega el cuantil óptimo. Sin embargo, el formalismo requerido para la demostración va más allá del alcance de este artículo.

Por lo tanto, para comparar la respectiva precisión de dos modelos cuantiles (por ejemplo, Lokad vs otros), es suficiente calcular el promedio de la función de pérdida pinball de cada modelo sobre un número de series de tiempo lo suficientemente grande como para asegurarse de que la diferencia observada es estadísticamente significativa. En la práctica, unos pocos cientos de series de tiempo son suficientes para evaluar cuál modelo cuantil es el más preciso.

La trampa de Lokad

La supuesta simplicidad de la noción de precisión para una previsión clásica (es decir, previsión de la media) está, en nuestra opinión, sobrevalorada. Las previsiones, tanto de la media como de los cuantiles, están sujetas a overfitting, lo que complica enormemente la comparación de modelos de previsión. Sin embargo, la función de pérdida pinball constituye una forma muy sencilla de evaluar la precisión relativa de dos modelos de previsión cuantil.

Lecturas adicionales

Predicción secuencial de cuantiles en series de tiempo, marzo 2011, por Gerard Biau y Benoit Patra, Teoría de la Información, IEEE Transactions
Continuous Ranked Probability Score (CRPS), una generalización de la función de pérdida pinball para previsiones probabilísticas