Функция потерь pinball

learn menu
От Joannès Vermorel, Февраль 2012

Функция потерь pinball, также называемая квантильными потерями, является метрикой, используемой для оценки точности квантильного прогноза.

Оценка точности квантильного прогноза представляет собой тонкую задачу. Действительно, в отличие от классических прогнозов, где цель – сделать прогноз максимально близким к наблюдаемым значениям, ситуация становится смещённой (намеренно) в случае квантильных прогнозов. Поэтому наивное сравнение наблюдаемых значений и прогнозов не даёт удовлетворительного результата. Функция потерь pinball возвращает значение, которое можно интерпретировать как точность модели квантильного прогнозирования.

Формула

Пусть $${\tau}$$ — целевая квантиль, $${y}$$ — реальное значение, а $${z}$$ — квантильный прогноз, тогда $${L_\tau}$$, функция потерь pinball, может быть записана следующим образом:

$${ \begin{eqnarray} L_{\tau}(y,z) & = & (y - z) \tau & \textrm{ если } y \geq z \\\ & = & (z - y) (1 - \tau) & \textrm{ если } z > y \end{eqnarray} }$$

Скачать: pinball-loss-function.xlsx

Электронная таблица демонстрирует, как вычислить функцию потерь pinball в Microsoft Excel. Фактическая формула не сложнее большинства показателей точности, таких как индикаторы, например, MAPE.

Иллюстрация

/pinball-loss-function

Функция потерь pinball (выделенная красным) получила своё название благодаря форме, напоминающей траекторию мяча в pinball. Функция всегда положительна, и чем дальше от цели $${y}$$ находится прогноз, тем больше значение $${L_\tau(y,z)}$$. Наклон используется для отражения желаемого дисбаланса в квантильном прогнозе.

Лучшая квантильная модель имеет наименьшую функцию потерь pinball

Самый важный вывод, связанный с функцией потерь pinball, заключается в том, что чем ниже функция потерь pinball, тем точнее квантильный прогноз.

Можно доказать, что функция, минимизирующая потери pinball, также определяет оптимальную квантиль. Однако формализм, необходимый для доказательства, выходит за рамки данной статьи.

Таким образом, для сравнения точности двух квантильных моделей (например, Lokad против другой) достаточно вычислить среднюю функцию потерь pinball для каждой модели по достаточному количеству временных рядов, чтобы убедиться, что наблюдаемая разница статистически значима. На практике несколько сотен временных рядов достаточно для оценки, какая квантильная модель является наиболее точной.

Ловушка Lokad

Предполагаемая простота понятия точности для классического прогноза (то есть среднего прогноза) на наш взгляд переоценена. Прогнозы, как средние, так и квантильные, подвержены переобучению, что значительно осложняет сравнение моделей прогнозирования. Однако функция потерь pinball представляет собой очень простой способ оценки относительной точности двух квантильных моделей прогнозирования.

Дополнительная литература