Функция потерь pinball
Функция потерь pinball, также называемая квантильными потерями, является метрикой, используемой для оценки точности квантильного прогноза.
Оценка точности квантильного прогноза представляет собой тонкую задачу. Действительно, в отличие от классических прогнозов, где цель – сделать прогноз максимально близким к наблюдаемым значениям, ситуация становится смещённой (намеренно) в случае квантильных прогнозов. Поэтому наивное сравнение наблюдаемых значений и прогнозов не даёт удовлетворительного результата. Функция потерь pinball возвращает значение, которое можно интерпретировать как точность модели квантильного прогнозирования.
Формула
Пусть $${\tau}$$ — целевая квантиль, $${y}$$ — реальное значение, а $${z}$$ — квантильный прогноз, тогда $${L_\tau}$$, функция потерь pinball, может быть записана следующим образом:
Скачать: pinball-loss-function.xlsx
Электронная таблица демонстрирует, как вычислить функцию потерь pinball в Microsoft Excel. Фактическая формула не сложнее большинства показателей точности, таких как индикаторы, например, MAPE.
Иллюстрация

Функция потерь pinball (выделенная красным) получила своё название благодаря форме, напоминающей траекторию мяча в pinball. Функция всегда положительна, и чем дальше от цели $${y}$$ находится прогноз, тем больше значение $${L_\tau(y,z)}$$. Наклон используется для отражения желаемого дисбаланса в квантильном прогнозе.
Лучшая квантильная модель имеет наименьшую функцию потерь pinball
Самый важный вывод, связанный с функцией потерь pinball, заключается в том, что чем ниже функция потерь pinball, тем точнее квантильный прогноз.
Таким образом, для сравнения точности двух квантильных моделей (например, Lokad против другой) достаточно вычислить среднюю функцию потерь pinball для каждой модели по достаточному количеству временных рядов, чтобы убедиться, что наблюдаемая разница статистически значима. На практике несколько сотен временных рядов достаточно для оценки, какая квантильная модель является наиболее точной.
Ловушка Lokad
Предполагаемая простота понятия точности для классического прогноза (то есть среднего прогноза) на наш взгляд переоценена. Прогнозы, как средние, так и квантильные, подвержены переобучению, что значительно осложняет сравнение моделей прогнозирования. Однако функция потерь pinball представляет собой очень простой способ оценки относительной точности двух квантильных моделей прогнозирования.
Дополнительная литература
- Последовательное предсказание квантилей временных рядов, март 2011, авторы Жерар Биау и Бенуа Патра, Information Theory, IEEE Transactions
- Непрерывный балл ранжированной вероятности (CRPS), обобщение функции потерь pinball для вероятностных прогнозов