Непрерывная ранжированная вероятность (CRPS)
Вероятностные прогнозы присваивают вероятность каждому возможному будущему событию. Однако все вероятностные прогнозы не одинаково точны, и для оценки точности различных вероятностных прогнозов требуются метрики. Простые метрики точности, такие как MAE (средняя абсолютная ошибка) или MAPE (средняя абсолютная процентная ошибка), не применимы к вероятностным прогнозам. Непрерывная ранжированная вероятность (CRPS) обобщает MAE на случай вероятностных прогнозов. Вместе с перекрестной энтропией, CRPS является одной из наиболее широко используемых метрик точности, где используются вероятностные прогнозы.
Обзор
CRPS часто используется для оценки точности двух моделей вероятностного прогнозирования. В частности, эта метрика может быть объединена с процессом обратного тестирования, чтобы стабилизировать оценку точности путем использования нескольких измерений на одном и том же наборе данных.
Эта метрика отличается от более простых метрик, таких как MAE, из-за ее асимметричного выражения: в то время как прогнозы являются вероятностными, наблюдения являются детерминированными. В отличие от функции потерь пинбола, CRPS не фокусируется на какой-либо конкретной точке распределения вероятности, а рассматривает распределение прогнозов в целом.
Формальное определение
Пусть $${X}$$ - случайная величина.
Пусть $${F}$$ - функция распределения (CDF) $${X}$$, такая что $${F(y)=\mathbf{P}\left[X \leq y\right]}$$.
Пусть $${x}$$ - наблюдение, а $${F}$$ - функция распределения, связанная с эмпирическим вероятностным прогнозом.
CRPS между $${x}$$ и $${F}$$ определяется следующим образом:
где $${𝟙}$$ - функция Хевисайда, которая является ступенчатой функцией на вещественной оси и принимает следующие значения:
- значение 1, если аргумент является положительным или нулевым,
- значение 0 в противном случае.
CRPS выражается в той же единице, что и наблюдаемая переменная. CRPS обобщает среднюю абсолютную ошибку; на самом деле, если прогноз является детерминированным, то он сводится к средней абсолютной ошибке (MAE).
Известные свойства
Гнейтинг и Рафтери (2004) показывают, что непрерывный ранжированный вероятностный балл может быть записан эквивалентно следующим образом:
где
- $${X}$$ и $${X^*}$$ - независимые копии линейной случайной величины,
- $${X}$$ - случайная величина, связанная с функцией распределения $${F}$$,
- $${\mathbf{E}[X]}$$ - математическое ожидание $${X}$$.
Численная оценка
С числовой точки зрения, простой способ вычисления CPRS состоит в разбиении исходного интеграла на два интеграла на хорошо выбранных границах для упрощения функции Хевисайда, что дает:
На практике, так как $$F$$ является эмпирическим распределением, полученным с помощью модели прогнозирования, соответствующая случайная величина $${X}$$ имеет компактную поддержку, что означает, что существует только конечное число точек, где $${\mathbf{P}[X = x] \gt 0}$$. Таким образом, интегралы могут быть преобразованы в конечные суммы.
Литература
Гнейтинг, Т. и Рафтери, А. Э. (2004). Строго правильные баллы оценки, прогнозирование и оценка. Технический отчет № 463, Департамент статистики, Университет Вашингтона, Сиэтл, Вашингтон, США.