Непрерывная ранжированная вероятность (CRPS)

Автор: Жоанн Верморель, июнь 2016 года

Вероятностные прогнозы присваивают вероятность каждому возможному будущему событию. Однако все вероятностные прогнозы не одинаково точны, и для оценки точности различных вероятностных прогнозов требуются метрики. Простые метрики точности, такие как MAE (средняя абсолютная ошибка) или MAPE (средняя абсолютная процентная ошибка), не применимы к вероятностным прогнозам. Непрерывная ранжированная вероятность (CRPS) обобщает MAE на случай вероятностных прогнозов. Вместе с перекрестной энтропией, CRPS является одной из наиболее широко используемых метрик точности, где используются вероятностные прогнозы.

Обзор

CRPS часто используется для оценки точности двух моделей вероятностного прогнозирования. В частности, эта метрика может быть объединена с процессом обратного тестирования, чтобы стабилизировать оценку точности путем использования нескольких измерений на одном и том же наборе данных.

Эта метрика отличается от более простых метрик, таких как MAE, из-за ее асимметричного выражения: в то время как прогнозы являются вероятностными, наблюдения являются детерминированными. В отличие от функции потерь пинбола, CRPS не фокусируется на какой-либо конкретной точке распределения вероятности, а рассматривает распределение прогнозов в целом.

Формальное определение

Пусть $${X}$$ - случайная величина.

Пусть $${F}$$ - функция распределения (CDF) $${X}$$, такая что $${F(y)=\mathbf{P}\left[X \leq y\right]}$$.

Пусть $${x}$$ - наблюдение, а $${F}$$ - функция распределения, связанная с эмпирическим вероятностным прогнозом.

CRPS между $${x}$$ и $${F}$$ определяется следующим образом:

$${CRPS(F, x) = \int_{-\infty}^{\infty}\Big(F(y)- 𝟙(y - x)\Big)^2dy}$$

где $${𝟙}$$ - функция Хевисайда, которая является ступенчатой функцией на вещественной оси и принимает следующие значения:

значение 1, если аргумент является положительным или нулевым,
значение 0 в противном случае.

CRPS выражается в той же единице, что и наблюдаемая переменная. CRPS обобщает среднюю абсолютную ошибку; на самом деле, если прогноз является детерминированным, то он сводится к средней абсолютной ошибке (MAE).

Известные свойства

Гнейтинг и Рафтери (2004) показывают, что непрерывный ранжированный вероятностный балл может быть записан эквивалентно следующим образом:

$${CRPS(F,x) = \mathbf{E}\Big[|X-x|\Big]-\frac{1}{2}\mathbf{E}\Big[|X-X^*|\Big]}$$

где

$${X}$$ и $${X^*}$$ - независимые копии линейной случайной величины,
$${X}$$ - случайная величина, связанная с функцией распределения $${F}$$,
$${\mathbf{E}[X]}$$ - математическое ожидание $${X}$$.

Численная оценка

С числовой точки зрения, простой способ вычисления CPRS состоит в разбиении исходного интеграла на два интеграла на хорошо выбранных границах для упрощения функции Хевисайда, что дает:

$${CRPS(F, x) = \int_{-\infty}^x F(y)^2dy + \int_x^{\infty}\Big(F(y)- 1\Big)^2dy}$$

На практике, так как $$F$$ является эмпирическим распределением, полученным с помощью модели прогнозирования, соответствующая случайная величина $${X}$$ имеет компактную поддержку, что означает, что существует только конечное число точек, где $${\mathbf{P}[X = x] \gt 0}$$. Таким образом, интегралы могут быть преобразованы в конечные суммы.

Литература

Гнейтинг, Т. и Рафтери, А. Э. (2004). Строго правильные баллы оценки, прогнозирование и оценка. Технический отчет № 463, Департамент статистики, Университет Вашингтона, Сиэтл, Вашингтон, США.