Показатели непрерывной приоритетной вероятности (CRPS)

Показатели непрерывной приоритетной вероятности





Жоаннес Верморель, июнь 2016 г.

Вероятностные прогнозы позволяют рассчитать вероятность возникновения всех возможных ситуаций в будущем. Тем не менее не все вероятностные прогнозы одинаково точны, и для оценки точности отдельных прогнозов требуется показатель. Простые показатели точности, такие как САО (средняя абсолютная ошибка) или САОП (средняя абсолютная ошибка в процентах) нельзя просто так применять к вероятностным прогнозам. Показатели непрерывной приоритетной вероятности (CRPS) обобщают САО для вероятностных прогнозов. CPRS — один из самых распространенных показателей точности для вероятностных прогнозов.

Обзор

CRPS часто используется для оценки точности двух моделей вероятностного прогнозирования. В частности, данный показатель можно сочетать с ретроспективным тестированием для стабилизации оценки точности посредством применения различных измерений к одному и тому же набору данных.

Данный показатель заметно отличается от более простых показателей, таких как САО, из-за своей асимметричности: прогнозы остаются вероятностными, однако наблюдения — однозначные. В отличие отфункции квантильной точности CPRS рассматривает не отдельную точку распределения вероятности, но все распределение прогнозов в целом.

Формальное определение

Пусть $X$ будет случайной переменной.

Пусть $F$ будет интегральной функцией распределения (CDF) $X$, например $F(y)=\mathbf{P}\left[X \leq y\right]$.

Пусть $x$ будет наблюдением, а $F$ — CDF, связанной с эмпирическим вероятностным прогнозом.

CRPS между $x$ и $F$ рассчитывается следующим образом: $$CRPS(F, x) = \int_{-\infty}^{\infty}\Big(F(y)- (y - x)\Big)^2dy$$ Где $$ — функция Хевисайда, которая задает ступенчатую функцию по оси, которая достигает

  • значения 1, если вещественный аргумент больше или равен нулю;
  • значения 0 в любых других случаях.

CRPS выражается в тех же единицах, что и наблюдаемая переменная. CRPS обобщает среднюю абсолютную ошибку. Этот показатель снижается до средней абсолютной ошибки (САО), если прогноз является однозначным.

Синтаксис Envision

Язык программирования Lokad поддерживает CRPS через функцию crps():
Accuracy = crps(Z, X)
Где Z — распределение, которое должно представлять вероятностный прогноз, а X — число, которое должно представлять наблюдаемые значения.

Известные свойства

Гнайтинг и Рафтери (2004) показали, что показатель непрерывной приоритетной вероятности можно также записать следующим образом: $$CRPS(F,x) = \mathbf{E}\Big[|X-x|\Big]-\frac{1}{2}\mathbf{E}\Big[|X-X^*|\Big]$$ Где
  • $X$ и $X^*$ являются независимыми копиями случайной линейной переменной;
  • $X$ — случайная переменная, связанная с интегральной функцией распределения $F$,
  • $\mathbf{E}[X]$ — ожидаемое значение $X$.

Числовая оценка

С точки зрения чисел, самый простой способ расчета CPRS заключается в разложении исходного интеграла на два по правильно выбранным пределам для упрощения ступенчатой функции Хевисайда, что дает нам следующую формулу: $$CRPS(F, x) = \int_{-\infty}^x F(y)^2dy + \int_x^{\infty}\Big(F(y)- 1\Big)^2dy$$ На практике $F$ является эмпирическим распределением, полученным с помощью модели прогнозирования, поэтому соответствующая случайная переменная $X$ имеет носитель функции, а значит, существует конечное число точек, где $\mathbf{P}[X = x] \gt 0$. Таким образом, интегралы можно преобразовать в дискретные конечные суммы.

Список источников

  • Gneiting, T. and Raftery, A. E. (2004). Strictly proper scoring rules, prediction, and estimation. Technical Report no. 463, Department of Statistics, University of Washington, Seattle, Washington, USA.