連続ランク確率スコア（CRPS）

Joannes Vermorelによる、2016年6月

確率的予測は、すべての可能な将来に確率を割り当てます。しかし、すべての確率的予測が同じように正確ではなく、異なる確率的予測の正確さを評価するためには指標が必要です。MAE（平均絶対誤差）やMAPE（平均絶対パーセント誤差）などの単純な精度指標は、確率的予測に直接適用することはできません。*連続ランク確率スコア（CRPS）*は、確率的予測の場合にMAEを一般化したものです。クロスエントロピーとともに、CRPSは確率的予測が関与する場合に最も広く使用される精度指標の一つです。

概要

CRPSは、2つの確率的予測モデルの正確さを評価するために頻繁に使用されます。特に、この指標はバックテストプロセスと組み合わせて、同じデータセット上で複数の測定を活用して正確さの評価を安定化させるために使用されます。

この指標は、MAEなどのより単純な指標とは異なり、非対称な表現を持っています。予測は確率的である一方、観測値は確定的です。ピンボール損失関数とは異なり、CRPSは確率分布の特定の点に焦点を当てるのではなく、予測の分布全体を考慮します。

形式的な定義

$$X$$をランダム変数とします。

$$F$$を$$X$$の累積分布関数（CDF）とし、$$F(y)=\mathbf{P}\left[X \leq y\right]$$とします。

観測値を$$x$$、経験的な確率的予測に関連付けられたCDFを$$F$$とします。

$$x$$と$$F$$の間のCRPSは次のように定義されます：

$$CRPS(F, x) = \int_{-\infty}^{\infty}\Big(F(y)- 𝟙(y - x)\Big)^2dy$$

ここで$$𝟙$$はヘヴィサイドの階段関数であり、実数直線上のステップ関数で以下の値を取ります：

実引数が正またはゼロの場合、値は1です。
それ以外の場合、値は0です。

CRPSは、観測変数と同じ単位で表されます。CRPSは平均絶対誤差を一般化したものであり、予測が確定的な場合は平均絶対誤差（MAE）に簡約されます。

既知の特性

GneitingとRaftery（2004）は、連続ランク確率スコアを次のように等価に書くことができることを示しています：

$$CRPS(F,x) = \mathbf{E}\Big[|X-x|\Big]-\frac{1}{2}\mathbf{E}\Big[|X-X^*|\Big]$$

ここで、

$X$と$X^*$は線形確率変数の独立なコピーです。
$X$は累積分布関数$F$に関連付けられた確率変数です。
$\mathbf{E} $は$X$の期待値です。

数値評価

数値的な観点から、CPRSを計算する簡単な方法は、元の積分を適切に選ばれた境界上の2つの積分に分解し、ヘビサイドステップ関数を単純化することです。これにより、次のようになります：

$$CRPS(F, x) = \int_{-\infty}^x F(y)^2dy + \int_x^{\infty}\Big(F(y)- 1\Big)^2dy$$

実際には、$$F$$は予測モデルを通じて得られた経験的な分布であり、対応する確率変数$X$はコンパクトなサポートを持っています。つまり、$${\mathbf{P}[X = x] \gt 0}$$となる点は有限個しかありません。したがって、積分は離散的な有限和に変換できます。

参考文献

Gneiting, T. and Raftery, A. E. (2004). Strictly proper scoring rules, prediction, and estimation. Technical Report no. 463, Department of Statistics, University of Washington, Seattle, Washington, USA.