最高の予測誤差指標

11月 19, 2012

supply chain science

Joannes Vermorel

予測のパフォーマンスを評価するために利用可能な指標は多数存在する：

本記事では、『最適』な予測指標という疑問に取り組む。結果、ほとんどの実務者が予想するよりも単純であることが判明した.

これらの中で、MAE と MAPE は小売業や製造業の実務者によって最も広く使用されている指標である。まずはこれら二つの指標のグラフを見てみよう。

平均絶対誤差のプロット。X = 実際（予測は1）。Y = 誤差.

MAE の挙動は比較的分かりやすい。一つの難点は、数学的観点から、この関数がすべての点で微分可能ではない（上記の例では x=1 では微分不可）。

平均絶対百分率誤差のプロット。X = 実際（予測は1）。Y = 誤差.

しかしながら、MAPE ははるかに込み入っている。実際、過大予測 と 過小予測 の間では挙動が大きく異なり、過小予測の場合の誤差は最大で1に制限される一方、過大予測の場合の誤差はゼロに向かうにつれて無限大に膨らむ。

特にこの後者の側面は、棚外（OOS）イベントと組み合わさると大混乱を引き起こす。実際、OOS は非常に低い実際の販売値を生むため、結果として非常に高い MAPE 値が得られる可能性がある。

実務上、MAPE を選択する前に十分に検討することを推奨する。結果の解釈自体が、ある種の小さな課題となり得る.

数学的観点から、いくつかの指標（例えば L2）は統計解析においてより実用的であると考えられている（例：微分可能であるため）が、実際のビジネス状況に直面した際にはこの見解は問題外であると考える。

予測のパフォーマンスを評価するために用いられる唯一無二の単位は金銭であるべきだ。予測は常に誤っており、誤差を定量化する唯一の合理的な方法は、予測と実際の差が企業にどれだけのコストをもたらしたかを評価することである。

実際、こうした特注のコスト関数を定義するには、ビジネスの詳細な検討が必要となり、以下のような疑問が生じる：

企業内政治の観点から、例えば誤差をパーセンテージでモデル化する、すなわちこれらの厄介な疑問を無視することには、中立的であるという一点の利点がある―結果として、他部門に予測を実際の行動計画に変換する負担を押し付けることになる。

合理的なコスト関数を確立するプロセスは難解なものではないが、企業内で予測を担当する部門に、これらのすべてのコストを明示的に記述させることを強いる。その結果、選択が行われる。これは必ずしも企業内すべての部門に利益をもたらすものではないが、明らかに企業全体に利益をもたらす。