最適な予測誤差メトリック
予測のパフォーマンスを評価するために利用できるメトリックは多岐にわたります：
- 平均絶対誤差（MAE）
- 平均二乗誤差（MSE）
- 平均絶対パーセント誤差（MAPE）
- ピンボール損失関数
- …
この記事では、「最適な」予測メトリックについての問題に取り組んでみます。実際には、ほとんどの実践者が期待するよりも簡単なものです。
その中で、MAEとMAPEはおそらく小売業や製造業の実践者によって最も広く使用されているメトリックです。これらの2つのメトリックのグラフを見てみましょう。
平均絶対誤差のプロット。X = 実際の値（予測は1）。Y = 誤差。
MAEの振る舞いは比較的直感的です。数学的な観点からは、この関数はすべての場所で微分可能ではないという点がトリッキーです（上記の例ではx=1の場合には微分不可能です）。
平均絶対パーセント誤差のプロット。X = 実際の値（予測は1）。Y = 誤差。
しかし、MAPEははるかに複雑です。実際には、_過少予測_と_過剰予測_の間の振る舞いは非常に異なります：過少予測の誤差は1に制限される一方、過剰予測の誤差はゼロに向かって無限大に近づきます。
特にこれは、在庫切れ（OOS）イベントと組み合わさった場合に混乱を引き起こす傾向があります。実際には、OOSは非常に低い実際の販売値を生成するため、非常に高いMAPE値が発生する可能性があります。
実際のところ、MAPEを選択する前によく考えることをお勧めします。なぜなら、結果の解釈はそれ自体が小さな課題になる可能性があるからです。
最適なメトリックはドルまたはユーロで表現されるべきです
数学的な観点からは、一部のメトリック（L2など）は統計分析においてより実用的とされています（たとえば微分可能であるため）。しかし、実際のビジネス状況に直面する際には、この視点は無意味であると考えています。
予測のパフォーマンスを評価するために使用される唯一の単位はお金であるべきです。予測は常に間違っており、エラーの量を評価する唯一の合理的な方法は、予測と現実の間の差が会社にどれだけの費用をかけたかを評価することです。
ビジネスコストのモデリング
実際のところ、このような特別なコスト関数を定義するには、ビジネスの詳細な検討が必要です。以下のような質問をトリガーとして考える必要があります：
- 在庫のコストはいくらですか？
- 在庫の陳腐化にはどの程度のコストが予想されますか？
- 在庫切れのコストはいくらですか？
- …
企業の政策に関しては、予測誤差をパーセンテージなどの形でモデリングすることで、これらの厄介な質問を無視するという利点があります。これにより、予測を実際の行動に変換する負担は他の部署に残されることになります。
合理的なコスト関数を確立するプロセスは難しいものではありませんが、会社内で予測を担当する組織に対して、これらのコストを明示的に記述することを強制します。これにより、選択が行われ、会社全体のすべての部門に利益をもたらすのではなく、会社自体に明確な利益をもたらすことになります。
