需要予測のトップ10の奇妙さ
統計的な予測は非常に直感に反する分野です。そして、最初に見ると直感的に思える多くの仮定は、結局はまったく間違っていることがわかります。この記事では、ロカドのビジネスの基盤を成す統計的な奇妙さの中でも、最も問題のあるものの短いリストをまとめています。
1. 予測システムは自身の誤りから学習しません
予測システムは通常、毎日または毎週の基準で予測を更新します。新しい一連の予測が生成されるたびに、予測システムは以前の予測と新たに取得したデータを比較し、そこから学習する機会があります。その結果、特定の予測システムが誤りから学習することを期待するのは非常に合理的なことのように思えますが、実際にはそうではありません。予測システムは自身の誤りから学習しようとはしません。実際には、より優れた方法が存在し、すなわちバックテストがあり、これは優れた統計的なパフォーマンスを提供します。バックテストでは、予測が生成されるたびに、最新のデータのみでなく、利用可能な全ての過去のデータに対してシステムが再度挑戦されます。
2. 最も重要な統計的要素はノイズとランダム性です
プラクティショナーに需要の主要な要素について尋ねると、多くの人が季節性、製品のライフサイクル、市場の圧力、ビジネスの成長などと答えます。しかし、ほとんどの場合、部屋には象がいます。この象は需要の観察における統計的なノイズです。
ほとんどの場合、予測の課題は、十分な努力があれば需要予測を正確に行うことができるかのように取り組まれます。しかし、この視点は正しくありません。なぜなら、ほとんどの場合、予測は不可避的に不正確であるからです。需要に存在するランダム性を受け入れることは、このランダム性を排除しようとするよりも良いビジネス結果をもたらすことが多いです。
3. 専門家による修正は一般的に予測を満足させない
業界固有の洞察を用いて統計的な予測を手動で調整することは合理的に思えますが、私たちは多くの場合、この実践が望ましい結果をもたらさないことを観察してきました。この分野の専門家による手動の修正が行われても、予測の全体的な精度を低下させる傾向があります。ただし、予測システム自体が本質的に劣っている場合に限り、手動の修正が予測結果の改善に役立つことがあります。
これは、人間の知覚が「パターン」の知覚に強くバイアスされているという事実としばしば関連しています。頻繁に、これはランダムなビジネスの変動にすぎないトレンドの誤った認識を引き起こします。ランダム性を「パターン」と誤解することは、最初からそのパターンを無視し、単なるノイズとして扱うよりもはるかに重大な誤差を生み出す傾向があります。
4. 予測誤差はドルで測定する必要があります
より正確な予測は必ずしもより良いビジネス結果につながるわけではありません。実際、予測を見る一般的な方法は、MAPE（平均絶対パーセント誤差）などの指標を最適化することですが、これらの指標は主要なビジネスの利益とは弱く相関しています。このような指標は、予測が完全に正確であれば、MAPE誤差はゼロになるという非現実的な考え方から生まれています。しかし、完全に正確な予測は合理的なシナリオではなく、パフォーマンス指標を使用する目的は、特定のビジネスの利益と一致させることです。言い換えれば、予測誤差はパーセンテージではなくドルで表現する必要があります。日次、週次、月次の予測は一貫していません。
もし予測が日次と週次の両方で作成される場合、日次の予測が週次の予測に合算されると、同じ技術と同じ設定を使用しているため、両方の予測が同じ値に収束することが非常に合理的であると期待されます。
しかし、これは真実ではなく、2つの予測セットは異なる方向に逸れます。そして、非常に妥当な統計的な理由があります。要するに、日次（または週次）の予測は、日次（または週次）レベルで表現されるメトリックに対して最適化されています。統計的には、これら2つのメトリックが異なるため、数値最適化の出力は単純に一致する理由がありません。
5. SKUレベルの予測はカテゴリレベルの予測と一致しない
もし同じ予測システムが、SKUレベルとカテゴリレベルの需要を予測するために使用される場合、2つの予測セットが一貫していることが期待されます。特定のカテゴリに属するSKUに関連付けられたすべての予測を合計することによって、カテゴリ自体に関連する予測と同じ数値になることは合理的ではありません。これは、前の段落で説明した理由と同じです。
もっとも驚くべきことに、SKUレベルとカテゴリレベルの予測の間には完全に異なるパターンが存在することが非常に一般的です。例えば、すべてのSKUの予測が厳密に減少している一方で、カテゴリレベルの予測は着実に増加しています。もう1つの典型的なケースは季節性であり、カテゴリレベルでは非常に目立ちますが、SKUレベルではほとんど気付かれません。このような状況が発生した場合、カテゴリの予測に合わせるためにSKUレベルの予測を修正しようとすることは誘惑されるかもしれませんが、そのような技術は予測の全体的な正確さを低下させるだけです。
6. 計測単位の変更は重要です
一見すると、需要を測定するために使用される単位は何の影響も与えないはずです。需要が在庫単位で数えられ、履歴のすべてのポイントが10倍になる場合、予測も追加の影響なしに10倍になることが期待されます。しかし、Lokadなどの技術では、予測プロセスはこのようには行われません。少なくとも、まさにこの方法では行われません。
実際には、先進的な需要予測技術は、小さな数値を使用して多くのトリックを利用しています。数量1はただの数量ではありません。例えば、スーパーマーケットやハイパーマーケットのレシートの75％以上の行が数量1と等しいことがわかっています。これにより、「小さな数値」に関連する多くの統計的なトリックが関係しています。任意の需要履歴を10倍にすることは、先進的な商業予測システムのすべてのヒューリスティックを混乱させるだけです。
7. 最も正確なプロモーション予測は、プロモーションを無視した場合に頻繁に生成されます
プロモーションの予測は非常に困難です。小売業では、プロモーションへの需要反応は何もない（アップリフトなし）から100倍のアップリフトまで変動する可能性があります。また、プロモーションに影響を与える要因は複雑で多様であり、通常はITシステムで正確に追跡されていません。複雑なビジネスの行動と正確でないデータを組み合わせることは、「ゴミを入れればゴミが出る」という問題につながる可能性があります。
実際、私たちは定期的に、プロモーションデータを破棄することが、少なくとも非常に控えめな初期アプローチとして、プロモーション需要を予測するための最も非効率な方法であることを観察してきました。この方法が非常に満足のいくものであるか最適であるかを主張しているわけではありませんが、正確なが不完全な歴史データに基づいて構築されたネイティブな予測が、より広範なが部分的に不正確なデータに基づいて構築された複雑なモデルよりも優れていることを示そうとしているだけです。
8. 需要履歴が乱れているほど、予測は「平坦」になります
目視で、履歴データには強い視覚的なパターンがある場合、予測にも同様に強い視覚的なパターンが期待されます。しかし、履歴データが乱れた変動を示す場合、この期待は成り立たず、逆のことが起こります。需要履歴が乱れているほど、予測はより滑らかになります。
再び、根本的な原因は、人間の心はパターンの認識に向いていることです。乱れた変動はパターンではなく（統計的な意味での）ノイズであり、正しく設計された予測システムは、そのノイズのフィルターのように振る舞います。ノイズが取り除かれると、残るのはしばしば「平坦な」予測だけです。
9. 日次、週次、月次の予測は通常不要です
周期的な予測はどこにでもあります - ビジネスニュースから天気予報まで。しかし、これらの周期的な予測は、不確実な将来に依存するビジネスの意思決定に直接取り組むのではなく、通常は間接的な方法でその後の意思決定を構築するために利用されます。
より効果的な戦略は、ビジネスの意思決定を予測として考えることです。これにより、予測を特定のビジネスのニーズと優先事項に合わせることがはるかに容易になります。例えば、上記のように予測誤差をパーセントではなくドルで測定することができます。
10. 在庫予測の文献のほとんどはほとんど役に立ちません
どんな難しいテーマに直面しても、科学的な文献で利用可能なさまざまな査読済み資料を調査することは合理的です。需要予測と在庫最適化に関しては、読者に数千の論文や記事が利用可能です。
しかし、私たちはそのような文献で分析された方法のほとんどが実際には機能しないことを発見しました。数学的な正確さはビジネスの知恵には翻訳されません。多くのモデルは「永遠の名作」と考えられていますが、実際にはまったく機能しません。例えば、
- 安全在庫は誤りです。なぜなら、それらは正規分布の仮定に基づいているからです。
- EOQ（経済的発注量）は正確ではありません。なぜなら、それらは完全に現実的ではない注文ごとの一律料金に基づいているからです。
- Holt-Wintersは、数値的に非常に不安定であり、扱いにはあまりにも多くの履歴的深さが必要です。
- ARIMAは、数学的に駆動されたアプローチの典型例ですが、結果があまりにも少なすぎるため、非常に複雑です。
- など
需要予測の奇妙さは（おそらく）数え切れません。以下のコメントセクションに自分自身の観察結果を投稿することを躊躇しないでください。
