バックテストの限られた適用性
Backtesting は、過去のある時点まで歴史的データを切り詰め、その切り詰められたデータセットに対して学習アルゴリズムまたは最適化アルゴリズムを適用し、当時の歴史的条件下でどの程度そのアルゴリズムが機能したかを評価する実験の設計です。 この手法はシンプルでエレガントなため、サプライチェーンの実務者にとって非常に魅力的ですが、バックテストは万能薬とは程遠く、その限界が誤解されると、バックテストに固執することは通常、害が利益を上回ります。
我々が 定量的サプライチェーン イニシアチブを実施してきた経験から、この取り組みの成功に対する主な脅威は以下の通りです：
- 関連する取引データへのアクセス不可
- 不良な歴史的取引データ
- 取引データの前処理ミス
- データの健康状態監視の不足
- 時々失敗する脆弱な データパイプライン
- 経済的要因の理解不足
- 経済的要因の戦略的モデリングの誤り
- 現実の制約とそれらのモデル化との不一致
- 最適化された意思決定を取り入れるための不十分なプロセスまたはツール
従来の予測手法では、不正確な予測 もこのリストに含まれていたでしょう。しかし、確率的予測が利用されると、その懸念ははるかに小さくなります。これは、確率的予測がより正確であるからではなく（実際にはそうではありません）、むしろ精度が低下しても意思決定の質がずっと穏やかに落ちるためです。
実際、現場では「不正確な」確率的予測は、非常に広い値の範囲にわたって確率分布が広がっていることが主な特徴です。このような挙動は望ましくありませんが、通常、不正確な従来型（すなわち非確率的）予測の結果ほど深刻ではありません。従来型では、企業が正しくない一つの未来に全力を注いでしまうためです。不正確な確率的予測は、極めて保守的で慎重な意思決定に変わります。依然として資金は無駄になりますが、多くのサプライチェーンの状況が非常に非対称なコスト構造を持つことを考えると、慎重に判断することは決して最悪の戦略ではありません。
現実の状況で適切なバックテストを実行することは容易ではありません。素朴なバックテスト実装は、過剰適合に容易に惑わされます。いくつかの隠れた共変量が事業成長の大部分を説明できるため、試行錯誤によるバックテストプロセスは、過去の市場の動向を「記憶」してしまうモデルを生み出す結果となり、市場を予測する能力は依然として欠如したままです。
Lokadでは、特定の統計モデルをバックテストする唯一の信頼できる方法は、非常に多様な状況に直面している数十社のデータセットを活用することだと分かりました。このアプローチは、過剰適合を完全に排除するものではありませんが、著しく緩和する効果があります。
定量的サプライチェーン イニシアチブの場合、予測ツールが十分であり、サプライチェーンの実務者が手動でモデルのパラメータ設定を行う必要がないと仮定すると、早期にバックテストに注力することで、実施チームがバックテストプロセスから期待できる利益を支配するリスク要因から注意を逸らす、いわゆる 早まった最適化 を引き起こすことになります。
一部の予測ツールは設計が不適切であり、エンドユーザーに統計的パラメータを自力で見出させる必要があります。例えば、シンプルな予測モデルである指数平滑化法は、平滑化係数 の提供を必要とします。エンドユーザーがこれらのパラメータを突然思いつくことはできないため、最初にモデルを機能させるためにバックテストプロセスに頼らざるを得なくなります。しかし、バックテストの有用性は、一部予測ツールの設計ミスによって課せられた要件と混同すべきではありません。
一般的な指針として、以下の場合にバックテストの検討を開始することが適切です：
- データパイプラインの運用が退屈で平凡になったとき
- 経済的要因が十分に理解され、文書化されているとき
- 制約事項（例えば、最小発注量-moq）が十分に再検討され、見直されているとき
- サプライチェーンプロセスが、自動化された意思決定を最大限に活用するように整合されているとき
これらの条件が整えば、バックテストは定量的サプライチェーンイニシアチブのパフォーマンスをさらに向上させるための付加的な手法として展開することができます。
