Quantile Forecasting (2012)

Quantile forecasts are a significant improvement over classical forecasts whenever inventory is involved. However probabilistic forecasting vastly outperforms quantile forecasts.
grids/graph-quantile-grids
The most well-known type of forecast is the mean forecast where respective weights of over and under forecasting are strictly balanced. Projected temperatures for the next day are a typical example of mean forecasts. Quantile forecasts are different: a bias is introduced on purpose in order to alter the odds of over and under forecasting. Quantiles represent a radical improvement over classical forecasts for many verticals such as retail, wholesale and manufacturing. In March 2012, Lokad has become the first software vendor to deliver industrial-grade quantile forecasts. This page details why quantile forecasts matter and how they differ from classical forecasts.

Whitepaper

icon-whitepaper

Spare parts inventory management with quantiles

probabilistic-forecasting-graph
In a world where most equipment manufacturers and retailers are operating in fiercely competitive markets, delivering a high service level to the existing customer base is a strategic priority for many companies. However, managing a spare parts inventory efficiently still poses a huge challenge due to size and the erratic nature of demand. This whitepaper discusses the challenges and current state of spare parts planning technology, and introduces quantile forecasting as a disruptive new approach to tackling the problem.

Foreword

The terminology quantile forecast might sound complicated, and chances are, unless you’re deeply versed in statistics, that you’ve never heard the term before. However, quantile forecasts – without being named that way - are routinely used in retail and manufacturing businesses. For example, defining a reorder point for your inventory is strictly equivalent to producing a quantile forecast over the demand. Despite radical implications of quantile forecasts for retail and manufacturing, quantiles have received little attention in the market so far. The simplest explanation is that support for quantile forecasts was close to nonexistent in the software industry. However, with Lokad, there is no reason to overlook anymore such a critical piece of technology.

What are demand forecasts required for?

需要予測の理由を理解するために、小売業者や製造業者にとってなぜ分位予測が役立つのかを考える必要があります。需要予測は、在庫、スタッフ、現金などの適切なレベルのリソースが適切な時点で利用可能であることを確保するために重要です。しかし、需要を適切なリソースレベルで満たすことは、通常非対称な問題です。リソースの過剰割り当て(過予測とも呼ばれる)のコストは、リソースの不足割り当て(不足予測とも呼ばれる)のコストとは大きく異なる場合があります。

たとえば:

  • 食品小売業者は通常、非常に高いサービスレベル(95%以上、つまり非常にまれな在庫切れ)を求めます。この文脈では、在庫切れの限界コストは、余分な在庫の限界コストをはるかに上回ると推定されています。
  • 自動車メーカーは、生産コストを下げることに対する圧力が増しています。その結果、一部のメーカーは在庫ゼロ戦略を採用し、したがって即時の入手性もゼロになります。この状況では、在庫の限界コストは、非即時の入手性のコストを上回ると推定されています。したがって、企業にとっては、生の平均需要予測に基づいてリソースを割り当てることは通常利益にならず、50%の時間にリソースを不十分に割り当てることはビジネスの現実を反映していないため、貧弱なトレードオフです。 したがって、企業は、自社の取引に存在するビジネス固有の非対称性を反映するために、意図的にリソースの割り当てにバイアスを導入しています。この非対称性により、分位予測がどのように役立つかが明確になります。

分位予測(τ、λ)は、τ(タウ)が目標確率であり、λ(ラムダ)が日数で表される先行λ日間の需要予測を表し、その確率がτよりも将来の需要よりも高いこと(したがって、将来の需要よりも低い確率1-τ)を意味します。

推定分位数とその機能しない場合

分位予測は数十年前から知られていますが、ネイティブの分位予測モデルを実装することは、平均予測モデルを実装するよりもはるかに複雑であるとしばしば正当に考えられています。その結果、ほとんどの予測ソフトウェアベンダー(*)は平均予測のみを提供しています。

_(*)私たちの知る限り、Lokadは2012年3月に最初のベンダーとして、ネイティブの産業用汎用分位予測技術を提供した最初のベンダーになりました。ただし、学術界では、分位回帰の研究プロトタイプが数十年前から存在しています。

ただし、企業は分位予測を必要とするため、通常は分位予測を生成するための推定ワークアラウンドを活用しています。実際的には、このアプローチは需要が正規分布に従い、補正のための「安全」項目を追加することを前提としています。例えば、古典的な安全在庫アプローチはこのパターンに従います。

推定分位数は、外挿法を用いて分位予測に変換された古典的な(平均)予測です。この用語は、統計モデルが直接分位を生成するネイティブの分位数に対して使用されます。外挿は入力データに依存せず、事前に定義された分布に基づいています。この分布は通常、正規分布ですが、実際の状況とは異なるため、外挿プロセスの最も弱いリンクとなります。

残念ながら、外挿は3つの一般的な状況で深刻な欠点があります:

  • 高い分位数(つまり、高いサービスレベル)
  • 断続的な需要
  • スパイキーな需要(大量注文)

これらの状況では、ネイティブの分位予測が、最良の外挿分位予測よりも20%以上優れていることがわかりました。この比較は、Lokadの各分位数と古典的な予測技術を活用して行われており、それらは既に競合他社を上回る傾向があります。

高い分位数(つまり、高いサービスレベル)

high-quantiles-new
予測のターゲット割合が高くなるにつれて、予測に関連する誤差が正規分布に従うという仮定は通常、平均値や中央値に近い分位数の場合には適切です。しかし、ターゲット割合が高い場合、つまり90%以上の値の場合、外挿自体が予測の最も弱いリンクになることが頻繁にあります。このような状況では、ネイティブの分位数を優先すべきです。

断続的な需要

intermittent-quantiles-new
外挿は将来の需要に対して滑らかな曲線をフィットさせて不確実性を反映しようとします。しかし、需要が断続的またはまばらな場合、需要には滑らかさはありません。つまり、各期間(週、月)ごとに売られる単位数、つまり観測可能な需要は、例えば0から5までの整数で変動します。歴史的には、多くの平均予測モデルがまばらな需要をより適切に理解するために設計されてきました。しかし、分位数の観点からは、まばらな需要の場合、平均予測を正確な分位数に適切に外挿することはできないというより基本的な問題が明らかになります。対照的に、ネイティブの分位数は需要の「小整数」パターンを完全にフィットさせることができます。

スパイキーな需要(大量注文)

spiky-quantiles-new
大量注文が存在する場合、過去の需要曲線は比較的スパイキーな形状をしています。この形状は、数件の注文が総需要の大部分を占めていることを反映しています。ただし、断続的な需要の場合とは異なり、非ゼロの需要は常に存在します。ここでの基本的な問題は、需要が「整数」値を通過することではなく、平均予測が将来のスパイクを適切に予測できないことです。単純化すると、スパイクに対処するための2つのアプローチがあります:
  • 会社がリソースを事前に割り当てる価値がないと判断した場合、それらを破棄します。
  • スパイクの一部を処理するために、事前に割り当てられたリソースを調整します。

どちらの場合でも、平均予測はうまく機能しません。外挿された分位数はスパイクを捉えるにはあまりにも低く、同時に非スパイク需要を処理するためのリソースを過大評価しています。ネイティブの分位数予測は、スパイクをより直接かつ正確に対処します。

Lokadによるネイティブの分位数予測

これは旧世代の記事です。最新の予測エンジンでは、もはや分位数予測は行われていません。詳細については、最新のテクノロジーページをご覧ください。

Lokadは、時系列データを入力として受け取り、各分位数の予測を返す完全に自動化されたオンラインサービスを提供しています。各分位数は、その予測の時間軸と目標パーセンテージ(在庫最適化の場合はリードタイムとサービスレベル)に一致します。外挿は必要ありません。分位数予測プロセスには統計的な専門知識は必要ありません。実際には、ほとんどの企業は、在庫最適化のために最適化されたリオーダーポイントを取得するために、ウェブアプリを使用します。リオーダーポイントは、在庫固有の分位数予測です。各時系列データに対して、分位数予測は単一のデータポイントです。平均予測とは異なり、分位数予測は通常、将来の予測曲線として表されません。分位数予測は統計的に異なる振る舞いをしますが、基本的な需要パターンは同じままです:トレンド、季節性、製品のライフサイクル、プロモーションなど… クラシックな予測技術でサポートされているすべてのパターンは、分位数予測技術でもサポートされています。

クラシック(平均)予測と分位数予測

数学的な観点からは、分位数予測は予測の古典的な概念の一般化を表します。実践的な観点からは、分位数予測は、需要の過大評価と過小評価に関連するリスクが対称的でないほとんどのビジネスシチュエーションで、通常は優れています(より正確です)。 ただし、分位数予測は読みやすさや直感性に欠けることもあります。したがって、クラシックな予測は、ビジネスの進化をより直感的に把握するための基本的なツールとして残ります。 クラシックな予測を廃止する予定はありません。実際、予測技術に関して私たちが推進しているほとんどの研究開発の取り組みは、両方の予測タイプに利益をもたらします。分位数予測は、需要の統計的な振る舞いに対する私たちの理解を洗練させる機会です。私たちの第一の優先事項は、より正確な予測を提供することです。

分位数予測における欠品バイアス

欠品は、顧客にサービスを提供できないことによってビジネスに損害を与えるだけでなく、欠品は過去の需要の観測にバイアスを導入します。欠品のため、ゼロの売上は必ずしもゼロの需要を意味しません。Salescastもこの問題に免疫を持っていませんが、適切に使用すれば、非常に強靭になることができます。

managing-stockouts-bias

クラシックな予測における欠品の影響

古典的な(中央値)意味での予測は、将来の需要が上回るか下回るかの50%の確率で予測するものです。欠品が観測されると、未処理の需要は通常考慮されませんので、過去の記録には下方バイアスが導入されます。

その結果、過去のデータに基づいて構築された予測も下方バイアスを持ち、さらなる欠品を引き起こします。

最も極端な場合、最小在庫レベルが定義されていない場合、補充プロセスは在庫がないために凍結した在庫状態に収束する可能性があります。この状況では、予測は100%正確です:予測はゼロであり、売上もゼロです。

欠品データ統合の落とし穴

欠品によって導入されるバイアスを修正するためには、欠品を考慮する必要があります。これは、過去(および現在)のすべての欠品に関する詳細な履歴記録を収集することで行うことができます。このアイデアは魅力的ですが、実際にはかなりの努力が必要です。

  • ほとんどの企業は欠品を正確に追跡していません。欠品データがあるだけでは十分ではありません。欠品に関するデータは、需要予測の改善の希望を持つためには、広範かつ正確でなければなりません。
  • 欠品は(おそらく)比較的まれであり、通常はビジネスの10%未満の時間に発生します。そのため、欠品の統計的分析をサポートするために十分なデータを収集するには、かなりのビジネス量が必要です。
  • 欠品の影響は複雑です。代替品が存在する場合、欠品は(利用できないアイテムに対して)カニバリゼーションを引き起こします。また、欠品は一部の顧客が需要を延期する原因となり、アイテムが再び利用可能になったときに需要の「急増」を引き起こすこともあります。

バイアスに強い予測としての分位数

代わりに、分位数予測は欠品によって導入されるバイアスの大部分を軽減するための効率的でスリムな代替手段です。要するに、分位数はネイティブのバイアス予測として再発注ポイントを計算するために使用されます。たとえば、95%のサービスレベルで計算された再発注ポイントは、需要の95%の時間だけ需要の上にあると推定されます(欠品は5%の時間だけ発生します)。

高いサービスレベルに関連付けられた分位数予測(実際には90%以上)は、クラシックな予測とは非常に異なる振る舞いをします。直感的には、95%の分位数予測を計算するためには、需要の最も極端な変動の上位5%に焦点を当てます。過去の欠品が歴史において非常に主要であり、観測された売上の上位5%が「通常の」需要の一部である場合もありますが、実際には通常はそうではありません。重要な欠品が存在していても、過去の需要の最高点は通常、平均需要よりも高いです。

その結果、分位数予測は、欠品がバイアスを非常に強く導入し、バイアスのある予測がさらに欠品問題を悪化させる悪循環に陥ることはほとんどありません。私たちは、ほとんどのクライアントにおいて、分位数予測がバイアスに対してより強い耐性を持つため、すぐに欠品の頻度を減らし、サービスレベルを管理下にもたらす良い循環につながることを観察しています。その後、しばらくすると、欠品の頻度は定義された目標のサービスレベルに収束します。

サービスレベルの選択

分位数予測が使用される場合、再発注ポイントは予想需要、リードタイム、サービスレベルの関数として計算されます。再発注数量は、在庫残量と発注在庫を差し引いた再発注ポイントとして計算されます。サービスレベルは、欠品が発生しない確率を表します。以下の記事は、このトピックの短い紹介と適切なサービスレベルの設定方法についてのガイダンスを提供しています。

この声明の暗黙の前提条件:在庫からの注文を常にサービスすることは経済的ではないということです。特定の製品の適切なサービスレベルを決定することは、在庫コストと欠品コストのバランスです。サービスレベルは、適切な安全在庫を計算するための重要な変数です。望ましいサービスレベルが高いほど、保持する必要のある安全在庫も増えます。

残念ながら、この問題を記述するコスト関数は非常にビジネスに特化しています。在庫コストは比較的簡単に決定できる場合がありますが、欠品コストはより複雑です。店舗で製品を見つけられない顧客は、在庫の代わりに店内にある代替品を選択したり、購入を後日に延期したり、競合他社で購入したりする場合があります。たとえば、食品小売業では、特定の「必須商品」の棚切れ状況が顧客を店舗から追い出し、彼らのビジネスを競合他社に奪われることが知られています。

この例が示すように、関連するコスト関数はビジネスだけでなく、製品に特化しています。ほとんどの製造業者や小売業者が何百から何十万もの製品を扱っていることを考慮すると、過度に科学的なアプローチは望ましくないし、実現可能ではないことが明らかです。

幸いなことに、実践では時間の経過とともに微調整できるシンプルなフレームワークで十分な結果が得られることがほとんどです。

はじめる方法

サービスレベルは、多くの小売業者にとってコアの知的財産の一部と見なされ、厳重に管理されています。それにもかかわらず、おおよその数値は良い出発点を提供するはずです。小売業の典型的なサービスレベルは90%であり、高優先度の商品は95%に達します。多くの顧客が、サービスレベルを一様な90%の出発点として設定し、その後、必要に応じて改善や調整を行うという非常に実用的なアプローチを選択して成功している事例を見てきました。

サービスレベルと安全在庫の関係を理解することは重要です。グラフ1はその関係を示しています。100%までの距離を2で割ると、安全在庫が2倍になります。たとえば、サービスレベルを95%から97.5%に上げると、必要な安全在庫が2倍になります。100%に近づくほど、サービスレベルは非常に高価になり、サービスレベルが100%の場合は、数学的には無限の安全在庫と同等です。

service-level-graph
グラフ1:安全在庫とサービスレベルの関係

カテゴリの選択

私たちの経験では、製品ポートフォリオをカバーする3〜5つのサービスレベルカテゴリを区別するだけで十分です。例として、3つの値を選びました:

  • 高:95%
  • 中:90%
  • 低:85%

製品の分類

製品のランキングは、定期的に使用されるターンオーバー、収益性、注文数、COGS(売上原価)などの指標を使用して、前述のカテゴリに製品を割り当てるための構造化された方法です。

ターンオーバーによる製品ランキングの例

  • ターンオーバーの上位80%:高いサービスレベル
  • ターンオーバーの次の15%:中程度のサービスレベル
  • ターンオーバーの次の5%:低いサービスレベル

粗利寄与による製品ランキングの例

  • 粗利の上位80%:高いサービスレベル
  • 粗利の次の15%:中程度のサービスレベル
  • 粗利の次の5%:低いサービスレベル

カテゴリが定義され、サービスレベルが割り当てられたら、Lokadは再発注ポイント(安全在庫レベルを含む)をこれらの値の関数として決定します。私たちは、予測の正確さだけでなく、より洗練された方法と頻繁なサービスレベルの更新によって在庫削減の潜在能力が十分に活用されることをよく見ます。

Lokadに入力する正しいサービスレベルに関してまだ不安を感じている人は、最初から完璧に調整されたサービスレベルを持つことが重要であると考えるべきではありません。重要なのは、この概念への新たな関心と、Lokadの予測と再発注ポイントの分析との組み合わせによって、現状を高い確実性で改善することです。