Quantile Forecasting (2012)

Quantile forecasts are a significant improvement over classical forecasts whenever inventory is involved. However probabilistic forecasting vastly outperforms quantile forecasts.
grids/graph-quantile-grids
The most well-known type of forecast is the mean forecast where respective weights of over and under forecasting are strictly balanced. Projected temperatures for the next day are a typical example of mean forecasts. Quantile forecasts are different: a bias is introduced on purpose in order to alter the odds of over and under forecasting. Quantiles represent a radical improvement over classical forecasts for many verticals such as retail, wholesale and manufacturing. In March 2012, Lokad has become the first software vendor to deliver industrial-grade quantile forecasts. This page details why quantile forecasts matter and how they differ from classical forecasts.

Whitepaper

icon-whitepaper

Spare parts inventory management with quantiles

probabilistic-forecasting-graph
In a world where most equipment manufacturers and retailers are operating in fiercely competitive markets, delivering a high service level to the existing customer base is a strategic priority for many companies. However, managing a spare parts inventory efficiently still poses a huge challenge due to size and the erratic nature of demand. This whitepaper discusses the challenges and current state of spare parts planning technology, and introduces quantile forecasting as a disruptive new approach to tackling the problem.

Foreword

The terminology quantile forecast might sound complicated, and chances are, unless you’re deeply versed in statistics, that you’ve never heard the term before. However, quantile forecasts – without being named that way - are routinely used in retail and manufacturing businesses. For example, defining a reorder point for your inventory is strictly equivalent to producing a quantile forecast over the demand. Despite radical implications of quantile forecasts for retail and manufacturing, quantiles have received little attention in the market so far. The simplest explanation is that support for quantile forecasts was close to nonexistent in the software industry. However, with Lokad, there is no reason to overlook anymore such a critical piece of technology.

What are demand forecasts required for?

リテーラーや製造業にとって、なぜ分位予測がどのように役立つのかを理解するためには、まずなぜ予測が必要なのかを考える必要があります。需要予測は、在庫、スタッフ、現金などの適切なレベルのリソースが適切な時点で利用可能であることを確保するために重要です。しかし、需要を適切なレベルのリソースで満たすことは、通常非対称な問題です。リソースの過剰割り当て(過予測とも呼ばれる)のコストは、リソースの不足割り当て(不足予測とも呼ばれる)のコストとは大きく異なる場合があります。

たとえば:

  • 食品小売業者は通常、非常に高いサービスレベル(95%以上、つまり非常にまれな在庫切れ)を求めます。この文脈では、在庫切れの限界コストは、余分な在庫の限界コストをはるかに上回ると推定されています。
  • 自動車メーカーは、生産コストを下げることに対する圧力が増しています。その結果、一部のメーカーは在庫ゼロ戦略を採用し、したがって即時の入手性もゼロになります。この状況では、在庫の限界コストは、非即時の入手性のコストを上回ると推定されています。したがって、企業にとっては、生の平均需要予測に基づいてリソースを割り当てることは通常利益にならず、50%の時間にリソースを不十分に割り当てることは、ビジネスの現実を反映していない不十分なトレードオフです。 したがって、企業は、自社の取引に存在するビジネス固有の非対称性を反映するために、意図的にリソースの割り当てにバイアスを導入しています。この非対称性により、分位予測がどのように優れた結果をもたらすかが明確になります。

分位予測(τ、λ)は、τ(タウ)が目標確率であり、λ(ラムダ)が日数で表される先行するλ日間の需要予測を表し、その確率がτよりも将来の需要よりも高いことを示します(したがって、確率1-τで将来の需要よりも低いことを示します)。

推定分位とその制約

分位予測は数十年前から知られていますが、ネイティブの分位予測モデルを実装することは、平均予測モデルを実装するよりもはるかに複雑であると考えられています。その結果、ほとんどの予測ソフトウェアベンダー(*)は平均予測のみを提供しています。

_(*)私たちの知る限り、Lokadは2012年3月に最初のベンダーとして、ネイティブの産業用汎用分位予測技術を提供した最初のベンダーとなりました。ただし、学術界では、分位回帰の研究プロトタイプが数十年前から存在しています。

ただし、企業は分位予測を必要とするため、通常は分位予測を生成するための推定ワークアラウンドを活用しています。実際的には、このアプローチは需要が正規分布に従い、補正のための「安全」項目を追加することを前提としています。例えば、古典的な安全在庫アプローチはこのパターンに従います。

推定分位は、外挿法を用いて分位予測に変換された古典的な(平均)予測です。この用語は、統計モデルが直接分位を生成するネイティブ分位と対比されます。外挿は入力データに依存せず、事前に定義された分布に基づいて行われます。この分布は通常、正規分布ですが、実際の状況とは異なるため、外挿プロセスの最も弱いリンクとなる傾向があります。

残念ながら、外挿は3つの一般的な状況で深刻な欠点があります:

  • 高い分位(つまり、高いサービスレベル)
  • 断続的な需要
  • スパイキーな需要(大量注文)

これらの状況では、ネイティブの分位予測が、最良の外挿分位予測よりも20%以上優れていることがわかりました。この比較は、Lokadの各分位と古典的な予測技術を活用して行われており、それらは既に競合他社を上回る傾向があります。

高い分位(つまり、高いサービスレベル)

high-quantiles-new
予測に関連する誤差が正規分布に従うという仮定は、平均値や中央値に近い分位目標に対しては通常有効です。しかし、ターゲットの割合が増加するにつれて、近似の品質は低下します。高いターゲットの割合(通常90%以上)では、外挿自体が予測の最も弱いリンクになることがよくあります。このような状況では、ネイティブの分位が優先されるべきです。

断続的な需要

intermittent-quantiles-new
外挿は将来の需要に対して滑らかな曲線をフィットさせ、不確実性を反映しようとします。しかし、需要が断続的またはまばらな場合、需要には滑らかさはありません:各期間(週、月)ごとに、販売される単位数、つまり観測可能な需要は、例えば0から5までの整数で変動します。歴史的には、多くの平均予測モデルがまばらな需要をより適切に理解するために設計されてきましたが、分位の観点からは、まばらな需要の場合、平均予測を正確な分位に適切に外挿することはできないというより基本的な問題が明らかになります。対照的に、ネイティブの分位は需要の小さな整数パターンを完全にフィットさせることができます。

スパイキーな需要(大量注文)

spiky-quantiles-new
大量注文が存在する場合、過去の需要曲線は比較的スパイキーな形状をしています。この形状は、数件の注文が総需要の大部分を占めていることを反映しています。ただし、断続的な需要の場合とは異なり、非ゼロの需要は常に存在します。ここでの基本的な問題は、需要が整数値を通過することではなく、平均予測が将来のスパイクを適切に予測できないことです。単純化すると、スパイクに対処するための2つのアプローチがあります:
  • 会社がリソースの事前割り当てに値しないと判断した場合、それらを破棄します。
  • スパイクの一部を処理するために、事前割り当てられたリソースを調整します。

どちらの場合でも、平均予測はうまく機能しません:外挿された分位はスパイクを捉えるには低すぎるままであり、同時に非スパイク需要を処理するためのリソースを過大評価しています。ネイティブの分位予測は、スパイクをより直接かつ正確に対処します。

Lokadによるネイティブの分位予測

これは旧世代の記事です。最新の予測エンジンでは、もはや分位予測は行われていません。詳細については、最新のテクノロジーページをご覧ください。

Lokadは、時系列データを入力として受け取り、ネイティブの分位予測を返す完全に自動化されたオンラインサービスを提供しています。各分位は、そのホライズンと目標パーセンテージ(在庫最適化の場合はリードタイムとサービスレベル)に一致します。外挿は必要ありません。分位予測プロセスには統計的な専門知識は必要ありません。実際には、ほとんどの企業は、最適化されたリオーダーポイントを取得するために、ウェブアプリを使用します。リオーダーポイントは、在庫固有の分位予測です。各時系列データに対して、分位予測は単一のデータポイントです。平均予測とは異なり、分位予測は通常、将来の予測曲線として表されません。分位予測は統計的に異なる振る舞いをしますが、基本的な需要パターンは同じままです:トレンド、季節性、製品のライフサイクル、プロモーションなど、クラシックな予測技術でサポートされているすべてのパターンは、分位予測技術でもサポートされています。

クラシック(平均)予測と分位予測

数学的な観点から見ると、分位予測は、予測の古典的な概念の一般化を表します。実践的な観点から見ると、分位予測は、需要の過大評価と過小評価に関連するリスクが対称的でないほとんどのビジネスシチュエーションで、通常は優れています(より正確です)。 ただし、分位予測は読みやすさや直感性に欠けることもあります。したがって、クラシックな予測は、ビジネスの進化をより直感的に把握するための基本的なツールとして残ります。 クラシックな予測を廃止する予定はありません。実際、予測技術に関して私たちが推進しているほとんどの研究開発の取り組みは、両方の予測タイプに利益をもたらします。分位予測は、需要の統計的な振る舞いに対する私たちの理解を洗練させる機会です。私たちの第一の優先事項は、より正確な予測を提供することです。

分位予測における在庫切れのバイアス

在庫切れは、顧客にサービスを提供できないことによってビジネスに損害を与えるだけでなく、在庫切れは過去の需要の観測にバイアスを導入します。在庫切れのため、ゼロの売上は必ずしもゼロの需要を意味しません。Salescastもこの問題に免疫を持っていませんが、適切に使用すれば、非常に強靭にすることができます。

managing-stockouts-bias

在庫切れがクラシックな予測に与える影響

古典的な(中央値)意味での予測は、将来の需要が上回るか下回るかの50%の確率で予測するものです。在庫切れが観測されると、未処理の需要は通常考慮されませんので、過去の記録には下方バイアスが導入されます。

その結果、過去のデータに基づいて構築された予測も下方バイアスを持ち、さらなる在庫切れを引き起こします。

最も極端な場合、最小在庫レベルが定義されていない場合、補充プロセスは在庫がないために凍結した在庫状態に収束する可能性があります。この状況では、予測は100%正確です:予測はゼロであり、売上もゼロです。

在庫切れデータ統合の落とし穴

在庫切れによって導入されるバイアスを修正するために、在庫切れを考慮する必要があります。これは、過去(および現在)の在庫切れに関する詳細な履歴記録を収集することで行うことができます。このアイデアは魅力的ですが、実際にはかなりの努力が必要です。

  • ほとんどの企業は在庫切れを正確に追跡していません。在庫切れのデータを持っているだけでは十分ではありません。在庫切れに関するデータは、需要予測の改善のためには広範かつ正確でなければなりません。
  • 在庫切れは(おそらく)比較的まれであり、ほとんどのビジネスでは時間の10%未満で発生します。そのため、在庫切れの統計的分析をサポートするために十分なデータを収集するには、かなりのビジネス量が必要です。
  • 在庫切れの影響は複雑です。代替品が存在する場合、在庫切れは(利用できないアイテムに対して)カニバリゼーションを引き起こします。また、一部の顧客は需要を延期し、アイテムが再び利用可能になったときに需要が「急増」することもあります。

バイアスに強い予測としての分位数

代わりに、分位数予測は在庫切れによって導入されるバイアスの大部分を軽減するための効率的でスリムな代替手段です。要するに、分位数はバイアスのある予測として再注文ポイントを計算するために使用されます。たとえば、95%のサービスレベルで計算された再注文ポイントは、需要の95%を超える推定値です(在庫切れは5%のみの時間に発生します)。

高いサービスレベルに関連付けられた分位数予測(実際には90%以上)は、クラシックな予測とは非常に異なる動作をします。直感的には、95%の分位数予測を計算するためには、需要の最も極端な変動の上位5%に焦点を当てます。在庫切れが過去に非常に支配的であり、観測された売上の上位5%が通常の需要の一部である場合もありますが、実際には通常はそうではありません。在庫切れがかなりある場合でも、過去の需要の最高点は通常の需要よりも高いです。

その結果、分位数予測は在庫切れがバイアスを導入しすぎて、さらにバイアスのある予測が在庫切れの問題を悪化させるという悪循環に陥ることはほとんどありません。私たちのほとんどのクライアントにおいて、分位数予測はバイアスに強いため、在庫切れの頻度をすぐに減らし、サービスレベルを管理下に戻します。その後、しばらくすると、在庫切れの頻度は定義された目標のサービスレベルに収束します。

サービスレベルの選択

分位数予測を使用する場合、再注文ポイントは予想需要、リードタイム、サービスレベルの関数として計算されます。再注文数量は、在庫残高と発注在庫を差し引いた再注文ポイントとして計算されます。サービスレベルは在庫切れが発生しない確率を表します。以下の記事は、このトピックの短い紹介と適切なサービスレベルの設定方法についてのガイダンスを提供しています。

この声明の暗黙の前提条件:在庫からの注文を常にサービスすることは経済的ではないということです。特定の製品の適切なサービスレベルを決定することは、在庫コストと在庫切れのコストをバランスすることです。サービスレベルは、適切な安全在庫を計算するための重要な変数です。望ましいサービスレベルが高いほど、保持する必要のある安全在庫も増えます。

残念ながら、この問題を記述するコスト関数は非常にビジネスに特化しています。在庫コストは比較的簡単に決定できることが多いですが、在庫切れのコストはより複雑です。店舗で製品を見つけられない顧客は、在庫のある代替品を選ぶか、購入を後日に延期するか、競合他社で購入するかもしれません。たとえば、食品小売業では、特定の「必須商品」の棚切れ状況が顧客を店舗から追い出し、彼らのビジネスを競合他社に持っていくことが知られています。

この例が示すように、関連するコスト関数はビジネスだけでなく、製品に特化しています。ほとんどの製造業者や小売業者が何百から何十万もの製品を扱っていることを考えると、過度に科学的なアプローチは望ましくないし、実現可能ではありません。

幸いなことに、実践では時間の経過とともに微調整できるシンプルなフレームワークで十分な結果が得られることがほとんどです。

はじめるには

サービスレベルは多くの小売業者にとってコアの知的財産の一部と見なされ、厳重に保護されています。それにもかかわらず、おおよその数値は良い出発点を提供するはずです。小売業の典型的なサービスレベルは90%であり、高優先度の商品は95%に達します。多くの顧客が、サービスレベルを一様な90%の出発点として設定し、その後、必要に応じて改善や調整を行うという非常に実用的なアプローチを選択しているのを見てきました。

サービスレベルと安全在庫の関係を理解することは重要です。グラフ1はその関係を示しています。100%までの距離を2で割ると、安全在庫が2倍になります。たとえば、サービスレベルを95%から97.5%に上げると、必要な安全在庫が2倍になります。100%に近づくほど、サービスレベルは非常に高価になり、サービスレベルが100%の場合は、数学的には無限の安全在庫と同等です。

service-level-graph グラフ1:安全在庫とサービスレベルの関係

カテゴリの選択

私たちの経験では、優先度の高いアイテムから最も優先度の低いアイテムまで、製品ポートフォリオをカバーする3〜5つのサービスレベルカテゴリを区別するだけで十分です。例として、3つの値を選びました:

  • 高:95%
  • 中:90%
  • 低:85%

製品の分類

製品のランキングは、定期的に使用されるターンオーバー、利益率、注文数、COGS(売上原価)などの指標を使用して、前述のカテゴリに製品を割り当てるための構造化された方法です。

ターンオーバーによる製品ランキングの例

  • ターンオーバーの上位80%:高いサービスレベル
  • ターンオーバーの次の15%:中程度のサービスレベル
  • ターンオーバーの次の5%:低いサービスレベル

粗利貢献による製品ランキングの例

  • 粗利の上位80%:高いサービスレベル
  • 粗利の次の15%:中程度のサービスレベル
  • 粗利の次の5%:低いサービスレベル

カテゴリが定義され、サービスレベルが割り当てられたら、Lokadは再注文ポイント(安全在庫レベルを含む)をこれらの値の関数として決定します。私たちは、予測の正確さだけでなく、より洗練された方法と頻繁なサービスレベルの更新によって在庫削減の潜在能力が十分に活用されることをよく見ます。

Lokadに入力する正しいサービスレベルに関してまだ不安を感じている人は、最初から完璧に調整されたサービスレベルを持つことが重要であると考えるべきではありません。重要なのは、この概念への新たな関心と、Lokadの予測と再注文ポイントの分析との組み合わせによって、現状を高い確実性で改善することです。