Quantile Forecasting (2012)

Quantile forecasts are a significant improvement over classical forecasts whenever inventory is involved. However probabilistic forecasting vastly outperforms quantile forecasts.
grids/graph-quantile-grids
The most well-known type of forecast is the mean forecast where respective weights of over and under forecasting are strictly balanced. Projected temperatures for the next day are a typical example of mean forecasts. Quantile forecasts are different: a bias is introduced on purpose in order to alter the odds of over and under forecasting. Quantiles represent a radical improvement over classical forecasts for many verticals such as retail, wholesale and manufacturing. In March 2012, Lokad has become the first software vendor to deliver industrial-grade quantile forecasts. This page details why quantile forecasts matter and how they differ from classical forecasts.

Whitepaper

icon-whitepaper

Spare parts inventory management with quantiles

probabilistic-forecasting-graph
In a world where most equipment manufacturers and retailers are operating in fiercely competitive markets, delivering a high service level to the existing customer base is a strategic priority for many companies. However, managing a spare parts inventory efficiently still poses a huge challenge due to size and the erratic nature of demand. This whitepaper discusses the challenges and current state of spare parts planning technology, and introduces quantile forecasting as a disruptive new approach to tackling the problem.

Foreword

The terminology quantile forecast might sound complicated, and chances are, unless you’re deeply versed in statistics, that you’ve never heard the term before. However, quantile forecasts – without being named that way - are routinely used in retail and manufacturing businesses. For example, defining a reorder point for your inventory is strictly equivalent to producing a quantile forecast over the demand. Despite radical implications of quantile forecasts for retail and manufacturing, quantiles have received little attention in the market so far. The simplest explanation is that support for quantile forecasts was close to nonexistent in the software industry. However, with Lokad, there is no reason to overlook anymore such a critical piece of technology.

What are demand forecasts required for?

需要予測する理由を理解するために、小売業者や製造業者にとって量分位予測がどのように役立つのかを理解する必要があります。需要予測は、在庫、スタッフ、現金などの適切なリソースが適切な時期に利用可能であることを確認するために重要です。ただし、適切なリソースで需要を満たすことは通常非常に非対称な問題です。リソースを過剰に割り当てるコスト(過剰予測とも呼ばれる)とリソースを不足させるコスト(不足予測とも呼ばれる)は大きく異なる場合があります。

L7 たとえば:

  • 食料品小売業者は通常、非常に高いサービスレベル(95%以上、つまり非常にまれな在庫切れ)を求めます。この文脈では、在庫切れの限界コストが在庫の追加単位の限界コストを大幅に超えると推定されています。
  • 自動車メーカーは生産コストを下げることにますます圧力を受けています。その結果、一部のメーカーはゼロ在庫戦略を選択し、したがってゼロの直接的な入手可能性を選択します。つまり、車は最初に購入されてから後で製造される必要があります。この状況では、在庫の限界コストが非直接的な入手可能性のコストを超えると推定されています。したがって、企業にとって、リソースを平均需要予測に基づいて割り当てることは通常利益にならず、リソースを少なく割り当てることが50%の時間に貧しいトレードオフであり、ビジネスの現実を反映していないことが多いです。 したがって、企業は、取引に存在するビジネス固有の非対称性を反映するために、リソースの割り当てにわざとバイアスを導入しています。この非対称性により、このような状況によりうまく対処できるのが、分位数予測です。

分位数予測(τ、λ)は、τ(タウ)が目標確率であり、λ(ラムダ)が日数で表されるホライズンであり、次のλ日の需要予測を表し、その確率がτよりも将来の需要よりも高い確率(結果として、将来の需要よりも低い確率1-τ)であることを示します。

推定された分位数とその機能しない場合

分位数予測は何十年も前から知られていますが、ネイティブ分位数予測モデルを実装することは、平均予測モデルを実装するよりもはるかに複雑であると考えられています。その結果、予測ソフトウェアベンダーのほとんど(*)は平均予測のみを提供しています。

(*)私たちの知る限り、Lokadは2012年3月に、最初のベンダーとしてネイティブの産業用汎用分位数予測技術を提供した最初のベンダーとなりました。ただし、学術界では、分位数回帰の研究プロトタイプが何十年も前から存在しています。

ただし、企業が分位数予測を必要とするため、通常、推定作業を回避して分位数予測を行います。実際的には、このアプローチは、需要が正規分布に従い、補正の安全項目を追加することを前提としています。例えば、古典的な安全在庫アプローチは、このパターンに従います。

推定された分位数は、外挿法を介して分位数予測に変換された古典的な(平均)予測です。この用語は、統計モデルが直接分位数を生成するネイティブ分位数に対立するものです。外挿は入力データに依存せず、事前に定義された分布に依存します。この分布は通常、正規分布であり、外挿プロセスの最も弱いリンクであることが多いです。なぜなら、これは現実と異なるからです。

残念ながら、外挿は3つの一般的な状況で深刻な欠点を抱えています:

  • 高分位数(つまり高いサービスレベル)
  • 断続的需要
  • スパイキーな需要(大量注文)

これらの状況では、ネイティブ分位数予測が、Lokadの対応する分位数および古典的な予測技術を活用して、推定された分位数予測よりも20%以上優れていることがわかりました。比較はすでに競争を上回る傾向があることを考慮して行われます。

高分位数(つまり高いサービスレベル)

high-quantiles-new
通常、予測に関連する誤差が正規分布に従うという仮定は、分位数目標が平均値や中央値に近い場合には通常適しています。ただし、ターゲット割合が高くなるにつれて、近似の品質が低下します。高いターゲット割合、通常90%を超えるすべての値について、外挿自体が予測の最も弱いリンクになることがよくあります。これらの状況では、ネイティブ分位数が優先されるべきです。

断続的需要

intermittent-quantiles-new
外挿は、将来の需要に対して滑らかな曲線を適合させて不確実性を反映しようとします。ただし、需要が断続的またはまばらな場合、需要には何の滑らかさもありません:各期間(週、月)ごとに、売られる単位数、つまり観測可能な需要は、例えば0から5までの整数で変動します。歴史的には、多くの平均予測モデルがまばらな需要をよりよく理解するために設計されてきましたが、分位数の観点からは、より基本的な問題は、まばらな需要の場合、どの平均予測も正確な分位数に適切に外挿できないということです。これに対して、ネイティブ分位数は、需要の小さな整数パターンを完全に適合させることができます。

スパイキーな需要(大量注文)

spiky-quantiles-new
大量注文がある場合、歴史的な需要曲線は比較的スパイキーな形状をしています。この形状は、数件の注文が総需要の大部分を占めていることを反映しています。ただし、断続的な需要の場合とは異なり、常に非ゼロの需要が存在します。ここでの基本的な問題は、需要が整数値を通過するということではなく、平均予測が将来のスパイクを適切に投影できないことです。単純化すると、スパイクに対処する方法は2つあります:
  • それらを破棄する(企業がリソースを事前に割り当てる価値がないと判断した場合)。
  • スパイクを処理するために事前に割り当てられたリソースを調整するか、少なくともスパイクの一定割合を処理する。

どちらの場合も、平均予測はうまく機能しません:外挿された分位数はスパイクを捉えるのにあまりにも低すぎる一方で、同時に、非スパイク需要を処理するためのリソースを過大評価しています。ネイティブ分位数予測は、スパイクにより直接的かつ正確に対処します。

Lokadによるネイティブ分位数予測

これは過去の記事です。当社の最新世代の予測エンジンはもはや分位数予測を行いません。詳細については、最新のテクノロジーページをご覧ください。

Lokadは、時系列を入力として受け取り、各分位数がそのホライズンとターゲット割合(在庫最適化の場合はリードタイムとサービスレベル)に一致するネイティブ分位数予測を返す完全に自動化されたオンラインサービスを提供しています。外挿は必要ありません。分位数予測プロセスには統計的専門知識が必要ありません。実際には、ほとんどの企業は、最適化された再注文ポイントを取得するために、当社のWebアプリを利用します。再注文ポイントは在庫固有の分位数予測です。各時系列に対して、分位数予測は単一のデータポイントです。平均予測とは異なり、分位数予測は通常、時間とともに進化する曲線として表されません。分位数予測は統計的に異なる動作をしますが、基本的な需要パターンは変わりません:トレンド、季節性、製品のライフサイクル、プロモーションなど。当社のクラシック予測技術でサポートされているすべてのパターンは、分位数予測技術でもサポートされています。

クラシック(平均)対分位数予測

数学的観点から見ると、分位数予測は予測の古典的概念の一般化を表します。実用的な観点から見ると、分位数予測は、需要の過大および過小のリスクが対称でないほとんどのビジネス状況において、通常は優れています(より正確です)。 ただし、分位数予測は読み取りにくく直感的でないこともあります。したがって、クラシック予測は、ビジネスの進化をより直感的に把握するためのマネージャーにとって基本的なツールのままです。 クラシック予測を廃止する予定は全くありません。実際、当社が予測技術に取り組むほとんどの研究開発の成果は、両方のタイプの予測に利益をもたらします。分位数予測は、需要の統計的振る舞いをより洗練させる機会です。私たちの第1の優先事項は、より正確な予測を提供することです。

分位数予測における在庫切れのバイアス

在庫切れは、サービスを提供できない顧客の間で生じるロイヤルティの損失のためだけでなく、在庫切れは、過去の需要の観察にバイアスを導入します。在庫切れのため、ゼロの販売は必ずしもゼロの需要を意味しません。Salescastもこの問題には免疫がありませんが、適切に使用すれば、非常に弾力的になります。

managing-stockouts-bias

クラシック予測における在庫切れの影響

古典的な(中央値)意味での予測は、将来の予測であって、50%の確率で将来の需要を上回るか下回るかを示します。在庫切れが観察されると、過去の記録には下方バイアスが導入されます。未処理の需要は通常考慮されません。

その結果、過去のデータに基づいて構築された予測にも下方バイアスがあり、それによりさらなる在庫切れが発生します。

最も極端な場合、最小在庫レベルが定義されていない場合、補充プロセスは在庫がないため、さらなる記録された販売がない凍結在庫状態に収束する可能性があります。さらに、この状況では、予測は100%正確です:予測はゼロであり、販売もゼロです。

在庫切れデータ統合の落とし穴

在庫切れによって導入されたバイアスを修正するためには、在庫切れを考慮する必要があります。これは、過去(および現在)のすべての在庫切れに関する詳細な履歴記録を収集することで行うことができます。このアイデアは魅力的ですが、このアプローチには実践上かなりの努力が必要です。

  • ほとんどの企業は在庫切れを正確に追跡していません。在庫切れのデータがあるだけでは十分ではなく、在庫切れに関するデータは広範囲で正確でなければ、需要予測の改善に期待することはできません。
  • 在庫切れは(幸いにも)比較的まれであり、ほとんどの企業では通常、時間の10%未満で発生します。その結果、在庫切れのロバストな統計分析をサポートするために十分なデータを収集するには、かなりのビジネス量が必要です。
  • 在庫切れの影響は複雑です。在庫切れは、代替品が存在する場合には(利用できないアイテムに対する)カニバリゼーションを引き起こします。また、一部の顧客は需要を延期し、アイテムが再び利用可能になると需要が急増することがあります。

バイアスに強い予測としての分位数

代わりに、分位数予測は、在庫切れによって導入されたバイアスの大部分を緩和するための効率的でスリムな代替手段を表します。要するに、分位数は、再注文点をネイティブのバイアス予測として計算するために使用されます。たとえば、95%のサービスレベルで計算された再注文点は、需要のちょうど上に95%の時間ある推定値です(在庫切れが発生するのは5%の時間だけ)。

高いサービスレベルに関連付けられた分位数予測 - つまり、実務上90%を超えるもの - は、古典的な予測とは非常に異なる振る舞いをします。直感的には、95%の分位数予測を計算するためには、需要の最も極端な変動の上位5%に焦点を当てます。過去に在庫切れが非常に主要であり、観測された販売のトップ5%が通常の需要の一部でしかない可能性があるが、実際には、これは通常の場合ではありません。在庫切れがかなりある場合でも、過去の需要の最高点は通常、平均需要よりも高いです。

その結果、分位数予測はほとんど決して、在庫切れがバイアスを導入しすぎて、その結果、バイアスのある予測がさらに在庫切れ問題を悪化させる悪循環に陥ることはありません。私たちのほとんどのクライアントにおいて、分位数予測はバイアスに強いため、在庫切れの頻度をすぐに減らし、サービスレベルをコントロールに戻します。そして、しばらくすると、在庫切れの頻度は定義された目標サービスレベルに収束します。

サービスレベルの選択

分位数予測を使用する場合、再注文点は予想需要、リードタイム、サービスレベルの関数として計算されます。再注文数量は、在庫残高と発注在庫を差し引いた再注文点として計算されます。サービスレベルは、在庫切れが発生しない確率を表します。次の記事は、このトピックについての簡単な紹介と適切なサービスレベルの設定方法についてのガイダンスを提供しています。

この声明の内包的な前提:常に在庫残高から注文をサービスすることは経済的ではないということです。特定の製品の適切なサービスレベルを決定することは、基本的に在庫コストと在庫切れのコストのバランスです。したがって、サービスレベルは、適切な安全在庫を計算するための重要な変数です。望ましいサービスレベルが高いほど、保有する安全在庫も多くなります。

残念ながら、この問題を記述するコスト関数は非常にビジネス固有です。在庫コストはしばしば比較的簡単に決定できますが、在庫切れのコストを決定するのははるかに複雑です。店舗で製品を見つけられない顧客は、店にある代替品を選択したり、購入を後日に延期したり、競合他社で購入したりするかもしれません。たとえば、食料品小売業では、特定の「必ず持っている商品」の棚切れ状況が顧客を店から追い出し、彼らのビジネスを競合他社に取られることが知られています。

この例が示すように、関連するコスト関数はビジネスだけでなく、製品固有です。ほとんどの製造業者や小売業者が何百から何十万もの製品を扱っていることを考えると、過度に科学的なアプローチは望ましくないし、実現可能ではないことが明らかです。

良いニュースは、実践では、時間の経過とともに微調整できる簡単なフレームワークで作業することがほとんど完全に十分であることがほとんど証明されています。

はじめ方

サービスレベルは、多くの小売業者にとって、彼らのコアIPの一部と見なされ、厳重に保護されています。それにもかかわらず、いくつかのおおまかな数字が良い出発点を提供するはずです:小売業の典型的なサービスレベルは90%で、高優先度の商品は95%に達します。多くの顧客が、サービスレベルを一様な90%の出発点に設定し、その後、必要に応じて改善や調整を行う非常に実用的なアプローチを成功裏に選択しているのを見てきました。

サービスレベルと安全在庫の関係を理解することが重要です。グラフ1はその関係を示しています。100%までの距離を2で割ると、安全在庫が2倍になります。たとえば、サービスレベルを95%から97.5%に引き上げると、必要な安全在庫が2倍になります。100%に近づくサービスレベルは非常に高価になりますが、サービスレベルが100%の場合、それは無限の安全在庫と数学的に等価です。

service-level-graph グラフ1:安全在庫とサービスレベルの関係

カテゴリの選択

私たちの経験では、製品ポートフォリオを「必ず持っている商品」から最も優先度の低い商品までカバーする3〜5つのサービスレベルカテゴリを区別するだけで十分です。例として、3つの値のシステムを選択しました:

  • 高:95%
  • 中:90%
  • 低:85%

製品の分類

製品のランキングは、前述のカテゴリに製品を割り当てるための構造化された合理的な方法を提供します。よく単独または組み合わせて使用されるランキングには、売上高、収益性、注文数、COGS(売買費用)などが含まれます。

売上高による製品ランキングの例

  • 売上高の上位80%:高いサービスレベル
  • 次の15%の売上高:中程度のサービスレベル
  • 次の5%の売上高:低いサービスレベル

粗利への貢献による製品ランキングの例

  • 粗利の上位80%:高いサービスレベル
  • 次の15%の粗利:中程度のサービスレベル
  • 次の5%の粗利:低いサービスレベル

カテゴリが定義され、サービスレベルが割り当てられたら、Lokadは再注文点(安全在庫レベルを含む)をこれらの値の関数として決定します。私たちは、在庫削減の潜在能力が予測の正確性だけでなく、サービスレベルのより洗練された方法と頻繁な更新によっても活用されることが多いことをよく見ます。

まだLokadに入力すべき正しいサービスレベルについてかなり不安を感じている人は、最初から完璧に微調整されたサービスレベルを持つことが重要であるということを覚えておくべきです。重要なのは、この概念への新しい関心が、Lokadの予測と再注文点分析と組み合わさることで、現状を高い確実性で改善することです。