00:00:00 予測付加価値（FVA）の導入
00:00:41 FVA分析の説明と手順
00:01:59 バックテストとFVA精度の評価
00:02:47 FVAと手動介入
00:03:56 精度の価値に関するFVAの前提
00:04:37 予測プロトコルの能力テストとしてのFVA
Lokadの完全版記事予測付加価値でさらに詳しく学びましょう。
概要
LokadのテクニカルライターであるConor Dohertyは、予測プロセスの診断ツールであるForecast Value Added (FVA)について論じます。FVAは、予測精度を向上させるために各部門の知見を統合します。Dohertyは、FVA分析の手順とその効果について説明します。彼は、FVAが知見の価値を示す一方で、より高い予測精度が常に有益であると仮定しているが、必ずしもそうではないと指摘します。彼は、より高い精度の追求ではなく、金銭的誤差の削減に注力すべきだと提案しています。彼は、FVAが能力テストとして利用できる可能性があると結論付けていますが、予測入力において非専門家を常用することは正当化しません。
完全な書き起こし
予測付加価値、またはFVAは、予測プロセスの各段階を評価するために設計されたシンプルな協力ツールです。その究極の目的は、予測精度を向上させないステップを排除することにあります。
FVAは、マーケティングや営業など他の部門からの知見を取り入れることで、予測プロセスを拡張し、この目的を達成します。本日は、3つのシンプルな質問に答えます。FVA分析はどのように実施するのか？それは機能するのか？そして、使用すべきなのか？さあ、始めましょう。
統計的予測が生成され、その後、各部門間で共有されます。各部門は、それぞれの専門知識に基づいて変更を加えます。これらの変更は後に互いに比較され、実際の需要、そして最終的にはナイーブ予測と比較されます。
各部門が予測の精度を向上させた場合、正のFVAが加えられ、逆に精度を下げた場合は負のFVAが加えられます。
一般に、FVA分析は次のような流れになります。ステップ1として、寄与者とその寄与の順序を定義します。ステップ2として、統計的予測を作成し、その後にナイーブ予測を作成します。
ステップ3で、知見を収集します。これらは統計的予測に適用されます。ステップ4で、プロセスの各段階において各寄与者のFVAを計算します。そして最後に、ステップ5で、予測プロセスを最適化します。
まず、精度を下げるタッチポイントを排除します。次に、精度を上げるタッチポイントを強化します。実際には、FVAのタイムラインはこのような形を取ります。
ご覧の通り、企業の統計的予測は、コンセンサス予測の段階を含む複数の上書きを経ます。FVA分析においては、上層部がコンセンサス予測を承認するエグゼクティブフェーズが含まれることも珍しくありません。
企業が実際の需要データを入手すると、各段階でどれだけ精度が向上または低下したかを判断するためにバックテストを実施できます。サンプルのバックテストはこのような形を取ります。
この階段状のレポートでは、各上書きごとの正または負のFVAを互いに比較できます。ここでの評価指標はMAPE、すなわち平均絶対百分率誤差です。
例えば、統計的予測はナイーブ予測と比較して誤差を5%削減したため、正のFVAに寄与しました。しかし、コンセンサス予測は全体として大幅な負のFVAに寄与しました。
今日は主要な3点しか取り上げることができません。より詳細なFVAの分析については、当社のFVA記事をご参照ください。リンクは下記の説明欄に記載されています。
第一のポイントとして、FVAは複数の、さらにはコンセンサスによる介入が正の価値を追加できるという考えに基づいています。さらに、FVAはこの価値が企業全体に分散していると考えています。
しかし、Makridakisらは、最良の予測モデルは機械学習技術の進歩を活用しており、つまり人間の関与を制限していることを示しています。
最近のM5コンペティションでは、参加者が世界最大の売上高を持つ小売業者であるウォルマートの需要を予測する必要がありましたが、優勝したモデルは、販売や予測の経験がほとんどない学生によって開発されました。
これは、需要予測における市場洞察の役割を過大評価している可能性を示しています。第二のポイントとして、FVAは人間による上書きがいかに欠陥があるかを実証しています。
FVAは、数値をもってして人々に彼らの知見が予測精度を向上させないことを示す能力があります。その点で、FVAは一度限りの有用性を確実に持っています。しかし、継続的な実践としては、大きな制約が存在します。
ここで第三のポイントに非常にすっきりと繋がります。FVAは、予測精度の向上が追求に値すると仮定していますが、実際には精度向上が直接的にも間接的にも相当なコストを伴う様々な状況が存在します。
予測が5%精度向上しても、関連コストにより利益が大幅に低下する可能性があります。したがって、予測の成功は、本質的な精度向上の追求ではなく、ユーロまたはドル単位の誤差を削減することにのみ基づくべきです。
では、FVAを使用すべきでしょうか？ 現在の予測プロトコルの能力または無能力を一度だけテストするためにFVAを利用することは可能ですが、これは予測プロセスへの手動入力のために非専門家に定期的に頼るという考えを正当化するものではありません。
