M5予測コンテストで909チーム中6位にランクイン

Joannes Vermorel

LokadのチームであるRafael de Rezende（リーダー）、Ignacio Marín Eiroa、Katharina Egert、Guilherme Thompson ¹は、M5予測コンテストで909チームの中で6位に入りました。これは素晴らしい偉業であり、このチームの成し遂げたことに誇りを感じています。定量的な結果に重点を置いた文化を築くことは、Lokadの長年の目標であり、このコンテストの結果は、私たちがこの旅でどれだけ進歩したかを示しています。

私の知る限り、公開の需要予測コンテストが分位数予測を含んだのは、これが初めてです。これは直接Lokadの2012年の仕事に関連する洞察です。分位数については、学術界が8年かかったとしても、この成果はそれほど重要ではありません。裸の「クラシック」予測は、サプライチェーンに関しては設計上の問題があります。分位数予測は最終目標ではありませんが、安全在庫が機能しない場合には有効です。これは、正しい方向に向けた大きな一歩だと考えています。

結果的に、1位から6位までの競争相手は非常に接近しています。1位のチーム²は数パーセント先行しています。ただし、私自身の経験から言えば、ウォルマートのような超大規模な小売ネットワークでも、ピンボール損失の5%の削減は、誤差のドル単位ではほとんど気づかれません。実際、この精度レベルでは、予測モデルは本質的に同等であり、M5コンテストではカバーされていない他の要素（ストックアウト、異なるアソートメント、カニバリゼーション、不規則なリードタイムなど）が優位です。これらの懸念事項は、ピンボール損失の数パーセントよりもはるかに大きな違いを生み出します。

モデルに関しては、Lokadチームは、店舗/カテゴリレベルで関連する周期性（曜日、月の日、年の月）を含む低次元のパラメトリックモデルを使用しました。また、周期性を排除し、ストックアウトのノイズを除去するベースラインと、ベースラインを日次の軌跡に変換する2パラメータの状態空間モデルを使用しました（周期性の乗算的な寄与）。また、優勝チームと同様に、Lokadは価格データや外部データを使用しませんでした。Lokadチームにとって最も重要な技術的な問題は、予測する必要があるストックアウトの取り扱いでした。これは「販売」の予測演習であり、「需要」の予測演習ではありませんでした。このモデルの詳細については、後ほど細部にわたって議論されます。

全体的に、M5競技会でLokadが使用したような適切に選択された低次元のパラメトリックモデルは、最先端の手法である範囲拡張勾配ブースティングツリーと比較して、精度が数パーセント程度に近づくことができる場合、本番環境ではこのモデルが非パラメトリックまたはハイパーパラメトリックモデルと比較してはるかに扱いやすくなり、必要に応じて構造的に調整することが容易になります³。

また、モデルの計算パフォーマンスは、あまりにも明確な運用上の問題となることがあります。第1位のチームは、予測を実行するのに「数時間」（sic）かかったと報告しています。これは速いように思えるかもしれませんが、M5データセットはわずか30,000のSKU（/ja/stock-keeping-unit-sku-定義/）であり、これはほとんどの小売ネットワークのSKUの数に比べて非常に小さいです（いくつかのカテゴリーがいくつかの店舗にある）。私の推定では、ウォルマートはグローバルで100M以上のSKUを管理しているため、1つの予測あたり_数万時間_の計算時間がかかります⁴。Lokadが提供する小売ネットワークでは、毎日約2時間のウィンドウがあり、予測を更新するためにこのスケジュールと互換性のあるモデルを選択する必要があります⁵。第1位のチームのモデルを展開することはウォルマートのスケールで確かに可能ですが、コンピュートクラスターの管理だけでも専任のチームが必要です。

M5競技会は以前のバージョンに比べて大幅に改善されました。ただし、データセットは実際の小売状況には程遠いです。たとえば、価格情報は「過去」のみで利用可能でした。実際には、プロモーションはランダムに発生するわけではありません。したがって、予測する期間の価格データが提供されていた場合、競技会はこの情報を利用するモデルに向けられ、直ちに無視されることはありませんでした。

未来の価格以外に、M5競技会から欠落していた2つの主要なデータ要素は、「在庫レベル」と「分解されたトランザクション」であり、どちらもほとんどの小売チェーンでほぼ常に利用可能です。在庫レベルは、在庫がないと明らかに売上がありません（検閲バイアス）。分解されたトランザクションは、私の経験では、それらなしではいかなる種類のカニバリゼーションや代替を評価することはほぼ不可能ですが、小売店の棚をさらっと観察するだけで、それらが大きな役割を果たしていることが明らかです。Lokadチームが6位にランクインしたモデルにはこれらの要素は何もありませんでしたし、第1位にランクインしたモデルにもありませんでした。

結論として、Lokadにとっては素晴らしい結果です。予測競技会をより現実的にするためには改善の余地があるとはいえ、私は読者にこれらの結果をあまり文字通りに受け取らないようにお願いしたいと思います。M5は「予測」の競技会です。実際の世界では、ストックアウト、製品の立ち上げ、製品のプロモーション、アソートメントの変更、サプライヤの問題、配送スケジュールなど、すべてを絵に描いたように考慮する必要があります。最大の課題は、誤差をわずかに削減することではなく、エンドツーエンドの数値レシピに愚かな盲点がないことを確認することです。これらの盲点が供給チェーン最適化の取り組み全体を台無しにすることになります。