00:00:00 インタビューの紹介
00:00:47 ニコス・クーレンツェスの経歴と業務
00:03:25 予測の整合性の理解
00:04:44 予測の正確さの制約
00:06:14 時系列予測における整合性
00:08:02 サプライチェーンの在庫モデリングの考慮事項
00:09:03 整合性と予測の一貫性
00:10:29 生産における数学的な指標
00:12:08 高級時計メーカーの在庫に関する考慮事項
00:14:47 生産を引き起こす上方の変動
00:16:03 1つのSKUの需要に対するモデルの最適化
00:17:41 収縮推定量と時系列の階層構造に関する研究
00:19:05 すべての予測期間に対する最適なモデル
00:21:32 予測の整合性に関する論争
00:24:05 在庫ポリシーの調整
00:26:27 正確さと整合性のバランス
00:31:14 時間の集約からの予測の滑らかさのトリック
00:32:54 最適化における勾配の重要性
00:35:28 サプライチェーンにおける相関関係
00:38:10 時系列予測を超えて
00:40:27 確率的予測の正直さ
00:42:32 整合性とブルウィップ比率の類似点
00:45:18 連続的な意思決定分析の重要性
00:47:27 ステージを分離する利点
00:49:34 モデルとの人間の相互作用
00:52:05 予測における人間の要素の保持
00:54:35 専門家とアナリストへの信頼
00:57:28 数百万のSKUを管理する現実的な状況
01:00:01 高レベルのモデルの調整
01:02:13 珍しいイベントの確率によって導かれる意思決定
01:04:44 ニコスの調整に対する考え方
01:07:14 細かい調整に時間を浪費すること
01:09:08 日々の手動調整に反対する
01:11:43 コードの微調整の企業全体への利益
01:13:33 データサイエンスチームの役割
01:15:35 確率的予測は手動の干渉を防ぐ
01:18:12 AIに関するミリオンダラーの質問
01:21:11 AIモデルの理解の重要性
01:24:35 AIモデルの価値とコスト
01:26:02 在庫の問題に対処する
ゲストについて
Nikolaos Kourentzesは、スウェーデンのスコーヴデ大学AIラボで予測分析とAIの教授です。彼の研究の興味は、時系列予測にあり、最近では不確実性のモデリング、時間的階層、階層的予測モデルに関する研究を行っています。彼の研究は、在庫管理、金融業務のための流動性モデリング、医療などの分野で、予測を意思決定と行動に翻訳することに焦点を当てています。彼は産業界と公共部門の両方での豊富な経験を持ち、実践での高度な予測手法の利用を支援するさまざまなオープンソースライブラリの著者でもあります。
要約
最近のLokadTVのインタビューで、スコーヴデ大学の教授であるニコス・クーレンテスとLokadのCEOであるジョアネス・ヴェルモレルは、サプライチェーンの意思決定における予測の整合性について議論しました。彼らは、モデルが誤って指定される可能性があることを認識しながら、予測を意思決定と整合させることの重要性を強調しました。彼らは、予測の精度と整合性の違いを明確にし、最も正確な予測が意思決定と整合しない場合、最善ではないと主張しました。彼らはまた、在庫の意思決定における予測の整合性の実践的な応用と、ブルウィップ効果の緩和に対する潜在的な効果についても議論しました。予測の整合性におけるAIと人間の関与の役割についても議論されました。
詳細な要約
Lokadのコミュニケーション責任者であるConor Dohertyが主催する最近のインタビューで、スコーヴデ大学の教授であるニコス・クーレンテスとLokadのCEO兼創設者であるジョアネス・ヴェルモレルは、サプライチェーンの意思決定における予測の整合性の概念について議論しました。
スコーヴデ大学のAI研究チームを率いるクーレンテスは、彼の研究は主にモデルのリスクとモデルの指定に関わると説明しました。彼は、予測をサポートする意思決定と整合させることの重要性を強調し、これを予測の整合性と呼んでいます。このアプローチは、モデルが誤って指定される可能性があることを認識することで、精度を向上させることを目指しています。
クーレンテスは、予測の精度と予測の整合性を明確に区別しました。精度は予測誤差の大きさの尺度であり、整合性は時間の経過における予測の一貫性を示します。彼は、最も正確な予測が必ずしも意思決定にとって最善ではない場合があると主張しました。それは、予測が意思決定の目的関数と整合しない場合です。
クーレンテスと同様に、ヴェルモレルも数学的な指標は実践ではしばしば不十分であると指摘しました。彼は、異なる意思決定が売れ残り商品と高級品など、異なる非対称のコストを持つ場合があることの例を挙げました。ヴェルモレルはまた、需要予測の変動が不可逆的な意思決定を引き起こすことがある供給チェーン管理におけるラチェット効果についても議論しました。
クーレンテスは、精度にだけ焦点を当てることから、予測における他の要素を考慮するようにシフトしたことを共有しました。彼は、モデルの基礎となる仕組みとその仮定を理解することの重要性を強調しました。彼は、正確な予測のコレクションが見つかったら、最も整合性のある予測を選ぶべきだと提案しました。
一方、ヴェルモレルは、Lokadでは数学的な指標に焦点を当てるのではなく、直接的に財務成果を最適化していると共有しました。彼は、最小化するためにパラメータを調整する方向性を提供するために、勾配が最適化において重要であると説明しました。彼はまた、需要だけでなく、さまざまなリードタイムや不確実性についても考慮する確率的予測の重要性についても議論しました。
その後の議論は、在庫の意思決定における予測の整合性の実践的な応用と、バルホイップ効果の緩和への潜在能力についてでした。クーレンテスは、整合性とバルホイップ比率には多くの類似点があり、整合性を考慮した予測の設計がバルホイップ効果の軽減に役立つと説明しました。
予測の整合性における人間の関与の役割についても議論されました。クーレンテスは、人間の介入を排除するのではなく、付加価値を提供するためにガイドされるべきだと考えています。一方、ヴェルモレルは、Lokadでは予測の調整を人間に許可しないようにしているため、結果が改善されたと共有しました。
会話は、予測の整合性と意思決定におけるAIの役割についての議論で終了しました。クーレンテスとヴェルモレルの両者は、AIが予測の課題に取り組む上で役割を果たす一方で、すべての既存の方法を置き換えるべきではないと一致しました。プロセスを理解することが重要であるとも述べました。
クーレンテスは最終的な発言で、従来の予測手法から意思決定とより統合的なアプローチにシフトする必要性を訴えました。彼は、私たちの考え方、ソフトウェア、教科書を更新する必要性を強調し、予測分野にさまざまな分野の人々を含めることを歓迎しました。彼は、これらの課題に取り組む上での協力と多様な視点の重要性を強調して締めくくりました。
フルトランスクリプト
Conor Doherty: お帰りなさい。通常、予測についての議論は精度の概念を中心に展開されます。今日のゲスト、ニコス・クーレンテス氏は異なる視点を持っています。彼はスコーヴデ大学の人工知能研究所の教授です。今日は、ジョアネス・ヴェルモレル氏と私に予測の整合性の概念について話していただきます。それでは、ニコスさん、カメラの前でスコーヴデの発音が正しいことを確認していただけますか？
ニコス・クーレンテス: それが私のできる限りの発音です。
Conor Doherty: それなら、もう質問はありません。ご参加いただき、ありがとうございました。
ニコス・クーレンテス: どういたしまして。
Conor Doherty: 冗談はさておき、私はスコーヴデ大学の人工知能研究所で働いています。それは非常に印象的ですね。具体的にはどのような活動をしていて、一般的なバックグラウンドは何ですか？
ニコス・クーレンテス: まず、研究所について少し紹介し、その後、私のバックグラウンドについて少し話します。私たちはAI研究に興味を持つ多様な学者チームです。焦点は主にデータサイエンスの周りにありますが、応用領域は非常に多様です。例えば、すでに紹介したように、私はおそらく予測と時系列モデリングについて話すことになるでしょう。しかし、他の同僚は情報融合、ビジュアルアナリティクス、自動運転車、AIの認知的側面などのトピックに興味を持っています。それがチームの素晴らしいところです。さまざまな研究があり、議論が行われると、典型的な文献を超えた多様なアイデアが得られます。少なくとも私は非常に良い環境だと思っています。
大学は、スウェーデン人ではない私が国際的にスウェーデンの名前を使用すると、何でもあり得るということです。したがって、データサイエンスとAIの観点からは、その名前が広く知られていないという事実を述べることが役立つでしょう。しかし、私はチームに参加できて非常に嬉しいです。私自身については、統計学、計量経済学、またはAIを使った予測と時系列モデリングに関して、ほぼ20年間働いてきました。私は人工知能の分野でランカスター大学で博士号を取得しました。それはビジネススクールでした。そして、私のバックグラウンドは元々は経営学です。しかし、ある時点で、「質問する方法はわかるが、それを解決する方法はわからない」と思いました。そこで、運用研究でいくつかの仕事をし、その後、人工知能の博士号を取得しました。その後、私は計量経済学に興味を持つようになりました。したがって、時系列の理解において多様性を持つことができました。
Conor Doherty: ありがとうございます、ニコス。実際、私たちが最初にあなたのプロフィールに出会ったのは、まず私が出会った方法は、LinkedInであなたの仕事の一部をフォローしているサプライチェーンの科学者が、あなたが予測の一致について書いた記事を私に送ってくれました。そして、その記事にはそのトピックに関するあなたのワーキングペーパーへのリンクも含まれていました。今日の会話の中心は、予測とそれをサプライチェーンに適用することになります。しかし、具体的な内容に入る前に、予測の一致とは何か、そしてそれがあなたの研究領域としてどのように浮かび上がったのかについて、少し背景を教えていただけますか？
ニコス・クーレンテス: 私の仕事の大部分は、モデルのリスクとモデルの仕様に関連しています。時系列予測では、モデルを特定し、それを使用すると言いますが、実際にはすべてのモデルがある程度間違っていることを認識していません。予測に関しては、いつも聞く通り、すべてのモデルは間違っているが、いくつかは有用であるというのが通常の考え方です。しかし、私たちはそれ以上のことができると思います。モデルの間違い具合を定量化することから始めることができます。しかし、もう一つの側面もあります。文献では、しばしばそれほど深くは踏み込まないという点です。これは変わりつつありますが、私だけがそう言っているわけではありません。多くの同僚も同じことを言っています。それは、予測をサポートする意思決定につなげる必要があるということです。
したがって、一致はこれらの2つの考えから生まれました。私はランカスター大学の同僚であるカンドリカ・プリトゥラガと一緒に取り組んできました。彼はあなたが言及した論文の共著者でもあります。私たちは、モデルがある意味で誤っているという視点を持っています。つまり、私たちは直面している需要または販売を近似しているだけです。それでは、その実際のコストは何なのかということに非常に興味がありました。そして、予測の一致は、正確さ以上のものを提供できるかというアイデアに取り組んでいます。正確さは、多くの場合、データを近似することにおいて良い仕事をしていると仮定していますが、それ以上のことができると考えています。
そして、私たちは真剣にそれをやろうとしていますが、おそらく適切なモデルを使用していないだけかもしれません。たとえば、Xモデルの選択肢を提供するソフトウェアを持っているかもしれませんが、正しい近似はモデルプールに欠けているモデルであるかもしれません。だからこそ、私たちのモデルが誤っている可能性があると認識した場合に、予測と意思決定を結びつけようとする動機が生まれるのです。それが背景です。
もっと科学的に言うなら、私たちは通常、同僚と一緒に研究トピックを始めるときに少し馬鹿げたアイデアから始めます。だから、私たちは他のことをしている最中に興味深いヒントがあると思い、それをもう少し探求しようと言います。そして、しばしばそれをすると、有用なアイデアになることがあります。なぜそれを言及しているかというと、予測の一致が提供するものは、少し異なる考え方だと思うからです。そして、それが最初はある意味で冗談から始まったので、異なる視点から全体を見ることができました。
Conor Doherty: ジョアネス、これについては後で話しますが、もう少し詳しく説明していただけますか？予測の正確さという言葉を使うと、ほとんどの人がそれがどういう意味かをある程度理解しています。しかし、一致または予測の一致というと、人々が異なる視点から物事を見るのを助けるという点で、もう少し説明していただけますか？時間系列予測の文脈での一致とは、具体的にどのような意味を持つのか、理解していただけるようにもう少し説明していただけますか？
Nikos Kourentzes: そうですね、まず第一に、その名前は非常に直接的ではないですし、その理由があります。予測の一致という言葉で表現しようとしているのは、基本的には時間の経過における予測の類似度です。これは簡単な言い方ですが、いくつかの問題があります。たとえば、安定性など、それに関連する単語の多くは、すでに統計的な予測で使用されているため、混乱を引き起こしたくありません。
もう1つの問題は、おそらくさらに議論が進むでしょうが、時間の経過における予測の類似度を測定する際に技術的な困難があるということです。たとえば、季節性のある時系列と非季節性の時系列を考えると、季節性自体が予測の時間的な変化に異なる影響を与えます。それが管理する必要のあるパターンです。それが私たちが興味を持っていない非類似性の種類ではありません。そして、それが一致を定義するために、もしそうであれば、数学的な体操が必要になるのです。しかし、ここに正確さとの違いがあります。正確さは、予測誤差の大きさの要約として理解されます（使用するメトリックに関係なく）。
さて、もちろん、最も正確な予測を得れば、それはサポートされた意思決定のための最良の情報を提供することを意味するでしょう。しかし、それは、サポートされた意思決定が最も正確な予測と同じ種類の目的関数を持っているということを意味します。つまり、二乗誤差を最小化するということです。しかし、それは事実ではありません。たとえば、供給チェーンの在庫モデリングを考えてみると、注文のバッチ処理によるコスト、過剰在庫と不足在庫のコストなどを考慮する必要があります。これにより、最も正確な予測からの位置が変わるかもしれません。サプライヤーからの制約や生産ラインや倉庫からの他の容量制約など、他の側面も考慮する必要があるかもしれません。したがって、在庫の真のコストやサプライチェーン全般について考えると、最も正確な予測が必ずしも意思決定とよりよく一致しているわけではないということがわかります。これが一致に関してより興味深いポイントです。
一方で、私たちの共著者と私自身は、その方向性でかなり多くの研究を行っており、正確性の指標のほとんどが良い意思決定とは相関関係がないことを証明しています。それはそれらが無用であるということではなく、単に完全なストーリーを提供していないということです。それによって、一致性に向かって少し押し出されます。一方、一致性は、予測が時間の経過とともにあまり変化しない場合、予測に対してある程度の自信があることを示そうとします。しかし、他方から見れば、人々がある程度の一貫性を持って計画を立てることができる予測でもあります。予測サイクルごとに全体の計画を更新する必要はありません。なぜなら、予測はかなり似ているからです。したがって、それらが最も正確な予測ではないとしても、意思決定を容易にする予測の予測可能な方法で失敗しています。そして、実際に私たちの仕事でもそれを見つけます。一致性のある予測によってサポートされる意思決定は、時間の経過とともにより一貫性があります。したがって、それらの意思決定をするための努力は少なくなります。
Conor Doherty: それでは、ありがとうございます、Nikosさん。そして、Joannesさん、これはおそらくあなたにとってかなり共感する部分があると思います。より正確な予測は必ずしもより良い在庫の意思決定につながるわけではありません。
Joannes Vermorel: はい、まさにその通りです。現在の私たちの一般的な見解は、実際にはほとんどすべての数学的な指標が、数式を選んで「これはあなたの指標を特徴づける数学的な式であり、最適化しようとするものです」と言う意味で、空から落ちてきたり、単にでっち上げられたものである場合、良い意図を持っていても、例えばノルム1、ノルム2など、いくつかの数学的な特性が付随しているものであっても、実際には非常に期待はずれなものです。それがさまざまな理由で本番環境に導入された場合です。
10年以上前、Lokadは現在私たちが「裸の予測」と呼んでいるものを行うべきではないという考えを広め始めました。基本的に、私は予測が意思決定のための道具であり、予測の妥当性は意思決定の妥当性の観点からのみ評価できるというNikosさんの提案を支持しています。
これは少し奇妙なことです。なぜなら、10個の異なる意思決定がある場合、それらの意思決定をサポートするための一貫性のない予測が得られるかもしれないからです。そして、それは奇妙に感じられますが、現実にはそれは大丈夫です、直感に反していても。なぜ大丈夫なのか？それは、非常に多様な非対称なコストを持つ一連の意思決定があるからです。オーバーシュートやアンダーシュートの観点から見て、非常に多様な非対称なコストを持つ一連の意思決定があるからです。
したがって、オーバーシュートすると、それは災害です。例えば、イチゴを販売している場合を考えてみましょう。イチゴは、一日の終わりに売れ残った分はほとんど捨てることになります。つまり、オーバーシュートした分は、即座に確実な損失または在庫の廃棄物となります。
一方、もしもあなたが高級時計メーカーであり、あなたの商品が金やプラチナ、他の高級な金属や石で作られている場合、それらを売らない場合、在庫は期限切れになりません。たとえあなたが作り出し、製品に組み込んだものが流行遅れになっても、いつでも素材を取り戻して市場の現在の欲求に合った形に再形成することができます。
したがって、基本的には、ジュエリーを作っている場合、在庫の廃棄物はありません。製品を再形成するためのコストがかかるかもしれませんが、それは非常に異なるゲームです。
サプライチェーンの教科書でほとんど言及されない基本的な問題の1つは、ラチェット効果です。在庫の補充ゲームを行っているとしましょう。毎日、SKUごとに需要予測があり、需要がある閾値を超える場合、再注文が行われます。
しかし、予測が変動している場合、在庫は常に最高点をキャッチするように設定されていることになります。例えば、1ヶ月の場合、典型的な再注文サイクルが1ヶ月程度である場合、予測はこの1ヶ月の間に変動します。そして、毎日、つまり1ヶ月の30日、31日の間に、予測ロジックを再実行し、予測が最も高い日に必ず発注を行います。
予測が上下に変動するということで、精度的にはその変動があると非常に良いことです。短期の変動をうまく捉えることができますが、その代償として、一度意思決定をトリガーすると、その決定にコミットする必要があります。
そして、変動がある場合、通常は上方の変動を捉えることになります。下方の変動はそれほど悪くありません。1日だけ遅らせるだけですが、上方の変動は生産バッチ、在庫補充、在庫配分、価格の下落を引き起こします。
なぜなら、それは同じようなものだからです。価格を下げて価格の下落による需要の急増が起こりますが、需要を過小評価していて、在庫が余りすぎたと思っていたが、実際はそうではなかったという現実があります。そして、価格を下げたことで、自らを計画的な在庫切れの状況に置いてしまいます。
これらは、予測統計モデルの極端な変動を反映した、意思決定的にノイズを捉えるようなラチェット効果がある場合に起こるものです。
ニコス・クーレンツェス: 何か追加できますか？まず、私はかなり同意します。しかし、私のような時系列の人間の視点からも同じ議論を見ることが少し役立つかもしれません。私は正確さを考えるように育てられた時系列の人間です。
最終的に私が考えを変えたのは、ある在庫管理単位、SKUの需要があるとしましょう。そして、最良のモデルを見つけ、尤度を最小化するか平均二乗誤差を最小化するようにそのモデルを最適化します。
これを行う背後にある仮定は、モデルの良い近似を行ったということであり、通常、エラーは1ステップ先の予測です。これは通常、サンプル内エラーを最小化するものです。
もしモデルが正しいモデルでない場合、正しいモデルとはデータ生成プロセスを何らかの方法で知っているということであり、これは決して真ではありません。もしエラーを最小化するとすると、予測はすべての予測期間に対して完璧になるはずです。しかし、それは事実ではありません。モデルは近似に過ぎません。
ですから、通常、1ステップ先の予測のためにエラーを最小化するとしましょう。その場合、モデルはこの1ステップ先の予測に対して非常に良いパフォーマンスを発揮するかもしれませんが、リードタイムにはさらなるステップが必要です。
もし「ああ、私は3ヶ月後、つまり3ステップ先の予測に非常に優れたモデルを調整できる」と言った場合、逆の効果が生じます。モデルはその予測のホライズンに調整されることが非常に良いですが、より短い予測ホライズンには調整されません。つまり、リードタイムでは情報が見落とされます。
つまり、私が言いたいのは、モデルを最適化するための従来の考え方は、常に、最適化プログラムが注目しているエラーに合わせてキャリブレーションされるため、実際の意思決定をサポートするための予測とは異なる、実際には不正確な予測につながるということです。異なるホライズンがあります。
これは、例えば、縮小推定量の研究や、私や同僚が時間的階層に関して行っている研究など、多くの研究が少し役立っているところです。これらの技術は常に「データに過剰適合しないようにしましょう。あるエラー統計量を最小化することにこだわらないようにしましょう」と考えます。
ですので、ジョアネスが説明したことは、基本的に2つの視点から見ることができます。1つはサプライチェーンへの影響であり、もう1つはなぜこれが必然的に起こるのかという統計的な基盤です。
ジョアネス・ヴェルモレル: はい、確かにそうです。Lokadでは、現在、量的サプライチェーンフレームワークの一環として、純粋な財務最適化を行っています。つまり、ユーロやドルを直接最適化しています。
そして、実際にこれらのメトリックは発見されます。私たちはそれを実験的最適化と呼ぶ特別な方法論さえ持っています。なぜなら、サプライチェーンシステムは非常に不透明で複雑なため、メトリックは与えられたものではなく、それを発見するための大きなテーマです。
さて、予測のホライズンとそれに伴う予測の変動について興味深いことは、長い間そのような考え方をしてきましたが、実際には、Makridakisの最新の予測競技会、M4、M5、M6では、どのホライズンを選んでもほぼ最良のモデルが最良です。
Lokadは2020年にWalmartのSKUレベルで1位になり、1日先、7日先など、あらゆるホライズンで最良の結果を出しました。長い間、特定のホライズンでより優れたパフォーマンスを発揮するモデルがあるかもしれないという可能性に取り組んできました。
しかし、現代のモデル、例えば差分可能プログラミングのようなモデルは、非常に均一です。最近では、6ヶ月先よりも1ステップ先でより良いパフォーマンスを発揮するモデルは非常に珍しいです。
本質的には、無限のホライズンを持つモデルもあります。それらは時間の終わりまで予測しますが、計算リソースを節約するために停止します。しかし、一般的には、最適化されるメトリックは既知とは見なされないべきです。
ベイズ推定を行う場合は、対数尤度のような優雅な数学的メトリック、または平均二乗誤差などを前提としてはいけません。それは論文で定理を証明するためには非常に良いですが、定理やモデルの特性を証明することと、運用結果には直結しません。
数学的な視点からは明らかではない、振る舞いの微妙な欠陥が生じる可能性があります。
コナー・ドハティ: それでは、ありがとうございます。ニコス、先ほどおっしゃったことに戻って、前には精度に焦点を当てていたと言いましたが、「ああ、私は考えを変えて、精度に焦点を当てることを超えて進んだ」と言いました。実際にそのプロセスを説明していただけますか？なぜなら、予測についての会話をするときに、予測の精度を単独で見ることを人々に納得させるのはかなり難しいです。私はあなたの論文でも、「予測の目標は精度ではない」と述べています。この声明は、話す相手によってはかなり議論の余地があります。では、具体的にどのようにその旅を進めたのでしょうか？
ニコス・クーレンツェス: そうですね、確かにそれは議論の余地があると思います。しかし、私は時系列の世界にいる人々がそれを受け入れやすいと考えています。まず、予測のホライズンについて触れてみましょう。
私は、モデルがすべてのホライズンで良い予測を行うことができるという理解は、モデル自体を比較する方法に関係しています。例えば、あなたが言及したMコンペティションについて再び話をすると、これはMコンペティションの有用な読み方ですが、これらのモデルは同様の方法で最適化されています。単純な指数平滑法を取っても、目的関数を変更したり、パラメータを推定する方法を変更したりすると、異なる目的や異なるホライズンで性能を大幅に向上させることができます。
だから、私にとってこれは何かが起こっているかもしれないという出発点でもありました。例えば、私はただ標準的な方法を使うことに批判的です。博士課程の学生や修士課程の学生と一緒に作業するとき、私は彼らにライブラリを使うのではなく、ハードな方法で実装するように頼むことがあります。なぜなら、モデルの下で実際に何が起こっているかを理解してもらいたいからです。そして、そこで詳細のいくつかを見つけることができます。これは意味があるのか、と言うことができます。
以前にも言及されたことの一つは、数学的に扱いやすい式や表現を楽しむことです。簡単とは言っても、それは時にはかなり複雑なものですが、適切な仮定を持っていれば、数学的に解析することができます。しかし、ここで私の問題があるのは、それを行うことで私たちは仮定の下で何が起こっているかについての理解を持つことができるということです。しかし、私たちはしばしば、この仮定が破られた場合にどうなるか、モデルの仕様がある場合にどうなるかということを言い忘れることがあります。
だから、私にとって、このモデルの仕様は出発点です。これを導入すると、これらの式の多くが問題を抱えるようになります。ここで注意が必要ですが、私自身も学者であるため、この研究がどのような形であれ無駄ではないということです。しかし、これは一つのステップです。私たちはすべての特性を理解し、そしてモデルの仕様を導入しましょう。
スペインのいくつかの同僚と一緒に在庫ポリシーのキャリブレーションに取り組んだことがあります。そして、私たちがレビューを終えようとしている論文の一つは、まさにそれを試みています。モデルが正しいと仮定した場合に得られる非常にシンプルなポリシー、例えばオーダーアップポリシー、とモデルが誤っていると仮定した場合に得られるものを比較しています。なぜなら、サプライチェーンには追加のリスクがあり、在庫の設定にも追加のリスクがあることがわかるからです。
だから、私にとって、正確さだけでは十分ではないという瞬間は、モデルが誤っていると考え始めたときです。この追加のリスクが何を意味するかを考えると、在庫ポリシーの確率的なリスクについて考えてみましょう。私たちは需要プロセスからの確率的なリスクがあると言っていますが、それだけではありません。私が考えている方法ですべてのリスクを捉えているわけではないとは言いませんが、少なくとも論理的には正確さの一つの目的以上のものでなければなりません。
それは目的を捨てるという意味ではありません。目的を捨てても、その目的と他の目的の間には何らかの相関があるはずです。なぜなら、正確な予測（広義の意味で）を完全に無視すると、自分の仕事をうまく行っていないことになるからです。少なくとも私の経験ではそうです。
完全に目的を変えることもできます。例えば、一致性では、理論的にも正確さとの関連性があることがわかります。それは100%の関連性ではありませんが、弱い関連性があります。ですから、それは私にとって、正確さを完全に捨てるということではありません。しかし、それは議論の終わりではありません。もしもそれを同様の特性を持つより良い指標や複数の指標で置き換えることができるなら、それは素晴らしいことです。私はそれで満足しています。その指標をああでもこうでも呼んでもかまいませんし、それが私の指標であるか他の誰かの指標であるかもかまいません。しかし、私は本当にモデルの仕様とそれに伴うリスクを考慮に入れると、伝統的な指標に固執することはできないと思っています。
Conor Doherty: ありがとうございます、ニコスさん。そして、ジョアネスさん、もう少しで戻ってきますが、私は2つのポイントを強調したいと思います。まず、私は言葉を誤ったかもしれません。正確さは予測の目標ではないと言うべきでした。逆のことを言ったかもしれません。ただ、あなたが言ったポイントについて追加で話すと、それは論文の重要なポイントだと思います。正確な予測を追求することを提唱しているわけではない、正確さと一致性の両方を考慮したミックスです。それは公平な解釈でしょうか？もしそうなら、これら2つの指標のミックスを追求する方法を理解していない人のために、それについて詳しく説明していただけますか？
Nikos Kourentzes: まず、これは進行中の研究ですので、完全な答えはまだありません。しかし、簡単なヒューリスティックスは、正確な予測のコレクションを見つけたら、その中から最も一致するものを選ぶというものです。直接最も一致する予測を選ぶのではなく、それは非常に正確でない予測かもしれませんので、そのような意味です。
ですので、私はこれら2つの目標を見ると、もう少し違う言い方をすると、両方が一緒に改善する領域があり、そこでトレードオフになります。そのトレードオフに到達したら、より一致する側に重みを置くようにしてください。
Conor Doherty: それでは、再び質問になりますが、トレードオフという言葉を使いましたが、それは私たちが注目していることの1つです。正確さと一致性のトレードオフを、企業はどのように考えるのでしょうか？もちろん、まだ進行中の研究ですが、企業はどのようにしてそのトレードオフを評価するのでしょうか？また、一致する予測の揺れや変動を減らそうとしているとはいえ、予測の正確さはシンプルです。単純に正確さを求めるだけで、数値を上げたいと思います。しかし、今度は別の次元を導入しています。ですので、その重み付けについて、企業はどのようにアプローチするのでしょうか。具体的に言うと、それが私が言いたいことです。
Nikos Kourentzes: はい、私はここで明確な答えを出すのに苦労しています。まだ明確な答えがないからです。でも、ロジックの例を挙げることはできるかもしれません。
以前に季節性のある時系列について言及しました。一致性を指標として定義する難しさについて、他の同僚との議論で出てきたのは、これを代わりにこれをやることもできると言われたりしましたが、本質的には予測の条件付き平均の考え方です。それは何でしょうか？需要が実際に季節性がある場合、つまり何らかの潜在的な構造がある場合、その潜在的な構造は条件付き平均です。
もし私が一番安定した予測、つまり一致する予測を求めると言ったら、それは原則として直線、フラットな線になるでしょう。そのフラットな線には季節性に関する情報はありません。ですので、一番一致する予測は、確定論的な予測であり、確率的性質や系列の構造などは考慮されていません。それは明らかに悪い予測です。
ですので、バランスを取る必要があります。条件付き平均に基づいて最も一致する予測を求めたいのです。季節性を考慮し、この構造に従うようにしたいのです。しかし、細かい部分をすべて選ぼうとするまで押しすぎることはしません。過学習との関連性があると言えるかもしれませんが、それは100%の関連性ではありません。なぜなら、過学習は悪いことだとみんなが同意できるからです。
しかし、同じ観点を過一致と過不一致の観点から見ると、前述したフラットな線のような過不一致は悪いことであることは簡単に示すことができます。しかし、過一致は必ずしも悪いことではありません。そして、「必ずしも」というのが興味深く複雑な点です。この「必ずしも」は、以前ジョアネスが指摘した点と非常に関連しており、私たちが関心を持っている在庫管理やサプライチェーンの他の側面とつながっています。したがって、予測にこの追加の一致性を持たせることで、実際には意思決定者の生活を後で容易にすることができます。統計的な観点からは、これが最も正確な予測ではないかもしれませんが、意思決定者に十分な情報を提供します。そのため、次の意思決定は、財務面やその他の在庫指標（例えば廃棄物の削減など）を容易に取得できるようになります。
私はここで少し曖昧になっていますが、今のところ私には提案するのに前述したヒューリスティックスよりも優れたものはありません。これは、私が言ったように、次の論文が完全な数学的な表現を提供することを期待しているものです。まだそれはありません。ですので、現在の実践では、まず正確な予測のコレクションを特定し、その予測の中から一致度を最大化するものを選ぶことを人々に提案しています。ある意味では、2段階の選択です。まず正確な予測のプールを取得し、その後一致する予測を選びます。
興味深いことに、私たちのほとんどの実験では、これが縮小推定量や時間的集約などのトリックを使用しているモデルであることがわかりました。これらは予測を滑らかにする傾向があります。ここで強調しておきたいのは、同様のアイデアを出した他の同僚もいるということです。彼らは損失関数を変更して、予測の変動性を最小化しようとする項を追加することができます。一致度の指標が少し異なるのは、私たちは正確さとの関連性も示そうとしているためであり、正確にどこでそれらがつながっているのか、どこでそれらが分かれているのかを示す式を提供しています。
Conor Doherty: ありがとう、ニコス。ジョアネス、あなたの意見は？
Joannes Vermorel: そうですね、Lokadでは、少し異なる視点から取り組んでいます。私たちは、文字通りエラーのドル、エラーのユーロを考え、メトリクスは発見されるものと仮定していますので、完全に任意です。メトリクスが何であっても何かを最適化しようとすることは、非常に厳しいものです。どのようにアプローチすればよいのでしょうか？まあ、メトリクスが何であっても、それは実際にはプログラム、コンピュータプログラムです。数学では、コンピュータですら逃れることのできないようなものを発明することができます。しかし、議論を具体的にするために、私たちは超奇妙で超抽象的な数学的空間には入らないと仮定しています。ですので、少なくとも計算可能なものがあります。これはプログラム、任意のプログラムです。
良いことは、ほとんど何を最適化しようとしても、勾配が必要なことです。勾配があれば、進むべき方向を示すことができます。オーディエンスの皆さんにとって、勾配があれば、スロープがあるということです。つまり、最小化しようとしているものを最小化する方向にパラメータを調整することができます。ですので、最適化したい場合、特定の意図で何かを高くしたり低くしたりする場合、勾配があれば、進むべき方向を示してくれます。これは非常に役立ちます。
そこで、異なる可能性のプログラムが本当に役立つのは、異なる可能性のプログラムがLokadが広範に使用しているプログラミングパラダイムであるからです。これにより、任意のプログラムの勾配を取得することができます。これは非常に強力です。これが通常、私たちがこの財務の視点を接続する方法です。私たちはこれらの財務要素を発見していくことになります。それは散らかったプロセスになりますし、非常に無秩序です。そして、私たちがなるのは、プログラムのような奇妙なもので、供給チェーンの特異性や奇妙さを反映しています。
私たちは任意のプログラムを微分することができるので、それを微分することができます。そして、それに基づいて最適化することができます。ただし、モデル自体が微分可能である必要があります。これにより、微分可能な構造を持つモデルに制限されますが、実際にはそれが大多数です。この競争では、M5、Walmartの競争では、異なる可能性のあるモデルでSKUレベルで1位にランクインしました。
したがって、微分可能性を強制することは、最先端の結果を得ることを妨げるものではありません。さて、早送りして、それは通常、メトリックを放棄し、通常、私たちはたくさんのことをバランスさせることになるためです。
さて、もう一つは確率的予測です。これは、需要だけでなく、すべての可能な将来を見るという考え方です。たとえば、リードタイムには可能な期間などがありますが、現実にはリードタイムは変動しますし、不確実性もあります。
さらに悪いことに、観察するリードタイムは、注文する数量に結び付いています。たとえば、100個注文する場合、1000個注文する場合よりも速くなる場合があります。なぜなら、製品を生産している工場はより多くの時間を必要とするからです。
したがって、不確実性を形作り構造づける相関関係がたくさんあります。したがって、時系列の一次元的な視点だけでは不十分です。少なくともリードタイム、少なくとも電子商取引の返品など、いくつかのレイヤーの追加的な不確実性を追加する必要があります。
私たちは、緩やかな一致という用語を緩く使用しますが、私たちが確率モデルに移行したときの実際の観察結果は、数値的にははるかに安定しているということでした。
それは非常に興味深いことです。なぜなら、それらの不安定さや不一致などのほとんどは、周囲の不確実性が非常に多いことを反映しているだけだからです。そして、比較的平坦な確率の領域があります。したがって、ポイント予測がある限り、モデルは広範に変動することができます。
メトリックに関しては、選んだほとんどのメトリックはほぼ同じです。したがって、非常に高い不確実性の状況では、非常に異なる予測が得られる問題が発生することになりますが、メトリックによれば、ほぼ同じです。
したがって、ジッターやその他の問題が発生します。そして、確率的予測に移行すると、良いモデルはこのばらつきを表現し、この高い周囲の不確実性を表現するものになります。それ自体がより一定です。
それは非常に奇妙ですが、私たちは、わずかな数値の安定性を得るために苦労していた多くの状況で、確率的予測の領域に移行すると、箱から出てくるようなものがあります。そこでは、本当に問題だったこれらの問題が二の次になります。
それは興味深いです。そして、それを他のことと結びつけることができます。時系列予測を超えると、SKU間の結合、製品間の結合が多く存在することを少し議論しましたが、それは余談です。
したがって、非常に頻繁に、非時系列の視点、より高次元の視点にアップグレードする必要があります。しかし、それもまた、余談です。
ニコス・クーレンツェス: 完全に同意します。確率的予測は絶対に必要です。私は、数年間バックバーナーにあった未完成の論文を見て、確率的予測がないことに気付いたとき、全体を再構築する必要があると思います。2024年ですから、確率的予測が必要です。ただし、ここで言いたいのは、特にJoannesが説明した方法で、確率的予測が好きなことです。なぜなら、それによってモデルの仕様について別の方法で説明することができるからです。
予測の不確実性を見ると、通常、この不確実性は時系列の確率論によるものと想定されています。しかし、その不確実性の大部分は、モデル自体が不確実であるためです。データからの不確実性、推定からの不確実性、モデル自体の不確実性があります。いくつかの項目が欠落しているか、より多くの項目があるか、または完全に間違っているかもしれません。その不確実性を分割することは依然として大きな問題です。
その不確実性を分割しない場合、異なるモデルの多くは、実証的に言っても、実際には不確実性をマスキングする傾向があります。それらはより高い不確実性を示し、その不確実性の大部分は似ているように見えます。なぜなら、これらのすべてのモデルが問題を抱えているからです。
需要の確率的要素によるこの不確実性の真の深さには至っていません。私はまだそれを解決する良い方法を見つけておらず、文献でも何かを見たことはありません。しかし、少なくとも確率的予測は正直に言っています。まあ、これがあなたの不確実性です。ポイント予測から移行した場合、それは少し大きくなります。それは解決への良い一歩です。
コナー・ドハティ: ありがとうございます。私はここに2人の学者と2人の実践者がいることに気付きます。私はこの時点で、実践的な視点に向けてそれを導くことが私にとって有益だと思います。Lokadが行っている全体の推進力、特にあなたの論文と総合的な研究、ニコス、それは在庫の意思決定に適用することです。このノートでは、Joannesが供給チェーンの奇妙さや変動するリードタイム、バルホイップ効果について話したとき、あなたの立場、ニコス、私たちが話しているワーキングペーパーでは、予測の一致を追求することがバルホイップ効果の影響に対処するのに役立つということでした。このアイデアがどのように深刻な問題であるバルホイップ効果に対処するのに役立つかを理解するために、それをスケッチしていただけますか？
ニコス・クーレンツェス: おそらくあなたの視聴者はそれについて非常によく知っていると思います。私がバルホイップ効果の研究について問題だと感じるのは、それが問題を説明することよりもむしろ問題を解決するための行動を提供することに関してです。特に時系列の視点から来る場合、私たちは、「あなたのバルホイップ比率ですね」と言います。しかし、それは多くの面で問題の説明に過ぎません。それを測定した後、それをどのように扱うかを教えてくれません。
ここで私が言っているのは、予測を意思決定に結び付けるために、それらを別々に保つのではなく、何かが必要だということです。したがって、もしもその方向に進むなら、バルホイップを減らすことができるものが必要です。実際、最初にそれを理解しないと、方程式や合同性、そしてバルホイップ比率は少なくとも多くの類似点を持っているようです。この期間ごとの類似性の強制、または単に合同性と言うことは、予測から来る低いバルホイップのアイデアと非常に一致しているようです。もちろん、バルホイップが発生する他の多くの理由もあります。
ですので、予測モデルを選択または指定するために合同なメトリックやそれに類似したものを使用する場合、バルホイップにとってより有利な解決策を既に目指すことができます。ここで、少なくとも私は予測の領域で働いているので、予測はバルホイップよりもはるかに広い範囲ですと認識しなければなりません。予測はそれの一部に過ぎません。他にも多くの要素が関与します。しかし、少なくとも予測に関しては、合同性や類似した考え方を考えると、少なくともバルホイップに対して有利な予測を設計することができます。
ジョアネス・ヴェルモレル: バルホイップに触れ始めると、私たちは意思決定を見てユーロやドルを最適化していると言いましたが、実際には単純化していました。なぜなら、現実には、私たちは実質的には順次的な意思決定プロセスを見ているのです。そして、ここでは、基本的には順次的な意思決定プロセスの確率的最適化に触れています。これはウォーレン・パウエル教授と話し合われたトピックです。
次に来る1つの意思決定だけでなく、その後に来るすべての他の意思決定を最適化しています。将来の意思決定を予測を通じてロールプレイし、その結果を現在に戻すメカニズムが必要です。それが異なる可能性のプログラミングが優れている理由です。実質的には、将来の意思決定をロールプレイまたはシミュレートするプログラムがあり、その将来の財務結果を現在の予測のエンジニアリングに再注入できるように、それを勾配化する必要があります。
通常、私たちは次にバルホイップに戻るとき、バルホイップに驚かないでください。時間の経過とともに生成されるコストのユーロについて、最適化フレームワークには何もありません。時間の経過において意思決定を繰り返し、バルホイップの問題が発生するかどうかを見る、この順次的な意思決定分析を行うものは何もありません。
解決策はそれほど複雑ではありません。私たちが最適化しているのは、次に来る1つの意思決定だけでなく、それに続くすべての意思決定です。暗黙的に最適化しているのは、方針のようなものです。しかし、一般的には、方針最適化は予測とは完全に独立して考えられます。方針最適化は単に予測を消費するだけです。Lokadの見解では、それらのことは実際には絡み合っていると言えます。
優れた予測は優れた方針と密接に関連しています。両者は非常につながっています。Amazonの最近の論文「Deep Inventory Optimization」には、予測モデリングとオペレーションリサーチのアプローチを統一するものがあります。通常は分離されているものですが、彼らは単に2つのことを同時に行うことにします。そして、ディープラーニングを通じて一度に予測最適化モデルを持っています。
それは非常に興味深いことです。それは、意思決定が予測的に最適化されているが、予測自体は完全に潜在的になるということを文字通り言っています。それは問題を見る別の方法ですが、非常に未来志向で他の問題を生み出します。しかし、私たちはまだ予測モデリングの部分と確率的最適化の部分を2つのステージとして見ており、2つのステージ間で多くのやり取りがあるということです。
ニコス・クーレンツェス: 実際には、ステージを分離しておくことには利点があると思います。ただし、それらを孤立させるべきではなく、その理由があります。私は完全に同意します。過去には、在庫ポリシーと予測の両方に対して共同最適化のアイデアを使って取り組んできました。論文は公開されているので、詳細は興味がある人は参照してください。この研究における私の懸念点は、スケーラブルな最適化を実現する方法がなかったことです。大量のSKUを扱う方法がなかったのです。これは、最適化の制約ではなく、私自身の最適化の制約かもしれません。
2つのステップを分離しておくことで、プロセスがより透明になると考えています。共同の解決策がある場合、突然「次の期間の注文の在庫は10であるべきだ」と言われ、「私は12であるべきだと思う」と言われた場合、なぜ10が12よりも優れているのかを正当化するのは非常に難しいです。予測と予測に基づくポリシーを理解していれば、より透明な議論ができます。「よし、ここが私の予測です。予測の内外をここに示します。良い予測に基づくポリシー、または予測のオプションによって調整されたポリシーがあります。逆もまた然りです」と言えます。「これらのポリシーに固執している場合、プレイされるべき予測オプションはこれらの種類だけであるかもしれません。」しかし、透明性があり、ここに問題のある予測要素、問題のある注文要素があることを示すことができます。
また、私が問題として抱えているのは、完全に曖昧な最適化や予測に完全に頼ることです。モデリング方法に関係なく、いずれ人間がモデルと出力と対話することになると研究と経験からわかっています。人々が何が起こっているかを理解している場合、モデルや数字との対話、文脈情報を組み込むための調整がより成功する可能性があります。
数字が非常に曖昧な場合、このブラックボックス、多くの人々はその数字をどうすればいいのかわからないと言う傾向があります。または、その数字と破壊的に対話することになります。透明性を保つことが好きです。それは問題を構成し、ここからの貢献、ここからの貢献を示します。したがって、私はヨハネスが説明しているアプローチにかなり同意しています。タスクをどうにか結びつけなければならないし、一つが他を導かなければならないが、各ステップが何をしているかを説明できるようにする必要があります。
コナー・ドハティ: ありがとうございます、ニコス。後で戻ってきますが、その点について追加で質問したいと思います。あなたは人間の関与とオーバーライドについて何度か言及しました。予測の一致性の観点から人間の関与の役割は何ですか？しばしば傾向として、正確さを測定するだけで、「モデルは間違っている、私がよく知っている、介入させてください」と言う傾向がありますが、多くの場合、ノイズが増えるだけです。予測の一致性とはどのように関係していますか？多くのオーバーライドが含まれていますか？
ニコス・クーレンツェス: この行動予測または判断的な調整、文献ではさまざまな名前がありますが、まだ十分にはわかっていないと思います。ただし、これは非常に活発な研究分野です。一部の論文では、これらの調整を排除すべきだと主張しています。なぜなら、正確さや最終結果の観点から見て、これらの調整は逆効果または破壊的であるとされているからです。この考え方の問題は、メトリックが必要であるということです。平均絶対パーセンテージ誤差を使用すると、1つの答えが得られます。平均二乗誤差を使用すると、別の答えが得られます。一致性を使用すると、別の答えが得られます。
ただし、その場合、私が持つ質問は、私たちの最初の議論の非常に初期のポイントに戻るということです。つまり、なぜ正確さにこだわらないのですか？私たちも同じですが、正確さにこだわらないのです。これが重要であることを認識する限り、予測プロセスや在庫プロセスの行動的な側面を調整または評価するために、正確さだけではなくより意識の高いメトリックが必要になるでしょう。人間の介入を廃止すべきではないと思います。豊富な文脈情報を使用できる場合、彼らはほとんどのモデルよりも優れた結果を出すことができるという十分な証拠があります。ただし、彼らは一貫して価値を追加することはできません。彼らは何かをする必要があると感じる場合や、ハイプや理解が非常に難しい情報に過剰反応する場合があります。これらの場合、モデルや予測との相互作用は破壊的です。
人間の要素を保持する必要がありますが、彼らが価値を追加すべきタイミングを指示する必要があります。時間のかかるプロセスです。アナリストに特定のタスクを完全自動化に任せ、特定のアクションに注意を向けるように指示できれば、彼らの仕事をより効果的にすることもできます。彼らは自分たちが得意なことをより良くするために、より多くの時間とリソースを費やすことができます。一致性は、正確さを超える必要がある場合に、在庫設定や意思決定設定で価値を追加するステップを評価する際に役立つことがあります。
注文についても同様の議論をします。モデルやポリシーは、アナリストとしての仕事をうまくこなしていれば、おそらく良いベースラインを提供します。ただし、これが普遍的に最も情報量の多い数値であるとは思えません。供給チェーンで今朝起こったいくつかの混乱、例えば、評価が難しいものが常に存在します。これには、それがうまくいくかどうかの問題はありません。世界中で何かしらの紛争が起こっています。通常、世界中で常に何かしらの紛争が起こっています。時にはそれがあなたの供給チェーンに影響を与えることもありますし、影響を与えないこともあります。時にはインフレーションに圧力をかける可能性があり、それによって消費者の行動が変わるかもしれません。これらは非常にモデル化が難しいものです。
だからこそ、時間をかけて仕事をする専門家やアナリストに信頼を置いています。そして、調整に関して言えば、研究は、調整を分解すること、つまり、「よし、私は数値を100で修正する」と言う場合、「なぜ100なのか？20はこの理由で、80はこの理由で」と言うことが、前述のことと非常に関連していることを示唆しています。予測と在庫の2つのステップを分離して保持することは、予測モデルや供給チェーンの現実からのリスクの理解による調整の一部を改善する可能性がありますが、孤立させることはありません。
なぜなら、「よし、私は注文をx%変更する」と言う場合、それを行っている人に尋ねると、「それは予測モデルからのリスクの理解から来るのか、供給チェーンの現実から来るのか」と説明してもらえるかもしれません。それによって、より良い調整ができるかもしれません。
コナー・ドハティ: ありがとうございます、ニコス。ヨハネス、あなたにお願いします。あなたは人間のオーバーライドの大ファンですよね？
ヨハネス・ヴェルモレル: いいえ、Lokadで最初の5年間は、人々に予測の調整をさせていましたが、それはひどい間違いでした。私たちは少し教条的になり、それを完全に防止し始めた日から、結果は劇的に改善しました。だから、もうほとんど許可していません。
まず、人間の役割を考えてみましょう。人々は1つのSKUと言うかもしれませんが、それは典型的ではありません。典型的な供給チェーンは何百万ものSKUです。だから、人々が調整をしたいと言うとき、彼らは実際には信じられないほど複雑なシステムを細かく管理しています。そして、それは文字通り、コンピュータのランダムなメモリに入り込んで、コンピュータ内のデータの格納方法を再配置しようとしているようなものです。ギガバイトのメモリやドライブなどを持っている間に、注意を引いたいくつかのものを選んでいますが、それはあなたの時間の良い使い方ではありません。
そして、どれだけの情報を得ても、ほとんどの場合、SKUレベルで情報を得ることはありません。ですから、世界で何かが起こっているかもしれませんが、それはSKUレベルで関連するものなのでしょうか？もしシステムとのやり取りがSKUのようなものを微調整するというものなら、SKUレベルで関連するものとは何の根拠がありますか？私たちはこの大きな乖離を抱えています。
人々は、おもちゃの例を挙げると思いますが、それは現実的な状況です。1000万のSKUを考えてみてください。それは、超大規模な会社の基準です。それが私の不満であり、Lokadでは、それが大幅に改善されたことを見てきました。それはほとんど無意味です。あなたは0.5%のSKUを選んで何かをするだけで、それは意味をなさず、通常は多くの問題を引き起こします。さらに、相互作用を許可することは、多くのコードをサポートするために多くのコードを書く必要があることに人々が気付かないことが多いのです。そして、そのコードにはバグがあるかもしれません。それがエンタープライズソフトウェアの問題です。人々は通常、これを数学的な性質だけで見る傾向がありますが、残念ながら、Lokadが書いたものにもバグがあります。
大企業で人間の相互作用を持ちたい場合、ワークフロー、承認、チェック、監査が必要です。だから、すべてを強制するために、非常に多くの機能が必要になります。
だから、意図は良いと思いますし、人間の相互作用には価値があると信じていますが、典型的な方法ではありません。Lokadが人間の相互作用に取り組む典型的な方法は、まず、世界で何かが起こっているということです。そして、予測モデルと最適化の非常に構造を見直します。そして、文献ではモデルを与えられたものとして考えるのが一般的です。論文が発表され、それに基づいて操作します。しかし、Lokadではそうはしません。私たちは本質的に予測モデリングと最適化にアプローチする際に、プログラミングのパラダイムに基づいています。ですから、Lokadにはモデルはありません。私たちにはプログラミングのパラダイムの長い連続があります。つまり、常に完全にオーダーメイドで、現場で組み立てられます。
ですから、本質的にはコードであり、適切なプログラミングのパラダイムを持っています。そして、何かが起こったとき、それらのプログラミングのパラダイムは、予測モデルや最適化モデルを非常に緻密で簡潔な方法で表現する方法を提供します。文字通り、1000行のコードを20行に減らしましょう。適切な表記を使えば、ですが。
その後、実際にコードに戻って考えることができます。何かを行う必要があります。SKUレベルではなく、このレベルの情報を持っていることは非常にまれです。外部の世界から得る情報は通常、より高いレベルのものです。したがって、モデルの高レベルの側面を微調整することが一般的です。それが美しいところであり、非常に正確な情報を持つ必要はありません。
たとえば、半導体産業に関心があるとしましょう。中国と台湾の状況が悪化することを心配しているとします。そこで、リードタイムに対してテールを追加することにします。たとえば、リードタイムが倍になる可能性が5%あるとします。通常、半導体のリードタイムは非常に長く、18ヶ月ですが、ここでは何らかの理由でリードタイムが倍になる可能性が年間5%あるという要素を追加します。
正確である必要はありません。最終的には紛争になるかもしれませんし、ロックダウンの連続かもしれませんし、港湾を閉鎖するようなインフルエンザかもしれません。しかし、このような確率的なアプローチとプログラミングのパラダイムを組み合わせることで、モデルの構造に高レベルの意図を注入することができます。非常に大雑把になりますが、SKUレベルでの上書きを細かく管理する必要はありません。
興味深いことに、リードタイムが倍になる5%の要素を追加する例に戻ると、興味深いことに、この要素に名前を付けることができます。これを「私たちの恐怖要素」と呼ぶことができます。単に「恐怖要素」と言います。それだけです。これが美しいところです。一旦それを持っていると、すべての意思決定は、まれなイベントの追加確率に優しく導かれ、SKUごとの細かい管理や将来に対応しないさまざまなことを行う必要はありません。
そして、もし半年後に恐怖が不当であるとわかった場合、それを元に戻すのは非常に簡単です。なぜなら、コードには「恐怖要素」という名前の付いたコメントが付いているからです。つまり、ドキュメント、トレーサビリティ、逆転可能性の観点から見ると、プログラミングのパラダイムを通じて問題にアプローチすると、非常にメンテナンス性の高いものになります。これは、過去に人々が手動で介入していたときの問題の一つでもありました。それは実際にはコストの大部分であり、上書きのメンテナンスが貧弱であったためです。
人々は時々、必ずしも常にではありませんが、適切なアイデアを持っていることがあります。上書きを行い、それを忘れてしまうことがあります。そして、そのままにしておくと、事態は急激に悪化します。これが問題です。なぜなら、上書きを導入すると、「なぜそれを持っているのですか？」と言われるからです。Lokadのようなソフトウェアベンダーである場合、予測を毎日再生成することになります。だから、人々は単に予測を上書きすることはできません。明日はすべてを再生成するからです。
ですから、彼らはどうしても上書きを保持する必要があります。そして、問題は、今や永続的な設定が存在することで、それを維持する責任が誰にあるのかということです。そして、上書きのメンテナンス、上書きの段階的な廃止など、さらに複雑なワークフローが生じます。これらのことは、文献では決して議論されません。非常に興味深いですが、企業向けソフトウェアベンダーの観点からは、非常に苦痛な状況であり、それに対処するために20倍または100倍のコード行数が必要になります。これは、予測最適化のより基本的な側面とは異なる、非常に興味のない側面です。
Nikos Kourentzes: 原則として、Joannesが取る立場は、両方の側面に直面したことがある人々、または少なくとも多くの人々が同意しないと思います。私の意見は、このような調整はこの方法で行う必要はないということです。それについてはまだ解決策がないので、それは非常に活発な研究分野です。私は、この種の調整を排除すべきか、あるいはその種の調整を排除すべきかについて、多くの人々が取り組んできたことを知っています。
問題を非常に異なる視点で考えることもできます。私の同僚であるIve Sagerとの類似の研究を通じて、何か意味のある応答を試みてみましょう。彼はベルギーにいます。私たちは、戦略レベルや企業レベルで存在する情報をSKUレベルにどのように転送できるかを試行錯誤してきました。
したがって、それはあなたがすべてのSKUを調整する必要はないと言える方法を提供する可能性があります。私は完全に同意します。マイクロマネージメントは良いアイデアではありません、SKUに関しても一般的に言えることです。ただし、それは別の議論です。人々に調整を自由に行かせると、ほとんどの場合、人間のバイアス、所有権などのために時間を無駄にするでしょう。調整によって破壊的または建設的になるかどうかは見てみないとわかりませんが、彼らは確実に時間を無駄にするでしょう。
Joannesが言及したソフトウェア側については、あなたの意見をそのまま受け入れなければなりません。私は同じ領域にはいませんが、バグはどこにでもあります、私のコードには確かにあります。ただし、調整をプロセス全体として考える別の方法が存在すると私は見ています。
X個の時系列を管理する必要があると言うことは価値があるとは思いません。むしろ、戦略的に方向を変えるか、競合他社がXを行ったと言うことです。これらは非常に数量化しにくい行動ですので、ランダムに数量化するよりも無行動の方が良いと言えるかもしれません。
ただし、モデルにはこの情報が含まれていないこともわかります。したがって、ユーザーがキャリブレーションできる追加のリスクをモデルに追加するか、ユーザーに異なる方法で出力を調整するように依頼できれば、それは判断要素の一部となります。どのように判断要素を導入するのが最善かは、未解決の問題だと思います。
調整を行う通常の方法は生産的な方法ではないと私は考えています。Joannesが言及しているプロセスを複雑にする側面だけでなく、人々が時間を無駄にすることも見ています。彼らはそれに取り憑かれすぎて、オフィスに入って一つ一つの時系列を見たり、数字やグラフを見たりすることになります。それはアナリストが行うべきではないことです。
特に最近では、企業がデータサイエンスチームを持ち始め、市場には専門知識を持った人々がいます。私たちはそんな風に彼らの時間を無駄にするべきではありません、私たちは彼らをプロセスの修正に活用すべきです。だからこそ、調整にはスペースがあると思いますが、従来の方法ではありません。研究はかなり結論的です。不一致やバイアスのために、平均的には利益を得ることはできません。
Conor Doherty: 予測の一致を追求するための指標としての追求に自動化の能力を排除するものはありません。自動化は、一致を追求する予測プロセスの一部として依然として存在することができますよね？それとも私が誤解していますか？
Nikos Kourentzes: ある意味では、あなたは正しいです。私が一致として定義し、会社のデータで経験的に見たところでは、調整をすべて排除するようにユーザーに指示することになるでしょう。なぜなら、調整によって不一致が生じる追加の変動が引き起こされるからです。したがって、多くの調整を排除する方向に自然に進むでしょう。
ただし、私は少し懐疑的です。専門家が持つ情報が重要になる場所、つまり過度に一致する場所を理解する必要があります。それはまだオープンな質問です。しかし、私たちが批判したJoannesと私が考える通常のプロセスについて考えれば、一致度の指標は問題を見るのに役立ちます。
Conor Doherty: ですから、あなた方はどちらも、毎日のSKUごとの手動調整が行われるべきではないという意見ではありません。それはただの無駄なお金の使い方です。そこでは完全な合意があります。
Joannes Vermorel: しかし、それはほとんどの企業の事実上の実践です。戦略的な意図を翻訳したいと言うとき、私は完全に同意します。そして、私がプログラミングパラダイムという言葉を使うとき、それはあなたがそれを行うための道具の種類を指しています。つまり、あなたはSKUを細かく管理することを望まず、戦略的な意図を翻訳しようとするデータサイエンスチームの誰もが長くて不格好なコードを書くことに縛られることを望まないのです。
たとえば、需要の確率分布があり、リードタイムの確率分布もあり、それらを組み合わせたいとします。それを行うための演算子はありますか？もし演算子があれば、Lokadにはそれがあります。リードデマンド（/ja/リード-デマンド-定義/）が得られます。これは、変動するリードタイムにわたる需要の積分です。もし演算子がない場合、モンテカルロ法を使って解決することもできます。それは非常に難しいことではありません。モンテカルロ法では、需要をサンプリングし、リードタイムをサンプリングし、それを行うことができます。ただし、1行で行う代わりに、時間がかかりますし、ループがあります。したがって、ループがあると、範囲外の例外が発生する可能性がありますし、1つずれた例外が発生する可能性もあります。さらに、ペアプログラミング、ユニットテストなどを行うことで修正できますが、コードが追加されます。
したがって、私のポイントは、ここで言及した要点です。データサイエンスチームがあります。それは修正を移動するためであり、私はあなたと完全に同意します。修正を数値を微調整することからコードの一部を微調整することに移すことです。そして、それが正確に、ここで私たちが合意していることです。人間の介入を数値を微調整することからシステム内の定数を選び、それを微調整することからコードを扱い、意図を再考し、この調整を行うことに移すのです。それならば、私は承認できますし、それが機能します。
ポイントは、数値を微調整することからコードの一部を微調整することに移すことです。数値を微調整する人間の介入をコードを扱い、意図を再考し、この調整を行うことに移すのです。それならば、私は承認できますし、それが機能します。
実際、時間の無駄に戻ると、コードを微調整すると、1行のコードを変更するのにはかなりの時間がかかります。おそらく1時間かかるかもしれませんが、数値を変更するのには1分かかります。しかし、この1時間は会社全体に適用されます。適切なレベルで行われると、この1時間のコーディングによって会社全体に利益がもたらされます。一方、SKUに対してはおそらく利益がもたらされますが、SKUに対してのみです。
Conor Doherty: つまり、予測が示した出力を手動で微調整することと、予測を生成する数値レシピを微調整することの違いについて話していますか？
Joannes Vermorel: そうです、この世界には情報があります。基本的な前提として、ニュースにある情報や、会社自体のネットワークを通じてアクセスできるプライベートな情報があります。つまり、モデルにも歴史的なデータにも含まれていない追加の情報があります。
ですので、私はその主張に同意し、まだスーパーインテリジェンスや一般的な知能を持っていないという考えにも同意します。ChatGPTが会社のすべてのメールを処理してくれて、私たちのためにそれを行うことはできません。私たちにはこの程度の知能が利用できるわけではありません。したがって、この選別プロセスを行うのは人間の頭脳でなければなりません。そして、この情報について批判的に考え、供給チェーンに正確に反映しようとする人々には価値があると思います。
そして、私はNikosの言うことを本当に理解しています。そして、データサイエンスは、毎日、私の会社の戦略的意図に真に忠実であるかどうかを判断する役割であるべきです。それは、会社内で戦略を考え出している人々によって表明された戦略を本当に反映しているかという非常に高いレベルの問題です。これは定性的な問題であり、定量的な問題ではありません。
Nikos Kourentzes: ここに何か追加しましょう。なぜ私たちが従来の調整に批判的なのかを理解するのに非常に役立つと思います。彼はポイント予測ではなく、その確率的な表現について言及しました。人々はポイント予測を調整しますが、在庫には意味がありません。私たちは分布全体の確率に関心があります。
だからもし誰かがそれを行えるなら、実際に何かをするかもしれません。しかし、誰もそれを行っていませんし、私は統計を20年以上も扱ってきましたが、簡単な方法でそれを行うことはできません。私の能力がないからといって、他の人がそれを行えないというわけではありませんが、私が言いたいのは、確率的な意味で考えると、情報は非常に抽象化されているため、誰かが手動で「10ユニット調整してみてください」と言うのは非常に困難なプロセスです。したがって、多くの人々は間違った数量でこれらの調整を行っています。
Joannes Vermorel: 完全に同意します。Lokadでは10年前に調整をやめたと言ったとき、私たちは確率的になったときでした。人々は調整をする必要があると言っていましたが、私たちは確率分布のヒストグラムを示していました。
私たちは言いました、「どうぞご自由に」と言って、人々は引いて言いました、「いいえ、私たちはそれをやりません」。それは、人々が間違ったレベルで干渉するのを止めるためのメカニズムでした。確率分布を示されると、人々はその深さに気付きました。供給チェーンのためのこれらのパリティ分布を、人々は穏やかなベルカーブ、ガウス分布などと考えるでしょう。しかし、実際にはそうではありません。
たとえば、DIYストアがあるとします。人々は4個、8個、12個の倍数でしか特定の製品を購入しません。それには何らかの論理があるからです。したがって、ヒストグラムはベルカーブのようなものではなく、1個の単位を必要とするためのもの、4個または8個を購入するためのものしかありません。ですので、「平均を2.5から3.5に移動すべきか？」と考え始めると、ヒストグラムを見て、ヒストグラムは3つのスパイク、つまり1個の単位、4個の単位、8個の単位があることに気付きます。
突然、人々はこれらのものを動かすことは本当に意味がないと言います。現在4に割り当てられている確率を5に移動させる必要はありません。もし平均を増やしたいのであれば、0の確率を減らし、他のすべての発生確率を増やしたいと思うでしょう。
人々は、これらの確率分布には多くの深さがあることに気付きます。存在する魔法のような倍数を言及するだけで、多くのいたずらがあります。これが私たちの観察です。人々がこれらの確率分布を見ると、ヒストグラムのバケットごとに手動で調整することはないと気付きます。したがって、実用性のなさに対するこの反応は現実的です。
Conor Doherty: さて、私たちは実際にかなりの時間を取らせてしまったことに気をつけていますが、最後の質問があります。あなたは人工知能研究所で働いているので、私たちが今話している全体の文脈に人工知能がどのように適合するかについて尋ねるのは当然のことです。予測の自動化、AIによるオーバーライドの実施など、そこで将来的に何が起こるかを描いてください。
Nikos Kourentzes: それは100万ドルの質問です。私は、論文を見ている査読者の一人がいくつかの懸念を抱いていたのと同じように答えることができます。その質問は、「わかった、でもそれで何？」というものでした。
そして私は言っていました、「もし比較的簡単な統計モデルがある場合、計算を通じてすべてを分析的に見つけることができます。しかし、機械学習に入り、特に現在使用している大規模なAIモデルになると、これは非常に困難な課題です。ですので、私たちが何か測定基準のようなものを持っていると非常に役立ちます。これによって、これらのモデルが何をしているのかを少し簡単に理解することができます。
たとえば、私が大規模なAIモデルを持っていて、これが予測を一致させる方向に押し出すと言える場合、私はこのモデルをより簡単な方法で考慮する方法を持つかもしれません。このような簡単な方法は、モデルの複雑さを何らかの方法で減らすのではなく、在庫にどのように影響するか、意思決定プロセスにどのように影響するか、前述のブルウィップの仮定にどのように影響するかを理解することです。
これは実際には私たちがワーキングペーパーを終える方法です。この指標の利点は、ブラックボックスであるモデルがどのように振る舞うかを理解することです。私は、AIによってインスピレーションを受けていないモデルが将来的に見られるとは思いません。すべてをAIで置き換えたいという考えには少し懐疑的です。何かは単純で効率的な場合もあります。私の懸念は、数学的な問題やデータの豊富さなどから来るものではありません。非常に単純なプロセスの側面と問題の持続可能性から来るものです。
もし私が大規模なAIモデルを実行して、最終的にすべてをそのモデルにスケーリングアップすると、多くのクラウドコンピューティングと電力を消費するようになる場合、指数平滑化との1%の違いだけでそれをすべて行う必要があるでしょうか？時には1%以上の違いがあるかもしれませんが、時にはこのような複雑さは必要ありません。非AIの専門家にとってもより透明性のあるもので行くことができます。
AIは私たちが抱える多くの問題に向けた方法です。予測の課題や特に予測をサポートする意思決定は、AIの応用に非常に適していると思います。しかし、それは私たちが知っていたすべてを忘れてAIに行くということではありません。それは論文にも反映されています。前にも述べたように、これは正確さだけではない目標を少し変更しようとする最初の論文ではありません。他の同僚も同じことをしています。違いは、私たちがこのような代数を行って、実際に何が起こっているのかを示すことを試みていることです。ですので、このような解釈やこのアクションの直感を得ることができるときが好きです。
AIは多くの問いに向けた方法ですが、私たちが何をしているのかを理解するために役立つことを忘れてはいけません。ただ盲目的に信じて、AIモデルが私が望むことをしてくれると言うのは良くありません。私はAIモデルが本当に素晴らしいことをすることはできると言っているわけではありません。ただ、それを放っておいたり、うまくいくことを願うだけではなく、もっと良くなるべきです。
Conor Doherty: そこについてのあなたの考えは？
Joannes Vermorel: Nikosの言うことは完全に正しいと思います。調整について言っていたように、コードの行数も考慮する必要があります。ディープラーニングモデルのオーバーヘッドは非常に大きく、すべてを複雑にします。多くのGPUカードでは、計算を決定論的にする方法さえ明確ではありません。ハードウェア自体が決定論的ではないため、計算を2回実行すると異なる数値が得られる場合があります。
つまり、Heisenbugsになるということですか？ Heisenbugsとは、バグがあり、再現しようとすると消えてしまうものです。だから、ある時点で追いかけるのをやめることになります。「まあ、私はケースを再現しようとしているけど、それは起こらないので、うまくいくと思う」と言って、それを再び本番環境に戻し、バグが再発し、再現できないということが起こります。
だから、私は完全に同意します。単純さは、パフォーマンスがほぼ同じ範囲にある場合、すべてをより良くします。数パーセントでも他のモデルに勝るモデルが、実際の世界でどのような指標に基づいても他のモデルに勝る場面を見たことはありません。
もし代替案が同じ結果を同じ範囲で実現するために桁違いに単純である場合、それは代替案です。Lokadが最適化しようとした「ドル」や「ユーロ」といった指標であっても、その理由は少し奇妙ですが、サプライチェーンは変化するからです。私たちが言及していたように、人間の介入もあります。
変更するために介入するとき、時間は重要です。もしプログラムや複雑なモデルが数千行あるとすると、たとえば数年前のLokadでは、エバーグリーン船がスエズ運河を封鎖したことで多くのクライアントが影響を受けました。アジアから輸入しているほとんどのヨーロッパのクライアントのリードタイムを調整するために、私たちは実質的に24時間しかありませんでした。
それが、非常に複雑なモデルのせいで1週間かかる必要があるのではなく、数時間で対応できることが重要な場面です。私がバグを導入せずに修正を提供するためには、より単純なモデルが必要です。価値があると同意しますが、コストもあります。GPT4を使い始めた企業にとって、そのコストは非常に高いです。
Conor Doherty: さて、Nikos、私はこれ以上の質問はありませんが、最後の言葉はゲストに渡すのが通例です。ですので、どうぞ、視聴者に対して何かアクションを呼びかけたり、共有したいことはありますか？
Nikos Kourentzes: 私の呼びかけは、予測を意思決定から切り離した伝統的な考え方から抜け出す必要があるということです。在庫などの文脈での私たちの議論では、これらのことをより統合的な視点で見る必要があります。
私は学者ですが、他の同僚には他の意見があるでしょうし、Lokadにも独自の視点があります。私はこれらの視点には価値があると思います。なぜなら、それらはすべて同じ方向を指しているからです。数十年前に私たちがやっていたことをやめて、考え方を更新し、ソフトウェアを更新し、教科書を更新することには価値があります。それは単にソフトウェアを変えるだけではなく、実際には異なる意思決定につながるでしょう。
私は、コンピュータサイエンス、ディープラーニング、プログラミング、在庫管理などから予測分野に多くの人々が参入していることを歓迎しています。これは、私たちが真剣にこれらの問題に取り組むことができるポイントです。私は、これが予測分野としての研究分野の価値を損なうものではないという印象を与えたくありません。私はその世界に属しているので、私たちは単にいくつかのコードを実行して「これは良い」と言うことはできません。
多くの場合、産業界や研究機関と協力する際に、価値は正しいプロセスを得ることであり、予測分野が提供できるのは誤った方法論に対処することです。私はプロセスのステップを残すアイデアが好きですが、共同の解決策を見つけるために一緒に取り組む必要があります。それは良い空間です。
質問の最初に戻ると、私は大学のチームと一緒に働くことが楽しいと言いました。そこには多様性があり、たくさんのアイデアがあります。私は自分の予測の質問を出すと、他の人が「これについてはどうですか？この視点を考えたことはありますか？」と言うことがあります。そして私は「これを見て、私はそんなことを考えたことがありませんでした」と言います。
Conor Doherty: ありがとうございました、Nikosさん。私はこれ以上の質問はありません。Joannesさん、お時間いただきありがとうございました。そして、Nikosさん、参加していただきありがとうございました。そして、皆さん、ご視聴いただきありがとうございました。次回をお楽しみに。
