00:00:08 マーケティングとサプライチェーンにおけるA/Bテストとその応用。
00:01:47 マーケティングとサプライチェーンにおけるA/Bテストの例。
00:03:41 サプライチェーンにおけるA/Bテストの問題とその問題の解消方法。
00:06:02 サプライチェーンのA/Bテストにおける問題の相互関連性と連動性。
00:07:45 サプライチェーンを連動したシステムとして捉えることとA/Bテストの課題。
00:09:58 サプライチェーン管理におけるA/Bテストの制約。
00:11:45 サプライチェーンへの強化学習。
00:13:22 意思決定における探索と活用のバランス。
00:15:01 より良いサプライチェーンの洞察のためのランダム性。
00:17:08 代替のサプライヤーや市場を探索する企業。
00:19:39 ビジネスの意思決定における知識の価値を定量化する。
00:20:52 セカンドオーダーエフェクトを考慮したLokadによるビジネスの意思決定の最適化。
00:23:42 探索の将来の重要性とその価値を企業が定量化する方法。
要約
このインタビューでは、Lokadの創設者であるJoannes Vermorel氏との対談で、A/Bテストとサプライチェーン最適化におけるその制約についてKieran Chandler氏が話します。彼らは、A/Bテストの歴史と応用について説明し、マーケティングでは人気がありますが、サプライチェーン管理ではあまり使用されていないことを指摘します。Vermorel氏は、サプライチェーンの相互関連性と限られた学習能力のために、A/Bテストはサプライチェーン最適化には不十分であると主張しています。その代わりに、彼は機械学習のアプローチを採用し、意思決定にランダム性を導入することを提案しています。最先端の企業は、常に代替オプションを探索し、知識を定量化することで、サプライチェーンプロセスを向上させ、最適化を実現できるとVermorel氏は考えています。
詳細な要約
このインタビューでは、サプライチェーン最適化におけるA/Bテストとその応用について、Lokadの創設者であるJoannes Vermorel氏との対談をKieran Chandler氏が行っています。彼らは、A/Bテストとは何か、その歴史について説明した後、その応用、制約、代替手法について詳しく説明しています。
A/Bテストは、実験設計の一部であり、効果を測定するために2つの変数を比較する方法です。この方法はおそらく19世紀末に起源を持つものですが、直感的な性質のため、記録は不明瞭です。A/Bテストは科学的手法の一部であり、文や仮説について真実のヒントを得ることを目指す実験設計の広い分野の一部です。
A/Bテストは特にマーケティングで人気があり、ニュースレターや広告などのプロモーション資料の効果を評価するために使用されます。マーケティングにおけるA/Bテストの例としては、顧客データベースを2つのランダムなグループに分割し、バージョンAのニュースレターを最初のグループに送信し、バージョンBを2番目のグループに送信することが挙げられます。その結果を測定して、どちらのバージョンがより良いパフォーマンスを発揮したかを判断します。
2000年代初頭、Googleは検索エンジンの検索結果ページに表示する最適な検索結果の数を決定するために一連のA/Bテストを実施しました。これらのテストにより、同社はページの読み込み時間とユーザーの満足度のバランスを取ることができ、結果的に1ページあたり約10件の検索結果を表示することを決定しました。
サプライチェーン管理ではA/Bテストはあまり人気がありませんが、Lokadはしばしば顧客のためにA/Bテストを実施するよう要求されます。サプライチェーンの文脈では、A/Bテストは通常、Lokadの在庫最適化システムで管理される一連の店舗のパフォーマンスを、顧客の既存システムで管理される同等の店舗のパフォーマンスと比較することを意味します。比較は3か月などの期間をかけて行われ、ベンチマークまたはパイロットと呼ばれることがあります。
Vermorelは、A/Bテストは2つの方法を比較するための合理的なアプローチのように思えるかもしれないが、サプライチェーンの最適化においては問題が生じる可能性があると主張しています。サプライチェーンの相互関連性のため、A/Bテストは問題を解決するのではなく、問題を他の場所に移動させる可能性があります。
Vermorelは、サプライチェーンでは問題が解決されるのではなく、移動されることが多いと説明しています。異なる最適化技術のパフォーマンスを比較する際、それらは同じリソースを競っているため、独立しているとは限りません。これにより、1つの技術の最適化が他の技術の犠牲になる状況が生じます。サプライチェーンの相互関連性のため、1つの部分が影響を受けると他の部分にも影響を与える可能性があり、単一の変数の影響を分離して測定することが困難になります。
サプライチェーンの文脈でのA/Bテストの別の問題は、提供する学習が限られていることです。A/Bテストは一度に1つの仮説のみをテストし、少量の情報を生成します。これは、強く感じることについて絶対的な確信を求めている場合には十分かもしれませんが、サプライチェーンは常に変化しており、A/Bテストの遅いペースは変化するニーズに追いつくことができないかもしれません。
Vermorelは、A/Bテストの結果の妥当性に影響を与える可能性がある季節性の問題も指摘しています。これを考慮するためには、テストを12か月間実行する必要があるかもしれませんが、これはシステムのどちらが優れているかについての単一の情報しか提供しません。さらに、異なるシステムは異なる種類の製品や状況に適している場合があり、A/Bテストの有用性をさらに制限します。
A/Bテストに頼る代わりに、Vermorelは機械学習の観点から問題を考えることを提案しています。このアプローチでは、データから積極的に情報を抽出することに焦点を当てており、サプライチェーンのような複雑で相互に関連するシステムの理解にはより効果的です。意思決定が観測にどのように影響を与えるかを考慮することで、需要やサプライチェーンの最適化の操作についてより良い学習が可能になります。
Vermorelは、企業は現行のプロセスの最適化と代替オプションの探索をバランスさせるべきだと説明しています。これには、意思決定にランダム性を導入することが含まれます。これにより、企業は現在のアプローチから逸脱することでより良い解決策が存在すると思われる局所的な最小値に陥ることを防ぐことができます。
ランダム性を導入する方法の1つは、異なる製品やサプライヤーを試すことです。たとえば、小売ネットワークは各店舗にいくつかのランダムな製品を追加したり、信頼性や製品提供の評価のために代替のサプライヤーをテストしたりすることができます。自動車アフターマーケット業界の企業は、このアプローチを実施しており、最初に最も良い価格や条件を提供しないサプライヤーに一部の注文を渡して市場をテストしています。
企業がプロセスにこのようなランダム性を導入することは直感に反するかもしれませんが、Vermorelはこのアプローチが実際に長期的な利益を向上させることができると主張しています。市場について継続的に学ぶことで、企業は収益や規模の経済性に影響を与える可能性のある新しい洞察を見つけることができます。たとえば、彼らは売上に影響を与えることなく価格を引き上げたり引き下げたりすることができることがわかるかもしれません。これにより、収益が増加したり規模の経済性が向上したりすることがあります。
意思決定にランダム性を取り入れることで、企業は代替市場、サプライヤー、価格帯、さらにはサプライチェーンの組織構造をテストすることができます。この探索への投資は、企業が自社の運営に適したわずかな変化を発見するのに役立ち、それによって成長を促進し、全体的なパフォーマンスを向上させることができます。
Lokadの創設者であるJoannes Vermorelは、企業内での知識の探索と量化の重要性について説明しています。彼は10年以上前に発表した論文を引用し、「知識と見積もり報酬のポーカープライス」というアルゴリズムを紹介しています。このアルゴリズムは、探索のコストと報酬を定量化するのに役立ちます。Vermorelは、企業は任意の目標ではなく、ドルなどの実際の利益に最適化すべきだと強調しています。彼は、最先端の企業はサプライチェーンプロセスに探索とランダム化を導入し、最適化を推進し、時間の経過とともに改善すると予測しています。
フルトランスクリプト
Kieran Chandler: 今日は、なぜこの技術が非常に弱いのかを議論し、より効果的にサプライチェーンをテストするためのいくつかの代替手法について理解しましょう。では、ジョアネス、いつものように、A/Bテストについてもう少し詳しく教えていただけますか。
Joannes Vermorel: A/Bテストは、仮説が真実かどうかをテストするための方法です。通常は2つのグループを比較することで行われますが、2つ以上のグループでも行うことができます。いつ発明されたかは少し曖昧です。おそらく19世紀末にどこかで発明されたと思われますが、記録は曖昧であり、おそらくそれほど明確に文書化されず、必ずしもA/Bテストとは呼ばれていなかったためです。興味深いことに、それは実験の設計の分野である科学的方法の一部です。科学的な方法は、どのような文を作成できるかについての真実のヒントを得るための方法です。それはどの文も真実であることを証明するわけではありませんが、仮説が真実かどうかという質問に対して科学的な答えを提供することができます。
Kieran Chandler: では、ここで実際に話している実験の種類はどのようなものですか？
Joannes Vermorel: A/Bテストはマーケティングで非常に人気があります。サプライチェーンではあまり人気がありません。マーケティングでは、プロモーションのニュースレターなどに広く使用されています。たとえば、最初に1つの製品を広告し、次に別の製品を広告する場合、顧客データベースを2つのランダムなグループに分割し、最初のグループにバージョンAのニュースレターを送信し、2番目のグループにバージョンBを送信し、結果を測定します。これはA/Bテストを行う効率的な方法です。
Kieran Chandler: つまり、2つのものを送り出してどちらがより良いパフォーマンスを発揮するかを見ているわけですね？
Joannes Vermorel: まさにその通りです。仮説をテストしています。たとえば、Googleは非常に有名なA/Bテストのシリーズを行いました。それは、表示に最適な検索結果の数がいくつかを決定するためのものでした。彼らはA/Bテストを通じてバランスを見つけました。当時の結果は約10件でした。
Kieran Chandler: なぜこれがLokadで興味を持っていることなのですか？お客様からの要望があるのでしょうか？
Joannes Vermorel: サプライチェーンでは、A/Bテストを行うことについて頻繁に質問されます。サプライチェーンでは、A/Bテストは別の形を取ります。たとえば、人々は「Lokadに在庫最適化システムを使用して10の店舗を管理し、他の10の比較可能な店舗は旧システムで管理します。3ヶ月間実行して結果を比較します。」と言うかもしれません。それはベンチマークと呼ばれるかもしれませんが、実際にはA/Bテストです。
Kieran Chandler: 何かしらのA/Bテストが行われているようで、かなり合理的なようですね。これら2つの異なるアプローチを比較する方法が必要なようです。では、実際の世界ではどのように機能するのでしょうか？
Joannes Vermorel: 問題の核心は、それが明らかで合理的に見えるということです。これら2つの方法を比較するのは合理的な方法のように思えるかもしれません。在庫を管理するソフトウェアなどの変数を1つ変更し、実験が代表的であることを確認します。したがって、複数の店舗と3ヶ月というより長い期間を取り、統計的な有意性を確保します。これらはすべて非常に合理的で合理的に見えます。しかし、「しかし」があります - それは思われるよりも複雑です。私がこれらのベンチマークに問題を抱えているのは、私の本の例で単純な合理主義の例です。非常に科学的に見えますが、実際には非常に科学的でも合理的でもありません。ただそう見えるだけです。
サプライチェーン管理の問題は、問題を解決するのではなく、問題を移動させる傾向があることです。たとえば、テストには20の店舗があります。それは非常に合理的に見えます。問題は、すべての店舗が同じ在庫と競合していることです。Lokadとしては、ソフトウェアを使用して自分の結果を向上させるために多くの在庫を消費することで、自分のスコープのパフォーマンスを向上させることができます。そして、10の店舗のパフォーマンスを最大化することが目標とされるベンチマークがある場合、数学的最適化は他の店舗の費用でそれを行います。したがって、店舗間にはフィードバックループがあります。なぜなら、彼らは同じ在庫を流通センターで競合しているからです。これは常にサプライチェーンで起こることです。それはシステムであり、設計上相互に関連しています。
サプライチェーンは、効率性、信頼性、コスト、規模の経済性の面で大きな利益をもたらすことができます。しかし、デメリットは、それが1つのシステムであるため、1つの部分に触れると他の部分に影響を与える傾向があることです。
Kieran Chandler: では、より良いアプローチは何でしょうか？20の場所で6ヶ月間一つの技術を試し、その後6ヶ月間別の技術を試すべきでしょうか？
Joannes Vermorel: この種のベンチマークに対する別の問題は、システムについてほとんど学べないことです。A/Bテストは通常過小評価されています。なぜなら、一度に1つの仮説しかテストしていないからです。情報の面では、私たちは情報の一部、たった1ビットについて話しています。それはバイトでもなく、ビットでもありません。結果に対する信頼度しか持たないでしょう。したがって、学ぶことは1ビットの一部であり、非常に少ないです。A/Bテストの主な批判は、システムについてほとんど学べないことです。
Kieran Chandler: テストは、自分が非常に強く感じていることについて絶対的な確信を持ちたい場合には良いものです。たとえば、A/Bテストを行って自分が正しかったことを最終的に確認することができますが、問題は、すでに真実を知っていると仮定していることです。それが科学に非常に適している理由です。科学的な方法では、人々は非常に間接的な方法で手がかりを集め、手がかりの山を集めた後、より直接的な方法で仮説を確認するためにA/Bテストを実施します。しかし、それは非常に高価で遅くなりますし、それが最終的な確認になり、事件を完全に終わらせることになります。
Joannes Vermorel: サプライチェーンの問題は、常に変化しているということです。あなたのネットワークは常に変化するものです。サプライチェーンの最適化のためにA/Bテストを行う場合、季節性のために3ヶ月ではなく12ヶ月必要になるかもしれません。しかし、たった2つのシステムのうちどちらが最良であるかについて1ビットの情報を得るために12ヶ月もかけることができるでしょうか？市場には他にも多くの選択肢があり、実施できる試行回数には限りがあります。システムAはスロームーバーにとって良いかもしれませんが、システムBはハイムーバーにとって良いかもしれません。たった1ビットの情報では非常に弱く、最適なオプションについて何の洞察も与えてくれません。
A/Bテストの問題は、2つの可能なパスのみをテストしているため、サプライチェーンでは何百万もの可能なパスがあります。それらの可能性についてどのように情報を生成できるでしょうか？
Kieran Chandler: ですから、サプライチェーンでは何百万もの可能なパスがあります。それらの可能性についてどのように情報を生成できるでしょうか？
Joannes Vermorel: それは非常に興味深い質問であり、より現代的な視点では強化学習が考えられます。学習エンジンの動作について考えるとき、データが受け取られ学習するというようにデータから情報を抽出することができますが、サプライチェーン管理では、あなたが行うことが観察されるものに影響を与える能動的な方法で情報を抽出することができます。例えば、ある店舗で商品をセールにしないことを決めた場合、この店舗でこの商品の需要を観察することはありません。
A/Bテストは知識を獲得する方法ですが、非常に遅いです。もし赤ちゃんがA/Bテストを通じて歩くことを学ぶ必要があるなら、百万年かかるでしょう。科学的な確実性には非常に強力ですが、真実への旅を進めるプロセスではありません。
サプライチェーン管理では、探索と活用のトレードオフを考えるより現代的な視点が強化学習です。良いものについての予想はあるものの、それが常に最良であるとは完全に確信していないため、探索と呼ばれることを行いたいと思います。システムについてもっと学ぶために、アクションをランダムに変えます。
Kieran Chandler: 自分自身の測定に基づいて、指定されたメトリックに従って最適化を試みる最適化プロセスがあります。しかし、問題は、それを行うと、やり方が固定されてしまうことです。数学的には、人々が局所最小値と呼ぶ領域に固執している状態です。コスト関数を最小化しようとするが、見た目は良い領域に固執しています。この点から逸脱すると、最適であるかのように思えますが、実際にはもっと良いものを得るためには逸脱する必要があります。
Joannes Vermorel: 基本的には、あなたの意思決定の一定の割合を導入していますが、これは実際には正確ではなく、あなたの最適化とは一致しないかもしれません。しかし、これは可能性のあるエラーの一定の割合を導入することで、可能性のある動作についてもっと知るためのものです。そして、明らかに、これは実験についての話です。クレイジーなことをするわけではありませんが、例えば、大規模な小売ネットワークがある場合、アソートメントを変更することが考えられます。すべての店舗で、通常のアソートメントに含まれないいくつかの商品をランダムに導入することを決めることができます。もちろん、高価な商品、例えば都市の中心部にある店舗で高価な園芸機械を試すことはしません。完全にばかげたことはしないでしょうが、ある程度のランダム性を導入して、都市の中心部で試してみたら、通常はこの地域には適していないと思っていた商品が意外にも多くのトラクションを得るかもしれません。そのため、ある種のランダム化を導入したいのです。
サプライチェーンでは、例えば他のサプライヤーを試すために時々他のサプライヤーを試すことができます。通常のサプライヤーに加えて競合他社にいくつかの注文を行い、どのように進行するかを確認するだけです。私は自動車アフターマーケットの企業でも、最初に最良の価格と最良の条件を提供するサプライヤーに注文を渡すのではなく、テストのために一定の割合の注文を渡す自動的な仕組みを見たことがあります。そして、製品が注文プロセスの期待に応えるかどうか、つまり特定の部品を注文した場合に本当にその部品が届くかどうかを確認します。
Kieran Chandler: それは非常に驚くべきことのように思われます。企業は一般的に利益と効率性に基づいており、利益を最大化するために行動しています。しかし、それらは実際には異なるサプライヤーを導入し、テストするために行っています。しかし、それは組み込むのが難しいことですか？
Joannes Vermorel: それは、再び、私は言うでしょう、素朴な合理的アプローチは「直接最適化するだけ」と言うでしょう。しかし、それは合理主義でも最善のアプローチでもありません。もし2次の効果について考え始めるなら、アイデアは常に市場について学び続けたいということです。クライアントのための代替サプライヤーや代替市場、代替価格ポイントをテストしたいのです。なぜなら、知識には価値があります。大きな報酬を得ることができます。
例えば、あなたは行き詰まっているかもしれません。実際には、あなたが製品をある価格で販売していることに気付くかもしれませんが、実際には価格を上げてもほぼ同じように売れるかもしれません。ただし、試したことがなかったので、人々があなたの製品を実際に価値があると認識しているとは思いませんでした。
Kieran Chandler: 実際のところ、通常はこれまでやってきたことに固執していることが多いです。または、逆の場合もあります。実際には、製品を高すぎる価格で販売しているかもしれません。価格を下げてみると、需要が大幅に増え、スケールメリットが発生します。そして、より安価に生産し、会社の成長につながることができます。したがって、導入されるこのランダム化は、会社にとってより適したわずかな変化を発見するための投資です。価格ポイント、サプライヤー、またはサプライチェーンの組織のバリエーションがあるかもしれません。この知識の価値を会社にどれだけ定量化し、実際にどれだけの価値があるかを計算する方法はありますか？
Joannes Vermorel: 実際には、はい。私は10年以上前に「POKER: 知識の価格と見積もり報酬」という論文を発表したことさえあります。ですので、もし本格的にやりたいのであれば、探索のコストと探索の報酬を定量化することができます。ある特定のホライズンを持つことの利点を得るために、探索を続ける必要があるからです。明らかに、同じゲームを何度もプレイする反復ゲームのアイデアです。そして、探索すると、通常は最適ではないことをしますが、時にはベストな結果を得ることがあります。そしてその後、この発見を利用することができます。しかし、そのためには、特に機械学習の側面で、データのノイズを活用し、少なくとも情報だけでなく、より多くの情報を学ぶことができるアルゴリズムが必要です。また、これは単にパーセンテージを確立するA/Bテストのようなものではありません。非常に高次元の状況で、相互に関連し合う多くの効果があり、より良いパフォーマンスを発揮することができる、ぼんやりとしたパターンを捉えることができるものです。
Kieran Chandler: これはLokadで行っていることとどのように関連していますか？なぜなら、Lokadで行っていることは、いつでも行われる可能性のあるビジネス上の意思決定を最適化しているからです。わざと少し間違ったことをする、このようなノイズを導入することです。
Joannes Vermorel: そうですね、それは基本的にはその信念に反するものです。私の信念ではなく、本当に第二次効果を考慮に入れるためのものです。Lokadでは、非合理主義ではなく、合理的であり、邪悪な他の効果を考慮に入れることを試みています。Lokadの最初の10年間、ほとんどのクライアントにとって、彼らは何も最適化していませんでした。彼らはエラーの割合を最適化していましたが、私の考えでは、それは最適化ではありません。エラーの割合を最適化すると、会社のために何をしているのかさえわかりません。ドルを最適化する必要があります。最初のステップは、実際に最適化しようとする最適化プロセスに移行することです。完全に任意のターゲットを繰り返すことではありません。今、私たちが見ているのは、最も先進的なクライアント、特に電子商取引の側面で、この最適化プロセスが導入されているため、探索のアイデアが浮かび上がり始めているということです。それは通常、価格などのことから始まりますが、私の視点からは、それは供給チェーンの範囲に非常に関連しています。需要が発生する場所です。良い価格を持っている必要があり、価格は大部分の需要を説明します。しかし、価格は探索を行いたい唯一の領域ではありません。私が次の数年間で見ているのは、企業が最新の状態であり続けるためには、供給チェーンに関して最新の状態であるという野心を持つ必要があるということです。彼らは探索とランダム化のアイデアを導入し、結果を生成し、最適化プロセス自体をより良くするために時間をかけることがますます増えるでしょう。
Kieran Chandler: したがって、結論として、将来的には、このような探索の重要性と、それが会社にとってどれだけの知識をもたらすかを定量化することが、より重要になると考えられます。
Joannes Vermorel: まさに、完璧です。
Kieran Chandler: それでは、今日はここで終わりにしなければなりません。お時間いただきありがとうございました。
Joannes Vermorel: 今日は以上です。ご視聴いただきありがとうございました。また次回お会いしましょう。
Kieran Chandler: ご視聴いただきありがとうございました。
