00:00:07 Kaggleの紹介とゲストRafael de Rezende氏の登場.
00:00:39 LokadにおけるRafaelの役割と経歴.
00:01:29 Kaggleとその機械学習コンペティション.
00:04:22 Kaggleの競争性と協力性.
00:06:55 Kaggleコンペにおける協力の創造性への影響.
00:08:02 M5コンペとその範囲 (ウォルマート店舗における30,000 SKUの売上予測).
00:08:39 スコア評価指標としてのピンボール損失関数.
00:10:26 チームメンバーとコンペにおけるそれぞれの役割.
00:12:05 コンペ手法と実際の応用との違い.
00:14:25 上位10のソリューションの解析と、パフォーマンスの差がほとんどない点.
00:16:00 モデルの運用コストと保守性についての議論.
00:17:47 実世界のシナリオにおける数値安定性の重要性.
00:19:21 コンペモデルにおける拡張性と現実の制約.
00:20:35 コンペ後の可能な改善点と今後の注力点.
00:22:14 ドメイン専門知識の重要性と最先端との性能比較.
概要
インタビューで、Kieran Chandlerが、LokadのJoannes VermorelおよびRafael de Rezendeと、ウォルマートの売上予測を題材としたKaggleコンペへの参加について語りました。彼らは、モデルが数値的に安定し、保守可能かつ拡張性があることの重要性を強調しています。制約がある中でも、彼らのアプローチは最先端に近い結果をもたらし、実用的でコスト効果が高く、保守性に優れたsupply chain optimization手法への注力を裏付けました。この経験は、サプライチェーンとdata scienceの両面で専門知識を持つことの利点を示しました。現在、チームは得られた知見をクライアント向けのソリューション改善に迅速に実装することを計画しています.
詳細な概要
このインタビューでは、ホストのKieran Chandlerが、Lokadの創設者であるJoannes Vermorelと、プロダクト開発責任者のRafael de Rezendeに話を聞きます。両者ともサプライチェーン最適化のバックグラウンドを持ち、uncertainty分布を用いたウォルマート売上に関する最近のKaggleコンペの議論に専門知識を提供しています.
Rafael de Rezendeは、サプライチェーンのバックグラウンドを持つ工業技師として自己紹介します。彼は過去3年間Lokadに勤務しており、その間に役割も進化してきました。現在、彼はプロダクト開発責任者として、Lokadの”オタク的”なテーマに取り組むチームを率いています。彼らは主にtime series予測、マルチスケールの画像解像度、及び以前番組で取り上げられたMOQシステムに取り組んでいます.
Joannes Vermorelは、対象のKaggleコンペとKaggle自体の概要を説明し、それを”非常に特定のサブカルチャー”と評しています。現在Google傘下にあるKaggleは、参加者が何らかの結果を予測または予測する必要がある機械学習コンペを開催する組織です。企業は通常、データセットを提供し、参加を促すために大きな賞金を提供します。ウォルマート売上コンペの場合、賞金は10万ドルでした.
これらのコンペの環境は非常に競争が激しく、最新のアルゴリズムや論文に精通した何百人ものプロフェッショナルを魅了しています。そのニッチな性質にもかかわらず、Kaggleは100万人以上の登録参加者を誇る大規模なグローバルな存在です。競技者は必ずしも研究者ではなく、与えられた問題に対する最先端のアルゴリズムを見極める技術に長けています。そして、僅かな改善点を見出して他者に僅かな優位をつけ、最終的にコンペに勝利します.
Vermorelによれば、Kaggleの勝者は通常北米またはアジア出身ですが、参加者は世界中に広がっています。Googleによる買収は、機械学習やデータサイエンスの分野でその人気と重要性が高まっていることを裏付けています.
VermorelとRezendeは、コンペにおけるスポーツの類推を共に評価しています。彼らは、参加者がお互いにスキル向上を助け合う協力的なアプローチを強調すると同時に、金銭的なインセンティブや大企業の関与によって生じる激しい競争も認識しています.
Lokadチームはこのコンペには初挑戦でしたが、サプライチェーン管理における激しい競争での経験は既に持っていました。Rezendeは、このイベントにおける競争のレベルが、以前直面した挑戦よりもはるかに高かったと認めています.
一部の批評家は、コンペの協力的な性質が、参加者が自分自身のアイデアを放棄して高得点のソリューションに従うため、創造性を阻害する可能性があると主張しています。この群集効果は、革新的な思考を制限するかもしれません.
企業の視点から、Vermorelは、勝利がLokadの戦略的ロードマップに含まれていなかったにもかかわらず、チームがコンペに参加したことを喜んでいます。彼は、このようなコンペが分野の最先端を明確にし、必ずしも根本から変えるわけではないと考えています。この特定のコンペにおいて、Rezende率いるチームは、ウォルマート店舗で28日間にわたり30,000 SKUsを対象とした売上予測チャレンジで909チーム中6位にランクされました.
Vermorelは、このコンペで初めてピンボール loss functionがスコア評価指標として使用されたことに興味を持っています。これはLokadが数年前に提案していたものでした。彼は、quantile forecastsには、店舗での商品の確保を目的とした意図的なバイアスがあり、高いservice levelを目指すと説明しています。このコンペでは、定量予測の使用が明示され、分野では初めてのことでした.
Rezendeのチームは4人で構成され、各自が特定の役割を担っていました。彼らはコアモデルの構築、データの解析、そしてコンペのインフラ構築に取り組みました。チームリーダーとして、Rezendeは全員がモチベーションを保ち、協力して作業することに注力しました.
インタビューは、Rezendeが自分たちのアプローチをスポーツの類推に例える形で締めくくられ、彼らが独自または戦略的なアプローチを取った可能性が示唆されました.
会話は、コンペモデルと現実のサプライチェーン最適化への応用との違いを中心に展開されました.
参加者は、コンペモデルを特定のトラック向けに細かく調整されるが日常使用には適さないフォーミュラワンカーに例えました。彼らは、コンペで使用される手法が計算コストが高く、常に実際のシナリオに適しているわけではないと指摘しました。例えば、最近のコンペで上位10の勝者は、ウォルマートのデータの小さなサブセットを処理するのに約10時間かかったため、実務では実用的ではないと言えます.
Vermorelとde Rezendeは、Lokadが日常業務と類似した理論的枠組みを使用し、コンペ用にわずかな調整のみを行うという異なるアプローチを取ったと説明しました。彼らは、まずサプライチェーンのプロフェッショナルであることの重要性を強調し、経験と直感を活かして意思決定を行うと述べました.
インタビュー参加者は、コンペの上位10ソリューションが数値上非常に近く、性能の差がごくわずかであることも指摘しました。彼らは、コンペモデルと実際のサプライチェーンソリューションを区別する3つの重要な懸念事項－運用コスト、保守性、及び不完全な条件への適応性－を挙げました。それに対し、Lokadのアプローチは、計算コストの最小化と保守性の確保に焦点を当て、実際の障害や不完全性も考慮に入れています.
全体として、この議論は、純粋に理論的またはコンペに依存したアプローチではなく、実際のシナリオに適用可能な実用的でコスト効果が高く、保守性に優れたサプライチェーン最適化手法の必要性を強調しました.
彼らは、数値的に安定し、保守可能かつ拡張性のあるモデルを持つことの重要性について語っています。数値安定性は、モデルが不完全なデータにも対応し、極端に不正確な結果を出さないことを保証します。保守性は、理想的でない状況下でもモデルが良好に機能することを意味します。拡張性は、在庫レベルや将来のpromotionsなどの追加要因をモデルに組み込むことを可能にします.
チームは、サプライチェーン最適化におけるドメイン知識の重要性を強調するforecasting competitionに参加しました。forecasting accuracyに直接関係しない制約があるにもかかわらず、彼らは最先端に近い結果を達成することができました。このチャレンジは彼らのアプローチを裏付け、彼らのモデルが競争力があり、かつ効率的で、保守性と拡張性を兼ね備えていることを証明しました.
コンペ終了後、得られた知見と改善点をLokad全体に展開し、クライアント向けに迅速に実装できるようにすることが、現在の焦点となっています。この経験は、データサイエンスの専門家だけでなく、サプライチェーンの専門家でもあることの利点も浮き彫りにしました.
全文書き起こし
Kieran Chandler: 今日は同僚のRafael de Rezende氏にご参加いただき、大変嬉しく思います。彼は、ウォルマートの売上の不確実性分布を検討した最近のM5コンペについて語ります。それでは、Rafael、廊下を歩いてここまでお越しいただき、どうもありがとうございます.
Rafael de Rezende: ここにいられて光栄です。少しだけ私自身と経歴についてお話しさせていただきます。ここLokadでは過去3年間勤務しており、サプライチェーンのバックグラウンドを持つ工業技師です。この間に、私の役割は大きく変化してきました。現在、私はLokadのプロダクト開発責任者を務めており、私のチームと私はLokadの非常にオタク的なテーマに取り組んでいます。私たちは、時系列予測、画像解像度、そして既にこの番組で取り上げられたMOQsに取り組んでいます.
Kieran Chandler: 素晴らしいですね。そしてJoannes、今日はウォルマートの売上の不確実性分布に関する最近のKaggleコンペについて話を伺います。実際のチャレンジとKaggle自体の概要について、少し教えていただけますか?
Joannes Vermorel: はい、そしてKaggle自体についてもです。Kaggleは非常に特定のサブカルチャーに属するものです。Kaggleは現在Googleに買収されたかなり大きな組織で、参加者が何かを予測または予測する必要がある機械学習コンペを主催しています。コンペを開催するには、予測すべきデータセットと大きな賞金が必要です。今回お話ししているコンペでは、賞金は100,000ドルでした。非常に多くの完全なプロフェッショナルが集まる、非常に競争力のある環境です。ある意味、ハイレベルなスポーツのようなものです.
Kieran Chandler: つまり、Googleに買収されたことで、確実に隆盛しているということですね。Joannesは、データサイエンティストが競い合うだけでなく協力し合うという、まるでスポーツイベントのようなアナロジーを挙げました。では、チャレンジ自体についてもう少しお話ししましょう。直面した主な課題は何で、どのような相手と対戦したのですか?
Joannes Vermorel: スポーツの類推は本当に良いと思います。実際、Kaggleは確かにスポーツのような感覚があります。Kaggleの素晴らしい点は、人々が互いに助け合い、他者を向上させるために多大な時間を費やす協力的なアプローチです。同時に、金銭が絡み、大企業がスポンサーとなるか、または行動を厳重に見守るという厳しい競争も存在します。私たちはKaggle初心者でしたが、以前からクライアントとのサプライチェーンにおける競争という形で何らかのコンペには参加していました。しかし、Kaggleでの競争は、それらとはレベルが異なり、Kaggleでは900チームが参加していたのに対し、以前は2～3チームとの競争に留まっていました。皆、お互いに非常に助け合おうと努めており、Kaggle以上に協力的な面がありました.
Rafael de Rezende: Kaggleの協力的な側面について興味深い点は、多くの人々がそれが創造性を阻害する可能性があるとして批判していることです。よくあるのは、ある人が最初に高スコアのソリューションを公開すると、他の多くのチームがそれに従い、以前のアプローチを放棄してしまうという現象です。つまり、群集効果が働き、皆が同じ方向に向かってしまうのです。協力的な考え方には利点がありますが、時折創造性を妨げるという意見にも同意せざるを得ません.
Kieran Chandler: 企業の視点から見るとどうですか？ 彼らは自由時間を活用して取り組んでいるわけですが、その点についてはどう思われますか?
ジョアンネス・ヴェルモレル: やってくれて本当に嬉しいです。Lokadの戦略は、これらのコンペティションに勝つことを狙うものではなかったのです。Lokadの初期にはもっと成功の度合いが低いものをいくつかやってきましたが、これらのコンペティションは必ずしも技術の最先端そのものを根本的に変えるものではなく、むしろ最先端が何であるかを明確にしてくれる、非常に有意義なものです。例えば、ラファエルのチームが909チーム中6位となったこのコンペティションは、需要予測コンペとして企画されていたものの、ストックアウトを適切に排除できなかったため、結果的に販売予測になってしまいました。つまり、彼らは需要ではなく販売の予測を行っていたのです。ウォルマート店舗における30,000 SKUを28日間で需要予測するコンペティションでした。これらのコンペティションは最先端を明らかにしますが、それ自体を根本的に変えるものではありません。
キアラン・チャンドラー: このコンペティションで、私の知る限り初めて、勝者を決定する指標としてピンボール損失関数が用いられたのは非常に興味深いことです。それは非常にマニアックな指標であり、文字通り精度を測るためのものです。
ジョアンネス・ヴェルモレル: 私は、2012年にサプライチェーンの予測が分位点予測へと移行する必要があるとLokadが最初に提案したと信じています。実際、その後、確率的予測への移行やさらなる改善も求められるようになりました。8年前、私たちはこの移行の必要性を訴えました。ちなみに、これらの予測は意図的にバイアスを含んでいるという点で非常に独特です。少し混乱されるかもしれませんが、なぜ需要予測にあえてバイアスをかけるのかというと、店舗では商品が常に利用可能であることを保証することが重要だからです。人々が平均して半分の時間しか求める商品を見つけられないような予測は求められていません。理想は、例えば98%程度のサービスレベル、つまり通常は欲しい商品が店舗に存在する状態です。したがって、予測にバイアスを持たせる必要があり、その手法が分位点予測として知られています。このコンペティションは、明示的に分位点予測を採用した初の公開コンペティションという点で非常に興味深いものでした。
ラファエル・デ・レゼンデ: その上、この問題を解決するための技術とツールを構築しなければなりません。こんな過酷なコンペティションで、私のチームが6位に入賞できたことを非常に嬉しく、また誇りに思います。
キアラン・チャンドラー: チームについてもう少しお話ししましょう。チームで活動していたとおっしゃっていましたが、メンバーは何人で、他にどなたと一緒に取り組んでいたのですか？
ラファエル・デ・レゼンデ: 私たちは4人のチームでした。私と、Lokadから参加した3人のデザイナーで構成されていました。そのうちの1人は現在ここで働いていませんが、かつては在籍していました。各メンバーには非常に明確な役割がありました。ハギーはコアモデルの開発を担当し、問題解決のための細部の数学的検討に注力しました。カタリナはビジネスの視点からデータを分析し、適切なモデリングに必要な重要なポイントを見極めました。そして、マリーンが実作業の約80%を担い、今回はデータエンジニアとして自社のインフラを構築しました。私の役割は、全員が協力して取り組み、モチベーションを維持することでした。
キアラン・チャンドラー: どのようなアプローチを取られたのか、もう少し詳しく説明していただけますか？他の手法とどこが異なっていたのか、一体何が違っていたのでしょうか？
ラファエル・デ・レゼンデ: 例えるなら、フォーミュラワンと市販車を比較するようなものです。フォーミュラワンカーと通常の車は、どちらも車ですが、全く同じものではありません。この種のコンペティションでは、人々は概ね同じような手法を用いる傾向にあります。我々はコンペティションのために計算コストが非常に高い手法を構築しましたが、実際に製品として購入する際には何かしらの変更が必要になるでしょう。例えば、上位10チームのほとんどは、ウォルマートのごく小さなデータサブセットに対しても実行に長時間を要する手法を用いていました。ごく小さなサブセットに対して10時間もかかるなんて、全く馬鹿げています。
キアラン・チャンドラー: 私たちは全く異なる方向に進みましたし、その考えは最初から明確に存在していました。日常的に用いている理論的枠組みをそのまま競技に応用しようとしたのです。つまり、私たちが使用するほとんどの手法は、日々の業務で行っていることと大差はありません。もちろん、車をより小規模なレース用に変更したり、後部座席を取り払うなど、パフォーマンス重視の調整は行いましたが、実際に私たちが行ったことと他の人たちがやっていることの違いを特定するには、専門家でなければ気づかないでしょう。
ラファエル・デ・レゼンデ: つまり、30,000 SKUという規模であれば、他の手法でもある程度は機能したのですが、もし規模が大きくなれば実世界で同じように通用させるのははるかに困難になるということです。現実で全く機能しないというわけではなく、維持管理が非常に大変になるのです。私たちは長らく知られている低次元の手法を用いましたが、今回問題を解決できたのは、データサイエンスの視点ではなく、まずサプライチェーンのプロフェッショナルとしての知見と、これまでの内部コンペティションで培った直感に基づいていたからです。
キアラン・チャンドラー: このアプローチについてどのように感じられましたか？ご自身の視点から、基本的な概要をお聞かせいただけますか？
ジョアンネス・ヴェルモレル: 非常に興味深かったです。909チームが競った中で、私は全ての解法を見たわけではなく、上位10件だけを確認しました。結果として、Lokadより優れているチームもあれば劣るチームもありました。注目すべきは、上位10件の解法が数値的にほとんど差がなかったということです。1位から10位までの差はほとんどゼロに等しく、5位のチームとの差は約0.01%、7位のチームとの差も同程度でした。1位のチームは数パーセント先行していましたが、全体的には非常に僅差だったのです。
今、これらのコンペティションが実際のサプライチェーンの世界で求められるものを反映していない点は、少なくとも3つの側面があると思います。そして、フォーミュラワンカーとレース用にチューニングされた通常の車との違いが、この点では非常に的確な例えになっています。実際、3つの最重要な懸念事項が存在しました。
まず第一に、結果を出すための運用コストです。上位10件の手法の中で、Lokadだけが途方もない計算コストを伴わなかったのです。さらに、例えば100キロメートルあたり50リットルも燃料を消費する車を想像してみてください。それは、トラックと同等の燃料消費車と比べて10倍も高くつくでしょう。もちろん、20分ごとにピットストップが可能なら問題は少ないですが、そうでなければ現実的ではありません。また、クラウドコンピューティングでは、そのコストは非常に現実的なものとなり、1,000台のサーバーをレンタルする必要があると莫大な費用が発生します。
第二の懸念は保守性、すなわちメンテナビリティです。例えば、この優れたフォーミュラワンの例えを考えてみてください。フォーミュラワンカーは、路面が完璧なサーキット上で走行するため、とても洗練されています。
キアラン・チャンドラー: まるでパリでフォーミュラワンカーを走らせようとしているかのようです。例えば、歩道の湿気さえも車にダメージを与えるでしょう。フォーミュラワンカーは路面に非常に近いため、数センチ以上の凹凸には耐えられません。実際、地面からわずか1センチしか離れていないのです。したがって、いかなる障害物があれば車は破損してしまいます。もちろん、通常の車なら余裕があり、地面にぴったりとくっついているわけではないので、走行速度は落ちますが、多少のでこぼこがあっても問題なく乗り越えられるのです。
ジョアンネス・ヴェルモレル: つまり、私が述べているこれらのモデルは、数値的安定性の面で、データが完璧でなく、部分的に欠陥があってもモデルが暴走せず、極端におかしな結果にならないことが求められます。これは、まるでフォーミュラワンカーが完全にコースアウトしてしまうようなものです。保守性とは、状況が理想的でなくてもモデルが比較的堅実に動作し、結果として正常に機能することを意味します。
このコンペティションでは、全てを完璧にするために何百時間も費やす人がいるかもしれません。まるでレーシングサーキットのようです。しかし、現実世界では常に何かが起こり、状況は混沌としており、道路も完璧ではありません。これは、多少精度が落ちても数値的に安定したモデルが非常に重要であることを示しています。データマイニングには「ゴミが入ればゴミが出る」という格言がありますが、現実には常に多少のノイズが含まれるため、そうした状況でも動揺しないモデルが必要なのです。
最後に、このコンペティションでは全く見られなかったのが拡張性です。例えば、このコンペでは在庫レベルや将来のプロモーションが考慮されておらず、チームは28日先を予測する必要がありました。価格履歴はあったものの、予測期間である28日間の将来の価格情報はなかった、つまり将来のプロモーションが分からなかったのです。現実のシステムなら、在庫レベル、将来のプロモーション、さらには棚に配置できる在庫量の制約なども組み込む必要があります。さらに、評価に使用された損失関数はピンボール損失でしたが、実際にはあらゆる非線形性が発生する可能性があります。
キアラン・チャンドラー: コンペティションが終了した今、どのようにお考えですか？ジョアンネスは0.1%という極僅かな差について触れていました。トップ5に入るのは相当悔しいことであったでしょう。改善できた点について何かお考えはありますか？
ジョアンネス・ヴェルモレル: コンペティション中に試さなかったことがたくさんありました。ある時点で締切が迫り、「これで行こう」と決断せざるを得なくなります。もちろん、改善の余地があるアイデアは多数ありましたが、今後の焦点はそれを追求するのではなく、今回の改善点をチーム全体、他のすべての科学者に迅速に展開し、全クライアントにその知見をすぐに反映させることにあると考えています。
ラファエル・デ・レゼンデ: ちなみに、ウォルマートは例外です。ですから、私たちは学んだすべてのことをできるだけ早く実践に移し、特に知識を他者と共有することで、より多くのクライアントの支援に役立てていくつもりです。
キアラン・チャンドラー: 素晴らしいですね。では、ジョアンネス、チームが実施していた中で、将来に向けて特に有用だと感じたことは何かありましたか？
ジョアンネス・ヴェルモレル: 正直なところ、非常に素晴らしかったです。我々のアプローチの多くが裏付けられました。超効率的で、保守性が高く、拡張性のあるモデルが必要だと言うとき、予測精度とは無関係な多くの制約が存在します。こうした制約を考慮に入れると、最先端とのギャップがいかに小さいかが問題となります。もしかすると、我々のモデルは良好な特性を持ち、保守性も拡張性もあるが、最先端技術と比べると大きく遅れていると結論づけるかもしれません。しかし、実際の結論は正反対で、我々は最先端との差がほんの僅かなものである、という結果になりました。
ラファエル・デ・レゼンデ: 付け加えるなら、これはサプライチェーンのコンペティションでした。専門分野の知識が実際に役立つというのは心強いことです。私たちは、主にサプライチェーン専門家ではなくデータサイエンスの専門家と競っていましたが、我々はサプライチェーンのプロバイダーでありながら、現場でデータサイエンスの知識も発揮していたため、これが競技において我々を差別化した要因だと思います。
キアラン・チャンドラー: 素晴らしいですね。そして、ラファエル、次は何を予定していますか？今後、他のコンペティションに参加する予定はありますか？
ラファエル・デ・レゼンデ: いいえ、今年は非常にストレスが多かったので、来年に持ち越し、リフレッシュする時間を取り、その後また来年という形にするつもりです。
キアラン・チャンドラー: そろそろ休息が必要だと思います。これでショーは終了ですので、この辺で締めくくりましょう。お時間をいただきありがとうございました。今週はこれで終わりです。ご視聴いただき本当にありがとうございました。また次回のエピソードでお会いしましょう。では、さようなら！
