00:00:07 KaggleとゲストのRafael de Rezendeの紹介。
00:00:39 RafaelのLokadでの役割と経歴。
00:01:29 Kaggleとその機械学習コンペティション。
00:04:22 Kaggleの競争的かつ協力的な性質。
00:06:55 Kaggleコンペティションにおける協力のクリエイティビティへの影響。
00:08:02 M5コンペティションとその範囲（Walmartの店舗での30,000のSKUの販売予測）。
00:08:39 スコアリングメトリックとしてのピンボール損失関数。
00:10:26 コンペティションでのチームメンバーとそれぞれの役割。
00:12:05 コンペティションの方法論と現実のアプリケーションの違い。
00:14:25 上位10の解決策とその性能の近さの分析。
00:16:00 モデルの運用コストと保守性の議論。
00:17:47 現実のシナリオにおける数値の安定性の重要性。
00:19:21 コンペティションモデルの拡張性と現実の制約。
00:20:35 コンペティション後の改善点と将来の焦点。
00:22:14 ドメイン知識の重要性と最先端とのパフォーマンス比較の意義。
概要
LokadのKieran Chandler、Joannes Vermorel、Rafael de Rezendeとのインタビューで、Walmartの販売予測に関するKaggleコンペティションについて話し合います。モデルの数値的な安定性、保守性、拡張性の重要性を強調しています。制約の中でも、彼らのアプローチは最先端に近い結果をもたらし、実用的で費用対効果の高いサプライチェーン最適化手法の重要性を裏付けています。この経験は、サプライチェーンとデータサイエンスの両方の専門家であることの利点を示しました。チームは今後、得られた知見を活かしてクライアントのソリューションを改善する予定です。
詳細な概要
このインタビューでは、ホストのKieran ChandlerがLokadの創設者であるJoannes VermorelとLokadの製品開発責任者であるRafael de Rezendeと話しています。両ゲストはサプライチェーン最適化のバックグラウンドを持ち、Walmartの販売の不確実性分布に関する最近のKaggleコンペティションについて議論しています。
Rafael de Rezendeは、サプライチェーンのバックグラウンドを持つ産業エンジニアとして自己紹介しています。彼は過去3年間、Lokadで働いており、その間に彼の役割は進化してきました。現在は製品開発責任者として、Lokadでの「ギークな」トピックに取り組むチームを率いています。彼らは主に時系列の予測、マルチスケール画像解像度、および以前に番組で議論されたMOQシステムに取り組んでいます。
Joannes Vermorelは、問題のKaggle競技とKaggle自体について概説し、それを「非常に特殊なサブカルチャー」と表現しています。Googleが所有するKaggleは、参加者が特定の結果を予測または予測する必要がある機械学習競技を開催する組織です。通常、企業はデータセットを提供し、参加を促すために大きな賞金を提供します。Walmartの販売競技の場合、10万ドルが賭けられていました。
これらの競技の環境は非常に競争力があり、最新のアルゴリズムや出版物に精通した数百人の専門家を惹きつけています。ニッチな性質にもかかわらず、Kaggleは100万人以上の登録参加者を誇る大きなグローバルな存在感を持っています。競技者は必ずしも研究者自体ではありませんが、与えられた問題に対して最先端のアルゴリズムを特定する能力に長けています。そして、他の人よりわずかに優位性を得るための小さな改善点を見つけ、最終的に競技に勝利します。
Vermorelによれば、Kaggleの勝者は通常、北米またはアジア出身ですが、世界中の参加者コミュニティを誇っています。Googleによるプラットフォームの買収は、機械学習とデータサイエンスの領域でのその人気と重要性をさらに強調しています。
VermorelとRezendeは、競技に関してスポーツの比喩を高く評価しています。彼らは、参加者がお互いのスキル向上に役立つ協力的なアプローチを強調しています。同時に、金銭的なインセンティブと大企業の関与による激しい競争も認識しています。
Lokadチームはこの競技には新参者でしたが、サプライチェーン管理の激しい競技経験がありました。Rezendeは、このイベントの競争レベルが以前に直面したチャレンジよりもはるかに高かったと認めています。
批評家の中には、競技の協力的な性質が創造性を妨げる可能性があると主張しています。参加者は自分自身のアイデアを捨てて高得点の解決策に従うことがあり、この群れ効果が革新的な思考を制限する可能性があります。
企業の観点からは、Vermorelは、勝利がLokadの戦略的なロードマップの一部ではなかったとしても、チームが競技に参加したことを喜んでいます。彼は、このような競技は基本的にはフィールドを根本的に変えることなく、その分野の最先端を明確にすると考えています。この特定の競技では、Rezende率いるチームは、ウォルマートの店舗で28日間にわたって30,000のSKUを対象とした販売予測の課題で909チーム中6位にランクインしました。
Vermorelは、この競技が初めてピンボールの損失関数としてスコアリングメトリックを使用したことに興味を持っています。これはLokadが数年前に提案したものです。彼は、分位数予測には意図的なバイアスがあり、店舗での商品の入手可能性を確保することを目指しており、高いサービスレベルを追求していると説明しています。この競技では、分位数予測の使用が明示されており、これはその分野では初めてのことでした。
Rezendeのチームは4人で構成され、それぞれが特定の役割を担当しました。彼らはコアモデルの開発、データの分析、競技のためのインフラの構築に取り組みました。チームリーダーとして、Rezendeはみんなをやる気にさせ、協力して働くことに集中しました。
インタビューは、Rezendeが彼らのアプローチをスポーツの比喩に例えることで締めくくられます。これは、彼らが競技に対してユニークなまたは戦略的なアプローチを取った可能性があることを意味しています。
会話は、競技モデルとサプライチェーン最適化の現実世界の応用との違いについての議論でした。
参加者たちは、競技モデルをフォーミュラ1カーに例え、特定のトラックに最適化されているが日常的な使用には適していないと指摘しました。競技で使用される方法は計算コストが高く、常に現実世界のシナリオに適しているわけではありません。たとえば、最近の競技のトップ10の勝者は、ウォルマートのデータの一部を処理するのに約10時間かかりましたが、これは現実世界の運用には非現実的です。
Vermorelとde Rezendeは、Lokadが競技目的のためにわずかな調整しか行わずに、彼らの日常業務に似た理論的なフレームワークを使用するという異なるアプローチを取ったことを説明しました。彼らは、最初にサプライチェーンの専門家であることの重要性を強調し、経験と直感を活用して意思決定を行うことを強調しました。
インタビュー対象者はまた、競技のトップ10の解決策が数値的に非常に近いことを指摘しましたが、パフォーマンスにはわずかな違いがありました。彼らは、競技モデルと現実世界のサプライチェーンソリューションを異なるものにする3つの主要な懸念を特定しました：運用コスト、保守性、および不完全な条件への適応性。これに対して、Lokadのアプローチは、計算コストの最小化と保守性の確保に焦点を当てつつ、現実世界の障害や不完全さも考慮しています。
全体的に、議論は、純粋に理論的または競技志向のアプローチではなく、実際のシナリオで適用できる実用的で費用対効果の高いサプライチェーン最適化手法の必要性を強調しました。
彼らは、数値的に安定しており、保守性があり、拡張性があるモデルの重要性について話しました。数値の安定性は、モデルが不完全なデータを処理し、極端に不正確な結果を生み出さないことを保証します。保守性は、モデルが理想的でない条件下でもうまく機能できることを意味します。拡張性により、在庫レベルや将来のプロモーションなどの追加要素をモデルに組み込むことができます。
チームは、予測競争に参加し、サプライチェーン最適化におけるドメイン知識の重要性を強調しました。予測の精度とは無関係の制約があったにもかかわらず、彼らは最先端に近い結果を達成することができました。このチャレンジは、彼らのアプローチが競争力がありながらもスリムで保守性があり、拡張性があることを証明し、彼らのモデルが実際に競争力があることを示しました。
競技後、今後の焦点は、得られた洞察と改善策をLokadチーム全体にもたらし、クライアントのために迅速に実装できるようにすることです。この経験はまた、単にデータサイエンスの専門家ではなく、サプライチェーンとデータサイエンスの両方の専門家であることの利点を示しました。
フルトランスクリプト
Kieran Chandler: 今日は、同僚のRafael de Rezendeの参加を得て、ウォルマートの売上の不確実性分布を調べた最近のM5競技について話します。だから、Rafael、廊下を歩いてここに来てくれて本当にありがとう。
Rafael de Rezende: ここにいられて嬉しいです。自分自身と自分のバックグラウンドについてもう少し話してもいいですか。私は過去3年間、Lokadで働いています。私はサプライチェーンのバックグラウンドを持ち、産業エンジニアです。Lokadでの私の役割はかなり変わってきています。現在は、Lokadの製品開発責任者であり、私のチームと私はLokadの非常にギークなトピックに取り組んでいます。私たちは時系列予測、画像解像度、およびMOQに取り組んでいますが、この番組で既に話されていると思います。
Kieran Chandler: 素晴らしいですね。そして、ジョアネス、今日はウォルマートの売上の不確実性分布を調べるという最近のKaggleの競技について話します。実際のチャレンジとKaggle自体について概要を教えていただけますか？
Joannes Vermorel: はい、そしてKaggle自体についても。それは非常に特定のサブカルチャーです。KaggleはGoogleによって買収されたかなり大きな組織です。Kaggleが主催するのは、何かを予測または予測する機械学習の競技です。競技を設定するには、予測または予測するためのデータセットと、大きな賞金が必要です。今回の競技では、10万ドルの賞金がありました。それは非常に競争力のある環境であり、数百人のプロフェッショナルが参加しています。ある意味でハイレベルなスポーツのようなものです。
Kaggleの競技を勝ち抜くコミュニティは、通常研究者ではなく、最先端の状態を見つけるのが非常に得意です。彼らは常に発表されるものを見て、最先端のものを見つけます。そして、それに少しの魔法を加えて、勝つためにわずかな精度の向上を図ります。彼らは自分たちよりもわずかに優位なものを見つけなければなりません。そして、彼らは他の人よりも先に進むことができます。それは非常に特定のサブカルチャーであり、非常に大規模です。Kaggleには100万人以上の登録参加者がおり、勝者は通常北米またはアジア出身です。
Kieran Chandler: Googleによって買収されたので、確かに上昇中です。ジョアネスは、データサイエンティストが競争しながらも協力しているというアナロジーを使いましたが、それは本当に素敵なアナロジーだと思います。では、チャレンジ自体についてもう少し話しましょう。直面した主な課題と、どのような相手と対戦しましたか？
Joannes Vermorel: スポーツのアナロジーは本当に良いと思います。Kaggleは確かにスポーツのようなものです。Kaggleで素晴らしいのは、非常に協力的なアプローチです。人々はお互いを助け合い、他の人が上達するのを手助けするためにかなりの時間を費やします。これは残酷な競争と同時に行われます。なぜなら、お金が絡んでおり、大きな組織がスポンサーになったり、あなたがやっていることを密に監視しているからです。私たちはKaggleの初心者でしたが、私たちのチームは以前にも何らかの競争に参加しており、クライアントがサプライチェーンの解決策に挑戦していました。ただし、それはKaggleとは同じレベルではありませんでした。Kaggleでは900チームがありましたが、以前は2〜3チームと競争していたかもしれません。皆が本当にお互いを助けようとしていました。Kaggle以上に。
Rafael de Rezende: Kaggleの協力的な側面について興味深いことは、創造性を妨げる可能性があると批判されることです。よくあることは、最初にスコアが良い解決策をいくつかの人が公開し、突然、他の多くのチームがそれに従い、以前にやっていたことを捨てることです。つまり、群れの効果があり、みんなが同じ方向に向かいます。協力的な考え方は有益ですが、時折創造性を妨げると言う人たちに同意しなければなりません。
Kieran Chandler: 企業の観点からはどうですか？これらの人々は自分の自由な時間に取り組んでいます。それについてどう思いますか？
Joannes Vermorel: 彼らがそれをやったことをとても嬉しく思います。Lokadの戦略は、これらの競技会に勝つことを試みることではありませんでした。Lokadの初期の年には、成功がはるかに少なかったですが、これらの競技会は基本的には技術の状態を変えるものではありません。それらは技術の状態を明確にするものであり、それは非常に良いことです。例えば、Rafaelのチームが909チーム中6位にランクインしたこの競技会は需要予測の競技会として企画されていましたが、ストックアウトを適切に除外しなかったため、実際には販売予測の競技会となりました。つまり、需要ではなく販売を予測していました。これはウォルマートの店舗で30,000のSKUに対して28日間の需要予測の競技会でした。これらの競技会は技術の状態を明らかにしますが、基本的にはそれを変えません。
Kieran Chandler: この競技会では、私の知る限りでは初めて、ピンボール損失関数が勝者をスコアリングするメトリックとして使用されました。それは非常にマイナーなものですね？それは正確さを測るために使用されるメトリックです。
Joannes Vermorel: 私たちは2012年に、サプライチェーンの予測は分位点予測に移行する必要があると最初に提案したのはLokadが初めてだと思います。実際、後に私たちは確率的予測に移行し、さらに多くのことを行う必要があると述べました。8年前に、私たちはこの移行を行う必要があると述べました。ちなみに、これらの予測は意図的にバイアスを持っています。少し混乱している視聴者のために、なぜ需要予測に意図的にバイアスを持たせたいのかという疑問があるかもしれません。その答えは、店舗では商品の入手可能性を確保したいからです。平均して、人々が求めているものを半分の確率で見つける予測は目標ではありません。それでは目標ではありません。人々が通常、店舗に求めているものが存在するという98%のサービスレベルのようなものを望んでいます。したがって、バイアスのある予測を持ちたいのですが、それは分位点予測として知られている技術です。この競技会は非常に興味深いものでした。なぜなら、これが公開競技会であり、明示的に分位点予測として述べられたのは初めてだったからです。
Rafael de Rezende: それから、この問題を解決するための技術とツールを構築する必要があります。私のチームがこのような過酷な競技会で6位にランクインできたことをとても嬉しく思っています。
Kieran Chandler: チームについてもう少し話しましょう。チームで働いていたとおっしゃいましたね。このチームは何人で、他のメンバーは誰でしたか？
Rafael de Rezende: 私たちは4人のチームでした。私とLokadの3人のデザイナーでした。1人はもうここで働いていませんが、まだここから来ました。それぞれがチーム内で非常に特定の役割を持っていました。Huggyは私と一緒にコアモデルで働いており、問題に取り組むための小さな数学的な詳細に焦点を当てていました。Catarinaはビジネスのビジョンをもたらし、データを分析し、適切にモデル化するために把握すべき主要なポイントを特定していました。最後に、Marineが実際の大変な作業の約80%を行いました。彼女は今回はデータエンジニアとして働き、競技会のための独自のインフラストラクチャを構築しました。私の役割は、みんなが一緒に働き、人々をやる気に保つことでした。
Kieran Chandler: もう少しアプローチについて話していただけますか？他の手法とはどのように異なりましたか？何か違いはありましたか？
Rafael de Rezende: 良いアナロジーは、フォーミュラワンと比較することです。フォーミュラワンカーと普通の車を比較すると、店で買う車とはまったく同じではないことがわかります。両方とも車ですが、同じではありません。このような競技会では、人々はほぼ同じ方法で働く傾向があります。競技会には非常に計算コストの高いメソッドが使用されますが、最終的に製品を実際に購入する場合とはまったく異なるものです。いくつかの変更が必要かもしれません。たとえば、トップ10の勝者のほとんどは、ウォルマートの非常に小さなデータのために長時間実行するメソッドを使用しました。非常に小さなサブセットに対して10時間もかかりました。ですので、
Kieran Chandler: 別の方向に進んだんですが、私たちがやったことは、最初からこの考えが非常に重要でした。私たちは、日常的に行っている理論的なフレームワークをそのままトラックに乗せたかったんです。ですので、私たちが実際に使用しているほとんどのものは、日常的に行っていることとはあまり変わりません。もちろん、車を変えてレース向けのセットアップにするために、バックシートを外したり、その他の変更を加えたりしました。しかし、私たちがやったこととここで人々がやっていることを本当にチェックすると、実際の違いを特定するためには専門家でなければなりません。
Rafael de Rezende: わかりました。つまり、計算的には、約30,000のSKUしかなかったため、他のアプローチは機能したかもしれませんが、実際の世界でスケールさせると、より困難になるでしょう。そうだと思います。実際の世界では機能しないわけではありませんが、複雑になるでしょう。メンテナンスがたくさん必要です。私たちは長い間知られている低次元の手法を使用しましたが、問題を解決する方法はデータサイエンスの観点からではありませんでした。私たちはまずサプライチェーンのプロフェッショナルです。私たちはこれまでに多くの内部競技会を経験してきたので、物事がどのように振る舞うかを知っています。それが私たちがそこに提案したものです。
Kieran Chandler: このアプローチについてどのように考えましたか？また、自分の視点からそれを基本的な概要で説明していただけますか？
Joannes Vermorel: とても興味深いです。トップ10には、基本的には909のチームが参加しました。私は提供されたすべての解決策を見ていませんが、トップ10を見ました。ですので、Lokadよりも優れたチーム、Lokadよりも劣るチームがいました。最初に非常に興味深かったのは、トップ10の解決策を見ると、数値的には非常に近いことです。つまり、1位から10位まで、ほとんど差がありません。私たちは、5位の人から0.01%離れていたと思いますし、7位の人は0.01%差でした。1位のチームは数パーセントリードしていましたが、全体的には非常に近い結果でした。
さて、これらの競技会では、実際のサプライチェーンの世界で必要なものを反映していない点が少なくとも3つあります。この点で、フォーミュラワンとレース用に調整した車との違いは非常に正確です。実際には3つの主な懸念事項がありました。
まず、結果を得るための運用コストです。トップ10のメソッドの中で、Lokadだけが狂気じみた計算コストを持っていませんでした。そして、もう一つ、50リットルで100キロ走行するような車を想像してみてください。それは、トラックと同じくらい多くの燃料を消費する車よりも10倍も高価なものになります。20分ごとにピットストップができるなら素晴らしいですが、そうでなければダメです。それに、クラウドコンピューティングでは、そのコストは非常に現実的です。1000台のサーバーを借りる必要があれば、それは多額のお金がかかります。
2つ目は保守性です。設定は、たとえばこのフォーミュラワンのアナロジーを見てみると、非常に素晴らしいです。フォーミュラワンは、道路が完璧なサーキットで動作します。
Kieran Chandler: まるでパリでフォーミュラワンカーを走らせようとしているかのようです。例えば、歩道の湿り気だけでも車を損傷させることがあります。フォーミュラワンは、道路に非常に近いため、数センチ以上の段差ですら車を壊してしまいます。もちろん、通常の車を選ぶこともできますが、もう少し余裕があり、地面に完全に固定されているわけではありません。速度も出ませんが、道路が少し荒れていても障害物を乗り越えることができます。
Joannes Vermorel: ですから、私が話しているモデルは、数値的な安定性の観点から、データが完璧でなく、こころここに少し破損しているものがあっても、モデルが狂って完全にばかげた結果にならないようなものである必要があります。これはまるでフォーミュラワンカーが完全にトラックから外れてしまうようなものです。保守性とは、理想的でない条件があっても、それが比較的健全で保守的であることを意味します。これはまた、それが機能するということにも繋がります。
この競技では、すべてが完璧であることを確認するために何百時間も費やす人々がいます。しかし、現実世界では、いつも何かしらの問題が起こり、乱雑で道路も完璧ではありません。これは、数値的な安定性が非常に重要であり、数値的に安定したモデルを持つことが重要であることを意味します。少し正確性が低くなるかもしれませんが、データマイニングには「ゴミを入れればゴミが出る」という言葉があります。しかし、現実は常に少しのゴミがあるので、少しのゴミがあっても狂わないものが必要です。
最後に、この競技から完全に欠落しているものは拡張性です。実際には、この競技では在庫レベルがなく、将来のプロモーションもありませんでした。チームは28日先を予測する必要がありました。価格の履歴は持っていましたが、予測する期間の将来の価格はわかりませんでした。つまり、将来のプロモーションを知らなかったのです。もし現実世界のセットアップを行いたいのであれば、在庫レベル、将来のプロモーションを組み込む必要があります。そして、棚に置くことができる在庫の制約も本当に欲しかったでしょう。それは制約であり、使用された損失はピンボール損失でしたが、実際にはさまざまな非線形性が発生する可能性があります。
Kieran Chandler: 競技が終わった今、どのような考えをお持ちですか？Joannesは0.1%の微細な差について言及しました。トップ5に入ることは少しイライラするでしょうね。改善できる方法についての考えはありますか？
Joannes Vermorel: 競技中に試していないことがたくさんありました。ある時点で、締め切りに達し、「それでいこう。行こう」と言わなければなりませんでした。もちろん、改善のアイデアはたくさんありますが、今はそれが次の焦点になることはないと思います。主な焦点は、私たちが行った少数の改善を全チーム、すべての他の科学者に素早く再現することであり、それらの洞察をすぐにすべてのクライアントにもたらすことです。
Rafael de Rezende: それはウォルマートではありません。ですから、学んだことをすべて活かし、できるだけ早く実践することが目標です。特に、知識を他の人と共有して、より多くのクライアントをサポートできるようにすることです。
L6 Kieran Chandler: いいですね。ジョアネスさん、あなたはチームが行った特に将来に役立つと思われることはありますか？
Joannes Vermorel: 正直言って、素晴らしかったです。私たちのアプローチが非常にスリムで保守可能で拡張可能なモデルを持つ必要があると言ったとき、私たちは予測の正確さとはまったく関係のない多くの制約を抱えています。その制約を考慮に入れると、最先端からどれだけ遠いのかという問題です。おそらく結論は、私たちのモデルは良い特性を持ち、保守可能で拡張可能であるが、最先端のものとは比べ物にならないほど遅れているということになるでしょう。結論はまったく逆です：実際には、最先端のものからほんのわずかの差しかありません。
Rafael de Rezende: 追加で言わせていただくと、これはサプライチェーンの競技でした。自分のドメイン知識が実際に役立つことを知るのは素晴らしいことです。私たちは主にサプライチェーンの専門家ではなく、データサイエンスの専門家と競い合っていました。私たちはサプライチェーンのプロバイダーであり、偶然にもデータサイエンスの専門家でもありました。これが私たちを競技から差別化したかもしれません。
Kieran Chandler: 素晴らしいですね。そして、ラファエルさん、次は何ですか？将来の競技はありますか？
Rafael de Rezende: いいえ、今年は多くのストレスがありましたので、来年に持ち越して、リフレッシュする時間を取りたいと思います。
Kieran Chandler: 休暇を取るのも当然ですね。それで今回は以上です。お時間をいただきありがとうございました。今週は以上です。ご視聴いただきありがとうございました。次のエピソードでお会いしましょう。さようなら！
