Walmart Prognosewettbewerb - Post-Game-Analyse (mit Rafael de Rezende)

00:00:07 Einführung in Kaggle und Gast Rafael de Rezende.
00:00:39 Rafaels Rolle und Hintergrund bei Lokad.
00:01:29 Kaggle und seine maschinellen Lernwettbewerbe.
00:04:22 Die wettbewerbsorientierte und kollaborative Natur von Kaggle.
00:06:55 Auswirkungen der Zusammenarbeit auf Kreativität in Kaggle-Wettbewerben.
00:08:02 M5-Wettbewerb und sein Umfang (Absatzprognose für 30.000 SKUs in Walmart-Stores).
00:08:39 Pinball-Verlustfunktion als Bewertungsmetrik.
00:10:26 Die Teammitglieder und ihre spezifischen Rollen im Wettbewerb.
00:12:05 Der Unterschied zwischen Wettbewerbsmethoden und Anwendungen im echten Leben.
00:14:25 Analyse der Top 10 Lösungen und ihrer Leistungsnähe.
00:16:00 Diskussion der Betriebskosten und der Wartbarkeit von Modellen.
00:17:47 Bedeutung der numerischen Stabilität in realen Szenarien.
00:19:21 Erweiterbarkeit und reale Einschränkungen in Wettbewerbsmodellen.
00:20:35 Mögliche Verbesserungen und zukünftige Schwerpunkte nach dem Wettbewerb.
00:22:14 Bedeutung von Fachkenntnissen und Leistungsvergleich mit dem Stand der Technik.

Zusammenfassung

In einem Interview mit Kieran Chandler diskutieren Joannes Vermorel und Rafael de Rezende von Lokad ihre Teilnahme an einem Kaggle-Wettbewerb zur Absatzprognose von Walmart. Sie betonen die Bedeutung von Modellen, die numerisch stabil, wartbar und erweiterbar sind. Trotz Einschränkungen führte ihr Ansatz zu Ergebnissen, die nahe am Stand der Technik liegen, und bestätigte ihren Fokus auf praktische, kosteneffektive und wartbare Supply Chain-Optimierung Methoden. Die Erfahrung zeigte die Vorteile, sowohl Supply Chain- als auch Data Science Experten zu sein. Das Team plant nun, die gewonnenen Erkenntnisse umzusetzen, um Lösungen für ihre Kunden zu verbessern.

Erweiterte Zusammenfassung

In diesem Interview spricht Moderator Kieran Chandler mit Joannes Vermorel, dem Gründer von Lokad, und Rafael de Rezende, dem Leiter der Produktentwicklung bei Lokad. Beide Gäste haben einen Hintergrund in der Optimierung von Supply Chains und bringen ihr Fachwissen in die Diskussion eines kürzlich stattgefundenen Kaggle-Wettbewerbs ein, der die Unsicherheitsverteilung der Walmart-Verkäufe betrifft.

Rafael de Rezende stellt sich als Industrieingenieur mit Hintergrund in der Supply Chain vor. Er arbeitet seit drei Jahren bei Lokad, und seine Rolle hat sich im Laufe der Zeit entwickelt. Derzeit ist er als Leiter der Produktentwicklung tätig und leitet ein Team, das sich mit den “nerdigen” Themen bei Lokad befasst. Sie arbeiten hauptsächlich an der Prognose von Zeitreihen, sowie an der Mehrskalen-Bildauflösung und dem MOQ-System, über das bereits in der Show diskutiert wurde.

Joannes Vermorel gibt einen Überblick über den fraglichen Kaggle-Wettbewerb und Kaggle selbst und beschreibt es als eine “sehr spezifische Subkultur”. Kaggle, das jetzt im Besitz von Google ist, ist eine Organisation, die Machine Learning-Wettbewerbe veranstaltet, bei denen die Teilnehmer bestimmte Ergebnisse vorhersagen oder prognostizieren müssen. Unternehmen stellen in der Regel einen Datensatz zur Verfügung und bieten hohe Geldpreise, um die Teilnahme zu fördern. Im Fall des Walmart-Verkaufswettbewerbs ging es um 100.000 US-Dollar.

Die Atmosphäre in diesen Wettbewerben ist äußerst wettbewerbsorientiert und zieht Hunderte von Fachleuten an, die mit den neuesten Algorithmen und Veröffentlichungen vertraut sind. Trotz ihrer Nischennatur hat Kaggle eine bedeutende globale Präsenz und kann über eine Million registrierte Teilnehmer verzeichnen. Die Teilnehmer sind nicht unbedingt selbst Forscher, sondern sind darin geschult, die modernsten Algorithmen für ein bestimmtes Problem zu identifizieren. Anschließend finden sie geringfügige Verbesserungen, um einen leichten Vorteil gegenüber anderen zu erlangen und letztendlich den Wettbewerb zu gewinnen.

Laut Vermorel stammen die Gewinner von Kaggle in der Regel aus Nordamerika oder Asien, können aber auf eine weltweite Gemeinschaft von Teilnehmern verweisen. Die Übernahme der Plattform durch Google unterstreicht ihre zunehmende Beliebtheit und Bedeutung im Bereich des maschinellen Lernens und der Datenwissenschaft.

Vermorel und Rezende schätzen beide die Sportanalogie, wenn es um den Wettbewerb geht. Sie betonen den kooperativen Ansatz bei der Veranstaltung, bei dem die Teilnehmer einander helfen, ihre Fähigkeiten zu verbessern. Gleichzeitig erkennen sie den harten Wettbewerb an, der aufgrund monetärer Anreize und der Beteiligung großer Organisationen stattfindet.

Das Lokad-Team war neu in diesem Wettbewerb, hatte jedoch bereits Erfahrung mit intensiven Wettbewerben im Supply Chain Management. Rezende gibt zu, dass das Wettbewerbsniveau bei dieser Veranstaltung viel höher war als bei früheren Herausforderungen, denen sie sich gestellt hatten.

Einige Kritiker argumentieren, dass die kooperative Natur des Wettbewerbs die Kreativität behindern kann, da die Teilnehmer ihre eigenen Ideen aufgeben und den führenden Lösungen folgen könnten. Dieser Herdentrieb könnte das innovative Denken einschränken.

Aus Unternehmenssicht ist Vermorel froh, dass das Team am Wettbewerb teilgenommen hat, auch wenn das Gewinnen nicht Teil der strategischen Roadmap von Lokad war. Er glaubt, dass solche Wettbewerbe den Stand der Technik in dem Bereich klären, ohne ihn grundlegend zu verändern. In diesem speziellen Wettbewerb belegte das Team unter der Leitung von Rezende den sechsten Platz von 909 Teams in einer Verkaufsprognose-Herausforderung, die 30.000 SKUs in Walmart-Filialen über 28 Tage umfasste.

Vermorel findet es interessant, dass dieser Wettbewerb zum ersten Mal eine Pinball-Verlustfunktion als Bewertungsmetrik verwendet hat, etwas, das Lokad bereits vor Jahren vorgeschlagen hatte. Er erklärt, dass Quantilprognosen mit einem gezielten Bias verwendet werden, um die Verfügbarkeit von Waren in den Geschäften sicherzustellen und ein hohes Servicelevel anzustreben. Dieser Wettbewerb hat explizit die Verwendung einer Quantilprognose angegeben, was in diesem Bereich eine Premiere war.

Rezendes Team bestand aus vier Personen, von denen jede eine spezifische Rolle hatte. Sie arbeiteten am Kernmodell, analysierten Daten und bauten die Infrastruktur für den Wettbewerb auf. Als Teamleiter konzentrierte sich Rezende darauf, alle motiviert und zusammenarbeitend zu halten.

Das Interview endet damit, dass Rezende ihren Ansatz mit einer Sportanalogie vergleicht und damit andeutet, dass sie möglicherweise einen einzigartigen oder strategischen Ansatz für den Wettbewerb gewählt haben.

Das Gespräch drehte sich um die Unterschiede zwischen Wettbewerbsmodellen und realen Anwendungen in der Optimierung von Supply Chains.

Die Teilnehmer verglichen Wettbewerbsmodelle mit Formel-1-Autos, die für bestimmte Strecken optimiert sind, aber nicht für den täglichen Gebrauch geeignet sind. Sie wiesen darauf hin, dass die in Wettbewerben verwendeten Methoden rechenintensiv sind und nicht immer für reale Szenarien geeignet sind. Zum Beispiel dauerte es etwa 10 Stunden, um eine kleine Teilmenge der Daten von Walmart zu verarbeiten, was für den realen Betrieb unpraktisch wäre.

Vermorel und de Rezende erklärten, dass Lokad einen anderen Ansatz verfolgte, indem es einen theoretischen Rahmen verwendete, der ihren täglichen Betrieb ähnelte, und nur geringfügige Anpassungen für den Wettbewerb vornahm. Sie betonten die Bedeutung, zuerst Supply-Chain-Experten zu sein und ihre Erfahrung und Intuition zur Informierung ihrer Entscheidungen zu nutzen.

Die Interviewpartner wiesen auch darauf hin, dass die Top 10 Lösungen im Wettbewerb numerisch sehr nahe beieinander lagen und nur geringe Unterschiede in ihrer Leistung aufwiesen. Sie identifizierten drei Schlüsselprobleme, die Wettbewerbsmodelle von realen Supply-Chain-Lösungen unterscheiden: Betriebskosten, Wartbarkeit und Anpassungsfähigkeit an unvollkommene Bedingungen. Der Ansatz von Lokad konzentrierte sich hingegen darauf, die Rechenkosten zu minimieren und die Wartbarkeit sicherzustellen, wobei auch reale Hindernisse und Unvollkommenheiten berücksichtigt wurden.

Insgesamt betonte die Diskussion die Notwendigkeit praktischer, kostengünstiger und wartbarer Methoden zur Optimierung von Supply Chains, die in realen Szenarien angewendet werden können, anstatt rein theoretischer oder wettbewerbsorientierter Ansätze.

Sie sprechen über die Bedeutung von Modellen, die numerisch stabil, wartbar und erweiterbar sind. Numerische Stabilität stellt sicher, dass die Modelle mit unvollkommenen Daten umgehen können und keine stark ungenauen Ergebnisse liefern. Wartbarkeit bedeutet, dass das Modell auch unter weniger idealen Bedingungen gut funktionieren kann. Erweiterbarkeit ermöglicht die Berücksichtigung zusätzlicher Faktoren wie Lagerbeständen und zukünftiger Promotions in das Modell.

Das Team nahm an einem Prognosewettbewerb teil, der die Bedeutung des Fachwissens in der Optimierung von Supply Chains betonte. Trotz Einschränkungen, die nichts mit Prognosegenauigkeit zu tun hatten, konnten sie Ergebnisse erzielen, die nahe am Stand der Technik lagen. Die Herausforderung bestätigte ihren Ansatz und bewies, dass ihre Modelle tatsächlich wettbewerbsfähig sind und gleichzeitig schlank, wartbar und erweiterbar sind.

Nach dem Wettbewerb liegt der Fokus nun darauf, die gewonnenen Erkenntnisse und Verbesserungen dem gesamten Lokad-Team zugänglich zu machen und sicherzustellen, dass sie schnell für ihre Kunden umgesetzt werden können. Die Erfahrung hat auch die Vorteile deutlich gemacht, sowohl Supply-Chain- als auch Data-Science-Experten im Wettbewerb zu sein, anstatt nur Data-Science-Experten zu sein.

Vollständiges Transkript

Kieran Chandler: Heute freuen wir uns, einen unserer Kollegen, Rafael de Rezende, bei uns zu haben. Er wird uns über einen kürzlich stattgefundenen M5-Wettbewerb sprechen, der sich mit der Unsicherheitsverteilung der Walmart-Verkäufe befasst hat. Also, Rafael, vielen Dank, dass du den Weg den Flur entlang zu uns gekommen bist.

Rafael de Rezende: Es ist großartig, hier zu sein. Vielleicht kann ich Ihnen ein wenig mehr über mich und meinen Hintergrund erzählen. Ich arbeite seit drei Jahren hier bei Lokad. Ich habe einen Hintergrund in der Supply Chain und bin Industrieingenieur. Während meiner Zeit hier bei Lokad hat sich meine Rolle ziemlich verändert. Im Moment bin ich der Leiter der Produktentwicklung bei Lokad, und mein Team und ich beschäftigen uns mit den sehr geekigen Themen von Lokad. Wir arbeiten an Zeitreihenprognosen, Bildauflösung und MOQs, über die hier in der Show bereits gesprochen wurde.

Kieran Chandler: Großartig, und Joannes, heute werden wir über einen kürzlich stattgefundenen Kaggle-Wettbewerb sprechen, der sich mit der Unsicherheitsverteilung der Walmart-Verkäufe befasst hat. Vielleicht könntest du uns einen Überblick über die eigentliche Herausforderung und Kaggle selbst geben?

Joannes Vermorel: Ja, und vielleicht auch über Kaggle selbst. Es ist eine sehr spezifische Art von Subkultur. Kaggle ist eine ziemlich große Organisation, die von Google übernommen wurde. Was Kaggle organisiert, sind maschinelle Lernwettbewerbe, bei denen man etwas vorhersagen oder prognostizieren muss. Um einen Wettbewerb einzurichten, benötigt man einen Datensatz, um etwas vorherzusagen oder zu prognostizieren, und man benötigt hohe Preise. Für den Wettbewerb, über den wir sprechen, gab es 100.000 US-Dollar an Preisen. Es ist eine sehr wettbewerbsintensive Umgebung mit Hunderten von Menschen, die darin absolute Profis sind. Es ist so etwas wie ein Hochleistungssport.

Die Community, die Kaggle-Wettbewerbe gewinnt, besteht in der Regel nicht aus Forschern, sondern aus Leuten, die sehr gut darin sind, herauszufinden, was der Stand der Technik ist. Sie schauen sich ständig alles an, was veröffentlicht wird, und finden heraus, welches davon der Stand der Technik sein wird. Dann müssen sie noch etwas zusätzliche Magie darauf anwenden, um einen kleinen prozentualen Vorteil zu erlangen, der es ihnen ermöglicht zu gewinnen. Sie müssen eine winzige Sache finden, die ihnen einen winzigen Vorteil verschafft, und sie werden den anderen voraus sein. Es ist eine sehr spezifische Subkultur und sie ist riesig. Kaggle hat mehr als 1 Million registrierte Teilnehmer aus der ganzen Welt, auch wenn die Gewinner normalerweise aus Nordamerika oder Asien stammen.

Kieran Chandler: Ich meine, es wurde von Google gekauft, also ist es definitiv im Aufwind. Joannes erwähnte die Analogie, dass es wie eine Sportveranstaltung ist, bei der Datenwissenschaftler sowohl konkurrieren als auch zusammenarbeiten, was ich für eine sehr schöne Analogie halte. Lassen Sie uns also ein wenig mehr über die Herausforderung selbst sprechen. Mit welchen Herausforderungen haben Sie sich auseinandergesetzt und gegen wen haben Sie gekämpft?

Joannes Vermorel: Ich denke, die Sportanalogie ist wirklich gut. Ich meine, Kaggle fühlt sich tatsächlich wie ein Sport an. Was bei Kaggle schön ist, ist der sehr kollaborative Ansatz, bei dem sich die Leute gegenseitig helfen und viel Zeit damit verbringen, anderen zu helfen, besser zu werden. Das geschieht gleichzeitig mit dem brutalen Wettbewerb, weil Geld im Spiel ist und große Organisationen entweder als Sponsoren auftreten oder genau beobachten, was man tut. Wir waren Kaggle-Neulinge, aber unser Team hatte bereits zuvor an einer Art Wettbewerb teilgenommen, bei dem Kunden unsere Lösung in der Supply Chain herausgefordert haben. Es war jedoch nicht auf dem gleichen Niveau wie Kaggle. Bei Kaggle hatten wir 900 Teams, während wir zuvor vielleicht gegen zwei oder drei andere Teams angetreten sind. Jeder hat wirklich versucht, einander noch mehr zu helfen als bei Kaggle.

Rafael de Rezende: Eine interessante Sache an der kollaborativen Seite von Kaggle ist, dass viele Leute es dafür kritisieren, dass es möglicherweise die Kreativität behindert. Was oft passiert, ist, dass einige Leute eine Lösung veröffentlichen, die am Anfang gut abschneidet, und plötzlich fangen viele andere Teams an, ihr zu folgen und das aufzugeben, was sie zuvor gemacht haben. Es gibt also diesen Herdeneffekt, und alle gehen in die gleiche Ecke. Die kollaborative Idee ist vorteilhaft, aber ich muss denjenigen zustimmen, die sagen, dass sie von Zeit zu Zeit die Kreativität behindert.

Kieran Chandler: Wie sieht es aus Unternehmenssicht aus? Sie haben diese Leute, die in ihrer Freizeit daran arbeiten. Was halten Sie davon?

Joannes Vermorel: Ich bin sehr froh, dass sie es getan haben. Es war noch nie Lokads Strategie, diese Wettbewerbe zu gewinnen. Ich habe während der frühen Jahre von Lokad ein paar mit viel weniger Erfolg gemacht, aber ich habe erkannt, dass diese Wettbewerbe den Stand der Technik nicht unbedingt grundlegend verändern. Sie klären, was der Stand der Technik ist, was sehr gut ist. Zum Beispiel war dieser Wettbewerb, bei dem Rafaels Team den sechsten Platz von 909 Teams belegte, als ein Nachfrageprognosewettbewerb gedacht, stellte sich aber heraus, dass es ein Verkaufsprognosewettbewerb war, weil Lagerbestände nicht richtig berücksichtigt wurden. Sie haben also Verkäufe prognostiziert, nicht die Nachfrage. Es war ein Nachfrageprognosewettbewerb für 30.000 SKUs in Walmart-Filialen über 28 Tage. Diese Wettbewerbe zeigen den Stand der Technik auf, verändern ihn aber nicht grundlegend.

Kieran Chandler: Es ist sehr interessant, dass in diesem Wettbewerb zum ersten Mal, soweit ich weiß, eine Pinball-Verlustfunktion als Metrik verwendet wurde, um zu bewerten, wer gewinnt. Das ist sehr obskur, wissen Sie? Das ist buchstäblich die Metrik, die zur Messung der Genauigkeit verwendet wird.

Joannes Vermorel: Ich glaube, Lokad war 2012 der erste, der vorgeschlagen hat, dass Prognosen in der Supply Chain zu Quantilprognosen übergehen müssen. Tatsächlich haben wir später gesagt, dass wir zu probabilistischen Prognosen übergehen und noch mehr tun müssen. Vor acht Jahren haben wir erklärt, dass wir diesen Übergang machen müssen. Übrigens sind diese Prognosen sehr seltsam, weil sie absichtlich eine Verzerrung haben. Für das Publikum, das vielleicht ein wenig verwirrt ist, warum möchten Sie überhaupt eine Verzerrung für eine Nachfrageprognose haben? Die Antwort ist, weil Sie in den Geschäften die Verfügbarkeit von Waren sicherstellen möchten. Sie möchten keine Prognose, bei der die Leute im Durchschnitt nur die Hälfte der Zeit das finden, wonach sie suchen. Das ist nicht das Ziel. Sie möchten, dass die Leute einen Servicegrad von, sagen wir, 98% haben, bei dem normalerweise das Gesuchte im Geschäft vorhanden ist. Daher möchten Sie eine Prognose mit einer Verzerrung haben, und diese Technik wird als Quantilprognose bezeichnet. Dieser Wettbewerb war sehr interessant, weil es das erste Mal überhaupt war, dass in einem öffentlichen Wettbewerb explizit eine Quantilprognose angegeben wurde.

Rafael de Rezende: Dann müssen Sie die Technologie und die Werkzeuge entwickeln, um dieses Problem zu lösen. Ich bin sehr froh und stolz, dass mein Team es geschafft hat, in einem so brutalen Wettbewerb den sechsten Platz zu belegen.

Kieran Chandler: Sprechen wir noch ein wenig mehr über Ihr Team. Sie haben erwähnt, dass Sie mit einem Team zusammengearbeitet haben. Wie viele von Ihnen waren in diesem Team, und wer waren die anderen Personen, mit denen Sie zusammengearbeitet haben?

Rafael de Rezende: Wir waren ein Team von vier Personen. Es waren ich und drei Designer von Lokad. Einer arbeitet nicht mehr hier, kam aber immer noch von hier. Jeder hatte eine sehr spezifische Rolle im Team. Huggy hat mit mir am Kernmodell gearbeitet und sich auf die kleinen mathematischen Details konzentriert, wie wir das Problem angehen würden. Catarina hat ihre Geschäftsvision eingebracht, um die Daten zu analysieren und die Hauptpunkte zu identifizieren, die wir berücksichtigen sollten, um sicherzustellen, dass wir die Dinge richtig modellieren. Schließlich gab es Marine, die etwa 80% der eigentlichen harten Arbeit geleistet hat. Sie hat diesmal als Dateningenieurin gearbeitet und unsere eigene Infrastruktur für den Wettbewerb aufgebaut. Meine Rolle bestand darin, alle zusammenarbeiten zu lassen und die Motivation der Menschen aufrechtzuerhalten.

Kieran Chandler: Können Sie etwas genauer auf den Ansatz eingehen, den Sie gewählt haben? Wie hat er sich von anderen Methoden unterschieden? Was war anders?

Rafael de Rezende: Ich denke, ein guter Vergleich ist der mit der Formel 1. Wenn man ein Formel-1-Auto mit einem normalen Auto vergleicht, sieht man, dass es nicht genau dasselbe Auto ist wie das, das man im Laden kauft. Es sind beides Autos, aber sie sind nicht gleich. Bei solchen Wettbewerben neigen die Leute dazu, mehr oder weniger auf die gleiche Weise zu arbeiten. Sie entwickeln Methoden, die extrem rechenintensiv sind und für den Wettbewerb großartig sind, aber sie sind immer noch nicht genau das, was man am Ende bekommt, wenn man das Produkt tatsächlich kauft. Es könnten einige Änderungen erforderlich sein. Zum Beispiel haben die meisten der zehn besten Gewinner Methoden verwendet, die lange Laufzeiten hatten, selbst für eine recht kleine Datenmenge von Walmart. Es war völlig absurd, wie zum Beispiel zehn Stunden nur für eine sehr kleine Teilmenge. Also,

Kieran Chandler: Wir haben es in eine andere Richtung gelenkt, was wir getan haben, und ich denke, diese Idee war von Anfang an sehr präsent. Wir wollten das gleiche theoretische Rahmenwerk, das wir hier täglich verwenden, auf die Strecke bringen. Also haben wir tatsächlich die meisten Dinge verwendet, die wir auch im täglichen Geschäft verwenden. Natürlich haben wir das Auto möglicherweise geändert, um eine Art kleineres Renn-Setup zu haben, wir haben einige Änderungen vorgenommen, den Rücksitz entfernt usw., um es leistungsfähiger zu machen. Aber wenn man wirklich betrachtet, was wir getan haben und was die Leute hier tun, müsste man ein Experte sein, um überhaupt den Unterschied zu erkennen.

Rafael de Rezende: Okay, also was du sagst, ist, dass es rechnerisch gesehen, weil es nur etwa 30.000 SKUs gab, einige dieser anderen Ansätze funktioniert haben, aber wenn sie in großem Maßstab wären, wäre es für sie viel herausfordernder, in der realen Welt zu funktionieren. Das denke ich. Ich sage nicht, dass sie in der realen Welt nicht funktionieren würden; ich denke, es wäre kompliziert. Ich meine, man hat viel Wartungsaufwand. Wir haben niedrigdimensionale Methoden verwendet, die schon lange bekannt sind, aber die Art und Weise, wie wir das Problem gelöst haben, war nicht aus der Perspektive der Datenwissenschaft. Wir waren wirklich zuerst Supply-Chain-Experten. Wir haben alles eingebracht, was wir über Supply Chains wissen, und unsere Intuition über das Problem, weil wir schon viele andere interne Wettbewerbe durchlaufen haben, also wissen wir, wie sich die Dinge verhalten, und das ist es, was wir dort vorangebracht haben.

Kieran Chandler: Was waren Ihre Gedanken zu diesem Ansatz, und vielleicht könnten Sie einen grundlegenden Überblick darüber geben, wie Sie es aus Ihrer Perspektive gesehen haben?

Joannes Vermorel: Es ist sehr interessant, weil in den Top 10, also im Grunde genommen gab es 909 Teams, die teilgenommen haben. Ich habe mir nicht alle Lösungen angesehen, die vorgelegt wurden, sondern nur die Top 10. Es gab Leute, die besser waren als Lokad, schlechter als Lokad. Was sehr interessant war, ist zunächst einmal, dass wenn man sich die Top 10-Lösungen ansieht, sie alle numerisch unglaublich nah beieinander liegen. Also im Grunde genommen, von Platz eins bis Platz zehn ist es fast nichts. Ich glaube, wir waren etwas wie 0,01% hinter dem Typen, der auf Platz fünf stand, und die Person, die auf Platz sieben stand, war etwa 0,01% dahinter. Das Team, das auf Platz eins stand, war ein paar Prozent voraus, aber insgesamt war es immer noch unglaublich nah beieinander.

Nun, ich denke, es gibt mindestens drei Aspekte, in denen diese Wettbewerbe nicht widerspiegeln, was man in der realen Welt der Supply Chain benötigt. Und ich denke, der Unterschied zwischen einem Formel-1-Auto und einem Auto, das man gerade für das Rennen getunt hat, trifft hier sehr genau zu. Es gab tatsächlich drei Hauptbedenken.

Erstens waren die Betriebskosten nur um Ergebnisse zu erhalten. Die Methoden in den Top Ten, Lokad war der einzige, der keine verrückten Berechnungskosten hatte. Und nochmal, stellen Sie sich vor, ein Auto, das etwa 50 Liter pro 100 Kilometer verbraucht. Das wäre etwa zehnmal teurer als jedes Auto, das so viel Kraftstoff wie ein LKW verbraucht. Ich meine, wenn Sie alle 20 Minuten einen Boxenstopp machen können, ist das großartig, aber sonst nicht. Und übrigens, mit Cloud Computing sind diese Kosten sehr real. Wenn Sie tausend Server mieten müssen, kostet das viel Geld.

Das zweite ist die Wartbarkeit. Die Einstellungen sind einfach, wenn Sie sich zum Beispiel diese Formel-1-Analogie ansehen, die ich für ausgezeichnet halte, ist ein Formel-1-Auto super, weil es auf Strecken funktioniert, auf denen die Straße perfekt ist.

Kieran Chandler: Es ist buchstäblich so, als ob Sie versuchen würden, ein Formel-1-Auto in Paris zu fahren. Zum Beispiel würde selbst die Feuchtigkeit auf den Gehwegen das Auto beschädigen. Das Auto darf nicht mehr als einen Stoß erleiden, der sogar mehrere Zentimeter beträgt, weil das Formel-1-Auto so nah am Boden ist. Es ist buchstäblich einen Zentimeter vom Boden entfernt. Also, wenn Sie ein Hindernis haben, würde es das Auto zerstören. Offensichtlich, wenn Sie sich entscheiden, ein normales Auto zu haben, haben Sie etwas mehr Spielraum und sind nicht komplett am Boden festgeklebt. Sie fahren nicht so schnell, aber raten Sie mal? Wenn Ihre Straße etwas holpriger ist, überleben Sie Hindernisse.

Joannes Vermorel: Also, diese Modelle, von denen ich spreche, müssen in Bezug auf die numerische Stabilität etwas haben, bei dem Ihr Daten nicht perfekt ist, wenn Sie Dinge haben, die hier und da ein bisschen beschädigt sind, dass Ihr Modell nicht verrückt wird und Sie nicht mit völlig verrückten Ergebnissen enden, was genauso wäre, als würde Ihr Formel-1-Auto völlig von der Strecke abkommen. Wartbarkeit bedeutet, dass es auch bei Bedingungen, die nicht ideal sind, immer noch relativ vernünftig und konservativ ist, was wiederum bedeutet, dass es funktionieren wird.

In diesem Wettbewerb kann es Leute geben, die buchstäblich Hunderte von Stunden damit verbringen, sicherzustellen, dass alles perfekt ist, genau wie eine Rennstrecke. Aber in der realen Welt passieren die ganze Zeit Dinge, und es ist chaotisch, und die Straßen sind nicht perfekt. Das bedeutet, dass numerische Stabilität sehr wichtig ist, um Modelle zu haben, die numerisch stabil sind, vielleicht etwas weniger genau, damit, wenn Sie ein bisschen Müll haben, wissen Sie, es gibt ein Sprichwort im Data Mining: “Müll rein, Müll raus.” Aber die Realität ist, dass Sie immer ein bisschen Müll haben, also müssen Sie etwas haben, das nicht verrückt wird, wenn ein bisschen Müll vorhanden ist.

Das letzte, was in diesem Wettbewerb auch völlig fehlt, ist die Erweiterbarkeit. Die Realität ist, dass zum Beispiel in diesem Wettbewerb Bestandsniveaus fehlten, zukünftige Werbeaktionen fehlten. Das Team musste 28 Tage im Voraus prognostizieren. Sie hatten die Preisgeschichte, aber sie hatten keine zukünftigen Preise für den zu prognostizierenden Zeitraum, der 28 Tage betrug. Also im Grunde genommen kannten sie die zukünftigen Werbeaktionen nicht. Wenn wir eine realistische Einrichtung haben wollten, müssten wir Bestandsniveaus, zukünftige Werbeaktionen einbetten und wahrscheinlich hätten wir gerne Regalbeschränkungen, wie viel Bestand Sie tatsächlich auf den Regalen haben können. Das sind Einschränkungen, und dann hätten Sie, sagen wir mal, den Verlust, der verwendet wurde, um die Genauigkeit zu bewerten, war ein Pinball-Verlust, aber die Realität ist, dass Sie alle Arten von Nichtlinearitäten haben können, die auftreten.

Kieran Chandler: Und was denken Sie jetzt, da der Wettbewerb vorbei ist? Joannes erwähnte, dass es wirklich feine Unterschiede von 0,1 % gibt. Es muss frustrierend sein, unter die Top Fünf zu kommen. Haben Sie Gedanken dazu, wie Sie sich verbessern könnten?

Joannes Vermorel: Während des Wettbewerbs haben wir viele Dinge nicht ausprobiert. Irgendwann erreichen Sie die Deadline und müssen sagen: “Okay, das war’s. Los geht’s.” Natürlich gibt es viele Ideen da draußen, die wir hätten verbessern können. Ich glaube nicht, dass das jetzt der nächste Fokus sein wird. Der Hauptfokus wird sein, die wenigen Verbesserungen, die wir vorgenommen haben, zu übernehmen und sie dem gesamten Team, allen anderen Wissenschaftlern, zugänglich zu machen und sicherzustellen, dass diese Erkenntnisse schnell für alle unsere Kunden reproduziert werden.

Rafael de Rezende: Was Walmart übrigens nicht ist. Also werden wir alles, was wir gelernt haben, nutzen und so schnell wie möglich umsetzen, insbesondere das Wissen mit anderen teilen, um mehr Kunden zu unterstützen.

Kieran Chandler: Schön. Und was ist mit Ihnen, Joannes? Gibt es etwas, das Ihnen aufgefallen ist, dass das Team getan hat und das Sie für die Zukunft besonders nützlich halten?

Joannes Vermorel: Ehrlich gesagt, war es großartig. Es hat so viel von unserem Ansatz bestätigt. Wenn ich sage, dass wir ein Modell brauchen, das super schlank, wartbar und erweiterbar ist, haben wir viele Einschränkungen, die überhaupt nichts mit der Prognosegenauigkeit zu tun haben. Die Frage ist, wenn Sie diese Einschränkungen berücksichtigen, wie weit sind Sie von State-of-the-Art entfernt? Vielleicht wäre die Schlussfolgerung gewesen, dass unsere Modelle gute Eigenschaften haben, wartbar und erweiterbar sind, aber Lichtjahre von dem entfernt sind, was Sie mit State-of-the-Art erreichen könnten. Die Schlussfolgerung ist genau das Gegenteil: Wir sind tatsächlich nur einen Hauch von dem entfernt, was State-of-the-Art ist.

Rafael de Rezende: Ich möchte hinzufügen, dass es sich um einen Supply-Chain-Wettbewerb handelte. Es ist schön zu wissen, dass Ihr Fachwissen tatsächlich hilfreich ist. Wir haben hauptsächlich gegen Leute konkurriert, die keine Supply-Chain-Experten, sondern Datenwissenschaftsexperten waren. Wir waren der Supply-Chain-Anbieter, der zufällig auch Datenwissenschaftsexperten waren, die auf dem Gebiet spielten. Das hat uns möglicherweise im Wettbewerb differenziert.

Kieran Chandler: Großartig. Und Rafael, was steht als Nächstes für Sie an? Haben Sie weitere Wettbewerbe in Aussicht?

Rafael de Rezende: Nein, ich denke, wir hatten dieses Jahr viel Stress, also lassen wir es bis zum nächsten Jahr ruhen, nehmen uns etwas Zeit zum Entspannen und dann vielleicht im nächsten Jahr.

Kieran Chandler: Ich denke, Sie haben sich wahrscheinlich eine Pause verdient. Das war die Show, und lassen wir es dabei. Vielen Dank für Ihre Zeit. Das war es für diese Woche. Vielen Dank fürs Zuschauen, und wir sehen uns in der nächsten Folge. Bis bald!