00:00:07 Einführung in Kaggle und Gast Rafael de Rezende.
00:00:39 Rafaels Rolle und Hintergrund bei Lokad.
00:01:29 Kaggle und seine Machine-Learning-Wettbewerbe.
00:04:22 Die wettbewerbsorientierte und kollaborative Natur von Kaggle.
00:06:55 Einfluss der Zusammenarbeit auf Kreativität in Kaggle-Wettbewerben.
00:08:02 M5-Wettbewerb und sein Umfang (Umsatzprognose für 30.000 SKUs in Walmart Stores).
00:08:39 Pinball-Verlustfunktion als Bewertungsmaßstab.
00:10:26 Die Teammitglieder und ihre spezifischen Rollen im Wettbewerb.
00:12:05 Der Unterschied zwischen Wettbewerbs-Methodologien und realen Anwendungen.
00:14:25 Analyse der Top-10-Lösungen und deren Leistungsgleichheit.
00:16:00 Diskussion über Betriebskosten und Wartbarkeit von Modellen.
00:17:47 Bedeutung der numerischen Stabilität in realen Szenarien.
00:19:21 Erweiterbarkeit und reale Einschränkungen in Wettbewerbsmodellen.
00:20:35 Mögliche Verbesserungen und zukünftiger Fokus nach dem Wettbewerb.
00:22:14 Bedeutung von domänenspezifischem Wissen und Leistungsvergleich mit dem Stand der Technik.
Zusammenfassung
In einem Interview mit Kieran Chandler diskutieren Joannes Vermorel und Rafael de Rezende von Lokad ihre Teilnahme an einem Kaggle-Wettbewerb zur Umsatzprognose bei Walmart. Sie betonen, wie wichtig es ist, dass Modelle numerisch stabil, wartbar und erweiterbar sind. Trotz der Einschränkungen führte ihr Ansatz zu Ergebnissen, die dem Stand der Technik nahekommen, was ihren Fokus auf praktische, kosteneffektive und wartbare supply chain optimization Methoden bestätigt. Die Erfahrung zeigte die Vorteile, sowohl supply chain als auch data science Experten zu sein. Das Team plant nun, die gewonnenen Erkenntnisse zu nutzen, um Lösungen für ihre Kunden zu verbessern.
Erweiterte Zusammenfassung
In diesem Interview spricht der Moderator Kieran Chandler mit Joannes Vermorel, Gründer von Lokad, und Rafael de Rezende, Head of Product Development bei Lokad. Beide Gäste verfügen über Erfahrungen in der supply chain optimization und bringen ihr Fachwissen in die Diskussion über einen kürzlichen Kaggle-Wettbewerb ein, der sich mit der uncertainty Verteilung der Walmart-Umsätze befasst.
Rafael de Rezende stellt sich als Wirtschaftsingenieur mit einem Hintergrund in der supply chain vor. Er arbeitet seit drei Jahren bei Lokad und seine Rolle hat sich in dieser Zeit weiterentwickelt. Derzeit ist er Head of Product Development und leitet ein Team, das sich mit den „geeky“ Themen von Lokad beschäftigt. Hauptsächlich arbeiten sie an time series Prognosen sowie an multi-scale Bildauflösung und dem MOQ System, das bereits in der Sendung diskutiert wurde.
Joannes Vermorel gibt einen Überblick über den fraglichen Kaggle-Wettbewerb und über Kaggle selbst, und beschreibt es als eine „sehr spezifische Subkultur.“ Kaggle, das nun zu Google gehört, ist eine Organisation, die machine learning Wettbewerbe veranstaltet, bei denen Teilnehmer bestimmte Ergebnisse vorhersagen müssen.
Die Rahmenbedingungen in diesen Wettbewerben sind hochkompetitiv und ziehen Hunderte von Fachleuten an, die mit den neuesten Algorithmen und Veröffentlichungen bestens vertraut sind. Trotz seiner Nischencharakteristik hat Kaggle eine bedeutende globale Präsenz und kann auf über eine Million registrierte Teilnehmer verweisen. Die Konkurrenten sind nicht unbedingt selbst Forscher, sondern darin geübt, die state-of-the-art Algorithmen für ein gegebenes Problem zu identifizieren. Anschließend finden sie kleine Verbesserungen, um sich einen leichten Vorsprung gegenüber anderen zu verschaffen und letztlich den Wettbewerb zu gewinnen.
Laut Vermorel stammen die Kaggle-Sieger typischerweise aus Nordamerika oder Asien, doch weisen sie eine weltweite Teilnehmergemeinschaft auf. Die Übernahme der Plattform durch Google unterstreicht zusätzlich ihre zunehmende Beliebtheit und Bedeutung im Bereich Machine Learning und Data Science.
Vermorel und Rezende schätzen beide die Sport-Analogie, die den Wettbewerb beschreibt. Sie heben den kollaborativen Ansatz der Veranstaltung hervor, bei dem Teilnehmer einander helfen, ihre Fähigkeiten zu verbessern, während sie gleichzeitig den harten Wettbewerb infolge finanzieller Anreize und der Mitwirkung großer Organisationen anerkennen.
Das Lokad-Team war neu in diesem Wettbewerb, verfügte jedoch über vorherige Erfahrungen mit intensiven Wettbewerben im Bereich supply chain management. Rezende räumt ein, dass das Wettbewerbsniveau in diesem Fall weitaus höher lag als bei früheren Herausforderungen, denen sie sich gestellt hatten.
Einige Kritiker argumentieren, dass der kollaborative Charakter des Wettbewerbs die Kreativität behindern könnte, da Teilnehmer möglicherweise ihre eigenen Ideen aufgeben und stattdessen den hoch scorenden Lösungen folgen. Dieser Herdentrieb könnte innovatives Denken einschränken.
Aus Unternehmenssicht freut sich Vermorel, dass das Team am Wettbewerb teilgenommen hat, auch wenn ein Sieg nicht Teil der strategischen Roadmap von Lokad war. Er ist der Ansicht, dass solche Wettbewerbe den Stand der Technik im Bereich klären, ohne ihn grundlegend zu verändern. In diesem speziellen Wettbewerb belegte das von Rezende geleitete Team den sechsten Platz von 909 Teams in einer Umsatzprognose-Herausforderung, die 30.000 SKUs in Walmart Stores über 28 Tage umfasste.
Vermorel findet es interessant, dass in diesem Wettbewerb zum ersten Mal eine pinball loss function als Bewertungsmetrik verwendet wurde, etwas, das Lokad bereits vor Jahren vorgeschlagen hatte. Er erklärt, dass quantile forecasts mit einer gezielten Verzerrung einhergehen, um die Verfügbarkeit von Waren in den Stores sicherzustellen, und einen hohen service level anstreben. Dieser Wettbewerb verwendete ausdrücklich einen quantile forecast, was in diesem Bereich ein Novum darstellte.
Rezendes Team bestand aus vier Personen, jede mit einer spezifischen Rolle. Sie arbeiteten am Kernmodell, analysierten Daten und bauten die Infrastruktur für den Wettbewerb auf. Als Teamleiter konzentrierte sich Rezende darauf, alle motiviert und gemeinsam arbeiten zu lassen.
Das Interview endet mit Rezende, der ihren Ansatz mit einer Sport-Analogie vergleicht und andeutet, dass sie einen einzigartigen oder strategischen Weg im Wettbewerb gewählt haben.
Die Diskussion drehte sich um die Unterschiede zwischen Wettbewerbsmodellen und realen Anwendungen in der supply chain optimization.
Die Teilnehmer verglichen Wettbewerbsmodelle mit Formel-1-Autos, die für bestimmte Rennstrecken feinabgestimmt sind, jedoch für den Alltag unpraktisch wären. Sie stellten fest, dass die in Wettbewerben verwendeten Methoden rechenintensiv und nicht immer für den Einsatz in realen Szenarien geeignet sind. Zum Beispiel benötigten die Top-10-Gewinner eines kürzlich abgehaltenen Wettbewerbs etwa 10 Stunden, um eine kleine Teilmenge der Walmart-Daten zu verarbeiten, was für den realen Betrieb unpraktisch wäre.
Vermorel und de Rezende erklärten, dass Lokad einen anderen Ansatz verfolgte, indem ein theoretischer Rahmen verwendet wurde, der dem täglichen Betrieb ähnelt, mit nur geringfügigen Anpassungen für Wettbewerbszwecke. Sie betonten die Bedeutung, zunächst supply chain-Profis zu sein und dabei ihre Erfahrung und Intuition einzubringen, um Entscheidungen zu treffen.
Die Interviewpartner wiesen auch darauf hin, dass die Top-10-Lösungen im Wettbewerb numerisch sehr nah beieinander lagen, mit nur geringen Leistungsunterschieden. Sie identifizierten drei zentrale Aspekte, die Wettbewerbsmodelle von realen supply chain-Lösungen unterscheiden: Betriebskosten, Wartbarkeit und Anpassungsfähigkeit an unvollkommene Bedingungen. Der Ansatz von Lokad hingegen konzentrierte sich darauf, die Rechenkosten zu minimieren und die Wartbarkeit zu gewährleisten, während gleichzeitig reale Hindernisse und Unvollkommenheiten berücksichtigt wurden.
Insgesamt unterstrich die Diskussion die Notwendigkeit praktischer, kosteneffektiver und wartbarer supply chain optimization Methoden, die in realen Szenarien anwendbar sind, anstatt rein theoretischer oder wettbewerbsorientierter Ansätze.
Sie sprechen über die Bedeutung von Modellen, die numerisch stabil, wartbar und erweiterbar sind. Numerische Stabilität stellt sicher, dass die Modelle mit unvollständigen Daten umgehen können, ohne stark ungenaue Ergebnisse zu liefern. Wartbarkeit bedeutet, dass das Modell auch unter weniger idealen Bedingungen gut funktioniert. Erweiterbarkeit ermöglicht es, zusätzliche Faktoren wie Lagerbestände und zukünftige promotions in das Modell zu integrieren.
Das Team nahm an einem forecasting competition teil, der die Bedeutung von domänenspezifischem Wissen in der supply chain optimization hervorhob. Trotz Einschränkungen, die nichts mit forecasting accuracy zu tun hatten, gelang es ihnen, Ergebnisse nahe dem Stand der Technik zu erzielen. Die Herausforderung bestätigte ihren Ansatz und bewies, dass ihre Modelle wettbewerbsfähig, gleichzeitig schlank, wartbar und erweiterbar sind.
Nach dem Wettbewerb liegt der Fokus nun darauf, die gewonnenen Erkenntnisse und Verbesserungen im gesamten Lokad-Team umzusetzen, um sicherzustellen, dass diese schnell für deren Kunden implementiert werden können. Die Erfahrung verdeutlichte auch die Vorteile, sowohl supply chain als auch Data Science-Experten zu sein, anstatt ausschließlich Data Science-Experten.
Gesamtes Transkript
Kieran Chandler: Heute freuen wir uns, dass uns einer unserer Kollegen, Rafael de Rezende, begleitet. Er wird uns über einen kürzlichen M5-Wettbewerb berichten, der sich mit der Unsicherheitsverteilung der Walmart-Umsätze beschäftigt hat. Also, Rafael, vielen Dank, dass du den Weg hierher gefunden hast.
Rafael de Rezende: Es ist großartig, hier zu sein. Vielleicht kann ich euch ein wenig mehr über mich und meinen Hintergrund erzählen. Ich arbeite seit drei Jahren hier bei Lokad. Ich habe einen Hintergrund in der supply chain, bin Wirtschaftsingenieur, und während meiner Zeit hier bei Lokad hat sich meine Rolle erheblich verändert. Momentan bin ich Head of Product Development bei Lokad, und mein Team und ich befassen uns mit den sehr geeky Themen von Lokad. Wir arbeiten an time series forecasting, Bildauflösung und MOQs, über die hier in der Sendung bereits gesprochen wurde.
Kieran Chandler: Super, und Joannes, heute sprechen wir über einen aktuellen Kaggle-Wettbewerb, der sich ganz der Unsicherheitsverteilung der Walmart-Umsätze widmete. Vielleicht kannst du uns einen Überblick über die eigentliche Herausforderung und Kaggle selbst geben?
Joannes Vermorel: Ja, und vielleicht auch ein bisschen über Kaggle an sich. Es ist eine sehr spezielle Subkultur. Kaggle ist eine ziemlich große Organisation, die von Google übernommen wurde. Was Kaggle organisiert, sind machine learning Wettbewerbe, bei denen man etwas vorhersagen oder prognostizieren muss. Um einen Wettbewerb aufzusetzen, benötigt man einen Datensatz, um etwas zu prognostizieren, und große Preise. Für den Wettbewerb, über den wir sprechen, gab es 100.000 $ an Preisen. Es ist eine sehr wettbewerbsintensive Umgebung mit Hunderten von Menschen, die darin wahre Profis sind. Es ist gewissermaßen wie ein Spitzensport.
Die Community, die Kaggle-Wettbewerbe gewinnt, besteht typischerweise nicht aus Forschern, sondern aus Leuten, die sehr gut darin sind, herauszufinden, was der Stand der Technik ist. Sie schauen sich all die Dinge an, die ständig veröffentlicht werden, und ermitteln, welches der Stand der Technik ist. Dann müssen sie noch einen kleinen Extra-Zauber dazugeben, um einen kleinen zusätzlichen Genauigkeitsvorsprung zu erzielen, der ihnen zum Sieg verhilft. Sie müssen ein winziges Detail finden, das ihnen einen kleinen Vorteil verschafft, und dann sind sie allen anderen voraus. Es ist eine sehr spezifische Subkultur und sie ist riesig. Kaggle hat mehr als 1 Million registrierte Teilnehmer aus der ganzen Welt, auch wenn die Gewinner in der Regel aus Nordamerika oder Asien kommen.
Kieran Chandler: Ich meine, es wurde von Google gekauft, also ist es definitiv im Aufschwung. Joannes erwähnte die Analogie, dass es wie ein Sportereignis sei, bei dem Data Scientists konkurrieren, aber auch zusammenarbeiten, was ich für eine wirklich schöne Analogie halte. Also, lasst uns ein bisschen mehr über die eigentliche Herausforderung sprechen. Was waren die größten Herausforderungen, denen ihr gegenüberstandet, und gegen wen hattet ihr anzutreten?
Joannes Vermorel: Ich finde, die Sport-Analogie passt wirklich gut. Ich meine, Kaggle fühlt sich tatsächlich wie ein Sport an. Was an Kaggle schön ist, ist der sehr kollaborative Ansatz, bei dem sich die Leute gegenseitig helfen und beträchtliche Zeit investieren, um anderen zu helfen, sich zu verbessern. Das geschieht gleichzeitig mit dem harten Wettbewerb, weil Geld im Spiel ist und große Organisationen entweder sponsorieren oder genau beobachten, was man tut. Wir waren Kaggle-Neulinge, aber unser Team hatte bereits in irgendeiner Form an Wettbewerben teilgenommen, bei denen Kunden unsere Lösungen in der supply chain management herausgefordert haben. Allerdings war das nicht auf dem gleichen Niveau wie bei Kaggle. Bei Kaggle hatten wir 900 Teams, während wir zuvor vielleicht gegen zwei oder drei andere Teams antraten. Jeder bemühte sich wirklich, einander noch mehr zu helfen als bei Kaggle.
Rafael de Rezende: Eine interessante Sache an Kaggle’s kollaborativer Seite ist, dass viele Leute kritisieren, dass dies die Kreativität behindern könnte. Was oft passiert, ist, dass einige Leute eine Lösung veröffentlichen, die anfangs gut abschneidet, und plötzlich beginnen viele andere Teams, ihr zu folgen und das, was sie zuvor taten, aufzugeben. Es entsteht ein Herde-Effekt, und alle gehen in dieselbe Richtung. Der kollaborative Aspekt ist vorteilhaft, aber ich muss denen zustimmen, die sagen, dass er gelegentlich die Kreativität einschränkt.
Kieran Chandler: Wie siehst du das aus Unternehmenssicht? Ihr arbeitet in eurer Freizeit. Was hältst du davon?
Joannes Vermorel: Ich freue mich sehr, dass sie es getan haben. Es war nie Lokads Strategie, diese Wettbewerbe zu gewinnen. Ich habe in den frühen Jahren von Lokad einige mit weitaus weniger Erfolg gemacht, aber ich stellte fest, dass diese Wettbewerbe den Stand der Technik nicht grundlegend verändern. Sie verdeutlichen, was der Stand der Technik ist, was sehr gut ist. Zum Beispiel war dieser Wettbewerb, bei dem Rafaels Team von 909 Teams den sechsten Platz belegte, als ein Wettbewerb zur Nachfrageprognose gedacht, der sich jedoch – weil Fehlbestände nicht richtig herausgerechnet wurden – zu einem Verkaufsprognose-Wettbewerb entwickelte. Also prognostizierten sie Verkäufe, nicht die Nachfrage. Es war ein Wettbewerb zur Nachfrageprognose für 30.000 SKUs in Walmart-Filialen über 28 Tage. Diese Wettbewerbe zeigen den Stand der Technik, verändern ihn aber nicht grundlegend.
Kieran Chandler: Es ist sehr interessant, dass in diesem Wettbewerb zum ersten Mal, soweit ich weiß, eine Pinball-Verlustfunktion als Metrik zur Bewertung des Siegers verwendet wurde. Das ist ziemlich obskur, weißt du? Das ist buchstäblich die Metrik, die zur Messung der Genauigkeit verwendet wird.
Joannes Vermorel: Ich glaube, dass Lokad 2012 als erster vorschlug, dass supply chain Prognosen auf Quantilprognosen umgestellt werden müssen. Tatsächlich sagten wir später, dass wir auf probabilistische Prognosen umsteigen und noch mehr Dinge tun müssten. Vor acht Jahren stellten wir fest, dass dieser Übergang notwendig sei. Übrigens sind diese Prognosen sehr ungewöhnlich, weil sie absichtlich mit einem Bias versehen sind. Für das Publikum, das vielleicht ein wenig verwirrt ist: Warum sollte man überhaupt absichtlich einen Bias in eine Nachfrageprognose einbauen? Die Antwort lautet: In Geschäften möchte man die Verfügbarkeit von Waren sicherstellen. Man will nicht, dass durchschnittlich die Hälfte der Zeit die gesuchten Produkte nicht vorhanden sind. Das ist nicht das Ziel. Man möchte, dass die Kunden normalerweise einen Service-Level von etwa 98% haben, bei dem in der Regel das Gesuchte im Laden vorhanden ist. Somit möchte man eine Prognose mit Bias, und diese Technik ist als Quantilprognose bekannt. Dieser Wettbewerb war sehr interessant, weil es das erste Mal war, dass ein öffentlicher Wettbewerb explizit als Quantilprognose deklariert wurde.
Rafael de Rezende: Dann muss man die Technologie und die Werkzeuge entwickeln, um dieses Problem zu lösen. Ich bin sehr froh und stolz, dass es meinem Team gelungen ist, in einem derart harten Wettbewerb den sechsten Platz zu belegen.
Kieran Chandler: Lass uns ein wenig mehr über euer Team sprechen. Du hast erwähnt, dass du mit einem Team gearbeitet hast. Wie viele Personen waren in diesem Team und wer waren die anderen, mit denen du zusammengearbeitet hast?
Rafael de Rezende: Wir waren ein Team von vier. Es waren ich und drei Designer von Lokad. Einer arbeitet nicht mehr hier, kam aber dennoch von hier. Jeder hatte eine sehr spezifische Rolle im Team. Huggy arbeitete mit mir am Kernmodell und konzentrierte sich auf die kleinen mathematischen Details, wie wir das Problem angehen wollten. Catarina brachte ihre Geschäftsperspektive ein, analysierte die Daten und identifizierte die wichtigsten Punkte, die wir berücksichtigen sollten, um sicherzustellen, dass wir alles korrekt modellieren. Schließlich war da Marine, die etwa 80% der eigentlichen harten Arbeit leistete. Sie arbeitete diesmal als Data Engineer und baute unsere eigene Infrastruktur für den Wettbewerb auf. Meine Rolle bestand darin, alle zusammenzubringen und die Motivation hoch zu halten.
Kieran Chandler: Kannst du etwas mehr über den Ansatz erzählen, den ihr verfolgt habt? Wie unterschied er sich von anderen Methodologien? Was war anders?
Rafael de Rezende: Ich denke, ein gutes Beispiel ist der Vergleich mit der Formel 1. Wenn man ein Formel-1-Auto mit einem normalen Auto vergleicht, wird man feststellen, dass es nicht exakt dasselbe Auto ist, das man im Laden kauft. Es sind zwar beide Autos, aber sie sind nicht gleich. Bei diesem Wettbewerb neigen die Leute dazu, mehr oder weniger auf die gleiche Weise zu arbeiten. Sie entwickeln Methoden, die extrem rechenintensiv sind, was zwar für den Wettbewerb großartig ist, aber dennoch nicht exakt das liefert, was man tatsächlich bekommen würde, wenn man das Produkt kauft. Es könnten einige Änderungen notwendig sein. Zum Beispiel nutzten die meisten der Top-Ten-Gewinner Methoden, deren Berechnungszeit selbst für einen relativ kleinen Datensatz von Walmart sehr lang war. Es war komplett absurd, wie zehn Stunden nur für einen sehr kleinen Datensatz. Also,
Kieran Chandler: Wir haben es in eine andere Richtung gelenkt, was wir taten, und ich denke, diese Idee war von Anfang an wirklich präsent. Wir wollten das gleiche theoretische Rahmenwerk, das wir hier täglich anwenden, auf die Rennstrecke übertragen. Tatsächlich sind die meisten Dinge, die wir nutzen, nicht weit entfernt von dem, was wir im Alltag tun. Natürlich haben wir das Auto womöglich modifiziert, um eine Art kleineres Rennkonzept zu ermöglichen – einige Anpassungen vorgenommen, den Rücksitz entfernt usw., um es leistungsorientierter zu machen. Aber wenn du wirklich prüfst, was wir getan haben und was die anderen hier machen, müsstest du ein Experte sein, um den tatsächlichen Unterschied zu erkennen.
Rafael de Rezende: Also sagst du, dass, rechnerisch gesehen, weil es nur etwa 30.000 SKUs gab, einige der anderen Ansätze funktionierten, aber wenn sie im großen Maßstab wären, wäre es viel herausfordernder, sie in der realen Welt einzusetzen. Ich denke, so ist das. Ich sage nicht, dass sie in der realen Welt nicht funktionieren würden; ich denke, es wäre kompliziert. Ich meine, es gibt viel Wartungsaufwand. Wir verwendeten niedrigdimensionale Methoden, die seit langem bekannt sind, aber der Weg, wie wir das Problem gelöst haben, kam nicht aus der Perspektive der Data Science. Wir waren in erster Linie supply chain Experten. Wir brachten alles ein, was wir über supply chains wissen, und unsere Intuition über das Problem, weil wir bereits viele interne Wettbewerbe durchlaufen haben und wissen, wie sich Dinge verhalten – und genau das haben wir dort in den Vordergrund gestellt.
Kieran Chandler: Was waren deine Gedanken zu diesem Ansatz, und vielleicht könntest du einen groben Überblick darüber geben, wie du es aus deiner Perspektive gesehen hast?
Joannes Vermorel: Es ist sehr interessant, denn in den Top 10 – es traten insgesamt 909 Teams an – habe ich nicht alle Lösungen betrachtet, sondern nur die Top 10. Es gab also Teams, die besser waren als Lokad, und solche, die schlechter waren. Besonders interessant ist, dass, wenn man sich die Top 10 Lösungen anschaut, diese numerisch unglaublich eng beieinander liegen. Von Platz eins bis Platz zehn ist es nahezu nichts. Ich glaube, wir lagen etwa 0,01% hinter dem Team, das den fünften Platz belegte, und das Team auf Platz sieben lag ebenfalls etwa 0,01% zurück. Das Team, das den ersten Platz belegte, war um ein paar Prozent vorne, aber insgesamt war es dennoch unglaublich knapp.
Jetzt denke ich, dass es mindestens drei Blickwinkel gibt, in denen diese Wettbewerbe nicht widerspiegeln, was man in der realen supply chain Welt benötigt. Und ich denke, der Unterschied zwischen einem Formel-1-Auto und einem Auto, das lediglich für das Rennen getunt wurde, ist in dieser Hinsicht sehr treffend. Es gab tatsächlich drei wesentliche Bedenken.
Zuerst waren da die Betriebskosten, die allein für die Ergebniserzielung anfallen. Unter den Top-10-Methoden war Lokad das einzige, das keine verrückt hohen Rechenkosten hatte. Und nochmals: Stell dir ein Auto vor, das etwa 50 Liter pro 100 Kilometer verbraucht. Das wäre etwa zehnmal so teuer wie jedes Auto, das so viel Treibstoff verbraucht wie ein Truck. Ich meine, wenn man alle 20 Minuten einen Boxenstopp einlegen kann, ist das schon in Ordnung, aber ansonsten nicht. Und übrigens, mit Cloud Computing sind diese Kosten sehr real. Wenn man tausend Server mieten muss, kostet das eine Menge Geld.
Das Zweite ist die Wartbarkeit. Die Rahmenbedingungen sind zum Beispiel, wenn man sich diese Formel-1-Analogie anschaut, die ich für ausgezeichnet halte: Ein Formel-1-Auto ist super, weil es auf Strecken fährt, bei denen die Straße perfekt ist.
Kieran Chandler: Es ist, als ob du versuchen würdest, ein Formel-1-Auto in Paris zu fahren. Zum Beispiel würde bereits die Feuchtigkeit auf den Bürgersteigen das Auto beschädigen. Das Auto darf nicht mehr als eine Unebenheit von, naja, mehr als ein paar Zentimetern erleiden, da das Formel-1-Auto so nah am Boden liegt. Es ist buchstäblich einen Zentimeter vom Boden entfernt. Also, wenn du ein Hindernis hast, würde das Auto tatsächlich beschädigt werden. Natürlich, wenn du dich für ein normales Auto entscheidest, hast du etwas mehr Spielraum und bist nicht komplett am Boden kleben. Du fährst zwar nicht so schnell, aber rate mal: Wenn deine Straße etwas holpriger ist, kommst du mit den Hindernissen klar.
Joannes Vermorel: Also, diese Modelle, von denen ich spreche, müssen, was die numerische Stabilität angeht, so beschaffen sein, dass wenn deine Daten nicht perfekt sind, wenn hier und da etwas fehlerhaft ist, dein Modell nicht ausflippt und du nicht am Ende völlig verrückte Ergebnisse erhältst – was dem entsprechen würde, als würde dein Formel-1-Auto völlig von der Strecke abkommen. Wartbarkeit bedeutet, dass selbst bei suboptimalen Bedingungen das System relativ vernünftig und konservativ bleibt, was wiederum bedeutet, dass es funktioniert.
In diesem Wettbewerb kann man Leute haben, die buchstäblich hunderte Stunden damit verbringen, alles perfekt zu machen – wie bei einer Rennstrecke. Aber in der realen Welt passiert ständig etwas, es ist chaotisch, und die Straßen sind nicht perfekt. Das übersetzt sich in die Tatsache, dass numerische Stabilität sehr wichtig ist, sodass Modelle numerisch stabil sind, vielleicht etwas weniger genau, damit, wenn etwas Müll dabei ist – du kennst sicher das Sprichwort aus dem Data Mining: “garbage in, garbage out” – aber die Realität ist, dass immer ein bisschen Müll dabei ist, sodass du etwas brauchst, das nicht ausflippt, wenn ein bisschen Müll vorhanden ist.
Das Letzte, was in diesem Wettbewerb völlig fehlte, ist die Erweiterbarkeit. Die Realität ist, dass beispielsweise in diesem Wettbewerb keine Lagerbestände vorhanden waren und auch zukünftige Promotionen fehlten. Das Team musste 28 Tage im Voraus prognostizieren. Sie hatten die Preishistorie, aber keine zukünftigen Preise für den Prognosezeitraum von 28 Tagen. Im Grunde wussten sie also nichts über zukünftige Promotionen. Wenn wir aber eine reale Situation hätten, müssten wir Lagerbestände, zukünftige Promotionen und wahrscheinlich auch Regalbegrenzungen einbeziehen, die angeben, wie viel Ware tatsächlich im Regal gelagert werden kann. Das sind Einschränkungen, und außerdem wäre – sagen wir mal – der Verlust, der zur Bewertung der Genauigkeit verwendet wurde, ein Pinball-Verlust, aber die Realität ist, dass allerlei Nichtlinearitäten auftreten können.
Kieran Chandler: Und was sind deine Gedanken, jetzt wo der Wettbewerb vorbei ist? Joannes erwähnte, dass es wirklich feine Differenzen von 0,1% gibt. Unter die Top fünf zu kommen, muss ziemlich frustrierend sein. Hast du Ideen, wie ihr euch hättet verbessern können?
Joannes Vermorel: Wir hatten viele Dinge, die wir im Wettbewerb nicht ausprobiert haben. Irgendwann erreicht man die Deadline und muss sagen: “Okay, das war’s. Los geht’s.” Natürlich gibt es viele Ideen, die wir hätten verbessern können. Ich glaube nicht, dass dies momentan der nächste Schwerpunkt sein wird. Der Hauptfokus liegt darauf, die wenigen Verbesserungen, die wir erzielt haben, auf das gesamte Team, auf alle anderen Wissenschaftler zu übertragen und sicherzustellen, dass diese Erkenntnisse schnell für all unsere Kunden reproduziert werden.
Rafael de Rezende: Bei Walmart ist das übrigens nicht der Fall. Also werden wir all die Dinge, die wir gelernt haben, übernehmen und so schnell wie möglich in die Praxis umsetzen, insbesondere, indem wir das Wissen mit anderen teilen, damit wir mehr Kunden helfen können.
Kieran Chandler: Schön. Und was ist mit dir, Joannes? Ist dir etwas aufgefallen, das das Team gemacht hat und das du für besonders nützlich für die Zukunft hältst?
Joannes Vermorel: Ehrlich gesagt, war es großartig. Es hat so vieles an unserem Ansatz validiert. Wenn ich sage, wir müssen ein Modell haben, das super schlank, wartbar und erweiterbar ist, dann haben wir viele Einschränkungen, die völlig unabhängig von der Prognosegenauigkeit sind. Die Frage ist: Wenn man diese Einschränkungen berücksichtigt, wie weit entfernt ist man dann vom Stand der Technik? Vielleicht wäre die Schlussfolgerung gewesen, dass unsere Modelle gute Eigenschaften haben, wartbar und erweiterbar sind, aber sie liegen Lichtjahre entfernt von dem, was mit dem Stand der Technik möglich ist. Die Schlussfolgerung ist das genaue Gegenteil: Wir liegen tatsächlich nur um Haaresbreite hinter dem Stand der Technik.
Rafael de Rezende: Ich möchte hinzufügen, dass es ein supply chain Wettbewerb war. Es ist schön zu wissen, dass dein Fachwissen tatsächlich hilfreich ist. Wir traten überwiegend gegen Leute an, die keine supply chain Experten, sondern Data Science Experten waren. Wir waren der supply chain Anbieter, der zufällig auch Data Science Experten waren, die im Feld agierten, und das könnte uns im Wettbewerb unterschieden haben.
Kieran Chandler: Großartig. Und, Rafael, was steht als Nächstes für dich an? Hast du noch weitere Wettbewerbe in Aussicht?
Rafael de Rezende: Nein, ich denke, wir hatten dieses Jahr viel Stress, daher lassen wir es bis zum nächsten Jahr, gönnen uns etwas Erholung und dann vielleicht im nächsten Jahr.
Kieran Chandler: Ich denke, ihr habt euch eine Pause verdient. Das war die Sendung, und damit belassen wir es. Vielen Dank für eure Zeit. Das war’s für diese Woche. Vielen Dank fürs Einschalten, und wir sehen uns in der nächsten Episode wieder. Tschüss und bis bald!
