Ein halbes Jahrhundert der Prognosewissenschaft (mit Spyros Makridakis)

00:00:08 Einführung und Spyros Makridakis’ Hintergrund.
00:01:36 Skepsis gegenüber statistischen Prognosen in den frühen Tagen.
00:04:44 Die Entwicklung der Prognosen im Einzelhandel und bei Konsumgütern.
00:05:44 Ergebnisse von Spyros’ ersten Prognose-Studien.
00:07:21 Der M5-Wettbewerb und seine Bedeutung für die Prognosebranche.
00:08:01 Lokads Leistung in einem Prognosewettbewerb.
00:09:01 Einfache Modelle und ihre Wirksamkeit im Wettbewerb.
00:10:20 Die Entwicklung von Prognosetechniken im Laufe der Jahre.
00:11:46 Einführung von Computern und deren Einfluss auf die Prognosen.
00:14:32 Testfall im Vergleich zur realen Anwendung und methodologischer Verzerrung.
00:16:00 Diskussion über die Herausforderungen bei der Vorhersage unregelmäßiger Zeitreihen.
00:17:20 Wandel in der Wahrnehmung von Prognosen als Wissenschaft.
00:18:28 Das Problem von Übervertrauen und unrealistischen Erwartungen bei Prognosen.
00:21:00 Umgang mit Unsicherheiten und Fat-Tail-Ereignissen in Prognosen.
00:23:01 Strukturierte Vorannahmen in Prognosemodelle einfließen lassen, um extreme Ereignisse zu berücksichtigen.
00:24:00 Diskussion über den Einfluss von Tail-Ereignissen auf Prognosemodelle.
00:24:46 Strukturierte Vorannahmen einfließen lassen für robustere supply chain Entscheidungen.
00:25:52 Empfehlung von Nassim Talebs Werk zum Verständnis von Black-Swan-Ereignissen.
00:26:35 Errungenschaften der M-Wettbewerbe: Einfachheit, Verständnis von Unsicherheit und Risikomanagement.

Zusammenfassung

In diesem Interview diskutiert Kieran Chandler Prognosen mit Joannes Vermorel, Gründer von Lokad, und Spyros Makridakis, Professor an der Universität von Nikosia. Sie untersuchen die Auswirkungen der M-Wettbewerbe, die Effektivität einfacher Methoden und die Rolle von uncertainty bei Prognosen. Vermorel teilt seine Erfahrungen im M5-Wettbewerb und betont die Kraft einfacher Modelle sowie die Bedeutung des Verständnisses von Unsicherheit. Makridakis hebt die Bedeutung empirischer Belege und die Notwendigkeit hervor, auf Risiken vorbereitet zu sein. Beide betonen die Grenzen der Prognose und die Herausforderung, Kunden die Akzeptanz von Unsicherheit zu vermitteln.

Erweitete Zusammenfassung

In diesem Interview spricht der Moderator Kieran Chandler mit den Gästen Joannes Vermorel, Gründer von Lokad, und Spyros Makridakis, Professor an der Universität von Nikosia und Organisator der M-Wettbewerbe. Die Diskussion dreht sich um die Prognosewissenschaft und den Einfluss der M-Wettbewerbe auf die Branche.

Spyros Makridakis teilt seinen Hintergrund als Lehrer und Organisator der M-Wettbewerbe, die sowohl in der Wissenschaft als auch in der Industrie Einfluss auf Prognosen genommen haben. Das Interview wird später tiefer in die M5-Wettbewerbe eintauchen.

Joannes Vermorel erörtert die Skepsis, auf die er bei der Gründung von Lokad im Jahr 2007 stieß, als einige Menschen glaubten, dass statistical forecasting unzuverlässig sei. Mit der Zeit ist diese Sichtweise in der Branche weitgehend verschwunden, und Vermorel schreibt Makridakis’ M-Wettbewerben zu, das Feld als wissenschaftliche Aufgabe zu normalisieren.

Makridakis hebt die Bedeutung der Prognose hervor, indem er die aktuelle Situation in Texas erwähnt, wo die Supermärkte leergefegt sind. Er erklärt, dass die Verbraucher in den meisten Fällen finden, was sie benötigen, weil Unternehmen wie Walmart und Target wöchentlich Millionen von Artikeln vorhersagen. Wenn es zu shortages kommt, zeigt das tatsächlich, wie effektiv Prognosen sind, da die Menschen nur dann auf Probleme aufmerksam werden, wenn etwas schiefgeht.

Makridakis erinnert sich auch an seine frühe Karriere, als er die erste Studie über die accuracy verschiedener forecasting methods durchführte. Die Ergebnisse, die zeigten, dass einfache Methoden genauer waren als ausgefeilte und dass die Kombination von Methoden die Genauigkeit verbesserte, waren überraschend und stießen zunächst auf Skepsis. Diese Erkenntnisse haben sich jedoch mittlerweile bewährt und die Prognosebranche stark beeinflusst.

Sie diskutieren Prognosetechniken, den M5-Wettbewerb und wie die Technologie das Feld beeinflusst hat.

Makridakis erklärt, dass neue Prognosetechniken unter Verwendung von deep learning darin bestehen, eine große Anzahl von Modellen zu generieren und den Median als beste Vorhersage zu wählen. Vermorel teilt seine Erfahrungen aus dem M5-Wettbewerb und merkt an, dass Lokad von 909 Teams den 6. Platz im Bereich quantile forecasting belegte. Er hebt das Fehlen ihrer Hauptwettbewerber in den Top 100 sowie die Diskrepanz zwischen Marktanteil und Leistung in solchen Wettbewerben hervor.

Vermorel weist darauf hin, dass Lokad ein sehr einfaches parametrisches Modell verwendete, was die Stärke einfacher Methoden in der Prognose demonstriert. Zudem betont er, dass Genauigkeit nicht der einzige wichtige Aspekt bei Prognosen ist; das Verständnis der Struktur von Unsicherheit ist ebenso entscheidend. Makridakis stimmt zu und fügt hinzu, dass die Ergebnisse des M5-Wettbewerbs zeigten, dass einfache machine learning Methoden genauer und effektiver waren als ausgefeilte.

Das Gespräch wendet sich der Einführung von Computern in der Prognose zu, wobei Makridakis erklärt, dass der Schlüssel zum Erfolg in der Einfachheit liegt. Er beschreibt die Wichtigkeit, Prognosedaten in Trainings- und Testabschnitte zu unterteilen, um ein overfitting der Vergangenheit zu vermeiden und Veränderungen zwischen Vergangenheit und Zukunft zu berücksichtigen. Vermorel stimmt zu und hebt die Herausforderung hervor, Daten, die noch nicht verfügbar sind, genau vorherzusagen, sowie die Bedeutung, nicht anzunehmen, dass die Zukunft exakt wie die Vergangenheit sein wird.

Sie erörtern die Entwicklung der Prognosen, die Wichtigkeit, Daten nicht zu überanpassen, und die Bedeutung von Unsicherheit in Vorhersagen.

Vermorel erläutert die Entwicklung der Prognosetheorie am Ende des 20. Jahrhunderts, wobei die Arbeiten von Vapnik und Chervonenkis zum Konzept der Support Vector Machines beitrugen. Diese Maschinen machten deutlich, dass sowohl strukturelle als auch empirische Fehler minimiert werden müssen und lieferten gleichzeitig eine Untergrenze für den tatsächlichen Fehler.

Makridakis betont die Bedeutung von Wettbewerben, bei denen ein Teil der Daten zurückgehalten wird, um eine saubere Methodik für Prognosen zu etablieren. Er stellt dies realen Szenarien gegenüber, in denen die Versuchung besteht, Daten zu überanpassen, um eine perfekte Übereinstimmung mit vergangenen Ereignissen zu erzielen, was zu weniger genauen zukünftigen Vorhersagen führen kann.

Vermorel teilt ein Beispiel aus seiner Zeit bei Lokad, bei dem Kunden oft von der geglätteten Vorhersage für unregelmäßige time series überrascht waren, wie etwa dem Alkoholkonsum in Hypermärkten. Wettbewerber präsentierten häufig Vorhersagen, die die unregelmäßige Natur der historischen Daten nahezu exakt wiedergaben, was die Kunden skeptisch gegenüber Lokads geglätteten Prognosen machte.

Makridakis diskutiert den Wandel in der Wahrnehmung von Prognosen als Wissenschaft, indem er die Bedeutung der Trennung von Vergangenheit und Zukunft und den Verzicht auf Überanpassung vergangener Daten betont. Er hebt die Wichtigkeit hervor, Unsicherheit in Vorhersagen zu berücksichtigen, und räumt ein, dass Kunden diesen Aspekt möglicherweise nicht schätzen, er aber für realistische Prognosen unerlässlich ist.

Die Diskussion drehte sich um die Erwartungen an Prognosen. Vermorel weist darauf hin, dass einige Wettbewerber im Einzelhandel übertriebene Behauptungen hoher Genauigkeit aufstellen, was angesichts des Verbraucherverhaltens unpraktisch ist. Dies wirft die Frage auf, ob die Menschen heutzutage zu viel von Prognosen erwarten und sie als unfehlbar ansehen.

Das Gespräch dreht sich um Prognosen, die Einschränkungen und Herausforderungen in diesem Bereich sowie den Einfluss von Unsicherheit und seltenen Ereignissen auf supply chain optimization.

Die Teilnehmer diskutieren, wie einige Anbieter und Berater dazu neigen, die Vorstellung von unglaublich genauen Prognosen zu überverkaufen, was zu unrealistischen Erwartungen der Nutzer führt. Sie betonen, dass Prognosen nicht perfekt sind und dass Unsicherheit inhärent ist, besonders im Einzelhandel. Makridakis weist darauf hin, dass es nicht nur normale Unsicherheit gibt, sondern auch “fat tail”-Unsicherheit, die aus seltenen und extremen Ereignissen besteht, die erhebliche Disruptionen verursachen können, wie etwa die COVID-19-Pandemie.

Vermorel stimmt dem Thema zu, dass Berater zu viel versprechen, und teilt mit, dass die Herausforderung in der probabilistischen Prognose nicht im technischen Aspekt liegt, sondern darin, die Akzeptanz von Unsicherheit und die Grenzen der Kontrolle zu vermitteln. Er erklärt, dass einfache Prognosemodelle nützlich sein können, um strukturierte Vorannahmen einfließen zu lassen, um Tail-Ereignisse zu berücksichtigen – auch wenn die Quantifizierung vage ist. Dadurch können supply chain decisions zu robusteren und resilienteren Lösungen in Anbetracht seltener Ereignisse geführt werden.

Makridakis betont die Bedeutung empirischer Belege, um zu bestimmen, was in der Prognose funktioniert und was nicht. Durch die M-Wettbewerbe hat man festgestellt, dass Einfachheit am besten funktioniert, wobei die Zufälligkeit und Unvorhersehbarkeit der Vergangenheit anerkannt wird. Er unterstreicht die Wichtigkeit, die mit Prognosen verbundene Unsicherheit und Risiken zu erkennen und darauf vorbereitet zu sein.

Im Interview werden die Herausforderungen und Begrenzungen von Prognosen, die Rolle der Unsicherheit in Entscheidungsprozessen und die Bedeutung der Einbeziehung seltener Ereignisse in die supply chain optimization thematisiert.

Volles Transkript

Kieran Chandler: Wenn es um Prognosen geht, nehmen wir oft als selbstverständlich an, dass es erprobte und bewährte Techniken gibt, die über Generationen hinweg getestet wurden. Allerdings hatte einer unserer heutigen Gäste, Spyros Makridakis, diesen Luxus nicht – als einer der Vorväter der Branche hat er viele der Techniken erfunden, die wir heute als Standard verwenden. Heute werden wir ein wenig mehr über seine Karriere und die Lehren aus über 50 Jahren Branchenerfahrung erfahren. Also, Spyros, vielen Dank, dass du heute live aus Zypern zugeschaltet bist. Und wie immer beginnen wir damit, ein wenig mehr über unsere Gäste zu erfahren. Vielleicht kannst du uns also ein wenig mehr über dich erzählen.

Spyros Makridakis: Nun, wie Sie wissen, war ich lange Zeit Lehrer, und dort begann ich mit der Arbeit an Prognosen. Dann habe ich diesen Bereich verlassen, und als ich vor 15 Jahren in den Ruhestand trat, fand ich mich in Zypern an der Universität wieder, da wir weitermachen. Und ich weiß, dass Ihre Unternehmen an sowohl den M4- als auch den M5-Wettbewerben teilnehmen, etwas, das ich in den letzten 40 Jahren organisiert habe. So kennen Sie meinen Beitrag und wie die M-Wettbewerbe, die für Makridakis-Wettbewerbe stehen, die Prognosebranche sowie die Unternehmen und Akademiker, die die Erkenntnisse nutzen, beeinflusst haben.

Kieran Chandler: Hervorragend! Wir werden später ein wenig über die M5-Wettbewerbe sprechen. Vielleicht blicken wir im ersten Teil auf die letzten 50 Jahre der Prognosewissenschaft zurück, denn es gibt heute einiges zu besprechen. Joannes?

Joannes Vermorel: Ja, es ist interessant, dass, als ich Lokad gründete und 2007 das Unternehmen ins Leben rief, es immer noch Menschen gab, die der Idee der statistischen Prognose jeglicher Art stark skeptisch gegenüberstanden. Es war sehr merkwürdig, denn damals fragte ich mich selbst, ob ich meine Promotion im Bereich Machine Learning, die ich begonnen hatte, aber nie abgeschlossen habe, fortsetzen sollte oder ob ich mit Lokad, diesem Projekt, weitermachen sollte. Als ich mich das erste Mal bei einem Startup-Inkubator bewarb, wurde meine Bewerbung abgelehnt, weil zwei Personen in der Jury fest daran glaubten, dass statistische Prognosen schlichtweg völliger Unsinn seien. Es war buchstäblich so: “Nein, wir akzeptieren keine Startups, deren Geschäftsmodell im Grunde darin besteht, Wahrsagerei zu verkaufen.” Sicher, man kann mit Wahrsagerei Geld verdienen; das machen die Menschen seit Ewigkeiten. Aber sind wir damit einverstanden, dass ein solches Unternehmen überhaupt in den Inkubator aufgenommen wird? Die Antwort war ein klares Nein. Das Lustige daran ist, dass es im Wesentlichen die letzte Generation war. Ich glaube, in dem Jahrzehnt, in dem ich Lokad leite, gibt es in dieser Branche praktisch niemanden mehr, der diesen Glauben hegt. Es ist wirklich amüsant; es war buchstäblich Wissenschaft in Aktion.

Kieran Chandler: Joannes und Spyros, danke, dass ihr heute dabei seid. Joannes, ich bin der Meinung, dass eure Beiträge und die M-Wettbewerbe entscheidende Elemente dafür waren, das Feld der Prognose zu normalisieren. Es ist zu einer normalen Wissenschaft geworden und nicht mehr zu einer Randwissenschaft. Was gerade in Texas passiert, ist interessant. Die Supermärkte sind völlig leer, und die Menschen finden weder Lebensmittel noch andere wichtige Dinge. Wenn sie über Prognosen sprechen, sage ich ihnen, sie sollen an all die anderen Gelegenheiten denken, bei denen sie in einen Supermarkt gehen und finden, was sie wollen. Supermärkte führen Millionen von Artikeln, und sie erstellen Vorhersagen für jeden von ihnen. Unternehmen wie Walmart und Target prognostizieren wöchentlich Millionen von Artikeln, sodass die Verbraucher finden, was sie kaufen möchten. Wenn das Angebot, wie jetzt in Texas, nicht ausreicht, überrascht das die Menschen, es beweist aber tatsächlich, wie gut Prognosen sind, denn meistens finden sie, was sie möchten.

Spyros Makridakis: Absolut, Kieran. Die Prognose wurde in vielerlei Hinsicht von meiner Arbeit geprägt. Als ich als junger Professor anfing, sah die Landschaft ganz anders aus. Wir führten die erste Studie darüber durch, wie genau verschiedene Prognosemethoden vorhersagen konnten. Was wir fanden, überraschte die Statistiker jener Zeit. Ich präsentierte die Ergebnisse in London bei der Royal Statistical Society, und alle griffen mich an und sagten, dass wir diese Ergebnisse gefunden hätten, weil wir in der Prognose unerfahren waren. Wir fanden, dass sehr einfache Methoden genauer waren als ausgefeilte, und wenn man mehr als eine Methode kombinierte, verbesserte sich die Genauigkeit. Beide Erkenntnisse waren ein Dorn im Auge der Statistiker jener Zeit, die glaubten, man könne die beste Methode finden und dass ausgefeilte Methoden genauer seien. Aber jetzt prognostizieren neue Techniken mithilfe von Deep Learning 500 verschiedene Modelle und nehmen dann deren Median, den sie als die beste Prognose erachten.

Kieran Chandler: Joannes, der M5-Wettbewerb ist einer, an dem du vor nicht allzu langer Zeit teilgenommen hast. Aus der Perspektive eines Anbieters, was bedeutet der M5-Wettbewerb für dich?

Joannes Vermorel: Der M5-Wettbewerb macht richtig Spaß. Es ist eine der wenigen Gelegenheiten, bei denen wir unsere Prognosefähigkeiten präsentieren und mit anderen in der Branche zusammenarbeiten können. Er hilft uns, unsere Methoden zu verbessern und hält das Feld wettbewerbsfähig, was Innovation und Fortschritt vorantreibt.

Kieran Chandler: Willkommen alle zu unserem heutigen Interview. Heute haben wir Joannes Vermorel, den Gründer von Lokad, und Spyros Makridakis, Professor an der Universität Nikosia, Direktor des Institute for the Future und Emeritus Professor für Entscheidungswissenschaften an der INSEAD. Joannes, du hast an den M-Wettbewerben teilgenommen, kannst du uns mehr darüber erzählen?

Joannes Vermorel: Ja, die M-Wettbewerbe sind weltweit anerkannte Veranstaltungen, bei denen Menschen aufgrund ihrer Fähigkeiten konkurrieren – im Gegensatz zu Messen, die sich hauptsächlich auf Marketing konzentrieren. Das Interessante ist, dass unter den Top-100-Unternehmen keiner unserer größten Konkurrenten vertreten war, egal ob man das eine oder das andere Ende des Wettbewerbs betrachtete. Das ist überraschend, denn das, was sie verkaufen, ist Prognose. Es besteht also eine gewaltige Diskrepanz zwischen dem, was bei einem tatsächlichen Test passiert, und den typischen Marktanteilen, die in diesem Markt beobachtet werden. Ein weiterer Punkt, den ich kommentieren möchte, ist die Einfachheit unseres Modells. Lokad belegte den sechsten Platz von 909 Teams auf der Quantil-Seite des Wettbewerbs, und zwar mit einem sehr schlichten parametrischen Modell, das nur drei einfache Elemente nutzte: den Wochentag, den Anfang und das Ende des Monats sowie die Kalenderwoche. Wir setzten ESSM ein und erzielten Ergebnisse mit einer Genauigkeit von bis zu 1 % des besten Modells, das Gradient Booster Trees und ein massives Datenaugmentierungsschema verwendete. Interessanterweise nutzten wir nur 0,001 der Komplexität. Ich glaube, das zeigt, dass sehr einfache Methoden äußerst mächtig sein können. Der Wettbewerb zeigte auch, dass klassische Genauigkeit nicht das einzige relevante Element ist. Andere Dimensionen der Prognose, wie das bessere Verständnis der Struktur der Unsicherheit selbst, sind ebenso wichtig. Darum geht es bei probabilistischen Prognosen, und bei Lokad arbeiten wir seit fast einem Jahrzehnt intensiv daran.

Spyros Makridakis: Du hast recht, Joannes. Beim ersten M-Wettbewerb waren einfache statistische Methoden genauer als ausgefeilte. Im M5-Wettbewerb stellten wir fest, dass einfache Machine-Learning-Methoden genauer waren als ausgefeilte Machine-Learning-Methoden, wie Deep Learning. Die Top-Konkurrenten in den Herausforderungen hinsichtlich Genauigkeit und Unsicherheit nutzten einfache Machine-Learning-Methoden, und sie waren am genauesten und effektivsten bei der Vorhersage der Walmart-Daten. Ein interessanter Aspekt des M5-Wettbewerbs ist, dass alle computerbasierte Prognosetechniken einsetzen.

Kieran Chandler: Und das ist jetzt in der gesamten Branche Standard, aber wenn du zurückblickst, als du anfingst, Spyros, als Professor, war das noch vor dem Zeitalter der Computer. Wie hat also die Einführung von Computern deine Arbeitsweise verändert? Welche Chancen hat dir das eröffnet?

Spyros Makridakis: Nun, die Chancen bestanden darin, dass alles einfacher wurde. Bei der Prognose gibt es zwei Teile: Einer besteht darin, das, was in der Vergangenheit geschah, anzupassen – das ist der einfache Teil. Bevor wir den Wettbewerb starteten, übertrieben die Leute bei der Anpassung an die Vergangenheit, in dem Glauben, dass die Zukunft genau wie die Vergangenheit sein würde. Es gab nicht die Idee, die prognostischen Daten in einen Trainings- und einen Testteil zu unterteilen. Also versuchten wir, nicht den Trainings-, sondern den Testteil – also die Zukunft – so genau wie möglich vorherzusagen. Denn die Zukunft ist nicht exakt wie die Vergangenheit, sie ändert sich, und die Idee ist nun, dass wir die Vergangenheit nicht überanpassen wollen, da es zwischen Vergangenheit und Zukunft gewisse Veränderungen geben wird. Wir versuchen also herauszufinden, wie diese Veränderungen eintreten werden, und nutzen sie, um in der Zukunft genauer vorherzusagen. Das ist ein sehr großer Unterschied, denn in der Vergangenheit wurde das nicht berücksichtigt; man dachte, dass die Zukunft exakt wie die Vergangenheit sein würde, was wir sehr wohl wissen, dass es niemals so ist.

Kieran Chandler: Würdest du dem zustimmen, Joannes? Ich meine, wie hast du die Entwicklung der Prognosetechniken im Laufe der Jahrzehnte beobachtet, wenn du zurückblickst?

Joannes Vermorel: Ich denke, was Spyros Makridakis hervorhebt, ist grundlegend. Es gibt dieses offensichtliche Paradox, dass man bei Daten, die man nicht hat, genau sein soll. Das ist verwirrend, wenn man darüber nachdenkt, denn natürlich misst man per Definition die Genauigkeit an den vorhandenen Daten, aber das ist nicht das, was man tun möchte. Dieses Problem wurde teilweise gegen Ende des 20. Jahrhunderts durch die Theorie von Vapnik und Chervonenkis angegangen. Es ist eine sehr abstrakte Theorie, die zur Entstehung von Support Vector Machines führte, welche sehr komplex sind. Sie begannen, die Idee zu formalisieren, dass es den empirischen Fehler und den strukturellen Fehler gibt. Der strukturelle Fehler besteht darin, dass man den tatsächlichen Fehler minimieren möchte – definiert als der Fehler, den man bei Daten macht, die man nicht hat. Man muss also sowohl den strukturellen Fehler als auch den empirischen Fehler minimieren, und darum geht es bei Support Vector Machines. Diese haben eine sehr theoretische Perspektive. Sie wurden implementiert und erzielten als Machine-Learning-Technik in einigen Bereichen große Erfolge. Ich denke, ihr wichtigster Beitrag war es, aus einer theoretischen Perspektive zu klären, was vor sich geht. Und wenn man dann tatsächlich Ergebnisse erzielen möchte, ist es, denke ich, am besten, auf Wettbewerbe zurückzugreifen, bei denen man wirklich einen Teil der Daten für den echten Test zurückhält, um genaue Prognosen zu erhalten.

Kieran Chandler: Um eine, würde ich sagen, sehr saubere Methodik zu haben, wie unterscheidet sich der Ansatz, den du in einem Testszenario verfolgst – das ist sehr wettbewerbsorientiert – von dem, was du in der realen Welt tun würdest? In der realen Welt hast du jederzeit Zugriff auf alle Daten, und das führt zu diesem starken methodischen Bias, auf den Professor Makridakis hingewiesen hat. Es ist unglaublich verlockend, einfach etwas zu haben, das zu den Daten passt, weißt du.

Spyros Makridakis: Früher war das genau das, was man tat. Die berühmte Box-Jenkins-Methodik bestand darin, die Vergangenheit so gut wie möglich anzupassen, und deshalb verlor sie gegen all die einfachen Methoden, die zwar in der Vergangenheit nicht so gut angepasst wurden, aber in der Zukunft genauer vorhersagten. Wenn man überanpasst, verliert man das Wesentliche der Prognose. Die Zukunft ist niemals exakt wie die Vergangenheit.

Joannes Vermorel: Genau. Und eines der verblüffenden Beispiele war, als ich Lokad gründete. Kunden waren meist sehr überrascht, wenn sie sich eine unglaublich schwankungsreiche Zeitreihe ansahen – zum Beispiel den Alkoholkonsum in Hypermärkten, ein Produkt mit sehr unregelmäßig auftretenden Spitzen. Als wir in den ersten Jahren bei Lokad klassische Prognosen erstellten, also noch keine probabilistischen Prognosen, zeigte ich für diese extrem schwankungsreichen Zeitreihen eine Prognose, die viel glatter war als die Originalzeitreihe. Die meisten meiner Konkurrenten präsentierten Prognosezeitreihen, die ebenso unregelmäßig waren wie die historischen Daten. Kunden waren erstaunt, und ich führte viele hitzige Diskussionen mit Interessenten, die noch keine Kunden waren, weil sie einfach nicht glauben konnten, dass diese super glatte Prognose korrekt sein könnte, da sie so untypisch für die historische, sehr schwankungsreiche und punktuelle Zeitreihe war. Während meine Konkurrenten sehr punktuelle Prognosen zeigten, konnten sie solche präsentieren, die exakt den historischen Daten entsprachen.

Kieran Chandler: Also, Spyros, mich interessiert brennend, wie sich die Wahrnehmung der Prognose im Laufe deiner Karriere verändert hat. Wann hat sich der Wandel dahin vollzogen, dass Prognose als Wissenschaft betrachtet wird, und wann wurde sie im Mainstream akzeptierter?

Spyros Makridakis: Nun, das hat einige Zeit gedauert. Anfangs verwendeten die klassischen Statistiker das Gleiche, was sie taten, als sie dir sagten, dass es wichtig sei, den Schwankungen der Serie zu folgen. Aber so prognostiziert man nicht. Es hat eine Weile gedauert, bis man erkannte, dass man Zufälligkeit nicht vorhersagen kann, und was die M-Wettbewerbe zweifelsfrei bewiesen haben, ist, dass es entscheidend ist, die Vergangenheit von der Zukunft zu trennen und nicht zu versuchen, die Vergangenheit zu überanpassen, sondern ein Modell zu haben, das sich an Veränderungen von der Vergangenheit zur Zukunft anpasst. Und das ist die wesentliche Veränderung. Nun ist es akzeptiert, dass wir zusätzlich zur Prognose auch die Unsicherheit in unseren Vorhersagen betrachten müssen. Viele Menschen mögen das überhaupt nicht, da es psychologisch nicht einfach ist, über Unsicherheit zu sprechen – zu sagen, dass ich prognostiziere, aber unsicher bin.

Kieran Chandler: Joannes, wie ungenau würdest du sagen, sind deine Prognosen? Kunden sagen mir oft, dass du dich auf etwas fokussierst, aber auch zugibst, dass du aufgrund der hohen Unsicherheit in der Zukunft nicht prognostizieren kannst.

Spyros Makridakis: Das ist die Realität, man kann nicht vermeiden, realistisch zu sein. Es führt zu dem Gedanken an ein Konfidenzniveau in der Prognose. Joannes, würdest du sagen, dass die Wahrnehmung sich so weit verschoben hat, dass die Leute zu viel von der Prognose erwarten und sie als unfehlbar ansehen?

Joannes Vermorel: Das ist eine interessante Frage. Ich war schon einige Male auf der Handelsmesse der National Retail Federation in New York, und was ich sah, war, dass die meisten meiner Konkurrenten sehr häufig völlig absurde Behauptungen aufstellten – sie gaben an, im Einzelhandel eine Genauigkeit von 99 % zu haben. Ehrlich gesagt weiß ich nicht einmal, was 99 % Genauigkeit in Hypermärkten bedeutet, wo die meisten Produkte täglich in kleinen Mengen verkauft werden. Es ist lächerlich zu glauben, dass man bis auf die letzte Einheit wissen könnte, ob jemand ein Produkt auswählt, während diese Person selbst vielleicht nicht einmal Bescheid weiß. Ich habe viele Anbieter gesehen, die versuchten, die Idee zu überverkaufen, dass man überall unglaublich genaue Prognosen haben kann – was absolut nicht der Fall ist. Sie nutzen die wissenschaftliche Aura, die der statistischen Prognose in anderen Bereichen verliehen wurde, wie etwa bei der Demografie, dem Stromverbrauch und dem Wasserverbrauch, wo die Unsicherheit vergleichsweise sehr gering ist, um zu behaupten, dass sie im Einzelhandel dasselbe Genauigkeitsniveau erreichen können – was eben nicht ganz dasselbe ist. Man kann viel erreichen, aber es ist nicht im gleichen Maßstab.

Spyros Makridakis: Eines der größten Probleme bei den Anwendern von Prognosen ist, dass ihre Erwartungen zu hoch sind, weil Berater versuchen, ihnen Prognosen zu verkaufen, in die sie zu übermäßig viel Vertrauen haben – und das ist eines der größten Probleme. Ein Teil dessen, was wir in diesem Bereich tun müssen, ist zu sagen: “Schaut, wir können keine Propheten sein. Unsere Daten, besonders im Einzelhandel, zeigen, dass die Unsicherheit enorm ist, und wir müssen etwas dagegen unternehmen.” Wir sprechen nicht nur über die normale Unsicherheit; wir haben auch eine Unsicherheit, die fatal sein kann – wie die berühmten Black-Swan-Ereignisse von Nassim Taleb, die viele unserer Prognosen zerstören und Probleme verursachen, wie es bei der Pandemie der Fall war. Das müssen wir ebenfalls berücksichtigen; man kann die Unsicherheit nicht vermeiden.

Kieran Chandler: Joannes, würdest du dem zustimmen? Wir haben in der Vergangenheit schon darüber gesprochen, dass Berater manchmal zu viel von Prognosen versprechen.

Joannes Vermorel: Ja, ich stimme zu. An probabilistischer Prognose war es nicht in erster Linie die technische Umsetzung, die schwierig war, sondern das Managen der zu hoch gesteckten Erwartungen, die von Beratern – die zu viel versprachen – entstanden waren.

Kieran Chandler: Also Joannes, du hast über die Bedeutung probabilistischer Prognosen und das Einbringen struktureller Vorannahmen gesprochen. Kannst du ein wenig mehr dazu erklären?

Joannes Vermorel: Gerne. Wahrscheinlichkeiten – das ist nicht allzu schwer. Schwieriger war es tatsächlich, das Verständnis dafür zu vermitteln, dass Ja, Lokad setzt auf probabilistische Prognosen. Nicht, weil unsere Prognosen schlecht waren – ich meine, auch wenn wir anfangs nicht die Besten in diesen Wettbewerben waren, standen wir sicherlich nicht ganz oben – sondern weil man akzeptieren musste, dass es Dinge gibt, die außerhalb unserer Kontrolle liegen. Und das Interessante an diesen Randereignissen ist, dass man plötzlich mit etwas konfrontiert ist, dem man nur sehr schwer vertrauen kann – deinem DR. Und genau hier liegt, wieder einmal, mein großes Interesse daran. Indem man sein, würde ich sagen, nicht-Rand-Prognosemodell einfach hält – also ein relativ einfaches und handhabbares Prognosemodell –, kann man strukturelle Vorannahmen einbringen, um so diesen Anteil an extrem seltenen und extremen Ereignissen abzubilden.

Kieran Chandler: Ich verstehe, und wie hilft das bei der supply chain Optimierung?

Joannes Vermorel: Also, das ist im Grunde genommen, was wir bei Lokad tun. Sind das beispielsweise Dinge wie Pandemien, bei denen wir keine Prognosen erstellen können? Aber was wir tun können – und das ist nicht einmal super kompliziert – ist zu sagen: “Nun, wir können, vielleicht kann ich ein Prior einführen, um zu sagen, dass es eine Chance, eine jährliche Wahrscheinlichkeit von zwei Prozent gibt, dass ein 50-prozentiger Abschwung eintritt, der das Unternehmen beeinträchtigt.” Ich weiß nicht warum, ich weiß nur, dass es eine vernünftige Annahme ist. Es ist subjektiv, wissen Sie, warum zwei Prozent, warum zwei Prozent eines 50-prozentigen Abschwungs? All das ist sehr subjektiv, aber das Interessante ist, dass wenn Sie eine Dosis von Ausreißerereignissen in Ihre Prognosemodelle einführen – selbst wenn es in der Quantifizierung sehr vage und ziemlich ungenau ist – passiert folgendes: Wenn Sie Ihre supply chain Optimierung darauf aufbauen, lenken Sie die Entscheidung in Richtung Dinge, die gegenüber diesen Ausreißerereignissen deutlich robuster sind, ohne zu viel Geld zu investieren. Das Interessante ist also – und das ist die Art von Dingen, die wir tun – dass wir diese Prognosemodelle einfach halten, damit wir diese strukturellen Priors einführen können, die, würde ich sagen, sehr frei erfunden sind, obwohl sie vernünftig sind. Sie sind nicht präzise, aber die Folge davon ist, dass Sie am Ende des Tages supply chain Entscheidungen haben, die eine viel höhere Resilienz gegenüber selten auftretenden Ereignissen aufweisen. Und der Prozess ist recht einfach, aber in der Praxis bedarf es viel Überzeugungsarbeit, um die Menschen dazu zu bringen, diese Schwarzen Schwäne zu verstehen. Tatsächlich verweise ich häufig auf “Bitte lesen Sie die Werke von Nassim Taleb”, aber es ist schwer, einen Interessenten zu überzeugen, wenn man ihm, wissen Sie, ein 600-seitiges Buch überreichen will, geschrieben von einem weiteren, wissen Sie, großartigen griechischen Denker, Nassim Taleb.

Spyros Makridakis: Joannes, darf ich eine Frage stellen? Denn mir scheint, dass Sie strukturelle Priors einführen, die in Ihren Prognosemodellen als Verzerrung angesehen werden könnten. Glauben Sie, dass diese Verzerrung die Prognosegenauigkeit Ihrer Modelle beeinträchtigen kann?

Joannes Vermorel: Ja, das ist eine sehr gute Frage, Spyros. Dazu gibt es zwei Dinge. Zuerst einmal

Kieran Chandler: Spyros, Sie haben ein halbes Jahrhundert in der Branche gearbeitet. Worauf sind Sie am meisten stolz, wenn Sie auf Ihre Karriere zurückblicken?

Spyros Makridakis: Nun, ich bin am meisten stolz darauf, dass wir empirische Beweise dafür liefern, was in der Prognose funktioniert und was nicht. Es ist nicht nur Gerede, sondern wir haben Experimente durch die M-Wettbewerbe durchgeführt. Aus diesen Experimenten können wir Ihnen sagen, welche Methoden funktionieren und welche nicht. Was wir Ihnen sagen können, ist, dass Einfachheit funktioniert. Wir erkennen, dass in vergangenen Ereignissen viel Zufall steckt und wir nicht alles präzise vorhersagen können. Da unsere Prognosen unsicher sind, besteht Risiko, und wir müssen etwas tun, um diesem Risiko entgegenzuwirken und darauf vorbereitet zu sein.

Kieran Chandler: Vielen Dank Ihnen beiden für Ihre Zeit heute.

Joannes Vermorel: Vielen Dank.

Spyros Makridakis: Danke, dass Sie mich interviewt haben.

Kieran Chandler: Das war alles für diese Woche. Vielen Dank fürs Einschalten, und wir sehen uns in der nächsten Episode wieder.