Prognosegenauigkeit in Dollar anstelle von Prozentsätzen

00:00:08 Einführung in das Thema der Verbesserung der Prognosegenauigkeit in der supply chain Industrie.
00:01:22 Erklärung, was eine genauere Prognose bedeutet und wie Prognosemetriken eingesetzt werden.
00:03:21 Diskussion über die Grenzen der Verwendung mathematischer Metriken zur Messung der Performance von supply chains.
00:05:30 Betonung der Messung der Prognosegenauigkeit in Dollar anstelle von Prozentsätzen.
00:08:42 Erklärung, wie die Maximierung der Genauigkeit in Prozenten für die Performance von supply chains irreführend sein kann.
00:09:04 Diskussion über die Grenzen der Verwendung einer einfachen Metrik zur Prognose von Verkäufen.
00:10:20 Erklärung, wie die Verwendung eines Modells, das null Verkäufe prognostiziert, für das Unternehmen katastrophale Folgen hat.
00:11:23 Erklärung des Problems symmetrischer Metriken im Kontext des supply chain Managements.
00:13:02 Erklärung, dass Prognosen lediglich fundierte Vermutungen über die Zukunft sind und welchen Einfluss sie auf die supply chain haben.
00:16:32 Diskussion über die Gefahren, Abteilungen zu schaffen, die ausschließlich der Verbesserung der Prognosegenauigkeit gewidmet sind.
00:18:09 Diskussion darüber, wie sich Prognosen im Laufe der Zeit verbessern werden.
00:19:01 Erklärung, dass bessere Prognosemetriken nicht zwangsläufig zu einer verbesserten Performance von supply chains führen.
00:21:41 Einsicht, dass Wachstum und Rentabilität eines Unternehmens nicht unbedingt bedeuten, dass sich die supply chains der Kunden verbessern.
00:22:04 Erklärung des Unterschieds zwischen einem monatlichen Abonnementmodell und mehrjährigen Plänen.
00:25:53 Erklärung, wie sich das Produkt von einer bloßen Prognose zu einem Werkzeug entwickelt hat, das bei der Ermittlung von Genauigkeitsmetriken hilft.
00:26:56 Diskussionen über Metriken, die im supply chain Management verwendet werden.
00:27:20 Die Vorteile der Verwendung probabilistischer Prognosen und spezifischer Metriken wie Kreuzentropie und kontinuierlichem Rang-Wahrscheinlichkeits-Score.
00:27:54 Die Verschiebung der Perspektive von der Verbesserung der Prognosegenauigkeit hin zur Maximierung der Performance von supply chains.
00:29:51 Die Bedeutung, eine einzige Person zu haben, die von Anfang bis Ende für die gesamte supply chain verantwortlich ist.
00:32:23 Die Bedeutung eines monolithischen Optimierungsprozesses im supply chain Management.

Zusammenfassung

Der Gründer von Lokad, Joannes Vermorel, sprach mit der Moderatorin Nicole Zint über die Grenzen der Nutzung von supply chain Leistung. Vermorel argumentierte, dass Unternehmen sich oft zu sehr darauf konzentrieren, die Prognosegenauigkeit zu verbessern, ohne die Auswirkungen auf das Endergebnis zu berücksichtigen. Er schlug vor, die Prognosegenauigkeit in Dollar des Fehlers statt in Prozentsätzen zu messen, um besser beurteilen zu können, ob sich ein Unternehmen in die richtige Richtung bewegt. Vermorel betonte zudem die Bedeutung, wesentliche supply chain Entscheidungen zu identifizieren, die den Gewinn oder die Leistung maximieren, anstatt sich ausschließlich auf die Verbesserung der Prognosegenauigkeit zu fokussieren. Er warnte vor den Gefahren irreführender Metriken, die zu unsinnigen Entscheidungen führen können, welche dem Unternehmen schaden.

Erweiterte Zusammenfassung

Das Thema des Interviews ist die Genauigkeit von Prognosen in der supply chain Industrie. Die Moderatorin Nicole Zint stellt fest, dass trotz jahrzehntelanger Bemühungen um eine höhere Prognosegenauigkeit diese nicht zu besser funktionierenden supply chains geführt hat. Sie fragt sich, ob die Branche das Problem aus der falschen Perspektive betrachtet oder ob von vornherein das falsche Problem im Fokus steht. Joannes Vermorel, der Gründer von Lokad, erklärt, dass eine genauere Prognose bedeutet, dass ein Prognosemodell genauer ist als ein anderes – und zwar gemessen an einer bestimmten Prognosemetrik, welche den Prognosefehler quantifiziert. Somit hängt die Prognosegenauigkeit direkt von der verwendeten Metrik ab. In der Literatur sind viele Prognosemetriken bekannt. Die am weitesten verbreiteten sind vermutlich der mittlere quadratische Fehler, der mittlere absolute Fehler, der mittlere prozentuale absolute Fehler, der gewichtete Fehler und eine regelrechte Bestiarie an Funktionen zur Messung des Prognosefehlers. All diese Metriken zeigen im Idealfall, dass der Fehler null ist. Welche Metrik die beste ist, bleibt jedoch fraglich.

Vermorel erklärt, dass zur Verbesserung der supply chain Leistung die Reduzierung von Prognosefehlern entscheidend ist. Allerdings ist es nicht immer so einfach, da supply chains multidimensional sind. Der Schlüssel zur Leistungssteigerung liegt darin, die Qualität der Prognose mit der Leistung der supply chain zu verbinden – etwa durch die Einführung eines wirtschaftlichen Treibers. Er schlägt vor, die Prognosegenauigkeit in Dollar des Fehlers zu messen, um zu beurteilen, ob sich das Unternehmen in die richtige Richtung bewegt, da ein in Prozentsätzen ausgedrückter Fehler nicht immer mit der Prognosegenauigkeit in Dollar übereinstimmt.

Zint fragt Vermorel, wie man die Leistung von supply chains misst. Dieser antwortet, dass die verwendeten Metriken oft schwer zu definieren sind. Die Herausforderung bestehe darin, eine gute Prognose zu finden, die stark von der jeweiligen Situation abhängt. Vermorel verweist auf das Beispiel eines Supermarktes, wo die durchschnittliche Nachfrage der meisten Produkte weit unter einer Einheit pro Woche liegt – sodass an den meisten Tagen für die Mehrheit der Produkte null Verkäufe erwartet werden. Optimieren Unternehmen anhand einer Metrik, die die Prognosegenauigkeit in Prozent maximiert, resultiert dies in einem Modell, das täglich null prognostiziert – was für das Unternehmen katastrophal wäre. Noch schlimmer: Prognostiziert das Modell null, wird auch im Geschäft nichts nachbestellt, was zu entgangenem Umsatz und Kundenverlust führt.

Insgesamt argumentiert Vermorel, dass der Schlüssel zur Verbesserung der supply chain Leistung darin liegt, die Qualität der Prognose mit der Leistung der supply chain zu verknüpfen, indem ein wirtschaftlicher Treiber eingebracht wird. Er schlägt vor, die Prognosegenauigkeit in Dollar des Fehlers zu messen und die Kosten unzureichender Lagerbestände zu berücksichtigen, anstatt lediglich eine Metrik zu optimieren, die die Genauigkeit in Prozent maximiert. So können Unternehmen vermeiden, ihre Prognose auf falsche Ergebnisse – wie täglich null Verkäufe – auszurichten, und stattdessen ein besseres Gleichgewicht zwischen Angebot und Nachfrage erzielen.

Vermorel erörtert das Thema der Prognosegenauigkeit im supply chain Management und hebt hervor, dass die Verwendung einer symmetrischen Metrik, welche Überprognosen und Überbestände gleich gewichtet, problematisch ist. Er argumentiert, dass Überbestände mit asymmetrischen Konsequenzen ein erhebliches Problem darstellen. Während Prognosegenauigkeit wichtig ist, sollte sie stets mit dem Endergebnis verknüpft sein – nämlich der richtigen Entscheidung zur richtigen Zeit für jedes Produkt an jedem Tag.

Vermorel weist darauf hin, dass die Einführung numerischer Artefakte wie Safety Stocks, ABC Classes und Service Levels die Versuchung birgt, innerhalb eines Unternehmens eine Spezialistenteam zu bilden, das sich ausschließlich mit diesen Zahlen beschäftigt. Er betont jedoch, dass diese Artefakte nicht real sind und dass ein solches Spezialistenteam, das nur an der Verbesserung der Prognosequalität arbeitet, die eigentliche Ursache des Problems darstellt. Solch ein Team arbeite isoliert in seiner eigenen Blase, erstelle Prognosen nach eigenen Zielen und Metriken und berücksichtige dabei nicht das Endergebnis.

Nach Vermorels Ansicht haben große Unternehmen Schwierigkeiten, die Arbeitslast zu verteilen, und die Einführung eines numerischen Artefakts bedeutet nicht zwangsläufig, dass ein eigenes Team zu dessen Optimierung eingerichtet werden sollte. Stattdessen argumentiert er, dass supply chain Manager sich auf die Endergebnisse konzentrieren und für jedes Produkt an jedem Tag die richtigen Entscheidungen treffen müssen. Obwohl Prognosegenauigkeit wichtig ist, sollte sie stets mit dem Endergebnis verknüpft sein, und supply chain Manager müssen darauf achten, nicht ausschließlich auf die Verbesserung der Prognosegenauigkeit zu fokussieren, ohne die Konsequenzen ihrer Entscheidungen zu bedenken.

Es wurde über die Grenzen der Verwendung von Genauigkeitsmetriken zur Verbesserung der supply chain Leistung diskutiert. Vermorel ist der Ansicht, dass Unternehmen zu sehr darauf fixiert sind, die Prognosegenauigkeit zu verbessern, ohne die Auswirkungen auf das Endergebnis zu berücksichtigen. Im Vergleich zu den Cargo-Kulten der Pazifikinseln während des Zweiten Weltkriegs merkt er an, dass Prognoseteams Metriken optimieren, ohne den tieferen Einfluss auf die supply chain zu bedenken. Indem sie sich auf die tieferen Auswirkungen ihrer Prognostizierungsmethoden konzentrieren, ist Vermorel überzeugt, dass Lokad seinen Kunden über ein monatliches Abonnementmodell, das positive Ergebnisse in den Vordergrund stellt, zu einer leistungsstärkeren supply chain verhelfen kann.

Vermorel erläutert, dass der Rückkopplungsprozess in der Optimierung von supply chains straffer ist, sodass Unternehmen wesentlich reaktionsschneller auf Marktveränderungen reagieren müssen. Er weist außerdem darauf hin, dass es nicht genügt, sich an einer vorgegebenen Metrik zu orientieren, da dies zahlreiche Probleme verursachen kann. Stattdessen müssen Unternehmen die für ihr Geschäft spezifischen Genauigkeitsmetriken entdecken, was angesichts der vielen Randfälle und branchenspezifischen Faktoren eine Herausforderung darstellt.

Vermorel betont die Bedeutung, wesentliche supply chain Entscheidungen zu identifizieren, die den Gewinn oder die Leistung maximieren, anstatt sich ausschließlich auf die Verbesserung der Prognosegenauigkeit zu konzentrieren. Er argumentiert, dass Unternehmen eine Person haben müssen, die die End-to-End-Entscheidungsfindung verantwortet, und dass Fragmentierung zu unsinnigen Entscheidungen führen kann, die dem Unternehmen schaden. Vermorel warnt vor den Gefahren irreführender Metriken, die rational klingen, letztlich jedoch zutiefst irrational sind – wie die ausschließliche Fokussierung auf das Überleben einer einzelnen Schachfigur, statt das Spiel zu gewinnen. Abschließend rät er Unternehmen, einen monolithischen Optimierungsprozess zu verfolgen, anstatt diesen in einzelne Teile zu zerlegen, was von Grund auf fehlerhaft und kontraproduktiv sei.

Vollständiges Transkript

Nicole Zint: Die gesamte supply chain Industrie versucht seit Jahrzehnten, die Genauigkeit ihrer Prognosen zu verbessern. Jedes große Unternehmen hat sogar eine eigene Abteilung, die sich ausschließlich diesem Problem widmet. Doch das Ergebnis dieser Bemühungen hat – vielleicht kontraintuitiv – gezeigt, dass eine höhere Genauigkeit und bessere Prognosen nicht zu leistungsstärkeren supply chains geführt haben. Betrachten wir das Problem aus der falschen Perspektive oder liegt von vornherein das falsche Problem im Fokus? Und was ändert sich, wenn wir die Genauigkeit in Dollar statt in Prozentsätzen messen? Das ist das Thema der heutigen Episode, also starten wir damit: Jonas, was bedeutet es, dass eine Prognose genauer ist?

Joannes Vermorel: Eine genauere Prognose bedeutet, dass man, basierend auf einer bestimmten Prognosemetrik, ein Modell hat, das genauer ist als ein anderes. Genauer gesagt, wenn wir sagen, dass wir eine genauere Prognose haben, ist das ein sprachlicher Missbrauch. Tatsächlich sagen wir damit, dass wir ein Prognosemodell haben, das präziser ist als ein anderes – und zwar gemessen an einer bestimmten Metrik, die den Prognosefehler zwischen den beiden Modellen quantifiziert. Demnach hängt die Prognosegenauigkeit direkt von der verwendeten Metrik ab. In der Literatur sind eine Vielzahl von Prognosemetriken bekannt. Die am weitesten verbreiteten sind vermutlich der mittlere quadratische Fehler, der mittlere absolute Fehler, der mittlere prozentuale absolute Fehler, der gewichtete Fehler und eine regelrechte Bestiarie an Funktionen zur Bestimmung des Prognosefehlers. Alle diese Metriken haben gemeinsam, dass sie bei perfekten Ergebnissen anzeigen, dass der Fehler null ist. So steht uns eine enorme Auswahl an verschiedenen Metriken zur Verfügung. Welche ist die beste? Wie soll man das wissen?

Nicole Zint: Was die supply chain angeht, ist das eine sehr knifflige Frage, denn in Wahrheit sind alle von mir genannten Metriken mathematische Objekte, die man in Lehrbüchern findet, weil sie eine Vielzahl interessanter mathematischer Eigenschaften besitzen. Nur weil etwas mathematisch faszinierend ist, heißt das nicht, dass es für einen bestimmten Anwendungsbereich relevant ist. Man mag viele Dinge haben, die aus mathematischer Sicht spannend sind, doch das bedeutet nicht, dass sie aus der Perspektive der supply chain von Bedeutung sind. Ich glaube, hierin liegt der Kern des Problems. Die Erwartung – und das ist, wie ich finde, die falsche Erwartung – dass man einfach in ein mathematisches Lehrbuch gehen und aus den Dutzenden von Metriken eine auswählen kann, die perfekt passt. So funktioniert das nicht. Betrachtet man also das Problem, die Genauigkeit in Prozentsätzen zu maximieren, so kann das für die supply chain Leistung ziemlich irreführend sein.

Joannes Vermorel: Ja, ich meine noch einmal, unsere Schlussfolgerung ist nicht, dass wir den Prognosefehler maximieren sollten. Das ist nicht, worüber ich diskutiere. Sehen Sie, die Erkenntnis war noch rätselhafter als das. Die Erkenntnis war, dass wenn man seinen Prognosefehler allein durch die Optimierung mathematischer Kennzahlen verringert, dies nicht zu einer zusätzlichen supply chain performance führt. Aber das Gegenteil ist nicht einfach. Es ist nicht so, dass allein durch eine Erhöhung des Prognosefehlers tatsächlich die supply chain performance verbessert wird. Sehen Sie, genau hier wird es sehr rätselhaft, denn es gibt eine Art falsche Dichotomie, bei der man sagt: Nun, es ist das eine oder das andere. Ja, es wäre so, wenn supply chain ein eindimensionales Problem wäre, bei dem, wissen Sie…

Nicole Zint: Also, reduzieren Sie den Prognosefehler, verbessern Sie die supply chain performance, und wenn Sie einfach in die entgegengesetzte Richtung gehen, verschlechtern Sie die supply chain performance. Wenn wir in einer eindimensionalen Welt leben würden, ja, dann wäre das so, aber supply chains sind viele, viele dimensional, also funktioniert es überhaupt nicht so. Und genau hier würde ich sagen, dass die grundlegende Intuition diese Dinge sehr, sehr falsch interpretieren kann. Also, lassen Sie mich Sie das fragen: Sie haben supply chain performance erwähnt. Wie messen Sie die supply chain performance?

Joannes Vermorel: Das ist eigentlich der springende Punkt des Problems, denn, sehen Sie, diese supply chain metrics – es fällt den Menschen wirklich schwer, sich vorzustellen, was eine gute Prognose sein sollte. Deshalb entwickeln sie eine Kennzahl, die sie aus einem Lehrbuch übernehmen, und sagen: “Das ist es”, aber sehr schnell stellt man fest, dass es nicht deshalb, weil sie in einem Lehrbuch zu finden war, sondern weil sie in einem mathematischen Lehrbuch stand, irgendeine Relevanz für Ihr supply chain Problem hat. Und so, wenn Sie etwas erreichen wollen, ist die Frage, was sonst noch? Sie wissen, das fühlt sich an wie eine sehr offene Frage, und tatsächlich ist es eine sehr, sehr umfassende Frage, und die Art und Weise, wie wir vorangingen, war, im Prinzip in Dollar des Fehlers zu denken. Was genau versuchen Sie zu optimieren? Und nun, um die Qualität und die Leistung Ihrer Prognose mit der performance Ihrer supply chain zu verbinden, müssen Sie einen wirtschaftlichen Treiber in relativ großer Dosis einbringen, und genau dann beginnen Sie, Dinge in Dollar des Fehlers zu messen. Dann können Sie beurteilen, ob Sie tatsächlich in die Richtung steuern, die für Ihre supply chain sinnvoll ist. Tatsächlich gilt: Je besser die supply chain performance, desto mehr Geld generiert das Unternehmen, desto mehr senken wir die Kosten in unserer supply chain, und folglich steigt unser Umsatz. Das ist ziemlich interessant, denn das bedeutet, dass, wenn wir die Prognosegenauigkeit in Prozent betrachten, diese nicht notwendigerweise mit der Prognosegenauigkeit in Dollar übereinstimmt, was sozusagen der Kern des Problems ist, das wir gerade diskutieren.

Nicole Zint: Ja, und das ist sehr fokussiert. Noch einmal, ich denke, das wird eine kontroverse Aussage sein, aber die Reduzierung des Prognosefehlers, ausgedrückt in Prozent, verbessert nicht die supply chain performance. Manchmal kann es sogar genau das Gegenteil bewirken. Wenn wir uns ein Beispiel ansehen, sagen wir einen Supermarkt. Ein Supermarkt ist ein ziemlich interessanter Fall, denn menschliches Verhalten kann ziemlich unvorhersehbar sein. Also, wenn ich einen Supermarkt leite und wissen möchte, ob ich heute null oder fünf Shampoo-Flaschen verkaufen werde, und ich habe eine Prognose, und Joannes, wie groß ist in meinem Szenario der Unterschied in der Genauigkeit dieser Prognose, wenn ich sie in Prozent im Vergleich zu Dollar betrachte?

Joannes Vermorel: Zuerst wollen wir eine Sache klären. Die Tatsache, dass entweder ein Gedanke an Unsicherheit oder sehr wenig Unsicherheit vorhanden ist, wird lediglich die Art und das Ausmaß des Prognosefehlers definieren, den man beobachten wird. Also, das ist in Ordnung. Sehen Sie, das ist völlig situationsabhängig. Wenn man sich beispielsweise den nationalen Stromverbrauch anschaut, sind die Schwankungen von einem Tag zum nächsten sehr, sehr gering. Es gibt ein tägliches Muster, aber ansonsten ist der Verbrauch sehr, sehr stabil, sodass man sehr geringe Schwankungen beobachten wird. Und wenn man sich etwas anschaut, das extrem detailliert aufgeschlüsselt ist, wie die Shampoo-Flasche in einem Supermarkt, wird man prozentual gesehen viel höhere Schwankungen beobachten. This

Nicole Zint: Schauen wir uns dieses spezielle Supermarktbeispiel an. Dies ist eine Anekdote, die ich bereits in einer anderen Episode erzählt habe. Vor Jahren haben wir einen Prognosebenchmark in diesem Setup durchgeführt, und was uns auffiel, war, dass der Großteil der Produkte, wenn man auf Ladenebene operiert, eine durchschnittliche Nachfrage weit unter eins aufweist. Wissen Sie, man verkauft im Schnitt eine Einheit pro Woche pro Produkt oder manchmal sogar weniger. Es ist wahrscheinlicher, null zu verkaufen als eine Einheit. Absolut – also ist das wahrscheinlichste Ergebnis für den Großteil der Produkte an jedem beliebigen Tag, null zu verkaufen. Wie sieht dann die Prognose aus, die darauf abzielt, die Genauigkeit in Prozent zu maximieren?

Joannes Vermorel: Wenn man eine Metrik wählt, sagen wir den absoluten Wert der Differenz zwischen Ihrer Prognose und der Realität, und diese dann durch den Jahresumsatz oder Ähnliches teilt, um sie zu normalisieren – was man erhält – ist eine Metrik, bei deren Optimierung – das heißt, wenn man versucht herauszufinden, welches Prognosemodell laut dieser Metrik die besten Ergebnisse liefert – man letztlich ein Modell erhält, das jeden einzelnen Tag null prognostiziert. Und warum? Weil null Verkäufe bei weitem das wahrscheinlichste Ergebnis an jedem beliebigen Tag sind. Das Modell, das am genauesten ist, gemäß dieser sehr, sehr einfachen und geradlinigen Metrik, die ich Ihnen genannt habe – dem absoluten Wert von Realität minus Prognose –, wird, wenn man dies optimiert, eine Prognose liefern, die null ergibt. Und noch merkwürdiger sowie noch schädlicher für die supply chain ist, dass, wenn Sie ein Modell haben, das null prognostiziert, Sie null liefern – und sehr schnell wird Ihr Laden nichts im Regal haben, sodass Ihre Prognose in kürzester Zeit zu 100 % akkurat ist, weil Sie null prognostizieren und null verkaufen. Alles scheint in Ordnung zu sein, aber das ist es nicht. Es ist eine Katastrophe für das Unternehmen.

Nicole Zint: Ja, das ist ziemlich interessant. Selbst wenn wir bei unseren Prognosen 100 % Genauigkeit erreichen, erzielen wir null Umsatz. Und noch schlimmer ist, dass wir trotz null Umsatz sämtliche Kosten tragen. Wir betreiben weiterhin einen Laden. Wir müssen für die Mitarbeiter, das Gebäude und alles andere bezahlen. Sie sehen also, es ist noch schlimmer als das.

Joannes Vermorel: Genau. Und hier sehen wir, dass es eine Art Absurdität ist. Es ist nicht so offensichtlich, wenn wir uns stärker aggregierte time series ansehen, aber das Problem ist genau dasselbe. Grundsätzlich besteht das Problem in diesem Hypermaret-Beispiel darin, dass wir massive Asymmetrien haben. Die Kosten, eine Einheit zu besitzen bzw. bei einem Mangel an einer Einheit, sind absolut nicht dasselbe wie die Kosten, eine Einheit einen zusätzlichen Tag lang unverkauft im Regal zu haben. Das ist sehr, sehr asymmetrisch. Und so zeigt sich das Problem mit der zuvor skizzierten Prognosegenauigkeitsmetrik – dem absoluten Wert von Prognose minus Realität – darin, dass sie völlig symmetrisch ist. Sie legt im Wesentlichen dem Überprognostizieren und der Überbestückung das gleiche Gewicht bei. Und hier erkennen wir, dass es sich um ein sehr, sehr einfaches Problem handelt, bei dem wir eine massive Asymmetrie haben, und die Prognosemetrik das gar nicht abbildet. Und warum sollte das aus mathematischer Perspektive so sein? Denn mathematisch betrachtet sind die Metriken, die man verwendet, typischerweise symmetrisch. Warum sollte man also eine hoch asymmetrische Metrik bevorzugen wollen? Üblicherweise ist das von keinem…

Nicole Zint: Ich möchte ein wenig über Prognosegenauigkeit und ihre Rolle bei der supply chain Optimierung sprechen. Aus mathematischer Sicht ist das sehr interessant und das kratzt gerade mal an der Oberfläche. Wir betrachten nur ein winziges Problem, aber dieses winzige Problem ist bereits groß genug, um den gesamten vorgesehenen Nutzen zunichtemachen, der aus einem Prozess resultieren würde, der Prognosen nach einer symmetrischen Metrik optimiert. Es kommt mir so vor, als ob wir nicht nur dieses Problem möglicherweise falsch angehen, sondern von Anfang an das falsche Problem betrachten. Wir sind so darauf fokussiert, zu erraten, wie die Nachfrage sein wird, dass wir nicht über die Kosten einer Überbestückung oder Unterbestückung nachdenken. Dadurch verlieren wir den Blick für den tatsächlichen Gewinn, den wir erzielen könnten, und konzentrieren uns ausschließlich darauf, die genaue Nachfrage zu erraten.

Joannes Vermorel: Ja, im Grunde genommen ist eine Prognose nur eine Meinung. Idealerweise ist es eine fundierte Meinung über die Zukunft, die einigermaßen korrekt ist. Doch letztlich ist eine Prognose genau das: eine fundierte Meinung über die Zukunft. Sie verändert nichts an deiner supply chain. Das Einzige, was tatsächlich etwas für deine supply chain bewirkt, ist das, was du tatsächlich tust. Die Entscheidungen, die du triffst – ob ich beispielsweise in diesem Hypermarkt eine zusätzliche Einheit für ein bestimmtes Produkt an einem bestimmten Tag einlege oder nicht – das sind die Entscheidungen. Daher stellt sich die Frage, wie die Verbesserung deines Prognosemodells zu deinem Endziel beiträgt, nämlich für jedes einzelne Produkt an jedem Tag die richtige Entscheidung zur richtigen Zeit zu treffen. Das ist das fehlende Glied, und genau das fehlt typischerweise bei diesen Genauigkeitsmetriken. Und deshalb, wenn ich in supply chain Communities Diskussionen höre, in denen Leute sagen: “Weißt du was? Es gibt 20 verschiedene Metriken, die wir für die supply chain verwenden können. In dieser Situation kannst du dies nutzen. In jener Situation kannst du das nutzen”, usw., wird in der Regel ganz am Kern vorbeigeredet. Es wird nicht einmal begonnen, diese Prognosen – die ja wiederum nur eine Meinung sind – mit den Endergebnissen zu verknüpfen, also den Entscheidungen, die auf diesen Prognosen beruhen. So verlieren wir irgendwie den Fokus auf die Konsequenzen jeder einzelnen Entscheidung.

Nicole Zint: Absolut. Aber diese großen Unternehmen haben immer noch Abteilungen, die sich speziell der Verbesserung der Genauigkeit dieser Prognosen widmen. Sollte es von vornherein so eine Abteilung geben?

Joannes Vermorel: Das ist ein Thema, das wir in einer der früheren Episoden der chain silos und Abteilungen in großen Unternehmen kurz angesprochen haben. Siehst du, das Problem ist, dass wenn du beginnst, numerische Artefakte einzuführen – und numerische Artefakte können jeglicher Art sein, es können ABC-Klassen sein, es können safety stocks sein, es können Prognosen sein, nochmals: all das sind numerische Artefakte – es gibt in deinem warehouse so etwas wie einen safety stock nicht. Du hast nicht zwei Bestände, den Arbeitsbestand und den safety stock; stattdessen gibt es nur einen Bestand. Was passiert, ist, dass wenn du diese numerischen Artefakte einführst, die Versuchung entsteht, innerhalb des Unternehmens eine Untergruppe von Spezialisten zu schaffen, die Experten im Umgang mit diesem numerischen Artefakt sein sollen. Das Problem ist, dass es nicht real ist. Nur weil du es machst oder die Hälfte der Branche es tut, kannst du in die Irre geführt werden zu denken, dass es irgendeine Art von Realem sei – aber das ist es nicht, buchstäblich. Und es gibt unzählige Dinge, die einfach nicht real sind. Safety stocks sind nicht real, Service Levels sind nicht real, Prognosen – egal wie man sie erstellt …

Nicole Zint: Also, Joannes, wenn wir von numerischen Artefakten sprechen, was genau meinen wir damit?

Joannes Vermorel: Nun, sie sind nicht real; es handelt sich um numerische Artefakte, die du erzeugst, um einen bestimmten Betriebsablauf zu ermöglichen und bestimmte Entscheidungen zu treffen. Und wenn wir auf diese großen Unternehmen zurückblicken, kämpfen sie ständig damit, die Arbeitslast zu verteilen. Nur weil du ein numerisches Artefakt eingeführt hast, bedeutet das nicht, dass du dafür ein Team einrichten solltest. Im Gegenteil, das ist eine der grundlegenden Ursachen jener Übel, die die supply chain Performance von vornherein wirklich untergraben.

Nicole Zint: Und warum ist das so?

Joannes Vermorel: Nun, wenn du beginnst, ein Team von Spezialisten zu bilden, das ausschließlich daran arbeitet, die Qualität der Prognose zu verbessern – was wird dann passieren? Die Realität ist, dass sie sich eine Metrik aussuchen werden. Warum? Weil sie ohne Metrik nicht arbeiten können. Also wählen sie eine Metrik. Wir brauchen etwas, das gemessen werden kann, ja. Und weil sie eine Metrik haben, wirkt das sehr rational. Ja, wir optimieren die Prognose, also den absoluten Wert von Prognose minus Realität. Offensichtlich, wenn wir eine perfekt genaue Prognose erstellen würden, wäre unser Prognosefehler null. Und so sind sich alle einig. Ja, klingt vernünftig, klingt rational. Außer – außer dass wir im Hypermarkt-Beispiel gesehen haben, dass es absolut nicht real und nicht rational ist. Man kann mit so etwas Dinge tun, die völlig absurd sind. Dennoch, wenn du ein großes Unternehmen bist, wirst du das vielleicht nicht realisieren. Der Teufel steckt im Detail, und die Leute merken wahrscheinlich gar nicht, dass es von vornherein absolut komplett unsinnig und deplatziert ist. Trotzdem hast du ein Team, und dann operiert das Team, das für die Prognose verantwortlich ist, in seiner eigenen Blase. Sie sind also nicht diejenigen, die die tatsächlichen Entscheidungen treffen, die den Unterschied ausmachen; sie erstellen lediglich die Prognose.

Nicole Zint: Und warum ist das ein Problem?

Joannes Vermorel: Laut ihrem Ziel und ihrer Kennzahl verbessern sie sich. Sie werden eine Reihe von Modellen erstellen, und mit der Zeit werden sie darin besser werden. Sie werden Saisonalität einbeziehen; sie werden die religiösen Feiertage berücksichtigen. Sie werden eine Vielzahl von Faktoren berücksichtigen, und sie werden besser werden. Und so wird laut der Kennzahl die Prognose besser. Und potenziell werden sie bessere Software einführen, allerlei Dinge im Laufe der Zeit. Es wird sich laut der Kennzahl verbessern, was nicht mit dem in Dollar ausgedrückten Interesse des Unternehmens übereinstimmt. Also verbessert sich die supply chain performance nicht mit der verbesserten Prognose. Ja, und nochmals würden Leute sagen: “Aber warum? Wir haben bessere Prognosen, und warum sollte es sich also verbessern?” Diese Leute tun nichts, um sich tatsächlich anhand der Dollar an Fehlern zu verbessern, nach denen sie für Genauigkeitsmetriken streben. Sehen Sie, das ist der Trick. Es liegt nicht daran, dass man etwas tut, das ein wenig wie etwas anderes ist, dass man das Ergebnis erzielt, das man bekommen würde, wenn man etwas anderes täte. Wissen Sie, es ist buchstäblich – es gab eine, ich schweife ein wenig ab – aber es gibt eine Anekdote aus dem Ausland, und man könnte sie auf Wikipedia über cargo cults nachlesen, wissen Sie, dass dies während des Zweiten Weltkriegs stattfand, als US-Flugzeuge über Inseln im Pazifik flogen und Fracht – Lebensmittel, Munition, verschiedene Güter – abwarfen, sodass die Soldaten, die gerade auf den Inseln eintrafen, bereits haben

Nicole Zint: Als die Menschen tatsächlich erkannten, dass sie sogar Zeugen der Entstehung neuer Religionen waren, in denen versucht wurde, die Erscheinung eines Flugzeugs auszulösen, das mehr Fracht liefern würde, sieht man, was passiert, wenn man nur oberflächlich etwas imitiert, das einem in der Vergangenheit Vorteile brachte, obwohl nun die eigentliche Substanz fehlt – und das sind diese cargo cults, die entstanden, indem man buchstäblich versuchte, die Lieferung einer Fracht auf der Insel durch bloßes Nachahmen dessen, was tatsächlich passiert war, wiederherzustellen. Ich glaube, das ist es, was bei, würde ich sagen, den meisten Prognoseteams passiert, die versuchen, eine bessere supply chain performance zu erzielen, indem sie diese Metriken einfach optimieren. Wissen Sie, es besitzt seine eigene Rationalität, aber wenn man das Gesamtbild betrachtet, ist es absolut nicht rational. Das ist nur ein Schleier der Rationalität, und man übernimmt einfach die Formate – man hat Zahlen, man hat kluge Leute, man hat Prozesse – aber nur weil man alle Kästchen abhakt, ergibt das Ganze eigentlich keinen Sinn. Daher muss ich fragen, Joannes, anfangs haben wir damit begonnen, Prognosen zu erstellen und uns darauf zu konzentrieren, eine Prognose immer genauer zu machen, und Joannes, wie bist du im Laufe dieser Lokad-Reise zu der Erkenntnis gelangt, dass dies in der Tat nicht zu einer besseren bzw. zu einer leistungsfähigeren supply chain performance für unsere Kunden geführt hat?

Joannes Vermorel: Weil es einfach nicht funktionierte. Wie hast du also erkannt, dass wir uns dem falschen Problem gewidmet haben? Ich meine, ich habe es zuerst realisiert – wie merkte ich, dass es nicht funktionierte? Denn das ist eine knifflige Frage, denn selbst als es nicht funktionierte, gewann Lokad ganz gut Kunden, wuchs gut und war einigermaßen profitabel, wissen Sie, einfach okay. Aber es funktionierte eben nicht für die Kunden, wissen Sie? Und als ich einen Schritt zurücktrat und nachdachte, stellte ich mir die brutale, ehrliche Frage: “Habe ich die Situation für die Kunden wirklich verbessert?” Wissen Sie, wenn ich einen Schritt zurücktrete, wenn ich die Metriken vergesse, einfach versuche, ein Bauchgefühl, eine instinktive Wahrnehmung der Situation zu entwickeln – wird es wirklich besser? Und ich begann zu realisieren, dass es nicht so war, wissen Sie, es war es nicht. Und das war es – aber laut allen Metriken war es so. Doch wenn ich für einen Moment aus der Matrix aussteige, wenn ich nüchtern bewerte, ob das, was wir tun, wirklich eine positive Veränderung bewirkt, im tieferen Sinn, dann tut es das eben nicht. Aber die Leute würden sagen: “Oh, aber laut aller Metriken läuft es gut, also erreichen wir die Metriken.” Aber wir liefern nicht, und genau darin liegt das Problem: Wenn man eine Metrik auswählt und gegen diese optimiert, dann wird man laut dieser Metrik besser. Das ist buchstäblich genau das, was mathematische Optimierung und machine learning für einen tun. Man wählt eine Metrik, führt eine Art numerische Optimierung durch, und man erzielt laut dieser Metrik ein besseres Ergebnis. Sehen Sie, das hatte eine etwas tautologische Natur. Wir wählen eine Metrik, werden nach dieser Metrik besser – was hätten Sie erwartet, wissen Sie? Es sei denn, die Algorithmen sind fehlerhaft implementiert, sollten wir genau das tun. Aber das bedeutet nicht, dass wir auf einer tieferen Ebene…

Nicole Zint: Kannst du erklären, warum du an die vorzeitige Absage von Plänen glaubst?

Joannes Vermorel: Vorzeitige Absage, weil, sehen Sie, die meisten unserer Wettbewerber auf mehrjährige Pläne setzen. Sie merken nie, dass etwas falsch läuft, denn grundlegend durchlaufen sie ein ERP, verkaufen ihre Produkte und beginnen dann eine fünfjährige Reise. Ob es funktioniert oder nicht, der Kunde hat so viel Aufwand darin investiert, dass er nicht ändern kann – er steckt fest. Wissen Sie, sie sind wie versunkene Autos, mit denen man spielt. Es gibt eine psychologische Falle, einfach dabei zu bleiben, da man bereits so viel investiert hat. Man genießt es so sehr und verpasst es dann, sodass man nach fünf Jahren erschöpft das superkomplexe System ausrollt und nicht sofort ändern will. Und wenn man dann schließlich entscheidet, dass man ändern möchte – sagen wir in 8 oder 10 Jahren – durchläuft man ein weiteres RFP. Wenn man den Kunden zu diesem Zeitpunkt verliert, sagt man einfach: “Nun, es lag nicht daran, dass wir bei der Prognose etwas falsch gemacht hätten, sondern daran, dass sich die Technologie, wissen Sie, weiterentwickelt hat, einige unserer Wettbewerber bei diesem spezifischen Kunden voraus waren und wir den Kunden beim zweiten RFP nicht wiedergewinnen konnten.” Aber man stellt nicht von selbst den Zusammenhang her, dass dieser Zusammenhang sehr lose ist, ob man tatsächlich etwas Gutes bewirkt und ob die Prognosen für den Kunden einen wirklichen Mehrwert liefern. Wenn man den Monat kauft, merkt man plötzlich, wenn der supply chain director dasselbe Bauchgefühl bekommt – dass es einfach keinen Mehrwert bringt, egal was die KPIs sagen –, dann ist man raus. Und so ist der Feedback-Loop, würde ich sagen, viel enger.

Nicole Zint: Kannst du mir erzählen, wie sich ein Produkt im Vergleich zu einer reinen Prognose so entwickelt hat, wie es jetzt ist?

Joannes Vermorel: Wir haben erkannt, dass es im Hinblick auf die Prognosegenauigkeit nicht darum geht, anhand einer vorgegebenen Prognosegenauigkeit, also einer bestimmten Metrik, zu optimieren. Wenn man eine wählt, wird sie eine Menge Probleme mit sich bringen. Das ist nicht das Problem. Und wenn das Tooling stimmt, wählt man eine Metrik und optimiert gegen diese – und das war’s. Das ist sehr unkompliziert. Ich meine, es könnte noch unkomplizierter sein, aber so ist es: sehr unkompliziert. Optimieren wir gerade? Die Abstimmung? Jetzt kommt es darauf an: Das Tool ist auf die Metrik optimiert, aber das Problem ist, dass das Tool, das wir entwickelt haben, genau das tut, was nötig ist, um die Metriken – die Genauigkeitsmetriken – zu entdecken, die Ihr Unternehmen benötigt. Sehen Sie, der Weg war folgender: Wir begannen mit der Idee, dass wir einfach ein vorgefertigtes Set von Metriken haben und gegen diese optimieren können, und es würde gut gehen. Das ist nicht der Fall, und es ist viel schlimmer, als ich ursprünglich dachte. Es geht nicht darum, bessere Metriken zu identifizieren. Ja, es gibt einige Metriken, die etwas besser sind. Zum Beispiel, wenn wir auf diese Hypermärktsituation zurückgehen, wenn man etwa die pinball loss function nimmt – das ist eine hoch asymmetrische Verlustfunktion, die beliebig asymmetrisch gestaltet werden kann – kann man marginal bessere Ergebnisse erzielen, wenn man auf probabilistisches Forecasting setzt. Man kann sogar auf spezifische Metriken für probabilistische Prognosen zurückgreifen, cross-entropy, continuous rank probability score, und es gibt noch weitere. Also, es gibt Metriken, die marginal besser sind, aber das ist es. Sie sind nur marginal besser. Das Problem ist, dass wenn man es mit einer real-

Nicole Zint: Joannes, kannst du über den Paradigmenwechsel in der supply chain Optimierung sprechen, der im letzten Jahrzehnt stattgefunden hat?

Joannes Vermorel: Ja, natürlich. Sehen Sie, das ist der Art von Paradigmenwechsel, den wir im letzten Jahrzehnt durchlaufen mussten. Das Tooling, das wir heutzutage haben, beantwortet buchstäblich die Frage, was es braucht, damit Supply Chain Scientist entdeckt werden können. Wir verarbeiten die Daten und besprechen mit dem supply chain expert im Unternehmen, wie die Genauigkeitsmetrik aussehen sollte. Und Sie werden feststellen, dass es etwas ist, das nicht die numerische Eleganz jener mathematischen Metriken aufweist, da es eine Vielzahl von Faktoren, Randfällen und Besonderheiten gibt, die sehr spezifisch für die Art von Geschäft sind, in dem Sie tätig sind. Wenn Sie im Segment des harten Luxus tätig sind, ist es völlig anders als beispielsweise bei frischen Lebensmitteln oder im Aerospace-Bereich. Es gibt also unzählige Randfälle und spezielle Situationen, die nur Sinn ergeben, weil man ein sehr spezifisches Unternehmen betrachtet. Dennoch sind diese Randfälle völlig entscheidend, wenn man am Ende Ergebnisse und Entscheidungen erzielen will, die nicht völlig verrückt sind. Also, was wir wirklich anstreben, sind genau diese supply chain decisions. Ja, das wäre das Endziel. Das wäre die Art und Weise zu messen, dass man wirklich etwas Gutes bewirkt – und das gilt für alle dazwischen entstehenden numerischen Artefakte.

Nicole Zint: Kannst du erklären, was du unter numerischen Artefakten verstehst?

Joannes Vermorel: Ja, natürlich. Prognosen, die mit ihrer eigenen Prognosegenauigkeitsmatrix gemessen werden, sind nur eine Art numerischer Artefakte. Es gibt typischerweise Dutzende weitere numerische Artefakte, die im Zwischenprozess auftreten. So haben wir uns von der Fokussierung auf die Verbesserung der Prognosegenauigkeit hin zu der Suche nach jenen entscheidenden supply chain decisions bewegt, die den Gewinn bzw. die maximale supply chain performance maximieren – was einen sehr interessanten Perspektivwechsel darstellt.

Nicole Zint: Also, was ist dein Rat an Unternehmen, die ihre supply chain optimieren wollen?

Joannes Vermorel: Mein Rat ist, dass, wenn nicht eine einzige Person für alles verantwortlich ist – von der sinnvollen Interpretation der im ERP befindlichen Daten bis hin zur finalen Erstellung der Produktionsaufträge, Auffüllungs- Auftrag, Bestellauftrag, Lagerbewegungen, Preisänderungen –, dann habt ihr noch nicht einmal damit begonnen, eure supply chain zu optimieren. Wenn nicht ein Prozent existiert, das end-to-end für diese gesamte Kette verantwortlich ist, dann ist all der Aufwand, den ihr in bessere Prognosen oder sonstiges gesteckt habt, nur eine Illusion. Wenn die Anreize nicht in Einklang stehen, werden diese Menschen Dinge tun, die für das Unternehmen unsinnig sind. Stellt es euch einfach so vor: Angenommen, ihr spielt Schach, und ich sage, ihr seid der Springer und euer Ziel ist es lediglich, sicherzustellen, dass der Springer bis zum Ende des Spiels überlebt. Die Frage ist: Glaubt ihr, dass, wenn ihr sagt, ihr spielt den Springer, ihr gleichzeitig den Turm spielt, während ich die Dame spiele?

Nicole Zint: Und dein Ziel ist es zu überleben. Dein Ziel ist es zu überleben. Glaubst du, dass wir auf diese Weise insgesamt ein Spiel spielen, das irgendeine Chance hat, gegen den Gegner zu gewinnen?

Joannes Vermorel: Nein, das tut es nicht. Weißt du, das ist irreführend. Das Ziel, das wir anstreben, mag zwar so klingen – und die Leute sagen: “Oh, in 99 % der Spiele, die wir gespielt haben, spielte ich den Springer, und der Springer war bis zum Ende des Spiels noch auf dem Brett.” Ja, aber wir haben jedes einzelne Spiel verloren.

Nicole Zint: Das ist gut, aber dieses Spiel…

Joannes Vermorel: Genau das ist das Problem mit irreführenden Kennzahlen: Sie mögen super rational klingen und aussehen, aber im Kern sind sie zutiefst irrational. Und ich glaube, dass diese Art von Prognosepraktiken und Prognoseabteilungen, wie sie in vielen größeren Unternehmen existieren, völlig irrational sind. Und ich weiß, dass es sehr schwierig ist, weil diese Abteilungen voller Ingenieure sind, die ihr Bestes geben wollen. Sie sind keine Idioten, und ihre Chefs und die Leute über ihnen sind auch keine Idioten – auch sie wollen Gutes tun. Also, seht, dies ist kein Problem von Menschen, die entlassen werden sollten oder so, nein, nein, es ist einfach die schlechteste Konstellation. Es ist schlichtweg kontraproduktiv.

Nicole Zint: Genau, es kann nicht. Es ist von vornherein fehlerhaft konstruiert. Es wird sein Ziel nicht erreichen.

Joannes Vermorel: Mein Rat wäre also: Sorgt dafür, dass ihr diese eine Person habt. Diese Person kann so viele Kollegen haben, wie ihr wollt, aber es muss genau eine Anlaufstelle geben, die die Verbindung von den einzelnen Datenreihen bis zur finalen Entscheidung herstellt – und das sollte, wie man sagt, eine monolithische Optimierung sein. Ihr solltet diesen Prozess nicht in einzelne Teile zerlegen.

Nicole Zint: Joannes, vielen Dank für dieses Thema heute. In der Tat, sehr zum Nachdenken anregend. Danke fürs Einschalten, und bis zum nächsten Mal.

Joannes Vermorel: Danke.