Rückkopplungsschleifen und maschinelles Lernen in supply chain

00:00:07 Einführung in das Thema maschinelles Lernen in der supply chain Industrie.
00:00:46 Einführung des Gastes Alexander Backus, der Leiter für Daten und Analysen bei IKEA ist.
00:02:20 Erklärung des Konzepts der sich selbst erfüllenden Prophezeiung.
00:03:03 Diskussion darüber, wie eine sich selbst erfüllende Prophezeiung die supply chain beeinflusst, beispielsweise Geschäftsziele sowie den Einfluss von Nachfrage und Angebot.
00:07:14 Erklärung, wie Rückkopplungsschleifen in der supply chain die Welt komplexer machen und wie ein Überschuss eines bestimmten Produkts dessen Verkauf beeinflussen kann.
00:08:53 Diskussion über Rückkopplungsschleifen in supply chain und den Einfluss menschlichen Verhaltens auf diese.
00:10:41 Verwendung von Verkaufsdaten in der Nachfrageprognose und die potenziellen Folgen eines naiven Ansatzes.
00:13:08 Das Problem der Nullprognose in maschinellen Lernsystemen und der Peitscheneffekt.
00:15:17 Erklärung des Stock-out-Bias und der Techniken zu dessen Bewältigung.
00:17:22 Diskussion über die Häufigkeit von Stock-outs und die Wirksamkeit der Methode zur Bewältigung des Stock-out-Bias.
00:18:15 Erklärung, wie die Wahrnehmung eines Produkts durch den Kunden die Nachfrage beeinflussen kann und welchen Einfluss die Lagerbestände auf den Verkauf haben.
00:20:17 Erklärung der Verlustmaskierung und ihres Zwecks.
00:20:26 Erklärung, wie es dem Modell helfen kann, den Effekt von Lagerbestands-Schwankungen auf den Verkauf zu verstehen, wenn es Zugriff auf die Lagerbestände erhält.
00:22:14 Diskussion über die Grenzen beim Einsatz eines maschinellen Lernmodells für die kausale Inferenz und die Auswirkungen störender Variablen.
00:25:54 Erklärung, wie probabilistische Vorhersagen dazu beitragen können, den Einfluss von Nullprognosen zu verringern, indem die “Unschärfe” der verfügbaren Informationen anerkannt wird.
00:27:04 Erklärung der Vorteile der Verwendung eines probabilistischen Vorhersagemodells.
00:28:44 Vorteile der Verwendung eines probabilistischen Vorhersagemodells gegenüber einer Punktprognose.
00:30:42 Rückkopplungsschleifen und wie sie die Prognose beeinflussen.
00:34:35 Wie Preise die Prognose beeinflussen können.
00:36:32 Erklärung der partiellen Beobachtbarkeit und ihrer Herausforderung bei der Erstellung eines Modells für das supply chain management.
00:37:04 Vergleich mit dem Konzept des Bandit-Feedbacks und seiner bekannten Anwendung in Empfehlungssystemen im E-Commerce.
00:37:17 Diskussion über die Grenzen des überwachten Lernens bei der Vorhersage der Auswirkungen von Entscheidungen im supply chain management.
00:38:01 Erklärung des politikbasierten Reinforcement-Learning-Algorithmus.
00:41:06 Diskussion über die Herausforderungen bei der Anwendung von Reinforcement-Learning-Algorithmen im realen supply chain management und die Lösung, mit einem Offline-Lernen aus historischen Daten zu beginnen.
00:44:55 Diskussion darüber, wie Gewohnheiten und vergangene Praktiken Preisbewegungen in einem Unternehmen beeinflussen.
00:46:41 Erklärung von Exploitation und Exploration im Reinforcement Learning.
00:50:57 Die Notwendigkeit, Rückkopplungsschleifen in der Prognose als Paradigmenwechsel anzuerkennen.
00:52:45 Die technischen und kulturellen Herausforderungen bei der Integration von KI in Geschäftsprozesse.
00:53:57 Erörterung der Herausforderungen bei der Modellierung und Entscheidungsfindung in der supply chain Branche.
00:54:55 Anerkennung der Existenz von Rückkopplungsschleifen im supply chain Prozess.
00:55:06 Der Übergang zu einem entscheidungsbasierten Ansatz anstelle eines prognosebasierten Ansatzes.
00:57:27 Der Trend in der supply chain Branche, insbesondere bei großen E-Commerce-Unternehmen.
01:01:03 Welche Qualitäten gesucht werden, wenn neue Mitarbeiter zur Bewältigung von Herausforderungen in der supply chain an Bord geholt werden.

Zusammenfassung

In einem von Nicole Zint moderierten Interview diskutieren Joannes Vermorel, Gründer von Lokad, und Alexander Backus, Leiter für Daten und Analysen bei IKEA, die Anwendung von maschinelles Lernen und KI in der supply chain Branche. Das Interview hebt den Einfluss von sich selbst erfüllenden Prophezeiungen und Rückkopplungsschleifen auf das supply chain management hervor und betont die Herausforderungen beim Einsatz von maschinellen Lernmodellen in der Prognose. Das Interview untersucht auch Ansätze zur Vermeidung des Nullprognose-Problems, wie z. B. den Einsatz von probabilistic forecasting, und die Bedeutung, Unsicherheiten in der supply chain Prognose anzuerkennen. Die Podiumsteilnehmer betonen die Notwendigkeit, Unsicherheit anzunehmen, zu decision-making Modellen überzugehen und Veränderungen schrittweise umzusetzen, um das supply chain management zu verbessern.

Erweiterte Zusammenfassung

In diesem Interview moderiert Nicole Zint eine Diskussion zwischen Joannes Vermorel, Gründer von Lokad, und Alexander Backus, Data and Analytics Leader bei IKEA, über die Anwendung von Machine Learning und KI in der supply chain Branche. Sie diskutieren das Konzept der sich selbst erfüllenden Prophezeiung und deren potenzielle Auswirkungen auf supply chains, die Rolle von Rückkopplungsschleifen und die Herausforderungen beim Einsatz von Machine-Learning-Modellen in der Prognose.

Eine sich selbst erfüllende Prophezeiung ist eine Vorhersage, die sich direkt oder indirekt durch die Rückkopplung zwischen Glauben und Verhalten selbst in die Realität umsetzt. Im supply chain Management können Prognosen Entscheidungsprozesse beeinflussen und letztlich die Zukunft verändern. Vermorel weist darauf hin, dass sich selbst erfüllende Prophezeiungen nicht von Natur aus gut oder schlecht sind; sie machen die Situation einfach komplexer.

Rückkopplungsschleifen sind in supply chains weit verbreitet, da Menschen auf Prognosen reagieren, was dann zukünftige Vorhersagen beeinflussen kann. Vermorel betont, wie sich diese Schleifen auf verschiedene Weisen äußern können, beispielsweise durch Anpassung von Preisen oder Produktplatzierungen basierend auf Lagerbeständen. Er weist auch darauf hin, dass Wettbewerber ihre Strategien als Reaktion auf die Prognosen eines Unternehmens ändern können, wodurch zusätzliche Rückkopplungsschleifen entstehen.

Backus erklärt, dass Verkaufsdaten ein wesentlicher Input für Machine-Learning-Modelle in der Prognose sind, aber Verkäufe nicht dasselbe wie Nachfrage darstellen. Verkaufsdaten können durch Angebot und andere Faktoren beeinflusst werden, während Nachfrage eine nicht direkt beobachtbare Größe ist, die erschlossen werden muss. Er betont die Wichtigkeit, zwischen beiden zu unterscheiden und ihr Zusammenspiel im Prognoseprozess zu berücksichtigen.

Machine-Learning-Modelle können in der Prognose im supply chain problematisch sein, wenn sie nicht darauf ausgelegt sind, Rückkopplungsschleifen und sich selbst erfüllende Prophezeiungen zu berücksichtigen. Backus erwähnt den “Peitscheneffekt”, bei dem geringe Abweichungen in der supply chain durch das System verstärkt werden können. Dies kann zu nachteiligen Effekten führen, wie etwa eskalierenden Verkaufszahlen oder ungenauen Vorhersagen. Er stellt dem Wettervorhersagen gegenüber, das nicht von menschlichem Verhalten beeinflusst wird, und der Vorhersage von Geschäftsergebnissen, die diesen komplexen Rückkopplungsschleifen unterliegt.

Um die Herausforderungen, die durch Rückkopplungsschleifen und sich selbst erfüllende Prophezeiungen entstehen, zu bewältigen, schlägt Vermorel vor, dass Unternehmen die Komplexität von supply chain Systemen annehmen und erkennen, dass Punktprognosen möglicherweise unzureichend sind. Stattdessen sollten sie versuchen, die potenziellen Auswirkungen ihrer Prognosen auf das menschliche Verhalten und Entscheidungsprozesse zu verstehen und vorauszusehen.

Zusammenfassend untersucht das Interview die Feinheiten des Einsatzes von Machine Learning und KI im supply chain Management und hebt die Bedeutung des Verständnisses von sich selbst erfüllenden Prophezeiungen und Rückkopplungsschleifen hervor, um die Prognosegenauigkeit und Entscheidungsfindung zu verbessern.

Das Zero-Forecasting-Problem tritt auf, wenn ein System weniger Bestand bestellt, weil ein wahrgenommener Nachfragerückgang besteht, was dazu führt, dass die Nachfrage weiter sinkt und ein kontinuierlicher Rückgang der Bestellungen einsetzt. Um dieses Problem zu vermeiden, schlägt Vermorel vor, den Fehlbestand Bias zu entfernen, indem die in dem Prognosemodell verwendete Kennzahl geändert wird. Ein Ansatz besteht darin, die Messwerte an Tagen mit Fehlbeständen auf Null zu setzen. Diese Methode funktioniert gut, wenn Fehlbestände relativ selten auftreten, ist jedoch weniger effektiv in Branchen mit hohen Fehlbestandsraten.

Ein weiterer Ansatz besteht darin, dem Machine-Learning-Modell Zugang zu historischen und zukünftigen Lagerbestandsdaten zu geben, sodass es den Effekt von Schwankungen der Lagerbestände auf zukünftige Verkäufe oder die Nachfrage erlernen kann. Diese Methode erfordert, dass alle Entscheidungen und Faktoren, die die Nachfrage beeinflussen, wie Promotions, Preisgestaltung, Kapazität, Lager Einschränkungen und Markteinflüsse, in das Prognosemodell einfließen.

Backus warnt jedoch, dass die Verwendung eines Standard-Machine-Learning-Modells ohne alle notwendigen Informationen zu Fehlern führen kann, etwa dazu, Ursache und Wirkung von Veränderungen der Lagerbestände und Nachfrageschwankungen zu verwechseln. Um diese Probleme zu vermeiden, schlägt er vor, probabilistische Prognosen zu verwenden, die die Unschärfe der verfügbaren Informationen anerkennen und verhindern, dass man zu einer absoluten Sicherheit hinsichtlich einer Nachfrage von Null gelangt.

Probabilistische Prognosen verteilen Wahrscheinlichkeiten über viele Werte, was es erschwert, zu einer absoluten Sicherheit in einer Nachfrage von Null zu gelangen. Dieser Ansatz verhindert ein Einfrieren des Bestands bei Null, indem nicht-null Wahrscheinlichkeiten für die zukünftige Nachfrage geschätzt werden. Er berücksichtigt auch die Asymmetrie zwischen der Bedienung eines Kunden und dem Vorhalten von zusätzlichem Bestand für einen zusätzlichen Tag, zugunsten höherer Service Levels.

Trotz seiner Vorteile ist probabilistische Prognose keine perfekte Lösung. Sie kann zukünftige Nachfrage in Fällen wiederholter Fehlbestände immer noch unterschätzen. Dennoch bietet sie eine robustere Methode zur Bestandsverwaltung und zur Vermeidung des Zero-Forecasting-Problems.

Abschließend können der Einsatz von Machine-Learning-Techniken und probabilistischer Prognose supply chain Fachleuten dabei helfen, die Nachfrage besser vorherzusagen und die Bestandsverwaltung zu steuern. Indem sie verschiedene Faktoren, die die Nachfrage beeinflussen, berücksichtigen und die Unsicherheiten in den verfügbaren Daten einbeziehen, können Unternehmen fundiertere Entscheidungen treffen und ihre supply chain performance verbessern.

Joannes Vermorel unterstrich die Bedeutung, die Unsicherheit in der supply chain Prognose anzuerkennen, da eine perfekte Modellierung zukünftiger Ereignisse unrealistisch ist. Er diskutierte das Konzept der probabilistischen Prognose, das die inhärente Unsicherheit von supply chain Ereignissen widerspiegelt, und wie sie sich von Punktprognosen unterscheidet. Er erklärte, dass probabilistische Prognosen Wahrscheinlichkeitsverteilungen beinhalten, wodurch die Zukunft ganz anders aussieht als die Vergangenheit. Zudem ging er auf Rückkopplungsschleifen als eine zusätzliche Dimension ein, um Prognosen zu bereichern, indem sie dynamisch und von zukünftigem Verhalten abhängig gemacht werden.

Alexander Backus stimmte Vermorels Punkten zu und erläuterte, wie der Modellenzugriff auf frühere Entscheidungen, wie beispielsweise Preisgestaltung, Probleme in der Prognose mildern kann. Er führte das Konzept der partiellen Beobachtbarkeit ein, das darin besteht, nur die Wirkung einer Entscheidung zu beobachten, ohne das Gegenfaktische zu kennen. Um die Auswirkungen von Entscheidungen besser vorhersagen zu können, schlug Backus vor, Machine-Learning-Probleme so zu formulieren, dass sie anstelle von Vorhersagen über die Zukunft optimale Entscheidungen ausgeben. Dieser Ansatz wird Reinforcement Learning genannt.

Das Gespräch dreht sich um die Herausforderungen bei der Prognose und Entscheidungsfindung im supply chain Management aufgrund von Rückkopplungsschleifen, begrenzten Daten und nicht zufälligen Entscheidungen. Sie betonen die Notwendigkeit, diese Rückkopplungsschleifen anzunehmen und sich einem Modell zuzuwenden, das Entscheidungen statt Prognosen liefert. Der Trend bei technologieorientierten Unternehmen wie Amazon und Alibaba besteht darin, die Vorstellung einer perfekten Prognose aufzugeben und sich auf die Entscheidungsfindung zu konzentrieren. Trotz vorhandener Herausforderungen sind sich die Diskussionsteilnehmer einig, dass die Branche schrittweise diese Veränderungen integrieren sollte, um das supply chain Management zu verbessern.

Vermorel hebt die Bedeutung hervor, die Unsicherheit und die unreduzierbare Komplexität von supply chains anzunehmen, die aus Menschen, Maschinen und Prozessen bestehen. Er plädiert dafür, annähernd richtig zu sein, anstatt exakt falsch. Backus betont die Notwendigkeit für hervorragende data science Talente, um Herausforderungen in Großunternehmen wie IKEA zu meistern, und unterstreicht das Potenzial für globale Auswirkungen sowie die Bedeutung, den Status quo herauszufordern.

Vollständiges Transkript

Nicole Zint: Willkommen, Alexander Backus, heute hier in unseren Büroräumen. Alexander ist ein Experte auf diesem Gebiet und der Data and Analytics Leader bei IKEA. Wie immer möchten wir unsere Gäste zunächst sich vorstellen lassen. Alexander, wenn du möchtest, gehört die Bühne dir.

Alexander Backus: Danke, Nicole. Danke, dass ich hier sein darf. Es ist großartig, hier in Paris mit dir zu sein. Mein Name ist Alexander Backus, und ich leite Data Analytics im Bereich der Bestands- und Logistikoperations der IKEA Inka Group Digital. Ich manage ein Team von Data Scientists, Data Engineers und Data Analysts, die in funktionsübergreifenden Produktteams daran arbeiten, die Planung der Logistikoperationen im Bereich der Bestände zu optimieren. Ich habe einen Hintergrund in Data Science und habe als Berater für große Unternehmen wie KLM Airlines, Heineken, Vodafone Ziggo und ING Bank gearbeitet. Nachdem ich einen PGD in Kognitiver Neurowissenschaft gemacht habe, denke ich, dass die Arbeit in der supply chain als Data Scientist ein wirklich spannendes Feld ist, da es viele günstige Voraussetzungen für Data Science vereint. Es gibt viele Daten, es hat Einfluss auf reale Entscheidungsprozesse, sodass es etwas Greifbares ist, und man beeinflusst nicht nur das Endergebnis, sondern hilft auch dabei, eine nachhaltigere Welt zu schaffen, indem Verschwendung in der supply chain reduziert wird. So bin ich schließlich hier gelandet.

Nicole Zint: Bevor wir in diese Themen eintauchen, lasst uns zunächst das Konzept erläutern, über das wir sprechen werden. Fangen wir einfach an: Was ist eine sich selbst erfüllende Prophezeiung?

Alexander Backus: Die Idee ist, dass die Prognose, die du erstellst, um deinen business process zu optimieren, tatsächlich einen bestimmten Entscheidungsprozess beeinflusst. Es wird eine Entscheidung auf Grundlage deiner Prognose getroffen – zumindest ist das dein Ziel. Wenn das geschieht, bedeutet das, dass deine Prognose selbst die Zukunft verändert und auch die Daten, die zur nächsten Vorhersage herangezogen werden, verändert. Dies kann gewisse Herausforderungen mit sich bringen. Im Wesentlichen ist eine sich selbst erfüllende Prophezeiung eine Vorhersage, die eintritt, weil sie vorhergesagt wurde. Du beeinflusst die Zukunft, weil du dachtest, sie würde auf eine bestimmte Weise verlaufen. Du veränderst nicht nur die Zukunft, sondern schaffst auch eine Realität, in der die Prognose zur Wahrheit wird – und das kann auf unterschiedliche Weisen geschehen. Zum Beispiel, wenn du eine Prognose für dein Geschäft oder deinen Umsatz hast, kann diese Prognose zum Ziel deines Unternehmens werden.

Nicole Zint: Also, Marketingmitarbeiter treffen bestimmte Entscheidungen, sie sagen: „Okay, wir sollten dieses Ziel erreichen, weil wir gerade etwas unter den Erwartungen liegen, also müssen wir ein wenig mehr verkaufen und einige Promotionen durchführen.“ Tatsächlich ist die von dir erstellte Prognose zum Ziel geworden, das im Entscheidungsprozess den Ausschlag gibt – was in diesem Beispiel das Endergebnis im Verkauf beeinflusst. Und das kann auf viele Arten geschehen. Ein weiteres Beispiel ist, wenn du eine bestimmte Prognose hast, die dazu führt, dass du eine gegebene Lieferkapazität oder Kommissionierkapazität in deinen Lagern sicherst, was sich auf die Durchlaufzeit auswirkt. Wenn also ein Kunde deine E-Commerce-Website besucht und sieht, dass die Durchlaufzeit sehr hoch oder sehr niedrig ist, kann das in beide Richtungen gehen; das beeinflusst tatsächlich die Nachfrage der Kunden.

Alexander Backus: Genau, also beeinflusst die Nachfrage dein Angebot, und das Angebot beeinflusst die Nachfrage. Es funktioniert in beide Richtungen, und genau auf diesen Effekt spielst du an, Joannes. Wenn es um Prognosen geht, die zu Geschäftszielen werden, wie siehst du, dass sich das auf das Geschäft selbst auswirkt? Welche Nachteile gibt es, wenn die Prognose etwas ist, das man zu erreichen versucht, anstatt tatsächlich die supply chain Performance zu betrachten?

Joannes Vermorel: Es gibt an sich keine Nachteile. Es ist vielmehr eine Frage der Funktionsweise der supply chain. Du weißt ja, Rückkopplungsschleifen gibt es überall. Wir befassen uns im Wesentlichen mit menschlichen Angelegenheiten, und es erstaunt Praktiker, dass in vielen Ingenieurschulen und sogar in zahlreichen Unternehmen die Prognose so gehandhabt wird wie die Vorhersage der Bewegung von Planeten – also in einem sehr sauberen Rahmen, in dem es vergangene Beobachtungen gibt, auf deren Basis man Aussagen über die zukünftige Position des Planeten treffen kann. Aber du als Prognostiker hast keinerlei Einfluss auf diese beobachteten Elemente, wie etwa die Planeten.

Nicole Zint: Also willst du sagen, dass eine sich selbst erfüllende Prophezeiung nicht unbedingt gut oder schlecht ist, sie einfach ist?

Joannes Vermorel: Ja, genau. Man kann nicht so tun, als hätte es keinen Einfluss, aber es macht die Situation auf jeden Fall komplexer und komplizierter – eigentlich ein wenig von beidem. Und so wird es etwas verwirrend, denn viele Unternehmen haben Schwierigkeiten damit, sich mit etwas abzufinden, das keine Punktprognose ist. Angenommen, du hast nur eine einzige Zukunft; das ist sie. Und es ist im Wesentlichen etwas, das völlig symmetrisch zur Vergangenheit ist. Du hast deine vergangenen Beobachtungen, und du würdest dir wünschen, dass die Zukunft genauso klar und ordentlich ist wie die Vergangenheit – im Grunde mehr vom Gleichen.

Nicole Zint: Ja, mehr vom Gleichen, aber auch wirklich von derselben Natur. So hast du eine vollkommen klare Sicht auf die Vergangenheit und ebenso klare Vorstellungen von der Zukunft. Und übrigens, im Fall der Bewegung von Planeten – solange du nicht Millionen von Jahren vorausblickst – kannst du eine völlig perfekte Vorstellung davon haben, wo sich diese Planeten in einem Jahrhundert befinden werden.

Joannes Vermorel: Nun, wo es interessant wird, ist, dass es in der supply chain überall Rückkopplungsschleifen gibt. Wann immer du dich bei einem Produkt festlegst, indem du viel davon kaufst, erzeugst du tatsächlich Erwartungen, und die Leute haben das Gefühl, dass sie das Produkt verkaufen müssen. Sie werden alles tun, damit das Unternehmen nicht mit massiven Überbeständen dasteht, die nicht abverkauft werden konnten. Sie organisieren sich so, dass dieses massive Angebot in massive Verkäufe umgewandelt wird – oder zumindest werden sie es versuchen. Sie passen den Preis entsprechend an, wie viel sie auf Lager haben, oder es geschehen manchmal noch alltäglichere Dinge. Wenn es Geschäfte gibt, wenn du

Nicole Zint: In einer leicht anderen Richtung, nur um eine stärkere Differenzierung herzustellen, siehst du, diese Rückkopplungsschleifen gibt es überall und sie sind nicht schlecht – sie sind einfach vorhanden. Und nochmals: Der Kerngrund dafür ist, dass in der Mitte Menschen stehen, die basierend auf diesen Zukunftsaussagen denken und handeln können. Wann immer also Menschen im Spiel sind, werden sie auf Aussagen über die Zukunft reagieren. Supply chains sind sehr komplex, sodass diese Reaktionen viele Formen annehmen können. Aber allen supply chains ist gemeinsam, dass sie von vielen Menschen getragen werden, und manchmal nimmt die Rückkopplungsschleife, beispielsweise durch die Ankündigung eines Mangels an etwas, auch diese Form an. Dann eilen die Leute herbei, um dieses Etwas zu kaufen, und so kann es zu einem von Menschen verursachten Mangel kommen – einfach wegen eines psychologischen Effekts.

Joannes Vermorel: Genau. Und die Idee, dass wenn man einen Mangel ankündigt, man höchstwahrscheinlich einen Mangel verursacht, ist nichts Neues. Es ist relativ vorhersehbar, aber dennoch ist es schwierig, all diese Hinweise zu antizipieren, denn plötzlich muss man perfekt sein. Ja, und plötzlich muss man in gewisser Weise die Psyche der Menschen modellieren, die in der Mitte der supply chain stehen.

Nicole Zint: Joannes, du erwähnst ständig diese Rückkopplungsschleifen. Alexander, dürfte ich dich fragen, welche tatsächlichen Daten in diese Systeme zurückgespeist werden, damit unsere Zuschauer es verstehen können? Also, an welchem Punkt in der supply chain speisen wir die Daten zurück?

Alexander Backus: Gute Frage. Ich denke, eine sehr wichtige Quelle für jede Art von Prognose sind deine Verkaufsdaten, und das sind auch die Schlüsseldaten, die von den Effekten beeinflusst werden, über die wir gerade gesprochen haben. Wenn wir zu dem zurückkehren, was Joannes erklärt hat, besteht der naive Ansatz der Nachfrageprognose beziehungsweise der Geschäftsprognose im Allgemeinen darin, ein überwachtes Machine-Learning-Modell zu verwenden und es als ein grundlegendes Regressionsproblem zu behandeln. Man sagt also: “Okay, ich werde einfach diese Menge basierend auf historischen Daten mit einem überwachten Lernalgorithmus vorhersagen.” Und wenn du dann dieses Modell, das dafür trainiert ist, zukünftige Verkäufe vorherzusagen, betrachtest und an die Beispiele der Rückkopplungsschleifen denkst, die wir besprochen haben, können hier schädliche oder degenerierte Fälle auftreten. Also, wenn dein Modell eine geringe Nachfrage oder geringe Verkäufe prognostiziert – wir sollten sehr vorsichtig sein, diese beiden nicht zu verwechseln, aber lass uns für einen Moment außer Acht lassen, dass Verkäufe nicht Nachfrage sind.

Und so bringt es dich in eine Situation, in der du niedrige Verkäufe vorhersagst, was wiederum zu einer geringen Kapazitätsplanung führt, und deshalb verkaufst du auch weniger, sodass es immer weiter sinkt, bis du bei Null ankommst. Das Modell wird also anfangen zu lernen, dass die Nachfrage fällt – und tatsächlich fällt sie. Und es kann auch ganz andersherum laufen. Es kann sich in diesem Sinne auch nach oben spiralisieren.

Joannes Vermorel: Ja, es gibt diese schädlichen Effekte, wenn man ein Machine-Learning-Modell benutzt, um aus der Vergangenheit zu lernen und damit auf diese naive Weise die Zukunft vorherzusagen – was hier völlig schiefgehen kann.

Nicole Zint: Es klingt irgendwie nach einem Peitscheneffekt, bei dem ein Fehler in einer supply chain oder eine Abweichung von der Norm einfach vom System verstärkt wird. Und du hast auch erwähnt, dass Verkäufe nicht zwangsläufig Nachfrage sind, denn du könntest 50 Einheiten deines Bestands verkaufen, aber wenn die Nachfrage bei 100 lag, wird dennoch nur registriert, dass deine Verkäufe 50 betragen. Dieser Unterschied hängt tatsächlich mit dem Kern dieses Problems zusammen.

Alexander Backus: Ja, die Nachfrage selbst ist natürlich eine nicht direkt beobachtbare Größe. Man kann sie nicht messen, sondern muss sie ableiten. Und Verkaufsdaten kommen dem am nächsten, aber das ist definitiv nicht das Ganze.

Nicole Zint: Also diskutieren wir die Idee, dass erstellte Prognosen die Nachfrage und Verkäufe beeinflussen und damit eine Rückkopplungsschleife erzeugen können. Einige haben den Unterschied zwischen der Wettervorhersage und der Geschäftsprognose beschrieben, wobei die Wettervorhersage diese nicht beeinflusst, während die Prognose im Geschäftsbereich tatsächlich Auswirkungen haben kann. Alexander, könntest du diese Rückkopplungsschleife näher erläutern und erklären, wie wir das von dir erwähnte Null-Prognose-Problem vermeiden?

Alexander Backus: Sicherlich. Wenn ein Machine-Learning-Modell aus seinen eigenen Ausgabedaten lernt, kann es Abweichungen vom Normalzustand verstärken. Zum Beispiel, wenn die Nachfrage aus irgendeinem Grund etwas sinkt, könnte das Modell dem System mitteilen, weniger zu bestellen. Infolgedessen sinkt die Nachfrage noch weiter, weil weniger bestellt wird, und das Modell schlägt dann vor, noch weniger zu bestellen, was zu einem Null-Vorhersageproblem führt. Dieses Problem tritt besonders häufig bei der Zeitreihenprognose auf. Joannes, wie vermeiden wir dieses Problem bei Machine-Learning-Systemen?

Joannes Vermorel: Die Null-Prognose ist etwas, das man erhält, wenn man den Fehlbestandseffekt, der ziemlich stark sein kann, nicht entfernt. Wenn Ihnen der Bestand ausgeht, beobachten Sie null Verkäufe, aber das bedeutet nicht, dass es keine Nachfrage gibt. Bei Lokad haben wir zumindest drei Techniken in der Produktion, um mit dem Fehlbestandseffekt umzugehen. Ein Ansatz besteht darin, die Metrik zu ändern, gegen die Sie mit Ihrem Prognosemodell optimieren. Anstatt die Metrik über die Zeit hinweg einheitlich anzuwenden, setzen Sie die Messwerte an Tagen, an denen es zu Fehlbeständen kommt, auf null. Das ist ein grober Ansatz, aber er kann funktionieren.

Nicole Zint: Welche Metrik wird üblicherweise zunächst verwendet, von der Sie vorschlagen, abzuweichen?

Joannes Vermorel: Es gibt tausende von Metriken, aber die einfachsten sind L1, L2 oder sogar MAPE. Die Frage ist, ob Sie die Metrik über die Zeit hinweg einheitlich anwenden. Die Antwort lautet in der Regel nein, das sollten Sie nicht. Sie möchten Ihre Messwerte an Tagen, an denen Sie Fehlbestände haben, auf null setzen.

Nicole Zint: Bedeutet „auf null setzen“, dass man den Beitrag eines Tages, an dem ein Fehlbestand vorlag, entfernt?

Joannes Vermorel: Ja, Sie entfernen den Beitrag eines Tages, an dem Sie wissen, dass Ihr Signal stark verzerrt ist. Es funktioniert, dieses Signal auszuschließen, aber es ist ein eher grober Ansatz.

Nicole Zint: Nicht, wenn Ihre Fehlbestände sehr häufig vorkommen. Für viele Unternehmen sind Fehlbestände statistisch relativ selten. Sie haben einen Servicegrad von über 95 %, sodass diese Methode gut funktioniert, wenn Fehlbestände eher außergewöhnlich sind, so etwas wie eine natürliche Katastrophe, die nur sehr selten eintritt.

Joannes Vermorel: Nein, ich meine, sagen wir mal, ein allgemeiner Warenladen, also Ihr Supermarkt. Die haben jeden Tag einen Servicegrad von über 95 %, das ist in Ordnung. Wo es nicht funktionieren würde, wäre zum Beispiel ein Geschäft für Hard Luxury. In diesem Fall hätte ein Hard-Luxury-Geschäft, nur um Ihnen ein Bild zu geben, typischerweise sagen wir etwa 500 Artikel aus einem Katalog von 5.000. Also hat man definitionsgemäß ständig einen Fehlbestand von über 90 %. In diesem Fall ist es nicht sehr sinnvoll. Wie Sie sehen, kommt es wirklich auf die Branche an. Es gibt Branchen, wie zum Beispiel die Lebensmittelbranche, in denen Sie sehr hohe Servicegrade erwarten. Ihr Sortiment ist darauf ausgerichtet, die Dinge zu beinhalten, die Sie haben sollten. Wenn Ihr Supermarkt beispielsweise gewöhnlich ein Paket Limonadenflaschen verkauft, sollten Sie mit der Zuversicht in den Laden gehen können, dass Sie diese Einheiten finden. Manchmal werden Sie sie nicht finden, aber solche Ereignisse werden selten vorkommen. Also, noch einmal, es hängt von den betrachteten Bereichen ab.

Nicole Zint: Okay, und im Grunde genommen kann der Verkauf ein falsches Signal über die Nachfrage senden, wie Sie erklärt haben. Wenn es null Verkäufe sind, kann schnell fälschlicherweise angenommen werden, dass dies null Nachfrage bedeutet, aber in Wirklichkeit könnte es daran liegen, dass Sie diesen Bestand nicht haben. Tatsächlich besteht eine sehr hohe Nachfrage dafür. Und das Gegenteil ist ebenfalls der Fall. Wenn Sie für ein anderes Produkt, das als guter Ersatz dient, einen Fehlbestand haben, dann können Sie einen Anstieg der Verkäufe für einen Artikel beobachten, während dies lediglich die Tatsache widerspiegelt, dass Ihnen der Bestand von etwas, das als lockerer Ersatz dient, ausgeht. Dennoch könnte der Kunde den Eindruck gewinnen, dass es ein schlechter Service ist.

Joannes Vermorel: Ja, denn die Kunden könnten zwar bereit sein, den Ersatz anzunehmen, aber sie könnten dennoch denken, dass es sich um eine minderwertige Option handelt. Daher ist es erneut interessant, dass Sie den Agenten, die Kunden und ihre Meinung berücksichtigen müssen und versuchen sollten, Ihre Modellierung der Nachfrage anzupassen, um die grundlegende Denkweise abzubilden, die in Ihrer Kundschaft vorherrscht.

Nicole Zint: Wie vermeiden wir dieses Null-Vorhersageproblem, damit null Verkäufe nicht als null Nachfrage interpretiert werden?

Alexander Backus: Jiran hat erwähnt, dass man dieses Signal einfach nicht berücksichtigt, um diese Tage zu vermeiden. Technisch gesprochen nennt man das “loss masking”.

Joannes Vermorel: Ja, Sie entfernen im Grunde genommen den Beitrag dieses Datenpunkts. Eine weitere einfache Technik besteht darin, dem Modell Zugang zu historischen Lagerbeständen und vielleicht auch zu zukünftigen Prognosen davon zu verschaffen, sodass Sie nachvollziehen können, wie diese Verkäufe von den Lagerbeständen beeinflusst werden.

Alexander Backus: Das Modell kann dann lernen, welchen Einfluss bestimmte Schwankungen der Lagerbestände auf zukünftige Verkäufe oder die Nachfrage haben, wenn Sie es modellieren. Im Wesentlichen den Einfluss der Entscheidungen.

Joannes Vermorel: Ja, dahin möchte letztlich jeder gelangen, nämlich indem Sie alle Entscheidungen, die basierend auf Ihren vorherigen Prognosen getroffen wurden, als Input in Ihr Prognosemodell einspeisen.

Nicole Zint: Wenn Sie es trainieren, sind es nicht nur Lagerentscheidungen, die die Lagerbestände beeinflussen, sondern es können auch Marketingentscheidungen sein, wie sogar ein von der Geschäftsführung gesetztes Ziel. Sie sagen: “Hey, so viel wollen wir verkaufen.” Das ist an sich schon eine Entscheidung, denn wir haben all diese Markteinflüsse.

Alexander Backus: Ja, Markteinflüsse. Sie füttern all dies als Input in die Prognose, wie zum Beispiel Aktionen, Preisangaben und Kapazitätsdaten. Kapazität kann ebenfalls die Nachfrage beeinflussen. Wenn die Lieferzeiten in die Höhe schnellen, suchen die Leute nach Alternativen. Im Wesentlichen dienen alle Einschränkungen im Geschäft, in den Lagern und alles, was die Nachfrage beeinflussen kann, als Eingangssignale für Ihr Modell. Dann kann das Modell aus der Geschichte lernen, welchen Einfluss diese Signale auf die Nachfrage haben und entsprechend korrigieren.

Dies ist gewissermaßen Schritt zwei in Ihrem Modellierungsprozess, da es viele Dinge gibt, vor denen Sie hier vorsichtig sein müssen. Ein interessanter Nebeneffekt ist, dass Geschäftsanwender Ihr Modell verwenden möchten, um das – technisch ausgedrückt – kausale Inferenz durchzuführen. Sie möchten Dinge anpassen wie: “Was passiert, wenn wir diese Promotion durchführen oder die Lagerbestände reduzieren? Wie wirkt sich das auf die Nachfrage aus?” Es ist irgendwie wie eine Simulation.

Damit das funktioniert, müssen Sie in der Modellierung weitaus sorgfältiger vorgehen. Wenn Sie es so machen, wie ich es erklärt habe, kann Ihr Modell leicht Effekte erlernen – zum Beispiel, dass bei niedrigem Lagerbestand die Nachfrage hoch ist – nur weil eine Marketingkampagne, die die eigentliche Ursache ist, den Lagerbestand hat sinken und die Nachfrage steigen lassen. Das führt zu Verwechslungen. Das nennt man einen Störfaktor oder umgekehrte Kausalität. Ein Standard-Machine-Learning-Modell, dem nicht alle benötigten Informationen vorliegen, wird diesen Fehler machen.

Ein klassisches Beispiel ist, wenn Sie vorhersagen wollen, ob es heißes Wetter geben wird. Man könnte dies anhand der Anzahl der Eisverkäufe prognostizieren. Natürlich ist dies ein typisches Beispiel für umgekehrte Kausalität. Aber vielleicht haben sie den Preis gesenkt oder es kam zu einem Lagerengpass, und das war der tatsächliche Grund. Es gibt viele mögliche Ursachen.

Aber Sie müssen vorsichtig sein. Dies ist ein Ansatz, um Ihrem Modell mehr Informationen über die getroffenen Entscheidungen zu geben und sicherzustellen, dass es lernt, Zusammenhänge herzustellen. Dennoch wird es für das Modell selbst ziemlich herausfordernd sein, diese Beziehungen zu erlernen, insbesondere wenn es viele Zwischenschritte gibt, zu denen Sie keine Daten haben. Wenn Sie eine Prognose liefern, übernimmt nicht unmittelbar jemand im Unternehmen diese und trifft darauf basierende Entscheidungen. Es werden noch weitere Informationen hinzugefügt, Änderungen von den Planern im Unternehmen vorgenommen, und in gewissem Maße bleiben Sie davon im Unklaren. Das wird wiederum problematisch und komplex.

Bevor wir darauf eingehen, wie wir diese neuen Herausforderungen, die durch die Erstellung eines…

Nicole Zint: Machine Learning ist ein intelligenteres Modell, das Entscheidungen ausgibt und dazulernt. Alexander, wie wirkt sich jede Entscheidung auf das Geschäft aus, und wie können wir sie vergleichen, um herauszufinden, welche Entscheidungen wir treffen sollten? Wir wollen nicht nur prognostizieren, sondern auch die Zwischenschritte verstehen. Aber bevor wir darauf eingehen, Joannes, wir haben vorhin dieses Zero-Forecasting-Modell erwähnt, ein wichtiges Konzept in diesem Machine-Learning-Modell. Was unterscheidet die Prognoseansätze, die wir bei Lokad verwenden? Helfen probabilistische Prognosen, das Problem des Zero Forecasting zu lösen und – wie besprochen – diese Abweichungen von der Norm, die zu größeren Fehlern werden, zu verhindern? Wie verändert probabilistisches Forecasting das?

Joannes Vermorel: Probabilistisches Forecasting ist in dieser Hinsicht und allgemein für den Feedback-Loop sehr interessant. Es gibt dafür zwei völlig unterschiedliche Gründe. Der erste ist die Idee, dass wir eine Unschärfe einführen, sodass wir versuchen, zumindest annähernd korrekt zu sein, anstatt exakt falsch.

Wenn es beispielsweise um Situationen mit Zero Forecasts geht, passiert Folgendes: Bei probabilistischen Prognosen erkennen Sie an, dass die Qualität der vorliegenden Informationen tendenziell ziemlich unscharf ist. Man hat keinen perfekten Durchblick darüber, was passiert, und daher wird es numerisch weitaus schwieriger sein, zu absoluter Sicherheit zu gelangen, dass die Nachfrage wirklich null ist. Es ist also nicht so, dass das probabilistische Forecasting-Modell wesentlich besser ist, sondern vielmehr, dass es sich verteilt und einen Stillstand bei dieser Nullposition vermeidet. Es berücksichtigt alle Wahrscheinlichkeiten über viele Werte hinweg, und wenn man dazu mischt, dass es typischerweise starke Asymmetrien gibt zwischen der Möglichkeit, eine Einheit bedienen zu können, und dem bloßen Vorhalten einer zusätzlichen Einheit im Lager für einen weiteren Tag, tendiert man in vielen Situationen sehr stark dazu, lieber eine zusätzliche Einheit für einen Tag vorzuhalten, als das Risiko eines Lagerengpasses einzugehen. Der Trade-off ist stark auf höhere Service Levels ausgerichtet.

Damit erhalten Sie aus probabilistischen Prognosen eine Situation, in der die Wahrscheinlichkeiten verteilt sind. Ihre Prognose – Ihre numerische Aussage über die Zukunft – bricht nicht einfach schnell in einen entarteten Zustand zusammen, in dem lediglich gesagt wird, dass die zukünftige Nachfrage null sein wird. Es wird Probleme geben, sodass Sie bei wiederholten Lagerengpässen höchstwahrscheinlich die tatsächliche zukünftige Nachfrage unterschätzen. Allerdings werden Sie wahrscheinlich verhindern, dass der Lagerbestand auf null einfriert, weil Sie weiterhin schätzen, dass eine von null abweichende Wahrscheinlichkeit besteht, dass der Bedarf ein oder zwei oder drei Einheiten beträgt. Das ist das erste Argument; es verhindert eine einseitige Verstärkung.

Alexander Backus: Ja, es ist auch wichtig zu berücksichtigen, dass insbesondere bei Feedback-Loops Situationen sehr schwer vollständig kontrollierbar sind. Es ist besser, etwas zu haben, das sich nicht einseitig verstärkt, wie Joannes erwähnt hat.

Nicole Zint: Tu so, als ob du alles vollständig beherrscht. Nochmals, hier geht es nicht um die Bewegung der Planeten. Phänomene, bei denen 30-60 Prozent Ungenauigkeit nichts ausmachen, sind, wie du weißt, nicht allzu überraschend.

Joannes Vermorel: Also sprechen wir von einem Grad an Ungenauigkeit in der Art der numerischen Aussage über die Zukunft, der sehr hoch ist. Probabilistisches Forecasting liefert zumindest etwas, das diese enorme Umgebungsunsicherheit widerspiegelt. Nochmals: Wir versuchen, Menschen zu modellieren, Menschen, die reagieren können. Es ist sehr, sehr schwierig, und das Erste, was man anerkennen muss, ist, dass man nicht die Kontrolle hat. Ich meine, diese Leute – diese Kunden, diese Lieferanten, diese Wettbewerber – sie sind klug, sie spielen ihre eigenen Spiele, sie tun vieles. Es wäre, würde ich sagen, etwas überheblich zu behaupten, dass man perfekt modellieren könne, was auch immer passieren wird. Das wäre die Grundlage eines Science-Fiction-Romans von Asimov, in dem es eine perfekte statistische Modellierung der Zukunft großer Zivilisationen gibt. Es ist äußerst schwierig und höchstwahrscheinlich unrealistisch.

Joannes Vermorel: Probabilistisches Forecasting ist auch aus einem völlig anderen Grund von großem Interesse. Der zweite Grund ist, dass im Gegensatz zur Punktprognose, bei der zwischen Vergangenheit und Zukunft vollständige Symmetrie herrscht – bei der Sie im Wesentlichen eine Messung pro Tag und pro SKU haben, das wären etwa Ihre Verkäufe oder Ihre Nachfrage – und wenn Sie in die Zukunft projizieren, erhalten Sie wieder eine Messung pro Tag und pro SKU, sodass die Prognose der Vergangenheit sehr symmetrisch gegenübersteht. Wenn Sie jedoch in den Bereich des probabilistischen Forecastings eintreten, blicken Sie plötzlich auf eine Wahrscheinlichkeitsverteilung oder eine Reihe von Wahrscheinlichkeitsverteilungen. Dadurch entsteht eine sehr starke Asymmetrie zwischen Vergangenheit und Zukunft. Plötzlich ist die Zukunft völlig anders als die Vergangenheit. In der Vergangenheit haben Sie Beobachtungen, sie sind einzigartig, es gibt keine Unsicherheit oder, falls doch, nur die Unsicherheit der Messung selbst. Es könnte beispielsweise ein Schreibfehler in Ihrem Verkaufsprotokoll sein, doch in Bezug auf die Größenordnung ist das sehr, sehr gering. In der supply chain kann dies fast immer als nahezu keine Unsicherheit approximiert werden, im Gegensatz zur Zukunft, in der die Unsicherheit enorm ist – das sind Ihre Wahrscheinlichkeitsverteilungen.

Joannes Vermorel: Und so ist es sehr interessant – und das bringt mich zum Feedback-Loop – dass der Feedback-Loop eine weitere zusätzliche Dimension darstellt. Es ist ein Weg, die Prognose zu bereichern und robuster zu machen, jedoch auf eine sehr unterschiedliche Weise: Wenn es beim probabilistischen Forecasting um die Einführung von Wahrscheinlichkeiten geht, dann geht es beim Feedback-Loop darum, die Prognose zu einer höhergeordneten Funktion zu machen. Grundsätzlich ist Ihre Prognose also plötzlich nicht mehr ein Ergebnis, nicht einmal eine Wahrscheinlichkeitsverteilung, sondern ein Mechanismus, in den Sie eine Richtlinie, eine Art Reaktion, einbringen können und dadurch ein anderes Ergebnis erzielen. So wird es zu etwas, bei dem Sie einfach wissen, dass, wenn jemand handelt – und dieser Jemand kann in gewisser Weise sogar Sie selbst sein – Sie dennoch einen Einfluss auf die Prognose haben werden.

Nicole Zint: Die Situation wird also dynamischer und ganzheitlicher, wenn Sie in den Bereich der Feedback-Loops eintreten. Können Sie erklären, wie sich das auf die Prognose auswirkt und wie diese dadurch schwerer fassbar wird?

Joannes Vermorel: Wenn Sie in den Bereich der Feedback-Loops eintreten, befassen Sie sich mit etwas Dynamischem, das einen funktionalen Bestandteil in seinem Kern benötigt, wie eine Richtlinie. Diese Richtlinie bestimmt, wie Sie in Bezug auf Lagerbestände, Preise und verschiedene Faktoren reagieren, die Ihre Prognose ausmachen. Die Prognose wird schwerer fassbar, weil sie nicht mehr ein einfaches Objekt ist. Sie wird von diesen Feedback-Loops beeinflusst, und wenn die Leute von “Prognose” sprechen, denken sie normalerweise an eine Punktprognose. Wenn wir jedoch in den Bereich der Policy-Prognosen vordringen, erweitern wir bereits den Rahmen dessen, was sich die Menschen vorstellen können. Wenn wir sagen, dass es Wahrscheinlichkeitsverteilungen sein sollen, wird es viel schwieriger zu visualisieren.

Beispielsweise entwickeln sich Ihre Preise so, dass sie den Warenfluss in Ihrer supply chain aufrechterhalten. Steht ein Unternehmen kurz vor einem massiven Engpass, ist die natürlichste Reaktion, den Preis schrittweise zu erhöhen, damit der Engpass weniger stark wird. Umgekehrt, steht man kurz vor einem massiven Überbestands-Szenario, so besteht die natürliche Reaktion darin, den Preis zu senken, um die Nachfrage zu steigern und den Überbestand abzubauen. Die Prognose, die Sie über die Zukunft haben, hängt in diesen Beispielen von Ihrer Preispolitik ab. Wenn Sie beginnen, über Feedback-Loops nachzudenken, wird Ihre Prognose bedingt, indem sie eine Richtlinie berücksichtigt, die bis zu einem gewissen Grad unter Ihrer Kontrolle steht.

Nicole Zint: Alexander, stimmst du den Stärken und Unterschieden zu, die Joannes gerade den probabilistischen Forecasting-Ansatz im Vergleich zu einer Zeitreihe dargelegt hat?

Alexander Backus: Ja, indem Sie Ihrem Modell Zugang zu bisherigen Entscheidungen wie der Preisgestaltung gewähren, kann dieses Problem entschärft werden. Joannes sprach in diesem Zusammenhang von Zeitreihen und probabilistischem Forecasting. Allerdings wirkt sich Ihre Prognose nicht nur auf zukünftige Entscheidungen und Trainingsdaten aus; es gibt auch das sogenannte partielle Beobachtbarkeitsproblem. Das bedeutet, dass Sie nur die Wirkung der getroffenen Entscheidung beobachten und nicht wissen, was passiert wäre, wenn Sie über mehr Kapazitäten oder Lagerbestand verfügt hätten. Das ist ein kontrafaktisches Szenario. Die Herausforderung besteht darin, ein Modell zu entwickeln, das gut genug ist, um den Einfluss aller Entscheidungen genau vorherzusagen.

Dieses Phänomen ist in E-Commerce-Empfehlungssystemen sehr bekannt und, könnte man sagen, im Bereich der supply chain weniger. Es wird Bandit-Feedback genannt. Der Begriff stammt von den Multi-Armed Bandits, einer Spielautomatenkonstellation in einem Casino, bei der Sie nur die Belohnung beobachten, die Sie vom Spielautomaten erhalten, beziehungsweise welchen Hebel Sie betätigen.

Nicole Zint: Und dann ist es derselbe Effekt, und das Empfehlungssystem ist dem ähnlich, denn wenn Sie eine bestimmte Werbung zeigen, wissen Sie nicht, was passiert wäre, wenn Sie dem Kunden eine andere gezeigt hätten. Es gibt spezifische Modellierungsansätze, die dafür gut geeignet sind, und das naive überwachte Lernen, über das ich zu Beginn gesprochen habe, ist genau da, wo es versagt. Es eignet sich also nicht gut dafür, die Wirkung der Aktion vorherzusagen. Vielmehr sollten Sie Ihr Machine-Learning-Problem neu formulieren, sodass das Modell nicht eine Prognose über die Zukunft ausgibt, sondern eine optimale Entscheidung. Und ich glaube, darauf hat Joannes auch angespielt – man nennt es eine Policy. Sie lernen ein Modell, das besagt: Das ist, was Sie tun sollten. Das ist die Werbung, die Sie zeigen sollten oder – im Kontext der supply chain – das ist der Lagerbestand, den Sie von A nach B bewegen sollten, das ist die Menge an Kapazität, die Sie reservieren sollten. Es sind also die tatsächlichen Dinge, die Ihre supply chain direkt beeinflussen, anstatt einer reinen Prognose, auf deren Grundlage Sie dann selbst Entscheidungen treffen, während die Maschine nicht weiß, welche Entscheidungen Sie getroffen haben. Theoretisch könnten Sie die gesamte Prognosephase sogar komplett auslassen und einfach sagen: Das ist, was Sie tun sollten.

Alexander Backus: Es gibt spezifische Machine-Learning-Algorithmen, und die weiter gefasste Klasse wird tatsächlich Reinforcement Learning genannt. Dabei ergreifen Sie eine Handlung in der realen Welt, beobachten deren Wirkung und formulieren diese in Begriffen von Belohnungen, finanziellen Belohnungen. Dann erhalten Sie das Feedback, anhand dessen Sie Ihr Modell aktualisieren. Sie haben finanzielle Belohnungen erwähnt, also ein Beispiel: Sie treffen die Entscheidung, so viel Lagerbestand zu bestellen, beobachten, wie die supply chain performt, wie viel Geld auf das Konto einging, und speisen das dann in das System zurück, sodass es versteht, dass – als wir diese Entscheidungen getroffen haben – dies das Ergebnis war und daraufhin weiterarbeitet.

Joannes Vermorel: Ja, solche finanziellen Verstärkungsmechanismen oder finanziellen Zielsetzungen können komplexer sein, wenn man Lagerhaltungskosten, entgangene Chancen und dergleichen berücksichtigt. Darauf ließe sich noch viel detaillierter eingehen, oder wir belassen es dabei. Damit optimieren Sie dann mit diesem Reinforcement-Learning-Algorithmus. Auf diese Weise lernen Sie direkt die Policy, also die Entscheidungen, die Sie treffen sollten. Sie begeben sich gewissermaßen mehr in die selbst erfüllende Prophezeiung, anstatt sie zu vermeiden, wie wir zu Beginn unserer Diskussion angesprochen haben. Es ist also weder gut noch schlecht; es kann einfach nicht ignoriert werden. Und das ist ein Weg, dies zu umgehen, indem man ein Modell hat, das die Entscheidungen berücksichtigt und aus den Auswirkungen vorheriger Entscheidungen lernt, um immer bessere Entscheidungen zu treffen.

Alexander Backus: Wir sollten ein wenig über die Implikationen nachdenken, denn das bedeutet, dass Sie auch experimentieren können sollten. Und das ist in diesem Setup natürlich sehr herausfordernd, wenn das Modell lernen muss und sehen soll, was passiert, wenn es A oder B tut.

Nicole Zint: Also, warum wurde dies nicht bereits grundsätzlich angewendet, bzw. wird es nicht überall angewendet?

Alexander Backus: Nun, das ist einer der Gründe. Außerdem lernen typische Reinforcement-Learning-Algorithmen online, das heißt, sie ergreifen eine Handlung und lernen dann aus dem Feedback der Belohnungen, die sie erhalten. Dies ist in realen Umgebungen problematisch, in denen ein hohes Risiko besteht, und außerdem haben Sie

Nicole Zint: Du hast nichts, womit du diesen Algorithmus starten kannst, um zunächst sinnvolle Ergebnisse zu erzielen. Er wird zufällig initiiert. Oder du benötigst eine sehr gute Simulationsumgebung, was man oft in anderen Reinforcement-Learning-Settings sieht, wie AlphaZero, das von Google DeepMind lernt, Schach zu spielen. Sie haben eine Simulation, also eine Computersimulation, in der dieser Reinforcement-Learning-Algorithmus agieren kann. So opferst du im Grunde genommen nicht die supply chain von jemand anderem.

Alexander Backus: Genau, du willst keine Versuchskaninchen. Aber das ist in unserem Fall ein Henne-Ei-Problem, denn dann benötigst du ein sehr genaues Modell der Realität. Und wenn du das hast, ist das Problem bereits gelöst. Also brauchst du erst einmal eine supply chain, um das zu bewerkstelligen, und das möchtest du nicht. Du brauchst ein Modell deiner supply chain. Wenn du das hast, solltest du nicht trainieren müssen und die Gelegenheit bereits erkennen können. Zurück zum Anfang.

Ja, aber heutzutage gibt es eine vielversprechende Richtung, bei der man aus historischen Daten lernt. Das nennt sich Offline Reinforcement Learning, bei dem man im Grunde aus den getroffenen historischen Entscheidungen lernt. Auch wenn diese nicht so gleichmäßig verteilt sind, wie man es sich wünschen würde, ist es dennoch möglich, Algorithmen auf Basis zuvor gesammelter realer Daten zu trainieren.

Nicole Zint: Sozusagen ein Ausgangspunkt?

Alexander Backus: Ja, sozusagen ein Ausgangspunkt. Und von dort aus kannst du dann in online Settings übergehen, ohne dabei deine Ressourcen zu opfern, oder du trainierst es offline, bevor du es in Chargen freigibst. Es gibt mehrere Optionen, aber das bringt auch eigene Herausforderungen mit sich. Joannes, was hältst du von dem, was Alexander gerade beschrieben hat: offline zu starten, aus früheren Daten zu lernen und dann im Wesentlichen das Henne-Ei-Problem zu umgehen, sodass die Maschine gut genug ist, um auf eine reale supply chain angewendet zu werden und somit über mehr reale Daten verfügt, von denen sie dann weiterarbeiten kann? Was ist deine Meinung dazu?

Joannes Vermorel: Die Dateneffizienz ist fast immer ein Thema bei sämtlichen Machine-Learning-Algorithmen in der supply chain, da man nie den Luxus einer gigantischen Datenmenge hat – zumindest nicht in der Granularität, in der Entscheidungen getroffen werden müssen. In supply chain Entscheidungen müssen diese typischerweise auf SKU-Ebene getroffen werden. Und aufgrund der Chargenbildung, selbst wenn wir uns die SKU in einem Geschäft anschauen, wird es nicht Millionen von Einheiten pro Tag geben. Und wenn wir uns die SKU in einer Fabrik anschauen, gibt es große Chargen, sagen wir mal 10.000 Einheiten, und auch hier wird es nicht Millionen von Chargen pro Tag geben. Somit ist die Menge relevanter Beobachtungen immer noch relativ begrenzt.

Das ist ein Aspekt, der im Reinforcement Learning stets eine Herausforderung darstellt, weil uns einfach nicht so viele Daten zur Verfügung stehen. Ein Simulator ist von großem Interesse, aber das war auch ein Punkt, den ich kurz in einer meiner Vorlesungen angesprochen habe. Im Wesentlichen besteht eine Dualität zwischen einer probabilistischen Prognose und einem Simulator. Wenn man eine probabilistische Prognose hat, kann man stets Beobachtungen sampeln und so den Simulator aus der probabilistischen Prognose ableiten. Und wenn man einen Simulator hat, kann man viele Simulationen durchführen und die jeweiligen Wahrscheinlichkeiten berechnen, womit man wieder zur probabilistischen Prognose gelangt. Es besteht also eine sehr starke Dualität.

Ja, das ist interessant, aber das setzt voraus, dass man eine sehr genaue probabilistische Prognose hat, was sehr herausfordernd ist.

Nicole Zint: Die partielle Beobachtbarkeit ist ein besonders kniffliges Problem, denn wenn du einen Datensatz nimmst – sagen wir mal, du möchtest Preisbewegungen untersuchen – hat das Unternehmen in den letzten zehn Jahren möglicherweise auf eine bestimmte Weise gearbeitet, sodass die Preisbewegungen nicht zufällig erfolgten; es gab sehr starke Gewohnheiten. Manchmal sind diese Gewohnheiten so ausgeprägt, dass es schwierig wird, tatsächlich zu differenzieren, was die eigentliche Ursache ist.

Joannes Vermorel: Was, wenn das Unternehmen jedes Jahr Ende Januar beschließt, die ersten Neujahrsverkäufe zu starten? Sie haben die Praxis, Ende Januar hohe Rabatte über eine Vielzahl von Produkten anzubieten, was du als Nachfrageschub am Monatsende beobachten wirst. Aber was ist der Effekt der Saisonalität? Würde man am Ende des Monats einen Nachfrageanstieg beobachten, auch ohne die Rabatte? Und wie groß ist der Anteil des Effekts, der ausschließlich von den Rabatten herrührt?

Alexander Backus: Genau, das ist das Problem. Die Entscheidungen wurden nicht zufällig getroffen, und so spiegeln die Beobachtungen ziemlich genau die üblichen Praktiken wider. Eine Möglichkeit im Reinforcement Learning, damit umzugehen, ist die Einführung einer Mischung aus Exploration und Exploitation. Exploitation bedeutet, dass du das Beste aus dem machst, was du basierend auf deinen bisherigen Beobachtungen kennst, und Exploration bedeutet, dass du etwas Neues ausprobierst, in der Erwartung, dass es – weil es teilweise zufällig ist – inferior sein wird.

Joannes Vermorel: Warum solltest du also jemals etwas ausprobieren, von dem du weißt, dass es höchstwahrscheinlich inferior sein wird? Die Antwort lautet: weil es der einzige Weg ist, letztendlich etwas zu entdecken, das sich als überlegen herausstellt. Das ist im Grunde die Idee des Opfers – es ist eine Investition in Forschung und Entwicklung. Und das könnte etwas sein, das nicht unbedingt in sehr alltäglichen Formen auftritt. Es könnte zum Beispiel so sein, dass du in einem Geschäft bist und Kerzen verkaufst.

Alexander Backus: Und dann stellst du dir vor, was wäre, wenn du dieselben Kerzen zu einem Preis verkaufen würdest, der viermal höher oder viermal niedriger liegt? Beide Optionen könnten valide sein. Vielleicht, wenn du eine sehr große Mengenbestellung bei einem deiner Lieferanten aufgibst und die Menge drastisch erhöhst, könntest du den Preis eines Basisprodukts erheblich senken. Ich nehme absichtlich Kerzen als Beispiel – du könntest also einen viel niedrigeren Preis erzielen und vielleicht die beobachtete Nachfrage um das Zehnfache steigern.

Joannes Vermorel: Das wäre ein lohnender Kompromiss. Oder du gehst den anderen Weg, änderst deinen Kurs komplett und sagst: “Ich werde etwas wählen, das viel hochwertiger ist, Geschmack oder Duft hinzufügen und mit besserer Verpackung daherkommt, und den Preis vervierfachen.” Anstatt ein Zehntel der Nachfrage zu haben, die ich früher hatte, hätte ich immer noch die Hälfte der Nachfrage, aber für ein Produkt, das zu einem deutlich höheren Preis verkauft wird.

Alexander Backus: Wenn wir jedoch in die Geschichte blicken, waren die Variationen, die wir beobachtet haben, höchstwahrscheinlich nur kleine Abweichungen im Vergleich zur Basis. Unsere Geschichte umfasst nicht diese verrückteren, wenn man so will, Szenarien.

Joannes Vermorel: Ja, und nochmals, es könnte auch darum gehen: Was wäre, wenn du ein Produkt nimmst und sagst: “Ich führe fünf Varianten in fünf verschiedenen Farben ein”?

Nicole Zint: Weißt du, in welchem Ausmaß ich Kannibalisierung beobachten werde oder ob ich tatsächlich neue Märkte erschließe? Wenn ich also Kerzen nehme und sage, dass ich sie in mehreren Farben einführen werde, in welchem Maße werden sich diese verschiedenfarbigen Kerzen gegenseitig kannibalisieren und in welchem Maße werde ich tatsächlich gänzlich neue Nachfrage bedienen?

Joannes Vermorel: Ich weiß es nicht, und vielleicht gibt mir dieser Rekorder einen kleinen Einblick. Aber weitgehend sehen wir normalerweise, dass, solange Unternehmen damit beginnen, irgendeine Art von maschinengesteuerter Zufälligkeit einzuführen, es sehr wenig Zufälligkeit gibt. Es ist vielmehr eine Frage von Gewohnheitsmustern. Und es hängt auch davon ab, wie diese Unternehmen operieren. Wenn es beispielsweise um Preisentscheidungen geht, ist es typischerweise nicht nur eine einzelne Person, die auf die Idee kommt. Es gibt eine Methode dahinter, und die Leute wurden darauf trainiert zu sagen: “In solchen Situationen solltest du das Produkt rabattieren, weil das die übliche Praxis ist und Sinn macht.” Das ist in Ordnung, doch bedeutet das auch, dass der Großteil der Preisvariationen, die du in den historischen Daten beobachtest, stets wenigen Mustern folgt, die genau den etablierten Methoden entsprechen.

Alexander Backus: Aber das ist doch trotzdem ein guter Ausgangspunkt. Wenn du, wie du erwähnt hast, was sonst machen sollst – entweder opferst du eine supply chain oder du erstellst eine großartige Simulation – basiert das ebenfalls auf der Idee, dass du gute Daten als Grundlage hast. Aber, wie ich bereits sagte, wenn wir es offline machen, also unsere bestehende Verkaufshistorie oder die Daten, die wir haben, betrachten, auch wenn es den Nachteil haben könnte, dass wir diese enorme Abweichung von der Norm nicht sehen, um die unterschiedlichen Konsequenzen zu beobachten – ist das deiner Meinung nach immer noch der richtige Ausgangspunkt?

Joannes Vermorel: Ich glaube, der richtige Ausgangspunkt ist etwas anders. Zunächst einmal muss man anerkennen, dass Rückkopplungsschleifen fundamental sind. Wenn wir anerkennen, dass diese Rückkopplungsschleifen real sind und sie angehen wollen, bedeutet das einen Paradigmenwechsel in der Herangehensweise an Forecasting selbst. Siehst du, das ist der eigentliche Ausgangspunkt. Der Rest sind technische Details. Es gibt viele Modelle. Die einfachsten Reinforcement-Learning-Modelle, wie Bandits, können unglaublich simpel sein. Einige sind unglaublich komplex, aber das sind technische Details. Was ich in realen supply chains beobachtet habe, ist, dass die größte Herausforderung darin besteht, etwas so Einfaches wie diese Rückkopplungsschleifen tatsächlich anzunehmen, weil man anerkennen muss, dass sie tiefgreifende Auswirkungen auf die Forecasts selbst haben werden. Die Prognosen werden nie wieder dieselben sein – und ich meine das nicht quantitativ, sondern in Bezug auf das Paradigma: Man kann diese Prognosen nicht mehr auf die gleiche Weise betrachten. Dies ist nicht einmal mehr dasselbe Objekt. Es ist etwas von anderer Natur, und das ist sehr schwierig, denn normalerweise lautet die Frage: “Wird meine Prognose genauer sein?” Eine der Herausforderungen besteht darin, dass man – sobald man anfängt, diese Rückkopplungsschleifen zu betrachten – gar nicht mehr weiß, wie man Genauigkeit messen soll, wenn solche Schleifen vorhanden sind. Das ist eine ganz eigene Fragestellung. Eine schwierige Frage.

Alexander Backus: Ja, um darauf aufzubauen, denke ich, dass wir die technischen Herausforderungen und die Herausforderungen der Datenverfügbarkeit besprochen haben. Aber ich stimme Joannes vollkommen zu, dass der Hauptgrund, warum es in Unternehmenssettings nicht angewendet oder übernommen wurde, auch darin liegt, dass es tiefgreifende Auswirkungen auf deine Geschäftsprozesse hat. Also, in diesem theoretischen Setting…

Nicole Zint: Wer, denkst du, sind die technologisch versiertesten Akteure in der E-Commerce-Branche?

Joannes Vermorel: Der Trend ist, glaube ich, dass wenn ich mir die sehr aggressiven, technologisch versierten Akteure anschaue, das dd.com, Amazon.com, Alibaba.com sind. Du weißt schon, diese E-Commerce-Unternehmen, die ihrer Zeit voraus sind. Ja, sie sind wirklich an der Spitze ihres Spiels. Sie sind sehr, sehr effektiv.

Alexander Backus: Dem würde ich zustimmen. Diese Unternehmen sind definitiv führend in der Branche, wenn es um Technologie und Innovation geht.

Nicole Zint: Also, die Welt hat sich im Laufe der Jahre sehr verändert. Was denkst du, Joannes, über die Welt, in der wir heute leben?

Joannes Vermorel: Nun, es ist nicht mehr so einfach wie früher. Die Welt entwickelt sich weiter, aber in den letzten Jahren gab es viele Überraschungen. Es ist klar, dass wir nicht am Ende der Geschichte angekommen sind, wo alles vorhersehbar wäre. Die Welt ist chaotisch, und wir müssen die Unsicherheit und Komplexität von Menschen, Maschinen und Prozessen in der supply chain akzeptieren. Wir können nicht die vollständige Kontrolle haben, also ist mein Ansatz, annähernd richtig zu sein, um alles zu erfassen, anstatt exakt falsch zu liegen.

Nicole Zint: Das ist eine wirklich interessante Sichtweise. Und was ist mit dir, Alexander? Nach welcher Art von Talent suchst du, wenn du neue Leute in dein Team aufnimmst?

Alexander Backus: Bei IKEA sind wir ständig auf der Suche nach großartigen Talenten im Bereich Data Science, um Herausforderungen in einem großen Unternehmen zu lösen. Wir haben viele Daten und das Potenzial, global etwas zu bewirken, also müssen wir den Status quo infrage stellen.

Nicole Zint: Vielen Dank euch beiden für eure Einblicke. Es war uns eine Freude, euch heute bei uns zu haben.

Joannes Vermorel: Ja, danke.

Alexander Backus: Danke, dass ich dabei sein durfte.