00:00:08 A/B-Tests und ihre Anwendungen im Marketing und in supply chains.
00:01:47 Beispiele für A/B-Tests im Marketing und in supply chains.
00:03:41 Probleme mit A/B-Tests in supply chains und wie sie Probleme verlagern.
00:06:02 Verlagerungsprobleme und Interdependenzen bei A/B-Tests in supply chains.
00:07:45 supply chains als miteinander verbundene Systeme und die Herausforderungen von A/B-Tests.
00:09:58 Einschränkungen von A/B-Tests im supply chain management.
00:11:45 Reinforcement Learning für supply chains.
00:13:22 Abwägen von Erkundung und Ausbeutung in der Entscheidungsfindung.
00:15:01 Zufälligkeit für bessere Einblicke in supply chains.
00:17:08 Unternehmen, die alternative Lieferanten und Märkte erkunden.
00:19:39 Die Quantifizierung des Wertes von Wissen bei Geschäftsentscheidungen.
00:20:52 Wie Lokad Geschäftsentscheidungen unter Berücksichtigung von sekundären Effekten optimiert.
00:23:42 Die zukünftige Bedeutung von Erkundung und der Quantifizierung ihres Wertes für Unternehmen.
Zusammenfassung
In diesem Interview spricht Kieran Chandler mit Joannes Vermorel, dem Gründer von Lokad, über A/B-Tests und ihre Einschränkungen bei der Optimierung von supply chains. Sie diskutieren die Geschichte und Anwendungen von A/B-Tests, die im Marketing populär, in supply chain management jedoch weniger verbreitet sind. Vermorel argumentiert, dass A/B-Tests für die Optimierung von supply chains unzureichend sind, aufgrund der miteinander verbundenen Natur von supply chains und der begrenzten Lernmöglichkeiten, die sie bieten. Stattdessen schlägt er vor, einen machine learning Ansatz zu verfolgen und Zufälligkeit in der decision-making einzuführen. Durch kontinuierliche Erkundung alternativer Optionen und die Quantifizierung von Wissen, glaubt Vermorel, dass führende Unternehmen ihre supply chain Prozesse verbessern können, um Optimierung und Fortschritt im Laufe der Zeit zu erreichen.
Erweiterte Zusammenfassung
In diesem Interview diskutiert Kieran Chandler A/B-Tests und ihre Anwendungen in der Optimierung von supply chains mit Joannes Vermorel, dem Gründer von Lokad, einem Softwareunternehmen, das sich auf die Optimierung von supply chains spezialisiert hat. Sie beginnen mit einer Erklärung, was A/B-Tests sind und wie ihre Geschichte aussieht, bevor sie auf deren Anwendungen, Einschränkungen und Alternativen eingehen.
A/B-Tests, ein Teilbereich des experimentellen Designs, beinhalten den Vergleich zweier Varianten, um deren Effektivität zu bestimmen. Die Methode entstand wahrscheinlich im späten 19. Jahrhundert, obwohl die Aufzeichnungen aufgrund ihrer intuitiven Natur unklar sind. A/B-Tests sind Teil der wissenschaftlichen Methode und des weiter gefassten Feldes des Versuchsdesigns, das darauf abzielt, kleine Wahrheiten über Aussagen oder Hypothesen zu erlangen.
A/B-Tests sind besonders im Marketing beliebt, wo sie zur Beurteilung der Effektivität von Werbematerialien wie Newslettern oder Anzeigen eingesetzt werden. Ein Beispiel für A/B-Tests im Marketing ist, die Kundendatenbank in zwei zufällige Gruppen aufzuteilen und der ersten Gruppe die Version A eines Newsletters sowie der zweiten Gruppe die Version B zu senden. Anschließend werden die Ergebnisse gemessen, um festzustellen, welche Version besser abgeschnitten hat.
Anfang der 2000er führte Google eine Reihe von A/B-Tests durch, um die optimale Anzahl von Suchergebnissen zu ermitteln, die auf der Ergebnisseite ihrer Suchmaschine angezeigt werden sollten. Die Tests halfen dem Unternehmen, die Ladezeiten der Seite und die Benutzerzufriedenheit in Einklang zu bringen, was letztlich zur Entscheidung führte, etwa 10 Ergebnisse pro Seite anzuzeigen.
Obwohl A/B-Tests im supply chain management weniger populär sind, wird Lokad oft – entweder explizit oder implizit – gebeten, A/B-Tests für seine Kunden durchzuführen. Im Kontext von supply chain umfasst A/B-Testing üblicherweise den Vergleich der Leistung einer Reihe von Geschäften, die vom Bestandsoptimierungssystem von Lokad verwaltet werden, mit einer Reihe vergleichbarer Geschäfte, die vom bestehenden System des Kunden gesteuert werden. Der Vergleich wird über einen Zeitraum, beispielsweise drei Monate, durchgeführt und kann als Benchmark oder Pilot bezeichnet werden.
Vermorel argumentiert, dass A/B-Tests zwar wie ein rationaler Ansatz erscheinen mögen, um zwei Methoden zu vergleichen, sie jedoch für die Optimierung von supply chains problematisch sein können aufgrund der miteinander verbundenen Natur von supply chains.
Vermorel erklärt, dass in einer supply chain Probleme oft verlagert und nicht gelöst werden. Beim Vergleich der Leistung zweier verschiedener Optimierungstechniken sind diese möglicherweise nicht unabhängig, da sie um dieselben Ressourcen konkurrieren. Dies führt zu einer Situation, in der die Optimierung einer Technik auf Kosten der anderen erfolgen kann. Die miteinander verbundene Natur von supply chains bedeutet auch, dass wenn ein Teil betroffen ist, er andere Teile beeinflussen kann, was es schwierig macht, den Einfluss einer einzelnen Variable zu isolieren und zu messen.
Ein weiteres Problem von A/B-Tests im Kontext von supply chains ist das begrenzte Lernen, das sie ermöglichen. A/B-Tests prüfen jeweils nur eine Hypothese und liefern dadurch nur geringe Informationsmengen. Dies mag ausreichend sein, wenn man absolute Gewissheit über etwas erlangen möchte, woran man stark glaubt, aber supply chains befinden sich ständig im Wandel, und das langsame Tempo von A/B-Tests kommt möglicherweise nicht mit den sich entwickelnden Bedürfnissen mit.
Vermorel weist auch auf das Problem der Saisonalität hin, das die Gültigkeit der Ergebnisse von A/B-Tests beeinträchtigen kann. Um dem Rechnung zu tragen, müsste ein Test möglicherweise 12 Monate laufen, was jedoch oft nicht praktikabel ist, da es nur ein einziges Stück Information darüber liefert, welches System besser ist. Zudem können unterschiedliche Systeme für verschiedene Produkttypen oder Situationen besser geeignet sein, was den Nutzen von A/B-Tests weiter einschränkt.
Anstatt sich auf A/B-Tests zu verlassen, schlägt Vermorel vor, das Problem aus der Perspektive von Machine Learning zu betrachten. Dieser Ansatz konzentriert sich darauf, aktiv Informationen aus Daten zu extrahieren, was effektiver sein kann, um komplexe und miteinander verbundene Systeme wie supply chains zu verstehen. Indem man berücksichtigt, wie Entscheidungen Beobachtungen beeinflussen, wird es möglich, die Nachfrage besser zu erlernen und die optimieren supply chain Operationen zu verbessern.
Vermorel erklärt, dass Unternehmen die Optimierung ihrer aktuellen Prozesse mit der Erkundung alternativer Optionen ausbalancieren sollten. Dies könnte bedeuten, Zufälligkeit in ihre Entscheidungsfindung einzuführen, was Unternehmen dabei helfen kann, in einem lokalen Minimum stecken zu bleiben – einer Situation, in der sie glauben, die beste Lösung gefunden zu haben, obwohl eine bessere existiert, wenn sie von ihrem aktuellen Ansatz abweichen würden.
Eine Möglichkeit, Zufälligkeit einzuführen, besteht darin, mit verschiedenen Produkten oder Lieferanten zu experimentieren. Beispielsweise könnte ein Einzelhandelsnetzwerk in jedem Geschäft einige zufällige Produkte in sein Sortiment aufnehmen oder alternative Lieferanten testen, um deren Zuverlässigkeit und Produktangebote zu bewerten. Unternehmen in der Automobilzulieferbranche haben diesen Ansatz sogar umgesetzt, indem sie einen Teil ihrer Bestellungen an Lieferanten weitergeleitet haben, die zunächst nicht die besten Preise oder Konditionen anbieten, einfach um den Markt zu sondieren.
Obwohl es kontraintuitiv erscheinen mag, solche Zufälligkeiten in ihre Prozesse einzuführen, argumentiert Vermorel, dass dieser Ansatz langfristig tatsächlich die Rentabilität verbessern kann. Durch kontinuierliches Lernen über ihren Markt können Unternehmen neue Erkenntnisse gewinnen, die erhebliche Auswirkungen auf ihr Ergebnis haben könnten. Zum Beispiel könnten sie feststellen, dass sie ihre Preise erhöhen oder senken könnten, ohne den Absatz zu beeinträchtigen, was zu höheren Einnahmen oder Skaleneffekten führt.
Die Einbeziehung von Zufälligkeit in die Entscheidungsfindung ermöglicht es Unternehmen, alternative Märkte, Lieferanten, Preispunkte und sogar Strukturen der supply chain Organisation zu testen. Diese Investition in Erkundung hilft Unternehmen, kleine Variationen zu entdecken, die besser zu ihren Betriebsabläufen passen, was wiederum das Wachstum fördern und ihre Gesamtleistung verbessern kann.
Joannes Vermorel, Gründer von Lokad, erörtert die Bedeutung der Erkundung und Quantifizierung von Wissen innerhalb eines Unternehmens. Er verweist auf ein Papier, das er vor über einem Jahrzehnt veröffentlichte und in dem er einen Algorithmus namens “poker price of knowledge and estimated reward” vorstellte, der helfen kann, die Kosten und Erträge der Erkundung zu quantifizieren. Vermorel betont, dass Unternehmen auf tatsächliche Gewinne, wie Dollar, optimieren sollten, anstatt willkürlichen Zielen. Er prognostiziert, dass führende Unternehmen vermehrt Erkundung und Randomisierung in ihre supply chain Prozesse einführen werden, um die Optimierung voranzutreiben und sich im Laufe der Zeit zu verbessern.
Vollständiges Transkript
Kieran Chandler: Heute werden wir besprechen, warum diese Technik zutiefst mangelhaft ist, und verstehen, welche alternativen Techniken wir einsetzen können, um unsere supply chains effektiver zu testen. Also, Joannes, vielleicht solltest du gleich damit anfangen, wie immer, uns ein wenig mehr darüber zu erzählen, was A/B-Tests sind.
Joannes Vermorel: A/B-Tests sind eine Methode, um zu prüfen, ob eine Hypothese wahr ist oder nicht, typischerweise durch den Vergleich zweier Gruppen, wenngleich es auch mehr als zwei Gruppen sein können. Es ist nicht ganz klar, wann sie erfunden wurden. Ich würde vermuten, dass sie irgendwo im späten 19. Jahrhundert entwickelt wurden, aber die Aufzeichnungen sind unscharf, und wahrscheinlich, weil sie etwas so Intuitives sind, dachten die Menschen schon viel früher darüber nach, sie wurden einfach nicht sehr deutlich dokumentiert und nicht unbedingt als A/B-Tests bezeichnet. Das Interessante ist, dass sie Teil der wissenschaftlichen Methode sind, die im Bereich des Versuchsdesigns liegt – eine wissenschaftliche Methode, um kleine Wahrheiten über jede erdenkliche Aussage zu gewinnen. Sie werden nicht beweisen, dass irgendeine Aussage wahr ist, aber sie können eine wissenschaftliche Antwort auf die Frage liefern, ob deine Hypothese wahr ist oder nicht.
Kieran Chandler: Also, um welche Arten von Experimenten geht es hier eigentlich?
Joannes Vermorel: A/B-Tests sind im Marketing super populär. Im supply chain sind sie weitaus weniger verbreitet. Im Marketing werden sie intensiv für Dinge wie Werbenewsletter eingesetzt. Wenn du beispielsweise zunächst ein Produkt und dann ein anderes bewirbst, kannst du deine Kundendatenbank in zwei zufällige Gruppen aufteilen, der ersten Gruppe die Version A deines Newsletters und der zweiten Gruppe die Version B zusenden und anschließend den Erfolg messen. Das ist eine ziemlich effiziente Methode, A/B-Tests durchzuführen.
Kieran Chandler: Die Idee ist also, dass du zwei Varianten versendest und schaust, welche besser abschneidet?
Joannes Vermorel: Genau. Du testest eine Hypothese. Google hat beispielsweise in den frühen 2000er Jahren sehr bekannt eine Reihe von A/B-Tests durchgeführt, um zu bestimmen, wie viele Suchergebnisse optimal hinsichtlich der Anzeige waren. Durch A/B-Tests fanden sie ein Gleichgewicht, das damals bei etwa 10 Ergebnissen lag.
Kieran Chandler: Warum ist das etwas, das uns hier bei Lokad interessiert? Ist es etwas, wonach unsere Kunden wirklich fragen?
Joannes Vermorel: Im supply chain werden wir häufig – entweder explizit oder manchmal implizit – gefragt, A/B-Tests durchzuführen. Im supply chain nimmt A/B-Testing eine andere Form an. Zum Beispiel sagen Leute: “Lassen Sie uns 10 Geschäfte von Lokad mit ihrem Bestandsoptimierungssystem verwalten, während 10 andere vergleichbare Geschäfte durch das alte System gesteuert werden. Wir führen das drei Monate lang durch und vergleichen die Ergebnisse.” Man könnte es als Benchmark bezeichnen, aber es ist tatsächlich ein A/B-Test.
Kieran Chandler: Es läuft also gewissermaßen ein A/B-Test ab, und das klingt ziemlich rational. Es scheint, dass man einen Weg braucht, diese beiden Ansätze zu vergleichen. Wie funktioniert das also in der Realität?
Joannes Vermorel: Der Kern des Problems ist, dass es offensichtlich und vernünftig aussieht. Man könnte sagen, es scheint ein vernünftiger Weg zu sein, diese beiden Methoden zu vergleichen. Ich ändere einfach eine Variable, wie die Software, die den Bestand steuert, und sorge dafür, dass mein Experiment repräsentativ ist. Also würde ich mehrere Geschäfte und einen längeren Zeitraum, etwa drei Monate, wählen, um statistische Signifikanz zu gewährleisten. All das wirkt ziemlich vernünftig und rational. Aber es gibt ein “aber” – es ist komplizierter, als es scheint. Die Probleme, die ich mit diesen Benchmarks habe, sind in meinen Augen Beispiele für naiven Rationalismus. Es sieht sehr wissenschaftlich aus, ist aber tatsächlich nicht super wissenschaftlich oder rational; es scheint dies nur zu sein.
Das Problem im supply chain management ist, dass man dazu neigt, Probleme zu verlagern, anstatt sie zu lösen. Zum Beispiel gibt es diese 20 Geschäfte im Test. Es sieht super rational aus. Das Problem ist, dass all diese Geschäfte um denselben Bestand im Distributionszentrum konkurrieren. Wenn ich als Lokad, die Software, schummeln möchte, könnte ich meine eigenen Ergebnisse verbessern, indem ich viel Bestand verbrauche und dadurch die Leistung meines Verantwortungsbereichs auf Kosten der anderen Geschäfte steigere. Und wenn man einen Benchmark hat, der besagt, dass das Ziel ist, die Leistung dieser zehn Geschäfte zu maximieren, wird die mathematische Optimierung dies auf Kosten der anderen Geschäfte tun. Es gibt also eine Rückkopplungsschleife zwischen den Geschäften, weil sie über denselben Distributor um denselben Bestand im Distributionszentrum konkurrieren. Dies geschieht stets in supply chains; es ist ein System, das per Design miteinander verbunden ist.
supply chains ermöglichen massive Gewinne in Bezug auf Effizienz, Zuverlässigkeit, Kosten und Skaleneffekte. Aber der Nachteil ist, dass man, weil es ein System ist, wenn man einen Teil berührt, tendenziell die anderen Teile beeinflusst.
Kieran Chandler: Was wäre also ein besserer Ansatz? Sollte man eine Technik sechs Monate lang an zwanzig Standorten testen und dann eine andere Technik sechs Monate lang?
Joannes Vermorel: Ein weiteres Problem, das ich mit dieser Art von Benchmark habe, ist, dass man sehr wenig über sein System lernt. A/B-Tests werden typischerweise unterschätzt, weil man jeweils nur eine Hypothese prüft. Was die Information betrifft, sprechen wir von einem Stück Information, also nur einer Null oder Eins. Es ist nicht einmal ein Byte, sondern nur ein Bit. Und es ist nicht einmal ein volles Bit, da man nur ein gewisses Maß an Vertrauen in seine Ergebnisse haben wird. Das, was man lernt, entspricht also einem Bruchteil eines Bits, was sehr wenig klingt, und tatsächlich ist es auch sehr wenig. Die Hauptkritik an A/B-Tests ist, dass man sehr wenig über sein System erfährt.
Kieran Chandler: Testen ist gut, wenn man absolute Gewissheit über etwas erlangen möchte, bei dem man sehr starke Gefühle hat. Zum Beispiel kannst du einen A/B-Test durchführen, um die abschließende Bestätigung zu erhalten, dass du recht hattest, aber das Problem ist, dass du annimmst, die Wahrheit bereits zu kennen. Deshalb funktioniert es in der Wissenschaft so gut. In wissenschaftlichen Methoden sammeln die Menschen auf sehr indirekte Weise Hinweise, und sobald sie einen Berg von Hinweisen gesammelt haben, führen sie einen A/B-Test durch, um ihre Hypothese auf direktere Weise zu bestätigen. Aber es wird sehr teuer und langsam sein, und das wird die endgültige Bestätigung sein, die den entscheidenden Schlag ins Begräbnis macht und den Fall für immer abschließt.
Joannes Vermorel: Das Problem mit supply chains ist, dass sich alles ständig ändert. Dein Netzwerk ist ein sich ständig veränderndes Biest. Wenn du einen A/B-Test zur Optimierung der supply chain durchführen möchtest, könntest du aufgrund der Saisonalität 12 Monate statt drei benötigen. Aber wer kann es sich leisten, 12 Monate nur dafür zu investieren, einen kleinen Informationsbruchteil darüber zu erhalten, welches der beiden Systeme das Beste ist? Es gibt so viele andere Alternativen auf dem Markt und nur so viele Versuche, die du durchführen kannst. System A könnte für langsam drehende Produkte besser sein, während System B für schnell drehende Produkte geeigneter sein könnte. Ein einzelner Informationsbruchteil ist sehr schwach und gibt dir keinen wirklichen Einblick in die beste Option.
The problem with A/B testing is that you’re only testing two possible paths, and in a supply chain, there are millions of possible paths. How can we possibly generate information on all those possibilities?
Kieran Chandler: Also, in einer supply chain haben wir Millionen möglicher Wege. Wie können wir dazu möglicherweise Informationen über all diese Möglichkeiten generieren?
Joannes Vermorel: Das ist eine sehr interessante Frage, und eine modernere Perspektive auf den Fall wäre Reinforcement Learning. Wenn du darüber nachdenkst, wie eine Lernmaschine funktioniert, kannst du Informationen passiv aus den Daten extrahieren, indem du einfach lernst, während die Daten hereinkommen, oder aktiv, indem das, was du tust, Einfluss darauf hat, was du beobachtest – was im supply chain management der Fall ist. Zum Beispiel, wenn du dich entscheidest, ein Produkt in einem Geschäft nicht in den Verkauf zu nehmen, wirst du niemals die Nachfrage für dieses Produkt in diesem Geschäft beobachten.
A/B-Tests sind ein Weg, Wissen zu erlangen, aber sie sind unglaublich träge. Hättest du als Baby das Laufen durch A/B-Tests lernen müssen, hätte es eine Million Jahre gedauert, um laufen zu lernen. Es ist sehr mächtig für wissenschaftliche Gewissheit, aber es kann nicht der Prozess sein, der den Weg zur Wahrheit antreibt.
Im supply chain management ist eine modernere Perspektive Reinforcement Learning, bei der du einen Kompromiss zwischen Erkundung und Ausnutzung in Betracht ziehst. Du hast eine Vermutung, was das Richtige ist, bist dir aber nicht ganz sicher, ob es immer das Beste ist, weshalb du das tust, was man Erkundung nennt. Du randomisierst deine Handlungen ein wenig, um mehr über das System zu lernen.
Kieran Chandler: Du hast deinen Optimierungsprozess, der versucht zu optimieren – du weißt schon, anhand festgelegter Metriken – einen Algorithmus, der dich zu dem führt, was du für optimal hältst, basierend auf deinen eigenen Messungen. Aber das Problem ist, dass du, wenn du das tust, in einer bestimmten Arbeitsweise feststecken kannst, was mathematisch als ein lokales Minimum bezeichnet wird. Du versuchst, deine Kostenfunktion zu minimieren, und du bist in einer Zone, ähnlich einem lokalen Minimum, gefangen, wo es gut aussieht. Wenn du von diesem Punkt abweichst, scheint es, als ob du im Optimum wärst, aber in Wirklichkeit, wenn du etwas viel Besseres erreichen möchtest, musst du dich vom Altbekannten entfernen.
Joannes Vermorel: Im Grunde genommen sprechen wir davon, einen bestimmten Prozentsatz deiner Entscheidung einzuführen, der eigentlich nicht korrekt sein könnte und nicht zu deiner Optimierung passt. Aber offensichtlich führt man diesen bestimmten Prozentsatz potenziellen Fehlers ein, um mehr darüber herauszufinden, was möglicherweise funktionieren könnte. Und natürlich geht es dabei ums Experimentieren. Du willst keine verrückten Sachen machen, aber wenn du zum Beispiel ein großes Einzelhandelsnetz hast, wäre die Idee, dein Sortiment zu ändern. Du kannst entscheiden, dass in jedem einzelnen Geschäft ständig ein paar Produkte eingeführt werden, die normalerweise nicht zum Sortiment gehören – ganz zufällig. Natürlich wirst du das nicht bei super teuren Artikeln versuchen, wie etwa einer teuren Gartengerätemaschine, wenn du ein Geschäft mitten in der Stadt hast. Du machst keine völlig absurden Dinge, aber du führst eine gewisse Zufälligkeit ein, um zu testen, ob manche Produkte unerwartet viel Anklang finden, nur weil du sie im Stadtzentrum ausprobierst, obwohl du bisher dachtest, dass dieses Produkt nicht gut in diese Gegend passt. Es stellte sich heraus, dass es vielleicht doch passt. Deshalb möchtest du eine Art Randomisierung einführen.
Das kann im supply chain gemacht werden, indem man beispielsweise manchmal andere Lieferanten ausprobiert, um die lead times zu testen. Du hast deinen üblichen Lieferanten und gibst einfach ein paar Bestellungen an Wettbewerber weiter, nur um zu sehen, wie es läuft. Ich habe sogar Unternehmen gesehen, insbesondere im automobilen Aftermarket, die das automatisch umsetzen, wobei ein bestimmter Anteil der an Lieferanten weitergeleiteten Bestellungen nicht zunächst an die Lieferanten geht, die den besten Preis und die besten Bedingungen bieten, sondern einfach dazu dient, zu testen, ob der Lieferant super zuverlässig ist und ob die Produkte den Erwartungen im Bestellprozess entsprechen – also dass, wenn du ein bestimmtes Teil bestellst, du genau dieses Teil und nicht ein anderes erhältst.
Kieran Chandler: Es erscheint sehr überraschend, denn Unternehmen sind im Allgemeinen so sehr auf Rentabilität und maximale Effizienz ausgerichtet, um den Gewinn zu steigern. Trotzdem führen sie diese verschiedenen Lieferanten ein, nur um Dinge zu testen. Aber ist das schwer umzusetzen?
Joannes Vermorel: Das ist, wie bereits erwähnt, der naive rationale Ansatz, der sagen würde: “Oh, wir optimieren einfach direkt.” Aber das ist weder Rationalismus noch der beste Ansatz. Wenn du anfängst, über die Nebeneffekte nachzudenken, besteht die Idee darin, dass du ständig über deinen Markt lernen willst. Du willst alternative Lieferanten, alternative Märkte für deine Kunden und alternative Preisniveaus testen, weil die Idee ist, dass Wissen einen Preis hat und wertvoll ist. Das kann zu großen Belohnungen führen.
Du könntest zum Beispiel feststellen, dass du dein Produkt zu einem bestimmten Preis verkaufst, aber tatsächlich könntest du den Preis erhöhen, und es würde mehr oder weniger trotzdem gleich gut verkaufen. Es ist nur so, dass du es nie ausprobiert hast; du hast nicht daran gedacht, dass die Leute dein Produkt als so wertvoll wahrnehmen könnten, wie sie es tun.
Kieran Chandler: Die Realität ist, dass du normalerweise in dem feststeckst, was du bisher getan hast. Oder manchmal ist sogar das Gegenteil der Fall – tatsächlich verkaufst du dein Produkt zu einem zu hohen Preis. Und wenn du versuchen würdest, den Preis zu senken, würde sich die Nachfrage drastisch erhöhen, was zu Skaleneffekten führen könnte. Dann könntest du zu einem günstigeren Preis produzieren und es käme ein Schneeballeffekt in Gang, der enormes Wachstum für das Unternehmen bewirkt. Die Idee ist also, dass diese Randomisierung, die eingeführt werden kann, tatsächlich eine Investition in die Entdeckung kleiner Variationen ist, die besser zu deinem Unternehmen passen. Es können Variationen in deinen Preisniveaus, bei deinen Lieferanten oder sogar in deinen supply chain Organisationen sein, wie zum Beispiel, welches warehouse welche Werke beliefert – oder umgekehrt. Gibt es eine Möglichkeit, dieses Wissen zu quantifizieren und tatsächlich zu ermitteln, wie viel es einem Unternehmen wert ist?
Joannes Vermorel: Eigentlich ja. Ich meine, ich habe vor über einem Jahrzehnt sogar ein Papier veröffentlicht mit dem Titel “POKER: Price of Knowledge and Estimated Reward”. Wenn du es wirklich auf die elegante Art machen möchtest, kannst du buchstäblich die Kosten der Erkundung gegenüber dem Ertrag der Erkundung quantifizieren, den du mit einem bestimmten Horizont gewinnst. Denn offensichtlich musst du weiterspielen – es ist die Idee eines iterierten Spiels, bei dem du immer wieder dasselbe Spiel spielst. Und wenn du erkundest, machst du typischerweise weniger optimale Dinge, aber manchmal triffst du den Glückstreffer, und danach kannst du diesen Befund ausnutzen. Die Idee ist, dass du dafür einen Algorithmus benötigst, insbesondere auf der Seite des maschinellen Lernens, der wirklich diesen Rausch in deinen Daten nutzen und daraus nicht nur ein wenig, sondern deutlich mehr lernen kann. Und nochmals: Das ist nicht einfach ein A/B-Test, bei dem du im Grunde nur deinen Prozentsatz festlegst oder so etwas. Es ist etwas, das in der Lage ist, viel diffundere Muster zu erfassen, bei denen du eine Menge von Effekten hast, die miteinander verknüpft sind und in einer Situation mit sehr hoher Dimensionalität zu einer besseren Leistung führen können.
Kieran Chandler: Wie passt dieser Ansatz zu dem, was wir hier bei Lokad tun? Denn was wir hier bei Lokad tun, ist im Grunde jene Geschäftsentscheidungen zu optimieren, die jederzeit getroffen werden können – quasi dieses Rauschen einzuführen und absichtlich Dinge ein wenig falsch zu machen.
Joannes Vermorel: Ja, und das widerspricht grundsätzlich diesem Glauben. Nicht meinem Glauben, aber wenn du wirklich die Nebeneffekte berücksichtigen willst. Bei Lokad versuchen wir wirklich nicht, irrational zu sein, sondern rational, indem wir diese anderen – teils komplexen – Effekte mit einbeziehen. Während des ersten Jahrzehnts von Lokad optimierten die allermeisten unserer Kunden nicht einmal etwas. Sie optimierten Fehlerquoten, was in meinem Buch nicht einmal als echte Optimierung gilt. Wenn du Fehlerquoten optimierst, weißt du nicht einmal, was du für dein Unternehmen tust. Du musst in Dollar optimieren. Der erste Schritt besteht darin, zu einem Optimierungsprozess überzugehen, bei dem du tatsächlich versuchst zu optimieren und nicht nur willkürliche Zielwerte wiederholst. Was wir jetzt beobachten, ist, dass bei unseren fortschrittlichsten Kunden, besonders im E-Commerce-Bereich, nun, da dieser Optimierungsprozess etabliert ist, die Idee der Erkundung ins Spiel kommt. Es beginnt typischerweise mit Dingen wie Preisen, was wiederum aus meiner Sicht sehr stark in den scope der supply chain fällt, weil von dorther die Nachfrage kommt. Du musst einen guten Preis haben, und der Preis erklärt einen großen Teil der Nachfrage. Aber der Preis ist sicherlich nicht der einzige Bereich, in dem du Erkundung betreiben möchtest. Was ich in den nächsten Jahren sehe, ist, dass Unternehmen, um auf dem neuesten Stand zu bleiben, den Ehrgeiz haben müssen, was ihre supply chain angeht, state-of-the-art zu sein. Sie werden zunehmend die Idee einführen, ein wenig Erkundung und Randomisierung zu betreiben, nur um Ergebnisse zu generieren, die den Optimierungsprozess selbst vorantreiben und im Laufe der Zeit verbessern.
Kieran Chandler: Abschließend lässt sich sagen, dass in Zukunft ein viel höherer Stellenwert auf diese Art der Erkundung und die Quantifizierung gelegt wird, wie viel Wissen dies einem Unternehmen tatsächlich bringt.
Joannes Vermorel: Genau, perfekt.
Kieran Chandler: Gut, wir müssen es heute dabei belassen. Danke für deine Zeit.
Joannes Vermorel: Das war alles für heute. Vielen Dank fürs Einschalten, und bis zum nächsten Mal.
Kieran Chandler: Danke fürs Zuschauen.
