Probabilistische Prognosen und sequenzielle Entscheidungsfindung (mit Warren Powell) - Ep 163

00:00:00 Vorstellung der Gäste
00:01:27 Warrens Rolle bei Optimal Dynamics und Buch
00:03:06 Herausforderungen und Prognosen im Lkw-Transport
00:04:31 Warrens Arbeit und Verständnis von Unsicherheit
00:06:41 Joannes’ Werdegang und Erfolg in der Softwareentwicklung
00:08:12 Umgang mit Unsicherheit und akademische Perspektive auf die Lieferkette
00:09:39 Sequenzielle Entscheidungen und Schwierigkeiten bei der Zusammenarbeit in der Branche
00:11:13 Probabilistische vs. deterministische Prognosen
00:13:27 Metriken für probabilistische Prognosen und Schwierigkeiten beim Verständnis
00:15:28 Bedeutung der Prognoseabdeckung und präziser Prognosen
00:17:09 Lokads Weg mit probabilistischen Prognosen und Herausforderungen
00:19:15 Schwierigkeit von Unsicherheitsproblemen und Fehlen einer einheitlichen Community
00:21:05 Entscheidungen und Unsicherheit in der mathematischen Programmierung
00:23:03 Vielfältige Laborerfahrungen und Anwendungen des ADP-Buchs
00:25:07 Bedarf an Werkzeugen in der Lieferkette und Übergang zu neuem Ansatz
00:27:35 Deterministische Optimierung und Näherung der Kostenfunktion
00:29:57 Google Maps als Beispiel für vorausschauende Planung
00:31:51 Stochastische Vorausschau und Näherung der Wertefunktion
00:33:21 Joannes’ Perspektive auf Entscheidungsfindung und Problemstellung
00:35:29 Bedeutung des richtigen Zustands, der Übergangsfunktion und der Kostenfunktion
00:37:28 Berücksichtigung der Problemdimensionalität und großer Probleme im großen Maßstab
00:39:15 Fragilität von Lösungen und Vergleich von Supermarktnetzwerken
00:41:16 Ansatz zur Problemlösung und Verfassen eines Buchs zur Lieferkettenanalyse
00:43:44 Einfachheit im Modellentwurf und verschiedene Arten von Unsicherheit
00:45:13 Bedeutung schneller Iterationen und realer Einschränkungen
00:47:51 Bedeutung der Berechenbarkeit und Entwicklung von Grafikwerkzeugen
00:50:27 Rolle der Instrumentierung in der Optimierung und Herausforderungen der Branche
00:53:11 Zusammenarbeit mit Spediteuren und Kritik am akademischen Ansatz
00:55:23 Joannes’ Weg von der Prognose zur Entscheidungsfindung
00:58:28 Schwierigkeit des Datenzugriffs und Umgang mit zukünftiger Prognose
01:00:32 Bedeutung der Berücksichtigung großer Störungen und Akzeptanz pessimistischer Modelle
01:02:45 Variabilität in der Lieferkette und Modeindustrie
01:04:43 Jährliche Erneuerung von Produkten und Prognose neuer Produkte
01:06:27 Bedeutung der Modellierung von Unsicherheit und Kritik an Unternehmensregeln
01:08:16 Warrens Ansatz zur stochastischen Optimierung und Bestandsverwaltung
01:09:56 Planung für Eventualitäten und Entscheidungsfindung unter Unsicherheit
01:11:39 Bedeutung der Echtzeit-Disposition im LKW-Verkehr und richtige Lastauswahl
01:13:27 Herausforderungen bei der Entscheidungsfindung unter Unsicherheit und Probleme mit gebildeten Personen
01:15:45 Grenzen von Excel im Umgang mit Unsicherheit und das Verständnis von CEOs
01:19:30 Grenzen von Büchern zur Lieferkette und Bedeutung benutzerfreundlicher Tools
01:21:46 Bildungsinitiativen von Lokad und Erstellung relevanter Datensätze
01:25:01 Drei wesentliche Fragen zur Problemlösung und Entwicklung von Entscheidungskategorien
01:27:48 Herausforderung für nicht-quantitative MBA-Programme und Unternehmen, die Entscheidungen in Workflows verbergen
01:30:26 Preis der Einfachheit und sequenzielles Lernen als Entscheidungswerkzeug
01:32:33 Vermittlung des Konzepts, höhere Ziele anzustreben, und Herausforderungen starrer Richtlinien
01:34:34 Schwierigkeit, das Konzept der Exploration zu verstehen, und Bedeutung des aktiven Lernens
01:37:41 Unterschiede zwischen LKW-Verkehr und Lieferkette und Größe des LKW-Geschäfts
01:40:04 Titel des Buchs, Zweck, Lehrstil und fünf Elemente der Modellierung
01:42:39 Lob für Optimal Dynamics, Lokad und den Austausch akademischer Ideen
01:43:22 Schlussbemerkungen und Dank

Über den Gast

Warren B Powell ist emeritierter Professor an der Princeton University, wo er 39 Jahre lang unterrichtete, und derzeit Chief Innovation Officer bei Optimal Dynamics. Er war Gründer und Leiter des CASTLE Lab, das sich auf stochastische Optimierung mit Anwendungen im Güterverkehr, Energiesystemen, Gesundheit, E-Commerce, Finanzen und den Laborwissenschaften konzentrierte und mit über 50 Millionen US-Dollar an Fördermitteln von Regierung und Industrie unterstützt wurde. Er hat einen neuen universellen Rahmen entwickelt, der zur Modellierung jedes sequentiellen Entscheidungsproblems verwendet werden kann, einschließlich der Identifizierung von vier Klassen von Richtlinien, die jede mögliche Methode zur Entscheidungsfindung abdecken. Dies ist in seinem neuesten Buch mit John Wiley dokumentiert: Reinforcement Learning and Stochastic Optimization: A unified framework for sequential decisions. Er hat über 250 Artikel, fünf Bücher veröffentlicht und über 60 Doktoranden und Postdocs betreut. Er ist der Preisträger des Robert Herman Lifetime Achievement Award 2021 der Society for Transportation Science and Logistics und des Saul Gass Expository Writing Award 2022. Er ist Fellow von Informs und Empfänger zahlreicher weiterer Auszeichnungen.

Zusammenfassung

In einem kürzlich geführten LokadTV-Interview diskutierten Conor Doherty, Joannes Vermorel und Gast Warren Powell probabilistische Vorhersagen und Entscheidungsfindung in der Supply Chain. Warren Powell, emeritierter Professor an der Princeton University und Chief Innovation Officer bei Optimal Dynamics, teilte seine Karriereerfahrungen und Erkenntnisse zum Planen unter Unsicherheit. Joannes Vermorel, CEO von Lokad, sprach über seinen Übergang von deterministischen Methoden zur probabilistischen Vorhersage und kritisierte den Mangel an realen Anwendungen in der akademischen Welt. Beide waren sich einig, dass probabilistische Vorhersagen trotz ihrer Komplexität und der Schwierigkeit der Anwendung in Unternehmen überlegen sind. Das Gespräch betonte die Notwendigkeit einer umfassenderen Perspektive und eines einheitlichen Ansatzes im Umgang mit Unsicherheit bei Entscheidungen.

Ausführliche Zusammenfassung

In einem kürzlich geführten Interview mit Conor Doherty, Leiter der Kommunikation bei Lokad, diskutierten Warren Powell, emeritierter Professor an der Princeton University und Chief Innovation Officer bei Optimal Dynamics, und Joannes Vermorel, CEO und Gründer von Lokad, über probabilistische Vorhersagen und sequenzielle Entscheidungsfindung in der Supply Chain unter Unsicherheit.

Warren Powell, ein erfahrener Experte auf dem Gebiet der Entscheidungsfindung in komplexen Bereichen, begann damit, seine Karriereerfahrungen zu teilen. Seine Arbeit begann mit der Deregulierung des Frachtverkehrs in den Vereinigten Staaten, was ihn dazu veranlasste, sich auf die Planung unter Unsicherheit zu konzentrieren. Er sprach auch über seine Rolle bei Optimal Dynamics, einem Start-up, mit dem er zusammenarbeitet, wo er seine ehemaligen Doktoranden anleitet und über neue Richtungen für das Unternehmen nachdenkt.

Das Gespräch wechselte dann zu Powells Buch “Reinforcement Learning and Stochastic Optimization”, das sich mit dem Bereich der verteilten oder probabilistischen Vorhersagen befasst. Powell teilte eine Anekdote über ein Unternehmen, das den Wert eines Rabatts für einen Spediteur verstehen wollte, wenn dieser zukünftige Ladungen vorhersagen könnte. Dies weckte sein Interesse an dem Thema und führte ihn dazu, sich mit den Herausforderungen der Vorhersage im LKW-Transport aufgrund seiner stochastischen Natur auseinanderzusetzen.

Joannes Vermorel hingegen teilte seine Reise von deterministischen Methoden zur probabilistischen Vorhersage. Er sprach über seine Erkenntnis, dass deterministische Methoden nicht funktionierten und die Notwendigkeit, Unsicherheit in Supply-Chain-Problemen anzunehmen. Er kritisierte auch die akademische Gemeinschaft für ihren Mangel an realen Anwendungen und ihre Fokussierung auf den Beweis von Theoremen und numerische Arbeiten.

Die Diskussion drehte sich dann um den Unterschied zwischen deterministischer und probabilistischer Vorhersage. Powell erklärte, dass deterministische Vorhersagen zwar eine einzige handlungsorientierte Zahl liefern, aber die tatsächliche Variabilität in der realen Welt nicht berücksichtigen. Er argumentierte, dass die verteilte Vorhersage, die eine Reihe möglicher Ergebnisse liefert, überlegen ist, obwohl Unternehmen oft Schwierigkeiten haben, dieses Konzept zu verstehen und anzuwenden.

Vermorel stimmte Powell zu und fügte hinzu, dass probabilistische Vorhersage komplexere Metriken und ein tieferes Verständnis von Wahrscheinlichkeitsverteilungen erfordert. Er verglich deterministische Vorhersage mit dem Betrachten eines winzigen, detaillierten Abschnitts eines Schreibtisches durch ein Mikroskop, während probabilistische Vorhersage einen breiteren und vollständigeren Blick bietet.

Das Gespräch endete damit, dass Vermorel seine Erfahrungen bei der Implementierung probabilistischer Vorhersagen bei Lokad teilte. Er bemerkte, dass es mehrere Jahre dauerte, um herauszufinden, wie Entscheidungen auf der Grundlage dieser Vorhersagen optimiert werden können. Er sprach auch über das Fehlen einer vereinheitlichten Gemeinschaft oder eines Paradigmas für den Umgang mit Unsicherheit bei Entscheidungen. Powell stimmte zu und beschrieb das Feld der Entscheidungen und Unsicherheit aufgrund der Vielfalt der verschiedenen Gemeinschaften, Sprachen und Notationssysteme als “Dschungel”. Er teilte seine vielfältigen Erfahrungen in verschiedenen Bereichen, vom Frachtverkehr bis zu Energiesystemen, und wie diese Erfahrungen ihn dazu brachten, die Grenzen bestimmter Ansätze zu erkennen und eine umfassendere Perspektive zu fordern.

Vollständiges Transkript

Conor Doherty: Willkommen zurück. Die Identifizierung und Bewertung tragfähiger Entscheidungen in der Supply Chain ist schwierig, insbesondere wenn Sie noch traditionelle Metriken verwenden. Warren Powell, der heutige Gast, hat 40 Jahre lang Entscheidungsfindung in verschiedenen komplexen Bereichen analysiert. Darüber hinaus hat er fünf Bücher geschrieben, etwa 250 Artikel veröffentlicht und ist ein emeritierter Professor an der Princeton University. Also, Warren, zunächst einmal willkommen zurück bei Lokad. Zweitens, für alle, die Ihren ersten Auftritt verpasst haben könnten, könnten Sie sich bitte erneut vorstellen und allen einen Eindruck davon geben, was Sie in letzter Zeit gemacht haben?

Warren Powell: Nun, danke, dass Sie mich erneut eingeladen haben. Ich hatte eine interessante Karriere. Meine Karriere begann, als der Frachtverkehr in den Vereinigten Staaten dereguliert wurde, und so wurde ich in diese Branche namens Lkw-Transport geworfen. Eines der ersten Themen, über die sie sprachen, war die Unsicherheit und wie man unter Unsicherheit plant, und das hat im Grunde genommen meine Karriere definiert. Ich habe verschiedene Anwendungen durchlaufen.

Ich habe meine Karriere damit beendet, meinem Startup Optimal Dynamics im Lkw-Transport zu helfen, was meine Karriere begonnen hat. Wir verwenden eine Vielzahl von Techniken, aber zum Glück konnte ich an genügend verschiedenen Anwendungen arbeiten, um zu erkennen, dass es mehr als ein Werkzeug in diesem Werkzeugkasten der Unsicherheit gibt. Also freue ich mich auf diese Diskussion. Es ist schön, mit anderen Menschen zu sprechen, die meine Leidenschaft für die Modellierung von Unsicherheit teilen.

Conor Doherty: Vielen Dank. Und Sie haben Optimal Dynamics erwähnt. Sie sind der Chief Innovations Officer, der CIO. Ich hatte diesen Begriff noch nie gehört. Könnten Sie erklären, was Sie dort tun?

Warren Powell: Sie nennen mich gerne Yoda. Ich bin nicht in das Management involviert. Niemand arbeitet für mich. Ich habe fünf meiner ehemaligen Doktoranden, die dort arbeiten, und ich arbeite im Grunde genommen mit ihnen zusammen, wie ich es im Labor als Professor getan habe. Ich warte darauf, dass sie die Hand heben und sagen: “Hey, wir brauchen Hilfe.” Ansonsten verbringe ich meine Zeit damit, über Dinge nachzudenken und auch über neue Richtungen für das Unternehmen nachzudenken, wenn sich die Gelegenheit ergibt.

Aber ab und zu werde ich doch zurückgerufen, um bei einem Problem zu helfen, und ich habe ein paar neue Innovationen entwickelt, die geholfen haben. Aber ich bin wirklich hier, um dem Unternehmen zu helfen, wenn sie Hilfe brauchen, und ansonsten bleibe ich gerne aus dem Weg. Als Wissenschaftler ist eine der größten Herausforderungen, insbesondere wenn man mit klugen Menschen zusammenarbeitet, zu wissen, wann man helfen und wann man aus dem Weg gehen sollte. Und so habe ich zum Glück viel Zeit für das Schreiben von Büchern und ähnlichen Dingen.

Conor Doherty: Tatsächlich, wenn wir schon beim Thema Bücher sind, eines Ihrer Bücher, “Reinforcement Learning and Stochastic Optimization”, ist eines der Dinge, über die wir am meisten mit Ihnen sprechen wollten. Ihre Herangehensweise an die Entscheidungsfindung und ich weiß, dass Sie sich für den verteilten oder probabilistischen Prognoseansatz interessieren, den Lokad verwendet. Um das Interview richtig zu beginnen, was fasziniert Sie so sehr an der verteilten Prognose und hat zu diesem Gespräch heute geführt?

Warren Powell: Die größte Herausforderung, als ich mich mit der Modellierung meines Lkw-Transportproblems beschäftigte, war, dass der Lkw-Transport sehr dünn besiedelt ist. Es kann sein, dass zwischen einem Paar von Städten eine Ladung vorhanden ist oder auch nicht. Wenn Sie einen Fahrer von Chicago nach Atlanta schicken, gibt es bei der Ankunft in Atlanta Ladungen, die in sehr unterschiedliche Richtungen gehen. Es kann sein, dass eine Ladung nach Texas geht oder auch nicht. Sie haben etwas, das 0 oder 1 ist. Was prognostizieren Sie? Machen Sie null oder eins oder prognostizieren Sie eine 0,2, was die realistischere Erwartung ist?

Ich hatte hier in den Vereinigten Staaten ein Unternehmen namens Schneider National, das in den 1970er Jahren erkannte, dass die Deregulierung bevorstand, und sie arbeiteten mit einem Fakultätsmitglied an der University of Cincinnati an der Entwicklung früher Optimierungsmodelle, aber sie waren alle deterministisch. Und jemand von Schneider besuchte mich in Princeton und schaute mich an und sagte, und das war jemand mit einem Master-Abschluss in Operations Research: “Warren, der Lkw-Transport ist stochastisch.

Wir wissen nicht, welche Ladungen selbst morgen verfügbar sein werden. Wir würden gerne wissen, welchen Wert es hätte, einem Versender einen Rabatt zu gewähren, wenn er uns die Ladungen in der Zukunft mitteilen würde.” Und ich erinnere mich, dass ich bei diesem Abendessen dachte: “Oh mein Gott, was für eine großartige Frage.” Es ist nicht so, dass ich die Antwort nicht kenne, sondern ich weiß nicht, wie ich darüber nachdenken soll.

Später in den 1980er Jahren schrieb ich einen Aufsatz, den ich meinen Museumsaufsatz nenne. Tatsächlich ist er im Internet als Museumsaufsatz verfügbar. Ich habe fünf verschiedene Möglichkeiten, diese Lkw-Transportprobleme zu modellieren, die alle auf unterschiedliche Weise mit Unsicherheit umgehen, und mir war vollkommen bewusst, dass keines davon funktionieren würde. Und so war ich Ende der 1980er Jahre in der Situation, zu denken: “Ich weiß nicht, was ich sonst noch tun soll. Nichts, was aus der akademischen Gemeinschaft kommt, funktioniert.”

Das war der Beginn eines mehrere Jahrzehnte dauernden Prozesses, bei dem ich sozusagen einen Überblick gewonnen und diese Aha-Momente hatte. Und so hatte ich Anfang der 2000er Jahre einen großen Durchbruch. Schneider kam tatsächlich zu mir und sagte: “Hey, Warren, wir brauchen wirklich Hilfe. Könntest du uns dieses Modell erstellen?” Dieses Modell wurde schließlich zur Grundlage der Software für Optimal Dynamics. Aber selbst seitdem dieses Modell entwickelt wurde, das mit Unsicherheit umgehen konnte, wurde meine Arbeit im Bereich der approximativen dynamischen Programmierung veröffentlicht.

Ich würde sagen, dass ich alle paar Jahre einen weiteren dieser großen Aha-Momente hatte. Tatsächlich hatte ich seit meinem Abschluss noch ein paar weitere Aha-Momente. Ich meine, dieses Feld ist einfach unglaublich reichhaltig, und ich habe immer wieder diese Momente, in denen ich denke: “Oh mein Gott, daran habe ich noch nie gedacht.”

Conor Doherty: Joannes, entspricht das deinem Weg zur probabilistischen Prognose? Viele Aha-Momente?

Joannes Vermorel: Ja, irgendwie schon. Für mich war es eine etwas andere Reise, denn als ich 2008 Lokad gründete, habe ich tatsächlich direkt mit den gängigen Theorien der Supply Chain gearbeitet. Es war also nicht so, dass jemand zu mir kam und das Wort “stochastisch” ausgesprochen hat. Ich bin mir ziemlich sicher, dass die meisten Menschen, denen ich bis sehr spät in meinem Leben begegnet bin, wenn ich das Wort “stochastisch” ausgesprochen hätte, nicht sicher gewesen wären, ob ich über eine Variante von Elastik oder so etwas spreche.

Aber wie auch immer, sie waren intelligent, aber sie waren keine Statistiker oder Wahrscheinlichkeitstheoretiker oder so etwas. Und so war mein Weg eher so, dass ich in den ersten Jahren von Lokad tatsächlich diese deterministischen Methoden mit ziemlichem Erfolg als Anbieter von Unternehmenssoftware angewendet habe, was bedeutet, dass es Ihnen tatsächlich gelingt, Ihre Produkte zu verkaufen. Das bedeutet nicht, dass es tatsächlich funktioniert, wissen Sie, das sind zwei verschiedene Metriken. Sie können als Unternehmensanbieter erfolgreich sein und trotzdem nichts haben, das tatsächlich funktioniert.

Es gab Konkurrenten, die ihre gesamte Karriere damit verbracht haben, genau das zu tun. Aber es hat tatsächlich einige Jahre gedauert, bis mir klar wurde, dass es nicht funktioniert und nie funktionieren würde. Die gängige Perspektive, die Supply Chain-Perspektive, die auf dieser vollständig deterministischen Sichtweise aufbaut, dass es keine Unsicherheit gibt, dass der Erfolg nicht um die Ecke liegt. Es ging nicht darum, noch diese zusätzliche 1%ige Prognosegenauigkeit zu erreichen, die plötzlich alles zum Laufen bringen würde.

Nein, es hat einige Jahre gedauert, etwa vier Jahre, um die Idee aufzugeben, dass trotz Fortschritten bei der Prognose, trotz Verbesserungen des Prozesses, trotz allem, nein, der Erfolg nicht um die Ecke liegt. Und so hatten wir diesen Aha-Moment, aber er kam eher aus Verzweiflung als als Folge eines großartigen Gesprächs mit jemandem, der uns erleuchtet hat. Also, wie auch immer, wir kamen irgendwie dahin. Es hat Zeit gebraucht. Aber ich würde sagen, wenn wir jetzt ein Jahrzehnt vorausblicken, ist es jetzt schmerzlich offensichtlich. Ich würde sagen, meine ersten Jahre bei Lokad waren darauf ausgerichtet, Supply Chain-Probleme anzugehen, ohne die Unsicherheit anzuerkennen. Das war einfach eine Sackgasse, und nun ja, es hat einige Jahre gedauert, um dorthin zu gelangen.

Warren Powell: Was sind die Herausforderungen, die ich gefunden habe, wenn ich kann, also Joannes, wenn ich mit Ihnen spreche, habe ich fast das Gefühl, mit einem Kollegen aus der Wissenschaft zu sprechen, aber Sie kommen aus der Industrie. Mein Labor war von Anfang an ungewöhnlich. Ich musste rausgehen und mit Unternehmen sprechen und Geld bekommen. Die National Science Foundation, die viele Wissenschaftler finanziert, hatte in meinem Bereich eine explizite Richtlinie. Sie sagten: “Wir finanzieren keine Forschung. Wir segnen sie. Holen Sie sich Geld von der Industrie, und dann werden wir NSF-Engelsstaub verteilen.”

Aber wir haben viel zu viele Wissenschaftler, und das besteht immer noch heute, wo sie nicht mit der Industrie zusammenarbeiten. Sie arbeiten mit erfundenen Modellen, beweisen ihre Theoreme, führen ihre numerischen Arbeiten durch, und das alles geschieht ausschließlich innerhalb der akademischen Gemeinschaft. Und das gilt insbesondere für stochastische Optimierung. Das trifft nicht so sehr auf Maschinelles Lernen zu. Maschinenlernende gehen raus, sie bekommen echte Datensätze, sie passen Modelle an.

Das trifft nicht einmal auf deterministische Optimierung zu. Es mangelt nicht an deterministischer Optimierung in der realen Welt. Aber was ich jetzt sequentielle Entscheidungen nenne, das bringt mich übrigens weg von diesem Wort stochastisch, in diesem Bereich gibt es eine Flut von Papieren über Modelle, die von Wissenschaftlern erfunden wurden, die die realen Probleme nicht wirklich verstehen, weil sie schwer mit der Industrie zusammenzuarbeiten sind, und man muss Unternehmen gewinnen, und ich hatte Unternehmen. Sie mussten an dem arbeiten, was sie später als die vorderste Front bezeichneten, wo sie das Unternehmen sein mussten, bei dem ich gelernt habe, was funktioniert und was nicht.

Also ist es wirklich ein Problem, wie Wissenschaftler arbeiten. Eines kann ich sagen, ich hatte eine erfolgreiche Veröffentlichungskarriere, aber gegen Ende dachte ich mir: “Weißt du, es ist ein bisschen wie ein Spiel.” Um veröffentlicht zu werden, muss man einem bestimmten Stil folgen, den die Zeitschriften wollen, und die stochastische Optimierungsgemeinschaft ist keine einheitliche Gemeinschaft. Es sind über ein Dutzend. Sie haben alle ihre eigenen Sprachen und Stile und kleinen Werkzeuge und Techniken, und sie sind alle sehr stolz darauf, und sie beweisen ihre Theoreme, und sie führen sogar Zahlen aus, aber fast nichts davon funktioniert in der Praxis.

Conor Doherty: Nun, vielen Dank. Um den Punkt zu unterstreichen, den Unterschied zwischen einem rein akademischen Ansatz und einem praktischeren Ansatz, haben wir über den deterministischen Ansatz zur Prognose im Vergleich zum verteilten oder probabilistischen Ansatz gesprochen. Ich werde den Begriff probabilistisch der Einfachheit halber verwenden. Warren, zuerst an Sie, um für diejenigen, die dies zum ersten Mal hören, diese Dichotomie zu skizzieren. Was ist aus Ihrer Sicht der Unterschied zwischen dem deterministischen Ansatz zur Prognose und dem probabilistischen und warum ist der probabilistische, sagen wir, Ihrer Meinung nach überlegen?

Warren Powell: Also, immer wenn ich jemanden aus dem Geschäft treffe, der das Wort Prognose verwendet, sage ich sofort, okay, er meint Punktprognose. Jeder liebt die Punktprognose. Sie wollen wissen: “Ich werde 500 Widgets verkaufen oder zwei Autos oder es werden sechs LKW-Ladungen sein.” Sie lieben diese Zahl, weil sie handlungsorientiert ist. Es sagt: “Oh, es werden sechs Lastwagen sein, also muss ich sechs Fahrer haben.”

Die Herausforderung besteht jedoch darin, und übrigens passiert das jeden Tag im LKW-Verkehr. Sie haben einen wichtigen Versender, aber er weiß, dass er einer Ihrer Top-Versender ist, und er wird anrufen und, um die Worte eines Disponenten zu zitieren, sagt er: “Schauen Sie, dieser Typ kann anrufen und zwischen 10 und 20 Lastwagen benötigen.” Nun, das ist ziemlich frustrierend, aber das ist die Realität beim Disponieren. Aber in den Prognosemodellen ist die gesamte Mathematik darauf ausgelegt, eine einzige Zahl zu liefern.

Die Leute mögen auch eine einzige Zahl. Sie ist handlungsorientiert und leicht verständlich. Wenn man sagt: “Es wird irgendwo zwischen 10 und 20 sein”, weiß man, wie viele Fahrer man haben soll, um eine Nachfrage zu erfüllen, die irgendwo zwischen 10 und 20 liegt? Nun, ich werde Ihnen sagen, was die LKW-Fahrer tun. Sie werden sagen: “Nun, das ist ein wirklich wichtiger Fahrer. Vielleicht habe ich nicht 20 Fahrer, sondern vielleicht 17. Aber wenn er kommt und nur 12 braucht, dann nehme ich diese fünf Fahrer und schicke sie woanders hin.” Und sie haben das, was in der Optimierung als Rückgriff bekannt ist. Es ist wie: “Nun, wenn das passiert, dann werde ich das tun.”

Aber jeder liebt diese Punktprognose. Ich habe in den 1990er Jahren angefangen, Verteilungsprognosen zu machen, und ich habe mit Yellow Freight zusammengearbeitet. Ich sagte: “Ich würde gerne Konfidenzintervalle machen”, und sie kamen zurück und sagten: “Unsere Leute wissen einfach nicht, wie sie damit umgehen sollen.” Unser größtes Problem war noch vor kurzem, dass wir mit einem großen Versender zusammengearbeitet haben und sie sehr begeistert von Verteilungsprognosen waren und dann sagten sie: “Ja, gut, lasst uns das nehmen und sehen, wie genau es ist.” Ich sehe, wie Joannes lächelt. Es ist wie: “Okay, wie gehst du mit der Frage um, ‘Oh, das ist großartig, Verteilungsprognosen, das klingt cool. Wie genau ist es?’ Wie beantwortest du diese Frage, Joannes?”

Joannes Vermorel: Ja, ich meine, mit etwas wie Kreuzentropie oder einer anderen Metrik, die für probabilistische Prognosen funktioniert, ist CRPS eine weitere. Aber in der Tat ist das so. Wenn man in den Bereich dieser Wahrscheinlichkeitsverteilungen eintritt, hat man immer noch Metriken, aber sie sind nicht wie diese einfachen, intuitiven Metriken, die man buchstäblich Schülern der Mittelstufe beibringen kann. Die Norm eins, die Norm zwei, Mittelstufe, da versteht man es irgendwie. Was ist der Abstand?

Wenn man in Wahrscheinlichkeitsverteilungen geht, ist es fairerweise nicht so schwierig. Es ist nicht besonders schwierig, wenn man zum Beispiel das Maximum-Likelihood-Verfahren verwendet. Es ist nichts, wofür man einen Doktortitel in Statistik braucht, um es zu verstehen, aber es dauert länger als 2 Minuten. Und dann braucht man wahrscheinlich etwas Zeit, um sich mit dem Formalismus vertraut zu machen, und das dauert etwa eine halbe Stunde, vielleicht zwei Stunden, wenn man sehr unwissend ist.

Warren Powell: Ja, und zu diesem Zeitpunkt werden die Geschäftsleute müde und sagen: “Oh ja, das habe ich verstanden. Also wie genau ist es?”

Joannes Vermorel: Das ist etwas sehr Seltsames. Es geht darum, eine umfassendere Prognose zu haben. Wenn wir diese Entscheidungen optimieren wollen, geht es darum, die Art Ihrer Sicht zu verbessern. Was sehen Sie? Ich meine, Sie machen eine Projektion über die Zukunft, eine Aussage über die Zukunft. Aber wie nicht genau, sondern wie vollständig, wie umfassend ist Ihre Prognose?

Es ist also etwas sehr Ungewöhnliches, weil die Leute bei Punktprognosen etwas haben, das unglaublich scharf ist. Es ist ein bisschen so, als ob Sie ein Mikroskop nehmen und tausendmal auf einen Punkt Ihres Schreibtisches zoomen. Sie können Ihr Mikroskop nehmen und dann einen Quadratmillimeter auf Ihrem Schreibtisch betrachten und eine perfekte Sicht haben, aber den Rest Ihres Schreibtisches sehen Sie nicht. Und die Leute sagen: “Oh, wissen Sie was? Ich glaube, ich brauche ein größeres Mikroskop, damit ich diesen einen Quadratmillimeter noch schärfer betrachten kann.” Und die probabilistische Prognose sagt: “Nein, Sie sollten wahrscheinlich den Rest des Schreibtisches betrachten, anstatt sich auf diesen einen Punkt zu konzentrieren, den Sie im Vergleich zu allem anderen bereits ziemlich scharf sehen.”

Warren Powell: Hier ist etwas, das jeder Geschäftsmann, insbesondere im Einzelhandel, absolut verstehen wird: Bedarfsdeckung. Und sie werden sagen: “Schauen Sie, wir möchten 97% des Bedarfs decken.” Das ist keine ungewöhnliche Anfrage. Wie decken Sie also 97% ab, ohne das Konzept einer Verteilungsprognose? Hier können Sie zurückkommen und sagen: “Ja, aber Sie möchten 97% des Bedarfs decken. Das kann ich erst tun, wenn ich eine Verteilungsprognose habe. Brauche ich 20 zusätzliche Einheiten oder 200 zusätzliche Einheiten?” Das ist vielleicht der Einstieg, um zu sagen: “Schauen Sie, Sie möchten einen hohen Prozentsatz Ihres Bedarfs decken. Niemand möchte den durchschnittlichen Bedarf decken. Sie werden die Hälfte der Zeit zu wenig haben. Also müssen wir irgendwie lernen, diese sehr vertraute Geschäftsanforderung in die ‘Nun, wenn Sie das wollen, müssen wir Verteilungsprognosen oder probabilistische Prognosen machen’ zu integrieren.”

Joannes Vermorel: Und das Interessante ist, dass es bei Lokad einige Jahre gedauert hat, nachdem wir 2012 mit der probabilistischen Prognose begonnen hatten, bis wir wirklich herausgefunden haben, wie wir jede Art von anspruchsvoller Optimierung darauf anwenden können. Denn sehen Sie, ich würde sagen, die probabilistische Prognose war schwierig zu akzeptieren, dass wir das tun mussten. Das war der erste Teil meiner Reise bei Lokad.

Es stellte sich heraus, dass die probabilistische Prognose im Jahr 2012 aus völlig anderen Gründen in Deep Learning sehr beliebt geworden war. Sie waren im Deep Learning sehr beliebt, weil die Kreuzentropie-Metriken Ihnen sehr steile Gradienten geben, die für die Optimierung hilfreich sind. Die Deep Learning-Community verwendete diese probabilistischen Prognosen, obwohl sie absolut nicht an den Wahrscheinlichkeiten interessiert waren. Sie waren nur an der Punktprognose interessiert, aber die super steilen Gradienten, die man mit der Kreuzentropie erhalten konnte, waren sehr schöne numerische Eigenschaften, um diese Modelle zum Laufen zu bringen.

Also war das sozusagen eine kleine Abweichung. Wir begannen, diese probabilistischen Prognosen für sich selbst zu verwenden, anstatt nur schlaue numerische Tricks für Gradienten zu sein. Aber dann, wenn man das hat, erkennt man, dass man Entscheidungen hat, die man optimieren möchte. Man möchte die beste Option wählen und offensichtlich wird es das wiederholende Geschäft geben, also gibt es diese Sequenz von Entscheidungen.

Und dann landet man bei der Frage: “Was brauche ich als Softwareinstrument, um das einfach zu lösen?” Und das ist der Punkt, an dem es, als Überleitung zu Ihrem Buch, ein sehr schwieriges Problem ist, weil die Hauptherausforderung, der ich gegenüberstand, sogar ein halbes Vakuum in Bezug auf Paradigmen war. Es gibt nicht, wie Sie gesagt haben, eine Handvoll Gemeinschaften, in denen man veröffentlichen könnte, aber es gibt meiner Meinung nach auch heute noch keine wirklich vereinheitlichte Gemeinschaft, die sich einfach mit diesen Problemen mit Unsicherheit befasst, bei denen man Optimierung betreiben möchte und einfach damit arbeiten kann. Es ist einfach nicht da.

Es war also ein Versuch und Irrtum. Ich hatte ein wenig mit verstärkendem Lernen gearbeitet, hatte klassische Optimierung gemacht. Meine Herausforderung bestand wirklich darin, dass es an Paradigmen mangelte. Und das ist ziemlich interessant in diesem sehr umfangreichen, 1100 Seiten umfassenden Buch, dass Sie tatsächlich Ihre eigenen Paradigmen vorschlagen, um das Gebiet zu durchdenken und das Gebiet zu analysieren. Und ja, ich meine, es ist immer noch, wissen Sie, dieses Buch ist immer noch sozusagen einzigartig. Es gibt nicht so viele davon.

Ich meine, wenn Sie ein Buch über, sagen wir, Klassifikatoren haben möchten, dann gibt es, wissen Sie, für maschinelles Lernen, 500 Bücher, die Ihnen alle Klassiker von Klassifikatoren geben, von linearer Klassifikation über Support Vector Machines und Gradient-Boosting-Bäume und was auch immer. Es gibt etwa 500 Bücher, die das Problem der Klassifikation und so weiter umreißen. Hier ist es immer noch sehr, würde ich sagen, es ist immer noch etwas, nun ja, es tut mir leid für meine sehr lange Antwort, wo die Gemeinschaft das Problem einfach noch nicht betrachtet.

Warren Powell: Ja, das Problem der Entscheidungen und Unsicherheit ist ein erstaunlich vielfältiges Gebiet. Wenn Sie sich die deterministische mathematische Programmierung ansehen, ja, es gibt viele deterministische mathematische Programme, aber sie folgen alle dem grundlegenden Paradigma, das mit George Dantzig aufgestellt wurde. Sie haben eine Zielfunktion, Sie haben eine Einschränkung, Sie haben eine Entscheidungsvariable, Sie haben einen Algorithmus. Okay, und weil sich jeder innerhalb dieses Rahmens bewegt, maschinelles Lernen, Statistik, maschinelles Lernen, wiederum sehr stark, Sie haben eine Funktion, Sie versuchen, sie an Daten anzupassen.

Nun, es gibt viele verschiedene Problemstellungen, aber weil sie alle im Grunde genommen denselben Ansatz haben, hier ist eine Funktion aus einer Familie von Funktionen. Und so werden Sie von den meisten populären Statistikbüchern mit allen verschiedenen Funktionen vertraut gemacht. Und so verlässt man einen Kurs in Statistik oder maschinellem Lernen mit ungefähr demselben Werkzeugkasten. Und das ermöglicht ihnen auch die Verwendung dieser Public-Domain-Software.

Sobald man Entscheidungen und Unsicherheit mischt, habe ich 2014 diesen Vortrag, ein Tutorial bei INFORMS, gehalten und ihn “Das Licht im Dschungel der stochastischen Optimierung” genannt. Und ich musste einen Tutorial-Artikel schreiben. Ich erinnere mich immer an eines der Gutachtergutachten. Der Gutachter sagt: “Oh, es ist nicht so schlimm. Vielleicht sollten Sie es ‘Der Garten der stochastischen Optimierung’ nennen.” Und ich musste lachen und sagte: “Sie haben noch nie versucht, ein Papier in diesen Bereichen zu veröffentlichen. Es ist ein Dschungel, weil es all diese verschiedenen Gemeinschaften gibt, weit über ein Dutzend, und sie sprechen verschiedene Sprachen. Ich habe acht grundlegend verschiedene Notationssysteme gezählt. Und dann natürlich gibt es die Ableger.

So hat das verstärkende Lernen die Notation der Markov-Entscheidungsprozesse übernommen, aber die stochastische Steuerung hat ihre Notation und die stochastische Programmierung hat ihre Notation, die Entscheidungsbäume. Und es ist einfach ein Durcheinander. Aber jede hat eine ziemlich große Gemeinschaft. Sie haben ihre Gruppe von Leuten, die alle dieselbe Sprache sprechen. Und wenn Sie Artikel schreiben, erwarten sie bestimmte Dinge.

Ich leitete ein Labor, das groß genug und vielfältig genug war. Während ich mit dem Güterverkehr begann und endete, leitete ich in der Mitte ein ganzes Energiesystemlabor. Ich habe eine ganze Menge Arbeit über optimales Lernen und Materialwissenschaft gemacht. Das war eine interessante Erfahrung für eine Weile. E-Commerce, Finanzen und an der Princeton-Universität muss man eine Abschlussarbeit für Bachelorstudenten betreuen. Also habe ich etwa 200 Abschlussarbeiten betreut. Und ich sage Ihnen, wenn Sie genug Studenten betreuen und eine breite Palette von Problemen bearbeiten, zurück in der Zeit, als ich gerade mein ADP-Buch geschrieben hatte und dachte: “Wow, ADP ist großartig. Schauen Sie, ich kann Speditionen optimieren. Und das ist nicht gefälscht. Das ist echt. Es gab eine Zeit, als ich sagen würde: “Aber das ist nicht nur eine Witzanwendung. Das ist eine echte industrielle Anwendung. Es muss alles können.” Junge, lag ich falsch.

Okay, es war die zweite Ausgabe meines ADP-Buchs, in der ich ein Kapitel, Kapitel sechs, geschrieben habe, in dem stand: “Sie wissen, es scheinen diese vier Klassen von Richtlinien zu geben.” Jetzt hatte ich nicht alle vier. Ich hatte drei von ihnen. Die vierte, die habe ich falsch verstanden. Und sechs Monate nachdem ich es an den Verlag geschickt hatte, hatte ich dieses “Oh mein Gott, ich habe die vierte Klasse von Richtlinien herausgefunden.” Und von da an, bis das große Buch 2022 herauskam, habe ich mich weiterentwickelt und einen weiteren Tutorial-Artikel geschrieben, 2016, und dann war das große Ding, dass das European Journal of Operational Research mich eingeladen hat, einen Übersichtsartikel zu schreiben.

Das hat Roman Slowinski, einer der leitenden Redakteure, mich eingeladen, das zu tun, und dieser Artikel wurde dann zur Grundlage für dieses große Buch. Sobald ich diesen Artikel geschrieben hatte, dachte ich: “Okay, das ist das neue Buch”, und ich wollte eine dritte Ausgabe meines ADP-Buchs machen, und was ich sage ist: “Nein, ich kann einfach nicht, ADP, speziell die Approximation der Wertfunktion, ist ein sehr mächtiges Werkzeug für eine sehr kleine Anzahl von Problemen, und wenn Sie einen Hammer haben und Ihren Lieblingshammer haben, und wir alle haben unsere Lieblingshämmer, jeder in der Akademie hat seine Lieblingshämmer, können Sie Probleme finden, die zu Ihrem Hammer passen.

Aber wenn Sie aus einem Anwendungsbereich kommen, nehmen Sie einen reichen Anwendungsbereich wie das Supply Chain Management, nun, dann werden Sie eine Werkzeugkiste brauchen. Sie können nicht mit einem Hammer ins Supply Chain Management gehen, und es ist mir egal, welchen Hammer Sie haben, Sie müssen mit einer vollständigen Werkzeugkiste hineingehen, denn die Verteilungsprognose ist schön, aber am Ende des Tages müssen Sie eine Entscheidung treffen, was bedeutet, dass Sie eine Entscheidung unter Unsicherheit treffen.

Conor Doherty: Nun, wenn ich da nur kurz nachhaken darf, weil das perfekt passt. Wenn Sie von der Werkzeugkiste sprechen und von der Betonung auf probabilistische Prognosen, die etwas Handfestes liefern, und die Leute etwas Handfestes wollen, könnten Sie dann bitte die Werkzeugkiste erläutern und erklären, wie Ihr universeller Rahmen für sequenzielle Entscheidungsfindung im Kontext des Supply Chain Managements tatsächlich zu besseren Entscheidungen führt?

Warren Powell: Nun, einer meiner größten Übergänge, ich habe diese PowerPoint-Folie, die ich liebe. Ich habe etwa 15 Bücher darauf, die sich alle mit irgendeinem sequenziellen Entscheidungsproblem befassen. Jedes dieser Bücher, und eines davon ist mein ADP-Buch, ist ein Hammer, der nach einem Nagel sucht. Wir alle haben unsere Lieblingstechnik, um Entscheidungen zu treffen, also wurden die Bücher um einen oder zwei grundlegende Hämmer herum geschrieben.

Wenn Sie aus der Praxis kommen, werden Sie feststellen, dass all diese Hämmer gut sind. Keiner von ihnen funktioniert bei allen Problemen. Wenn Sie tatsächlich aus der Praxis kommen, können Sie Ihr Problem nicht auswählen. Akademiker, die an Methoden arbeiten, wählen das Problem aus, an dem sie ihre Methoden testen möchten. Wenn Sie aus der Praxis kommen, können Sie das nicht. Ihnen wird gesagt: “Hier ist das Problem, das ich lösen muss. Was wirst du tun?” Und meine große berufliche Leistung bestand darin, zu erkennen, dass alle Methoden in diese vier Kategorien fallen, und dann habe ich in dem Papier von 2019 erkannt, dass diese vier Kategorien in zwei Hauptkategorien fallen.

Die einfachere Kategorie trifft eine Entscheidung auf der Grundlage einer Funktion, die nicht in die Zukunft plant, aber abstimmbare Parameter hat, die so eingestellt werden müssen, dass sie auch in Zukunft gut funktionieren. Das einfachste Beispiel in der Supply Chain ist die Bestellung von Lagerbeständen. Wenn der Lagerbestand unter einen bestimmten Wert fällt, bestellen Sie bis zu einem anderen Wert. Ich schaue nicht in die Zukunft. Ich plane nicht. Es ist nur eine Regel, aber diese Bestellwerte müssen so eingestellt werden, dass sie im Laufe der Zeit gut funktionieren.

Das zweite der einfachsten Modelle ist in der Regel ein deterministisches Optimierungsmodell, vereinfacht, aber mit abstimmbaren Parametern. Das habe ich “Kostenfunktionsapproximation” genannt. Sie werden es nirgendwo anders als in meinem großen Buch finden, aber es wird in der Industrie weit verbreitet verwendet. Leute aus der Industrie würden sagen: “Ja, das machen wir die ganze Zeit. Wir dachten nur, es sei ein Industrie-Hack”.

Mir wurde klar, dass wenn Sie ein lineares Programm nehmen, das eine Approximation eines unordentlichen stochastischen Problems ist, und dann einige abstimmbare Parameter einfügen, um Dinge wie Pufferbestände oder Korrekturen für Ausbeute oder Spielraum zu erfassen, wissen Sie, Fluggesellschaften machen das, sie sagen einfach: “Okay, wenn ich von Atlanta nach New York fliege, kann es zu einer Wetterverzögerung kommen. Ich werde 20 Minuten extra einplanen”.

Diese deterministischen Probleme mit abstimmbaren Parametern zu lösen, ist außerordentlich kraftvoll. Die Akademiker lieben es, es als “Oh, nur ein deterministischer Unsinn” abzutun. Ich habe beschlossen, dass es wirklich nicht anders ist als parametrische Prognosen. Wenn Sie Prognosen erstellen, möchten Sie wissen, dass die Nachfrage eine Funktion des Preises ist. Nun, ein höherer Preis führt zu einer geringeren Nachfrage. Lassen Sie uns eine abfallende Funktion erfinden, vielleicht nur eine Linie, vielleicht eine S-Kurve, und dann lassen Sie uns die beste Funktion finden, die wir können. Wir können dasselbe mit parametrisierten deterministischen Modellen tun.

Die Akademiker lieben die andere Klasse von Richtlinien. Dies sind die Richtlinien, die eine Entscheidung treffen, indem sie in die Zukunft planen. Eine davon ist, wenn ich jetzt eine Entscheidung treffe, treffe ich jetzt die Maßnahme. Angenommen, ich habe einen bestimmten Lagerbestand. Ich bestelle mehr Lagerbestand. Das bringt mich in den Zustand in der Zukunft, und ich erhalte den Wert, in diesem Zustand zu sein. Das ist das, was sie dynamische Programmierung oder Bellmans Gleichung nennen. Die Akademiker lieben Bellmans Gleichung, oder wenn Sie aus dem Ingenieurwesen kommen, nennen sie es Hamilton-Jacobi-Gleichung. Und wenn Sie einen Kurs an einer guten Universität besuchen, der zeigt, wie man Entscheidungen im Laufe der Zeit unter Unsicherheit trifft, ist das erste, was sie Ihnen zeigen werden, Bellmans Gleichung.

Ich habe ein 500-seitiges Buch geschrieben, das sich ganz um die Approximation von Bellmans Gleichung dreht. Ich war sehr stolz darauf. Es ist eine leistungsstarke Technik, die bei vielen Problemen funktioniert. Okay, ich meine, gehen Sie ehrlich gesagt in eine Geschäftsgemeinschaft, in der Menschen sequenzielle Entscheidungen treffen, und fragen Sie: “Wie viele haben überhaupt von Bellmans Gleichung gehört?”, und fast niemand. Niemand verwendet Bellmans Gleichung.

Die allerletzte Klasse ist der vollständige Ausblick. Als Beispiel verwende ich Google Maps. Wenn Sie einen Weg zu einem Ziel planen möchten, müssen Sie den gesamten Weg planen. Es gibt eine Reihe von Planungsmodellen, die in die Zukunft planen müssen. Sie verwenden keine Wertefunktion. Sie erstellen explizit ein ganzes Modell für die Zukunft, und das wird viel häufiger gemacht als das Heraustreten und die Approximation einer Wertefunktion.

Also, die Akademiker lieben diese fortgeschritteneren Techniken wirklich. Wenn Sie in die reale Welt gehen, werden Sie hauptsächlich eine von drei Arten von Richtlinien finden: die einfachen Regeln wie “bis zu bestellen”, “günstig kaufen, teuer verkaufen” oder “einen Mantel tragen”. Für die komplexeren Probleme verwende ich ein deterministisches Modell, das nicht zu kompliziert ist. Ich füge einige einstellbare Parameter hinzu und stimme dann die Parameter ab. Die dritte Technik ist der deterministische Ausblick, wie bei Google Maps. Das sind die drei großen.

Ich denke, wenn Sie tatsächlich eine Liste aller Entscheidungen erstellen könnten, die jeder überall in jeder Situation trifft, würden 97% dieser Entscheidungen mit diesen drei Arten von Richtlinien getroffen werden. Na, was glauben Sie? Sie werden in den Büchern nicht betont. Hierhin steuere ich. Ein Großteil dieses Denkens werde ich Ihnen zuschreiben; Sie werden diese bestimmte Diskussion nicht einmal in meinem großen Buch finden, also müssen Sie auf die zweite Auflage warten.

Das ist mein Aha-Moment, als ich sagte, wissen Sie was, nehmen wir die vier Arten von Richtlinien, nehmen wir den Ausblick und teilen ihn in zwei Teile auf: deterministischer Ausblick und stochastischer Ausblick. Jetzt habe ich fünf Richtlinien, und ich frage mich, welche davon am häufigsten verwendet werden? Kategorie eins, weit verbreitet, sind die ersten drei: die Richtlinienfunktionsapproximationen wie einfache Regeln, die Kostenfunktionsapproximationen, die parametrisiert deterministisch sind, und der deterministische Ausblick. Das sind die drei großen.

Nun, es gibt Zeiten, in denen wir einen stochastischen Ausblick benötigen. Zum Beispiel bestelle ich aus China; normalerweise dauert es fünf Wochen, aber es könnte sieben dauern. Nun, wenn Sie reingehen und sagen, nun, ich plane mit sieben, das ist tatsächlich eine Form des stochastischen Ausblicks, der robuste Optimierung mit einer probabilistischen Prognose verwendet. Weil ich auf das Maximum geplant habe, das es sein könnte, anstatt auf das, was es normalerweise ist.

Wertefunktionsapproximationen, das Thema meines früheren Buches, das ist ganz unten. Ich denke ehrlich gesagt, das ist ein großartiges Werkzeug für viele Probleme. Wenn Sie das wirklich brauchen, sollten Sie einen Experten konsultieren, aber für den Alltag werden Sie es einfach nicht verwenden. Es ist viel zu schwer zu verwenden.

Nun, manche Leute werden über verstärkendes Lernen sprechen. Verstärkendes Lernen war in den Anfangstagen nur ein anderer Name für approximative dynamische Programmierung. Es waren nur unterschiedliche Worte für dasselbe. Die ORL-Gemeinschaft hat genau das entdeckt, was ich entdeckt habe; sie haben herausgefunden, wow, das funktioniert nicht immer. Wenn Sie von der ersten Auflage des Buches von Sutton und Barto ausgehen, in dem Sie nur approximative dynamische Programmierung sehen, und zur zweiten Auflage gehen, wenn Sie wissen, wonach Sie suchen, können Sie alle vier Arten von Richtlinien in ihrer zweiten Auflage finden. Aber ich denke immer noch, dass die meisten Leute, wenn sie sagen, dass sie verstärkendes Lernen verwenden, approximative dynamische Programmierung meinen. Die Informatiker sind so viel besser als der Rest von uns darin, ihre Werkzeuge zu vermarkten.

Conor Doherty: Nun, vielen Dank. Ich gebe das sofort an Sie weiter, Joannes. Stimmt das mit Ihrer Sichtweise überein, wie wir bei Lokad Entscheidungen treffen?

Joannes Vermorel: Nun, nicht ganz, aber um fair zu sein, diese Aufteilung ist meiner Meinung nach sehr technisch korrekt, wie Sie das Gebiet aufteilen. Ich werde diesen Punkt nicht in Frage stellen. Und wenn ich von dem Gebiet spreche, meine ich das vereinbarte intellektuelle Modell, bei dem wir Zustandsübergangsfunktionen und eine Belohnungsfunktion haben und dann diese Entscheidungen optimieren möchten usw. Also, wenn wir es aus dieser Perspektive betrachten, würde ich sagen, dass Ihre Beschreibung korrekt ist.

Aber die Art und Weise, wie ich persönlich das Problem angehe, ist relativ unterschiedlich. Mein erster Blickwinkel, noch bevor ich die Liste der Techniken betrachte, wäre: Was ist mit der Problemstellung selbst? Die Reise zur Problemstellung ist entscheidend. Es ist ein wenig unfair, dieses Buch zu kritisieren, weil es bereits 1100 Seiten lang ist und anscheinend Ihre Verleger kein 3000-seitiges Buch wollten.

Bei Lokad stellen wir uns zuerst die Frage, wie genau wir den Zustand approximieren sollten. Man könnte denken, dass dies gegeben ist, aber das ist es nicht. Sie modellieren immer die reale Welt und modellieren sie nicht bis zur Position jedes Atoms, daher gibt es eine enorme Flexibilität bei der Entscheidung, was ein Zustand ist. Dann haben Sie die Übergangsfunktion, die wiederum eine enorme Flexibilität bei der Entscheidung hat, wie Sie von einem Zustand zu einer anderen Version dieses Zustands gelangen können.

Ich glaube, dass dies Teil der Problemlösung ist. Wenn Sie in diesem Stadium die falsche Entscheidung treffen, wenn Sie einen Zustand haben, der viel zu feingranular ist oder eine Übergangsfunktion, die viel zu komplex ist, wird Ihre Werkzeugausstattung anschließend einfach auseinanderfallen. Also ist das Erste für mich, den richtigen Aufruf zu tätigen und das richtige Paradigma dafür zu haben. Das Gleiche gilt für die Kostenfunktion oder die Belohnungsfunktion.

Wir haben einen klassischen Fall für Kunden, die die Kosten eines Lagerbestands oder die Kosten einer Rabattgewährung bewerten müssen. Wenn Sie einmal einen Rabatt gewähren, geben Sie einen Teil Ihrer Marge ab. Das ist in Ordnung, Sie können es messen, es ist ziemlich einfach. Aber dann schaffen Sie auch eine schlechte Gewohnheit, weil die Leute erwarten werden, dass dieser Rabatt erneut angewendet wird. Sie bereiten sich also später ein Problem.

Es ist sehr schwierig, das Verhalten genau abzuschätzen, wie gut sich die Leute an Ihre früheren Rabatte erinnern usw. Das ist Ihre Übergangsfunktion; Sie müssen das approximieren. Mein erster Schritt wären die Approximationen, bevor ich die verschiedenen Zahnräder des algorithmischen Prozesses mit diesem Rahmen approximiere.

Mein Blickwinkel beginnt früher mit der Definition der Modelle selbst. Ich nehme nicht die Perspektive ein, dass das Modell im Allgemeinen, das Sie optimieren möchten, gegeben ist. Für mich ist es Teil der Methodik. Das wäre das Erste. Entschuldigung, ich bin noch nicht fertig. Das Zweite ist, aber das ist eher mein Hintergrund in der Informatik, die Dimension des Problems zu betrachten.

Es ist sehr unterschiedlich, wenn Sie ein kleines Problem angehen, wie zum Beispiel ein paar tausend Entscheidungen wie eine Route in einer Stadt mit ein paar hundert Lieferungen usw. Tausend Entscheidungen sind für mich ein sehr kleines Problem. Wir haben Probleme, bei denen wir bis zu einer Milliarde Variablen haben. Wenn wir uns eine große Lieferkette ansehen, wie zum Beispiel einen Hypermarkt, können Sie in einem Hypermarkt 100.000 SKUs haben. Wenn Sie tausend Hypermärkte haben, ergibt das 100 Millionen SKUs. Für jede SKU haben Sie ein halbes Dutzend Entscheidungen, und das wiederholen Sie ein paar Wochen in die Zukunft. Sie können Probleme haben, die entweder super klein sind, wie die Optimierung von Routen, oder sehr groß, wo sie nicht einmal in den Speicher passen würden.

Für mich wäre das also die Art von Sache, bei der ich versuchen würde, die wichtigsten Merkmale des Problems zu erfassen. Die Dimensionalität ist eines davon. Ein weiteres, das sehr wichtig ist, ist, wie schwierig es ist, zur besseren Lösung zu navigieren. Wenn ich diese beiden Beispiele nehme, ist die Routenoptimierung etwas sehr nichtlineares, sehr fragil. Sie bewegen sich einfach, tauschen zwei Standorte aus, und Sie können von einer sehr schlechten Lösung zu einer sehr guten Lösung gelangen, indem Sie einfach zwei Punkte tauschen. Ihre Lösung verhält sich ein wenig wie ein Kristall; sie hat diese Art von Fragilität. Es ist sehr einfach, die Lösung zu stören und von etwas Gutem zu etwas sehr Schlechtem zu gelangen.

Auf der anderen Seite, wenn ich zu diesem Spektrum von Problemen mit meinem Netzwerk von Supermärkten gehe, wenn ich mich entscheide, eine Einheit, die dort sein sollte, an einen anderen Ort zu setzen, ist das Problem sehr unempfindlich. Sie können mit viel Spielraum gehen. Sie möchten etwas haben, das viel mehr in die richtige Richtung geht. Dieses Spektrum reicht von kristallinen Eigenschaften bis zu schlammigen Eigenschaften. Kristalline Eigenschaften sind zerbrechlich und spröde und brechen leicht, während schlammige Eigenschaften formlos sind. Solange Sie in die richtige Richtung gehen, ist es in Ordnung. Das wäre die zweite Überlegung.

Die dritte wäre die zeitliche Charakteristik, nach der Sie suchen. Zeitliche Charakteristiken reichen vom Steuern von Robotern in einem Lager, wo Sie konstante Zeit, konstante Speicherantworten innerhalb von Millisekunden wünschen. Wenn Leute sagen, dass Sie 10 Millisekunden Zeit haben, um eine Antwort zu geben, wenn Sie das nicht tun, haben wir alle möglichen anderen Probleme, im Gegensatz zu einem anderen Problem wie dem Einkauf im Ausland, wo es 10 Wochen dauern wird, um aus China zu kommen. Wenn Ihre Berechnung 24 Stunden dauert, ist das kein Problem. Wir können uns diese 24 Stunden leisten; wir haben keinerlei Einschränkungen.

Das ist also ein wenig, wie ich das Gebiet aufteile. Ich verstehe, dass die Art und Weise, wie ich das Gebiet aufteile, nicht viel über die Algorithmen aussagt, die Sie verwenden möchten, aber ich benutze das als eine Möglichkeit, das zu eliminieren, was ich überhaupt als potenzielle Lösungen für die Art von Problemen in Betracht ziehe, an denen ich interessiert bin.

Warren Powell: Ich liebe es, dass Sie aus einem Anwendungsbereich kommen. Eines der Dinge, die ich festgestellt habe, als ich anfing, mein Buch über Supply Chain Analytics zu schreiben, das das erste Buch ist, das ich über eine Problemklasse geschrieben habe, ist, dass alle meine anderen Bücher im Grunde genommen Methodenbücher waren, und es hat viel Spaß gemacht.

Nun, geben Sie meinem großen Buch Anerkennung für eine Sache: Ich habe ein ganzes Kapitel, 90 Seiten lang, das der Modellierung gewidmet ist, aber auf eine sehr allgemeine Weise. Ich schätze absolut Ihren gesamten Prozess, den Sie beschrieben haben. Das ist eine Zustandsvariable. Bei komplexen Problemen habe ich einige Tutorials, in denen ich sage, dass wir fünf Elemente des Problems haben, beginnend mit den Zustandsvariablen. Aber wenn ich modelliere, mache ich die Zustandsvariable zuletzt.

Außerdem ist es wirklich iterativ. Sie werden einen Prozess haben, bei dem Sie die Modellierung durchlaufen. Die Zustandsvariable ist nur eine Information. Sie gehen durch das Modell und sagen: Okay, ich brauche diese Information, diese Information, diese Information - ah, da ist meine Zustandsvariable. Aber zum Beispiel, wie treffen Sie Entscheidungen? Es hängt davon ab, wie Sie die Unsicherheit modellieren. Wie modellieren Sie Unsicherheit? Es hängt davon ab, wie Sie Entscheidungen treffen.

Also beschreibe ich den Prozess der Modellierung von Unsicherheit und der Entscheidungsfindung wie das Besteigen von zwei Leitern. Kommen Sie nicht mit einer unglaublich ausgefeilten Methode zur Entscheidungsfindung unter Unsicherheit, wenn Ihr Modell nur ein sehr einfaches Wahrscheinlichkeitsmodell hat. Bei unseren komplexen Problemen können wir Modelle der Unsicherheit so kompliziert machen, wie wir möchten.

Im Allgemeinen werden Sie nicht mit dem kompliziertesten Modell beginnen. Sie werden mit etwas Grundlegenderem beginnen. Dann möchten Sie etwas haben, das Entscheidungen trifft. Sie müssen nichts Unglaublich Kompliziertes tun, weil es nur ein grundlegendes Modell ist. Sobald Sie ein anständiges Entscheidungsmodell haben, können Sie zu Ihrem Modell der Unsicherheiten zurückkehren, weil Sie vielleicht jetzt andere Risikokennzahlen erhalten möchten.

Jetzt möchten Sie Entscheidungen haben, die das Risiko widerspiegeln. Sie klettern also diese Leiter hinauf, und ich bin sicher, dass Ihr gesamter Prozess bei Lokad iterativ war. Wir möchten immer das einfachste Modell, das das Problem löst. Die Frage ist, was es braucht, um die Geschäftsziele zu erreichen. Und das ist ein Lernprozess.

Joannes Vermorel: Absolut. Ich gebe Ihrem Buch auf jeden Fall Anerkennung. Ich glaube, dort listen Sie etwas wie 15 verschiedene Arten von Unsicherheit auf, und das ist wahrscheinlich die längste Liste, die ich gesammelt gesehen habe. Und ja, das ist eine sehr reale Sorge. Wenn Sie von Unsicherheit sprechen, denken die Leute, oh, Sie sprechen nur von den Ungenauigkeiten der Punktprognose. Und ich würde sagen, sicherlich nicht, es gibt so viele Quellen der Unsicherheit. Das können die Preise der Rohstoffe sein, von denen Sie abhängen, die variieren können, das kann die Arbeitskräfte sein, von denen Sie abhängen, die in den Streik treten oder einfach nicht qualifiziert oder einfach nicht vorhanden sind.

Es kann die Möglichkeit geben, Wohnungsprobleme an Ihren Standorten zu haben. Das betrachtet Unsicherheit nur durch die Linse der Ungenauigkeiten Ihrer Verkäufe, weil das nur eine Sache ist, die Nachfrage nach Verkaufsprognosen, Verkaufspunktprognosen, das ist nur äußerst begrenzt. Ich stimme Ihnen vollkommen zu. Bei Lokad sind wir genau das, was wir tun, was eine weitere Frage aufwirft, eine große Sorge, nämlich die Produktivität der Ingenieure, die Sie einsetzen müssen, um schneller zu iterieren.

Bei Lokad gehen wir typischerweise die stochastischen Optimierungsprobleme an, indem wir Programmierparadigmen identifizieren. Wir haben eine Sammlung dieser Paradigmen. Sie sind nicht vereinheitlicht, eher wie eine kleine Bibliothek von Dingen, die Sie verwenden können. Diese Paradigmen geben Ihnen einen Ansatz, um relativ schnell in der Implementierung Ihres Löser voranzukommen. Hier stimme ich vollkommen mit dem iterativen Prozess überein. Die Herausforderung, die wir aus geschäftlicher Sicht haben, besteht darin, dass meine Kunden sehr ungeduldig sind.

Wir müssen sehr schnell iterieren, aber wir haben es mit etwas Kompliziertem zu tun, das die Hardcore-Algorithmen betrifft. Sie müssen ihren Algorithmus in endlicher Zeit implementiert bekommen. Ein weiterer Aspekt, der nie diskutiert wird, ist, dass viele Methoden, die ich in Büchern gesehen habe, funktionieren, wenn Sie super kluge Universitätsprofessoren haben, die ein Jahrzehnt Zeit haben, den Algorithmus zu implementieren. In der realen Welt, wenn Sie 100 Stunden Zeit haben, um ihn zu implementieren, sind einige Methoden unglaublich schwierig, auf Implementierungsebene richtig zu machen. Deshalb helfen diese Programmierparadigmen. Sie bieten eine Möglichkeit, ihn in einer Weise zu codieren, die in einer endlichen Zeit in der Produktion funktioniert, während man an den Dingen iteriert.

Warren Powell: Gegen Ende von Kapitel 11, glaube ich, im allerletzten Abschnitt, habe ich einen Unterabschnitt über die weichen Aspekte der Bewertung von Richtlinien. Also in dem Buch schreibe ich immer, dass die Optimierung von Richtlinien das Maximieren über Richtlinien, die Erwartung von etwas ist. Gegen Ende von Kapitel 11, das von der Website heruntergeladen werden kann, habe ich etwa fünf verschiedene Qualitäten wie methodologische Komplexität. Wenn Sie sich eine Methode ansehen, ist absolut das, was Sie gerade gesagt haben, sehr wichtig, eine berechenbare Traktabilität, Transparenz. Wir haben alle Algorithmen programmiert und die Antwort kommt heraus und wir kratzen uns am Kopf und wir und der Kunde verstehen es nicht und Sie möchten in der Lage sein zu sagen, nun, hier ist der Grund, warum es so herausgekommen ist, weil es ein Datenfehler sein könnte, es könnte eine Regeländerung sein.

Ich meine, bei Optimal Dynamics erhalten wir diese Daten von Speditionsunternehmen und wir stoßen auf die gleichen Probleme wie Sie und wenn sie mit einer Antwort nicht zufrieden sind, möchten sie, dass sie schnell behoben wird. Eines der leistungsstärksten und wichtigsten Tools, das ich in meinem Labor an der Universität entwickelt habe, ist ein Grafiktool namens Pilot View, das zwei Module hat. Eines ist eine Karte, auf der Sie Flüsse sehen und auf verschiedene Arten filtern können, aber das andere, das ich mein Elektronenmikroskop nenne, ermöglicht es mir, einzelne Fahrer und einzelne Ladungen aufzurufen und auf alles zu klicken und zu sehen, welcher Fahrer welcher Ladung zugewiesen wurde, aber nicht nur welcher Fahrer welcher Ladung zugewiesen wurde, sondern auch welche Ladungen wir in Betracht gezogen haben, denn wenn ich tausend Fahrer und tausend Ladungen habe, kann ich nicht alle möglichen Kombinationen von tausend Fahrern mal tausend Ladungen in Betracht ziehen und das hat nichts mit dem Algorithmus zu tun, sondern alles mit dem Netzwerkgenerator.

Also verwenden wir ausgeklügelte Dinge, aber ich kann einen Fahrer haben, den ich keiner Ladung zugewiesen habe, warum nicht? Nun, vielleicht waren die Strafen zu hoch, vielleicht waren die Kosten zu hoch oder vielleicht hat eine meiner Beschneidungsregeln es einfach nicht berücksichtigt und das ist uns passiert. Und natürlich, wenn der Kunde sich beschwert, benötigen Sie eine schnelle Antwort, denn wenn Sie einmal im Feld sind, sind komplizierte Algorithmen nicht mehr möglich.

Joannes Vermorel: Das kann ich sehr gut nachvollziehen. Ich habe diese Beobachtung nicht gemacht, ich habe sie im Internet gefunden, ich erinnere mich nicht genau, wer es gesagt hat, aber im Wesentlichen besagt sie, dass es erforderlich ist, doppelt so klug zu sein wie bei der Implementierung des Algorithmus, um ihn zu debuggen.

Wenn Sie also einen Algorithmus verwenden, der bereits bei der Implementierung so klug ist, wie Sie sein können, bedeutet das, dass Sie, wenn Sie in die Produktion gehen und debuggen möchten, doppelt so klug sein müssen, und das ist nicht einmal möglich, weil die Implementierung des Algorithmus bereits das Beste von Ihnen war. Sie benötigen also eine Lösung, die nicht das Beste von Ihnen ist, damit Sie sie debuggen können. Außerdem stimme ich Ihnen sehr zu, dass diese unterstützenden Tools wichtig sind. Die Rolle der Instrumentierung ist absolut grundlegend und ich denke, das ist auch etwas, aber es ist schwierig. Dieses Buch enthält so viel, ich gebe Ihnen dafür Anerkennung, es ist kein Buch, das an Erkenntnissen mangelt, die Rolle der Instrumentierung ist von größter Bedeutung.

Die klassische Optimierungsgemeinschaft im deterministischen Sinne würde einfach sagen, wie viele CPU-Sekunden Sie benötigen und wie die Leistung der Lösung ist, die Sie erhalten, und das war’s. Aber wenn Sie in diesen Bereich der stochastischen Optimierung eintreten, benötigen Sie umfangreiche unterstützende Instrumentierung, um zu verstehen, was vor sich geht. Und ich denke, das ist auch etwas, wo es paradigmatische Lücken in der Betrachtungsweise gibt, denn das bedeutet, dass es nicht nur das Werkzeug ist, das Ihnen die Entscheidung ermöglicht, sondern auch all die Instrumente, die Sie darüber hinaus einsetzen können, um Ihren Entscheidungsprozess zu verstehen, nicht nur eine einzelne Entscheidung, sondern den Entscheidungsprozess, und ohne das würden Bedenken aufkommen und Sie wären festgefahren und könnten nicht einfach sagen, vertrauen Sie mir, es ist gut. In der stochastischen Optimierung funktioniert das nicht so gut wie in der klassischen mathematischen Optimierung.

Warren Powell: Ja, es ist natürlich eine schöne Herausforderung, mit der Industrie zusammenzuarbeiten. Ich habe diese Erfahrung seit Beginn meiner Karriere gemacht. Erst in den 1990er Jahren, als ich mein Labor eingerichtet und einige professionelle Programmierer eingestellt habe - alle mit einem Doktortitel, aber sie waren nur zum Codieren da -, wäre mein Labor nie richtig in Fahrt gekommen. Es ist erstaunlich, wie oft es vorkommt, dass Ihr Algorithmus eine Lösung präsentiert, die Ihnen nicht gefällt und auch dem Kunden nicht gefällt, und alle sitzen am Tisch und kratzen sich am Kopf und fragen sich, was wir falsch machen. Und wie oft wir diese Übung gemacht haben und verschiedene Leute unterschiedliche Theorien haben, die ihre Fähigkeiten widerspiegeln. Da bin ich dann, oh mein Gott, ich denke, der Algorithmus könnte ausgefeilter sein, und dieser Typ sorgt sich um die Daten und dieser Typ sorgt sich um einen Programmierfehler, und wie oft wir in Hypothesengrößen sitzen und wir alle falsch liegen.

Es ist wirklich erstaunlich. Natürlich würde ich gerne irgendwann mit Ihnen zusammensitzen und mehr über Ihre Probleme beim Erhalten der Rohdaten erfahren. In meiner Branche, dem LKW-Transport, arbeiten wir nur mit Spediteuren zusammen, die bereits ein kommerzielles TMS-System verwenden, und das bedeutet nicht, dass es perfekt ist, aber es bedeutet, dass wir viel weiter sind. Aber es ist eine Herausforderung, es macht viel Spaß. Etwas, das ich gerne öfter tun würde, ist die akademische Gemeinschaft mit realen Problemen herauszufordern, aber ich habe die akademische Gemeinschaft aufgegeben.

Sie sind nicht da, um Probleme zu lösen, sie sind da, um Theoreme zu beweisen und Papiere zu schreiben. Ich habe fast 40 Jahre in dieser Welt gelebt und verstehe sie, aber ich denke, sie ist grundsätzlich fehlerhaft. Eines der Dinge, die ich mit meinen Frachttransportunternehmen hatte, war, dass sie alle bereit waren, Daten zu teilen. Das gilt nicht für Versender.

Ich bin noch nie auf einen Versender gestoßen, der bereit war, Supply-Chain-Daten zu teilen. Das ist ausgeschlossen, das werden sie nicht tun. Ich habe ein großes Supply-Chain-Projekt für Pratt and Whitney, den Hersteller von Flugzeugtriebwerken, durchgeführt, und es wurde von der Regierung finanziert und von dem Unternehmen, das sie besaß, namens United Technologies, gebilligt, aber sie wollten nicht einmal einen Vorschlag zur Datenfreigabe anhören. Sie sagten: “Oh mein Gott, das ist viel zu proprietär.”

Und so haben sie sich gerne an dem Projekt beteiligt, bei dem wir unseren eigenen ausgeklügelten Datengenerator schreiben mussten und weltweit zufällige Nachfragen erfunden haben, und sie sagten: “Nein, einige unserer Lieferanten sind wirklich geheim, wissen Sie, wir können nicht einmal jemandem mitteilen, dass es einen Lieferanten gibt, der das irgendwo im Bundesstaat Connecticut macht.” Sie haben einfach nein gesagt, das wäre zu viele Informationen.

Es ist also schwierig, diese realen Probleme in einer Umgebung zu lösen, in der Sie nicht an die Daten gelangen können. Ich habe mich bei der Rutgers University angemeldet, ich bin jetzt Executive in Residence in ihrer Abteilung für Supply-Chain-Management, und ich hoffe, sie dazu zu bringen, einen Simulator mit gefälschten Daten zu entwickeln und sie dazu zu bringen, zumindest mit simulierten realistischen Problemen zu arbeiten.

Joannes Vermorel: Ich kann mich sehr gut mit den Problemen identifizieren, mit denen Sie konfrontiert waren. Ich komme eher aus dem anderen Spektrum der Supply-Chain-Welt. Auf der einen Seite des Spektrums haben Sie den LKW-Transport, der fast wie die endgültigen, relativ kurzfristigen Entscheidungen ist, noch extremer wäre die Steuerung von Robotern, das ist ein Ende des Spektrums.

Auf der anderen Seite des Spektrums haben Sie S&OP, Vertrieb und Betrieb, einen supermakroplan auf Unternehmensebene und so weiter. Dann haben Sie alles dazwischen. Meine eigene Reise begann am anderen Ende, dem S&OP, sehr strategisch, sehr auf Prognosen ausgerichtet. In den ersten Jahren von Lokad waren Entscheidungen nicht einmal involviert, es ging nur um reine Prognosen.

Zu Ihrer Sorge zurückkehrend, mein Problem war, dass ich in der akademischen Welt gesehen habe, übrigens bin ich ein abgebrochener Doktorand, also habe ich meinen Doktorvater nicht stolz gemacht und schamlos meinen Doktor abgebrochen, um Lokad zu gründen. Die Akademie konzentriert sich auf die Genauigkeit von Prognosen und veröffentlicht seit jeher 20.000 Modelle für bessere Umsatzprognosen.

In der Industrie haben wir genau die Situation, die Sie beschreiben. 10 Leute sitzen um den Tisch herum, sie betrachten das Problem aus ihrer Perspektive, und wenn wir über Prognosen sprechen, die Vor-Entscheidungsphase, kurz bevor die Entscheidung getroffen wird, wollen sie zuerst die Prognose erstellen. Die Leute ringen darum, die Prognose nach oben oder unten zu lenken.

Im S&OP haben Sie Vertriebsmitarbeiter, die die Prognose niedrig halten wollen, damit sie die Erwartungen übertreffen können. Dann haben Sie Mitarbeiter in der Produktion, die die Prognose aufblähen wollen, denn wenn sie die Prognose aufblähen, haben sie mehr Budget für ihre Produktionsanlagen, und somit wird es einfacher sein, die endgültige Bestellung zu produzieren, wenn sie mehr Kapazität haben.

Es gibt dieses Tauziehen, bei dem der Vertrieb die Zahlen zu Boden werfen will, die Produktion sie in den Himmel schicken will, und das ist nicht besonders rational. Das Interessante ist, dass in der akademischen Welt Menschen eine Arbeit veröffentlichen würden, in der sie einen unglaublich ausgeklügelten Weg finden, um 0,1% der Voreingenommenheit zu entfernen, indem sie eine obskure russische Theorie nutzen.

Dann sitzen Sie in diesem Raum mit einem Tauziehen, bei dem die Leute buchstäblich sagen: “Ich will minus 50%”, und ein anderer sagt: “Ich will plus 50%”. Das führt zu dieser Art von Diskrepanz. Auf die Daten zuzugreifen war schon immer unglaublich schmerzhaft.

Warren Powell: Eine Frage zur Prognose, und ich würde gerne wissen, wie Sie damit umgehen. Es gibt viele mathematische Modelle, die die Vergangenheit nutzen, um die Zukunft vorherzusagen, aber wir wissen, dass die Zukunft oft sehr unterschiedlich sein kann als die Vergangenheit, aus einer Vielzahl von Gründen, und insbesondere weiß ich nicht, ob die Zukunft steigt oder fällt, aber ich weiß, dass sie ganz anders sein könnte als alles, was ich bisher gesehen habe. Darf ich fragen, wie Sie damit umgehen?

Joannes Vermorel: Ja, absolut. Also, der typische Weg ist, dass wir eine Art makroökonomische Unsicherheit einführen wollen, die nicht genau gerechtfertigt ist. Das klingt komisch. Man würde denken, okay, wir haben die Nachfrageprognose, gut, und wir werden sagen, fügen wir eine Variable hinzu, bei der wir jedes Jahr eine 4%ige Chance haben, einen scharfen Rückgang von 30% der Nachfrage, der Aktivität, von allem zu haben.

Dann sagen die Leute: “Wow, ein Rückgang von 30% in einem Jahr, das ist riesig. Warum würden Sie das jemals in Betracht ziehen?” Meine Meinung ist, wenn man sich das 20. Jahrhundert ansieht, gab es zwei Weltkriege, eine ganze Reihe anderer Kriege. In jüngerer Zeit hatten wir globale Lockdowns und so weiter. Also zu sagen, dass alle 25 Jahre ein Asteroid in Ihrem Gesicht landet und Ihre Branche beschädigt, halte ich nicht für so abwegig.

Aber die Leute erwarten, dass sie etwas prognostizieren, das sie kennen, und hier sagen wir, nein, du musst es nicht genau wissen. Du könntest einfach sagen, wir nehmen eine große Störung an, was auch immer es ist, und dann erfinden wir Zahlen. Diese Zahlen sind völlig erfunden, 4% jährliche Wahrscheinlichkeit, 30%, du kannst es ändern, du kannst fünf sagen und du kannst 50% sagen.

Es zwingt dich dazu, deine größte Störung immer zu berücksichtigen. Wir haben zum Beispiel Kunden in der Luftfahrt bedient. Die Leute würden sagen: “Oh, das ist nicht so häufig.” Aber es ist häufig, denn wenn man sich die Branche ansieht, wurde der 737 Max von Boeing stillgelegt. Für meinen Kunden, der Flugzeuge betreute und Dutzende dieser Flugzeuge hatte, war das ein großes Problem.

Das Fazit ist, dass man Dinge, die unglaublich pessimistisch sind, in seine Modelle aufnehmen muss. Das ist normalerweise sehr schwer zu verkaufen, weil es nicht konsensfähig ist. Das Problem ist nicht wirklich, dass die Mathematik fehlt, sondern dass sie Angst macht und die Leute keine Angst haben wollen. Aber wenn man sich nicht auf diese großen einschneidenden Ereignisse vorbereitet, dann ist man unvorbereitet. So einfach ist das.

Das andere ist, dass das eine Seite wäre, das ist eine sehr pessimistische Seite, man muss sich diese großen Störungen ansehen, damit einverstanden sein und akzeptieren, dass sie mit 100%iger Sicherheit eintreten werden, wenn man ihnen genug Zeit gibt. Das ist ein Aspekt.

Der andere Aspekt ist, dass die meisten meiner Kunden, wenn sie Unsicherheit und Entscheidungsunsicherheit betrachten, nur das schlechte Ergebnis sehen. Ich denke, das Problem liegt in der Variabilität. Die Leute setzen schlechte Ergebnisse gleich. In der Fertigung zum Beispiel hat Deming die Idee populär gemacht, dass man konsequent sein muss. Es ist eine Kardinaltugend. Man muss absolut konsequent sein. Es ist in Ordnung, schlechte Produkte herzustellen, wenn man immer schlechte Produkte herstellt. Es wird billig sein und die Leute wissen, was sie erwarten können.

Was nicht in Ordnung ist, ist etwas Gutes und etwas Schlechtes zu tun. Nein, man muss immer absolut konsequent sein. Die Leute setzen Fertigungsvariabilität mit etwas Schlechtem gleich. Aber ist das wirklich so? Sobald man die Welt der Fertigung verlässt, ist Variabilität so etwas Schlechtes? Nicht unbedingt.

Ein gutes Beispiel wäre die Mode. In der Mode schafft man Produkte, die ein Treffer oder ein Fehlschlag sein können. Wenn man die Varianz der Treffer und Fehlschläge erhöhen kann, weil man eine niedrige hat, die ein Fat Tail sein wird, bedeutet das, dass man bei erhöhter Varianz zwar mehr Fehlschläge haben wird, aber auch Treffer haben kann, die um ein Vielfaches größer sind.

Variabilität in der Fertigung ist schlecht, aber in der Supply Chain im Allgemeinen ist es nicht so schlimm. Wenn man einen nahezu perfekt gleichmäßigen Strom von Möglichkeiten haben kann, super gleichmäßig, aber wenn man gestört wird, wird man getötet, im Vergleich zu etwas, das etwas unregelmäßig, etwas holprig ist, aber wo es viel ständiges Risiko gibt, das man mit Entscheidungen, die unter Unsicherheit optimiert sind, sorgfältig managt, so dass, wenn man einen Fehler macht, man nicht getötet wird.

Man kann an einen Punkt kommen, an dem die Störung nicht annähernd so einschneidend ist. Zum Beispiel, wenn man in einem Geschäft ist, in dem man erwartet, dass 98% seiner Produkte von einem Jahr zum nächsten fortgesetzt werden, wenn sich das Gesetz ändert und 20% seiner Produkte als illegal eingestuft werden, weil man das falsche Produkt, das falsche Verfahren, das falsche was auch immer verwendet hat, dann ist das ein massiver Schlag.

Man war in einem Geschäft, in dem jedes Jahr zwei Prozent der Produkte wechselten, und jetzt werden 20% aufgrund von Vorschriften ausgesondert. Aber wenn man in einem Geschäft ist, in dem man jedes Jahr zum Beispiel 15% seiner Produkte erneuert, nun gut, es gibt ein Jahr, in dem man 20% hat, aber man wird sich viel schneller erholen können, weil man diese Art von Appetit auf Neuheiten hat, die man behält.

Nicht alle Unsicherheiten sind schlecht. Manchmal ist es gut, ein bisschen davon zu verfolgen. Zum Beispiel hassen die meisten Prognosepraktiker die Prognose neuer Produkte, weil sie keine Historie für die Zeitreihen haben. Wenn man sich die Literatur zur Zeitreihenprognose ansieht, schließen 99% der Zeit Menschen Produkte aus, die keine Historie haben. Aus meiner Sicht ist die Prognose der Produkte, die keine Historie haben, das interessanteste.

Das ist der Ort, an dem die wahren Schlachten der Supply Chain stattfinden. Es sind diese neuen Produkte, die Hits sein könnten und den Kurs für das Unternehmen ändern könnten. Also ist es eine lange Antwort auf Ihre Frage.

Warren Powell: Ich möchte einen abschließenden Kommentar abgeben. Eine der Dinge, die ich an meinem Rahmenwerk mit meinen vier Klassen von Richtlinien am meisten schätze, ist, dass es mir ermöglicht zu sagen, mach dir keine Sorgen um die Entscheidung. Wir werden eine der vier Klassen wählen, wir werden etwas Vernünftiges wählen, mach dir keine Sorgen. Das ist nicht das große Problem. Das große Problem ist die Modellierung der Unsicherheit. Wenn ich die Leute von den Komplexitäten der Entscheidungsfindung unter Unsicherheit wegbekommen und sie mehr auf die Modellierung der Unsicherheiten konzentrieren kann, dann ist das der große Gewinn.

Joannes Vermorel: Ich stimme Ihnen vollkommen zu. Große Unternehmen, wenn sie mit Unsicherheit konfrontiert werden, ist eine der schlimmsten Dinge, die sie tun können, Regeln aufzustellen, um die Unsicherheit zu reduzieren. Man erfindet Regeln nur, um das Problem zu vereinfachen. Zum Beispiel haben sie gelesen, dass UPS in ihren Kreisen nur Linkskurven fährt, und dann sagen sie, okay, also werden wir selbst nur Linkskurven fahren, weil das etwas vereinfacht.

Man sieht, dass man so viel Potenzial und Optionen hatte, so viel Unsicherheit zu bewältigen hatte, und ich denke, einer der nachteiligsten Wege, das Problem anzugehen, besteht darin, eine ganze Reihe von Einschränkungen zu erfinden, die völlig erfundene Einschränkungen sind, damit man ein Problem hat, das leichter zu bewältigen ist. Um zu Ihren Rahmenbedingungen überzugehen, würde ich sagen, dass das der falsche Weg ist, weil es Möglichkeiten gibt, mit den wahren Problemen umzugehen.

Also fangen Sie nicht an, Einschränkungen nur um ihrer selbst willen zu erfinden, nur weil Sie Angst haben, dass es niemals eine Lösung geben wird, um Ihr Problem zu betrachten. Es gibt viele Lösungen, also müssen Sie das Erfinden von Regeln und Einschränkungen verschieben, nur um die Lösung des Entscheidungsprozesses zu vereinfachen.

Conor Doherty: Nun, ich bin immer noch hier, und das ist in Ordnung. Ich habe drei oder vier separate Seiten mit Notizen gemacht, aber eine der Dinge, und das knüpft an, Sie verwenden den Begriff des Managements von finanziellen Risiken, und ich habe Abwägungen, Geschäftsinteressen, Bewertung der Leistung und Management von finanziellen Risiken aufgeschrieben.

Also, Warren, als eine Art Gelegenheit, Ihr Rahmenwerk und Ihren Ansatz zur stochastischen Optimierung zusammenzufassen, weiß ich, dass Ihre Perspektive darin besteht, Geschäftsinteressen zu managen und die Abwägungen zu managen, die mit Entscheidungen einhergehen. Also, nehmen Sie sich so viel Zeit, wie Sie möchten, aber wie genau bewältigt Ihr Rahmenwerk das finanzielle Risiko im Zusammenhang mit der Optimierung der Routenplanung oder dem Management des Lagerbestands oder der Prognose und dem Management des Lagerbestands für Produkte, für die wir keine Historie haben?

Warren Powell: Sicher. Zunächst einmal denke ich, dass eines der Nebenprodukte, die Johannes und ich haben, darin besteht, dass wir beide an realen Problemen arbeiten. Und wenn man an realen Problemen arbeitet, wird man mit bestimmten Dingen konfrontiert, über die wir uns alle einig sind, eine davon ist, zuerst das Modell zu erstellen und dann zu lösen. Man muss das Problem verstehen. Sie verwenden das Wort Risiko, und das hebt für mich hervor, dass man über Unsicherheit sprechen muss, und das ist viel komplizierter als eine normale Verteilung.

Die Statistiker mögen es, wenn es um Unsicherheit geht, als erstes eine Normalverteilung einzuführen. Sie sagen, okay, wir haben einen Mittelwert und eine Varianz. Es gibt Zufälligkeit um den Mittelwert herum, und sie scheinen nicht zu erkennen, dass die größte Unsicherheitsquelle der Mittelwert ist. Wir wissen nicht, wie der Mittelwert sein wird. Der Mittelwert bewegt sich. Jetzt gibt es Rauschen um den Mittelwert herum, aber die Bewegung des Mittelwerts ist das Schlimmste.

Und dann gibt es diese Ereignisse, die nicht wirklich in einer Wahrscheinlichkeitsverteilung auftauchen, es sind Eventualitäten. Sie sind wie, schau, ich weiß nichts über eine Wahrscheinlichkeit, aber hier ist etwas, das passieren könnte. Was würde ich in diesem Fall tun? Und es ist mir egal, wie wahrscheinlich es ist. Es gibt Dinge, von denen ich denke, dass sie passieren können, und ich muss wissen, was passiert, wenn dieses Schiff einen Monat zu spät ankommt. Was ist, wenn dieser Hafen schließt? Was ist, wenn es in Japan ein Erdbeben gibt? Es gibt diese großen Ereignisse. Ich muss nicht unbedingt genau wissen, welches Ereignis eintritt, aber ich muss für Eventualitäten planen.

Das ganze Geschäft der Entscheidungsfindung unter Unsicherheit, eines der ersten Dinge, die ich gerne sage, ist, dass es eine Menge komplizierter Mathematik gibt, aber ist Ihnen klar, dass wir Menschen ständig Entscheidungen unter Unsicherheit treffen? Und am Anfang meiner Karriere, als ich wirklich mit meinen LKW-Problemen zu kämpfen hatte, dachte ich mir, aber die LKW-Disponenten machen das schon. Wir müssen uns daran erinnern, dass eine Sache, bei der das menschliche Gehirn erstaunlich gut ist, darin besteht, Entscheidungen unter Unsicherheit zu treffen.

Viele dieser Probleme, Leute werden sagen, oh, ich mag Stochastik nicht. Und doch wird genau dieselbe Person für zufällige Ereignisse, Unsicherheiten und Eventualitäten planen. Es ist einfach etwas, das in das menschliche Gehirn eingebaut ist, weil wir, Tiere, uns damit während unserer gesamten Evolution auseinandersetzen mussten. Die größte Herausforderung besteht nicht darin, Entscheidungen unter Unsicherheit zu treffen. Die größte Herausforderung besteht darin, Computern beizubringen, Entscheidungen unter Unsicherheit zu treffen.

Und deshalb glaube ich nicht, dass es jemals ein Ende dieses Gesprächs geben wird. Wir müssen quantifizieren, wir müssen Computer verwenden, weil die Vorstellung von Räumen voller Menschen, die Entscheidungen treffen, ein wenig veraltet ist. In den Speditionen haben wir bei Optimal Dynamics eine ganze Reihe von Modellen, von strategisch bis hin zur Echtzeit. Aber das Produkt, das absolut das Fundament dessen ist, was wir verkaufen, ist dasjenige, das Echtzeit-Dispatching durchführt, weil es in den Vereinigten Staaten keinen LKW-Manager gibt, der nicht glaubt, dass das größte Problem seines Unternehmens der Dispatch-Bereich ist, ob es wahr ist oder nicht, das ist ihre Überzeugung.

Ich habe gelernt, dass es nicht wirklich das Wichtigste ist, den richtigen Fahrer zu finden, um eine Ladung zu transportieren. Das Wichtigste ist, die richtige Ladung auszuwählen, und das ist wie das Revenue Management für Fluggesellschaften. Man muss es ein wenig in die Zukunft planen, aber es ist so schwer, den richtigen Fahrer zu finden, der nach Hause kommt und die DOT-Stunden erfüllt und alles, worauf sich jeder hyperfokussiert, ist das Problem der Fahrerdisposition.

Aber es geht wirklich darum, die richtige Ladung zu finden, denn das Schwierige daran, die richtige Ladung zu finden, ist, dass ich mich möglicherweise mehrere Tage in der Zukunft oder eine Woche verpflichten muss und nicht weiß, wo sich meine Fahrer befinden werden und was ich bewältigen kann. Sie müssen also unter Unsicherheit planen können. Die Disponenten wissen das und vielleicht haben sie keine ausgefeilten Werkzeuge, aber sie haben dieses Bauchgefühl, dass es ein guter Ort ist. Dort werde ich wahrscheinlich einen Fahrer haben.”

Ich habe Leute sagen hören, dass sie sich überhaupt nicht mit Unsicherheit befassen, weil CEOs stochastisch nicht verstehen. Nein, sie verstehen das Wort stochastisch nicht, sie verstehen alle Unsicherheit. Übrigens müssen wir über ihre Beharrlichkeit bei der Erfüllung der Prognose hinausgehen.

Ich denke, eines der größten Probleme mit den Transportleuten, ich spreche von der Supply-Chain-Seite, ist, dass sie alle ein Budget für ihren Transport haben, insbesondere für den LKW-Transport, und keiner von ihnen das Budget erreicht. Es ist immer eine optimistische Schätzung ihrer Transportkosten und sie schaffen es immer, mehr auszugeben, und das ist einfach etwas, das mit dem Bereich eines Supply-Chain-Mitarbeiters einhergeht, der die Transportmittel planen muss.

Also, viele interessante Probleme. Ich glaube nicht, dass uns jemals die Gesprächsthemen ausgehen werden.

Joannes Vermorel: Ja, und um auf Ihren Fall des menschlichen Verstandes zurückzukommen, der natürlicherweise mit Entscheidungen unter Gewissheit umgeht, stimme ich Ihnen vollkommen zu. Und ich sehe diese sehr eigenartige Situation, in der die schwierigsten Diskussionen nicht mit Menschen geführt werden, die in Mathematik ungebildet sind oder am anderen Ende des Spektrums, die super gebildet in Mathematik sind. Das sind die Sweet Spots, die völlig Ungebildeten und die Supergebildeten.

Der schwierige Punkt für mich sind die etwas Gebildeten, denn das Lustige ist, dass es tatsächlich ziemlich schwierig ist, einen Computer mit Unsicherheit umgehen zu lassen. Ich stimme Ihnen sehr zu und was bedeutet das für eine Person, die etwas gebildet ist in dieser Kunst? Es bedeutet Excel, Microsoft Excel.

Und so ist das Problem, und ich habe das sehr häufig gesehen, dass sie ein wenig wissen, also kennen sie Excel und jetzt gibt es dieses Problem, die Welt nur durch die Lösung zu betrachten, die man sich vorstellen kann. So enden Sie mit dem Laien, der nichts über Excel weiß, also spielt er einfach, wissen Sie, wie beim Pokern, er ist durch Gewohnheiten gut geworden. Er hat keine Theorien, aber er schafft es, ein Pokerspiel zu spielen und sich anständig zu schlagen.

Und dasselbe gilt für die Auswahl der richtigen Ladung. Ich bin mir ziemlich sicher, dass Sie viele Leute finden werden, die kein Konzept von Wahrscheinlichkeiten haben, aber durch Erfahrung sehr gute Spieler geworden sind. Sie haben diese Intuition, obwohl sie keine Formalismen haben.

Und dazwischen landen Sie bei Leuten, die Excel kennen und sagen: “Okay, ich muss das in Excel implementieren.” Und Excel ist ein schreckliches Werkzeug dafür, weil Excel nicht mit Wahrscheinlichkeiten umgeht. Excel ist nicht darauf ausgelegt, irgendetwas zu tun, was wie Monte Carlo ist, und Excel ist das schlechteste Werkzeug, um damit umzugehen. Excel ist großartig für die Buchhaltung, aber absolut ungeeignet, um mit irgendeiner Art von Unsicherheit umzugehen.

Und deshalb ist meine schwierigste Situation wie bei Menschen, die sich der Lösung in Excel verpflichtet haben. Wenn es außerhalb von Excel liegt und es außerhalb liegt, entweder weil es nur ein Bauchgefühl ist, das genauer ist als die Excel-Berechnung, oder weil es zu anspruchsvoll ist und nicht mehr in die Excel-Berechnung passt, gibt es diese starke Ablehnung.

Das ist sehr interessant und ich kann mich sehr gut damit identifizieren und ich habe diese Art von mittleren Segmenten von Menschen, die sich Microsoft Excel-Tabellenkalkulationen verschrieben haben, und das ist, wo es sehr schwierig ist.

Und ich denke, dass die meisten, wenn sie sagen, dass der CEO es nicht mag, sehr oft festgestellt habe, dass es eine Projektion ihrer eigenen Wahrnehmung des Problems ist. CEOs sind fast immer, ich meine, ab einer bestimmten Unternehmensgröße, Menschen, die hervorragend darin sind, mit einer großen Menge an Chaos umzugehen.

Ich denke, es ist sehr schwer für jemanden, eine Position als CEO eines Unternehmens zu erreichen, sagen wir, ein paar Hundert Mitarbeiter und mehr, und nicht einfach völlig unbeeindruckt davon zu sein, dass die Welt super chaotisch ist. Ich meine, das ist dein tägliches Leben, sich mit Unsinn auseinanderzusetzen, der dir die ganze Zeit entgegengeworfen wird.

Also meine Meinung ist, dass ich sehr oft gesehen habe, dass wenn mir Leute sagen: “Oh, es ist zu kompliziert. Der CEO würde es nicht verstehen oder so”, nein, es ist ihre eigene Angst, die auf den CEO projiziert wird, der sowieso kaum Zeit hat, irgendetwas über dieses Unternehmen zu verstehen. Das wird also nur eine von tausend Dingen sein, die diese Person nicht über ihr eigenes Unternehmen versteht, und das wird sicher nicht die letzte sein. Also, das ist meine Meinung. Was denkst du?

Warren Powell: Ja, nun, oft kommen CEOs von einer völlig anderen Ebene. Sie konzentrieren sich auf das große Ganze der Finanzen, insbesondere bei größeren Unternehmen. Die feinen Details dessen, was auf der Betriebsebene passiert, waren wahrscheinlich etwas, das sie in ihrer Karriere umgangen haben.

Ich meine, früher, als ich zur Schule ging, gingen sogar viele Leute von Princeton, Bachelor-Absolventen von Princeton, vielleicht bei Proctor and Gamble arbeiten und sie würden sechs Monate auf dem Fabrikboden verbringen und dann in den Management-Rängen aufsteigen. Und so waren sie auf der Überholspur, aber sie wurden angewiesen, unten anzufangen. Das starb in den 1980er Jahren.

In den 1980er Jahren, als ich anfing, an der Princeton zu unterrichten, ging keiner der Princeton-Bachelor-Absolventen jemals und arbeitete für ein Unternehmen. Das Heiße war, für Unternehmensberatungen zu arbeiten. Und so bekamen sie ihre praktische Erfahrung bei einer Unternehmensberatung, gingen zurück für einen MBA, kamen zurück, arbeiteten noch ein paar Jahre und wechselten dann in eine Führungsposition bei einem der Unternehmen. So umgingen sie all diese Details.

Dein Punkt über Excel, als ich in der LKW-Branche gearbeitet habe, habe ich nur auf Dispatcher und niedrige Führungskräfte getroffen. Es gab sehr wenige Leute, die auch nur grundlegende Arbeiten in einer Excel-Tabelle machen konnten. Während in der Supply Chain gibt es Millionen von ihnen, die alle dort sitzen und sehr grundlegende Dinge tun.

Schauen Sie sich jetzt die Bücher an. Als ich mich an einem echten Supply Chain-Programm an der Rutgers beteilige, gehe ich alle diese Bücher durch und entweder sind es Mathe-Spiele oder sie dämpfen es wirklich ab. Also haben wir nicht nur ein Excel-Tabellenkalkulationsproblem. Wir müssen darüber nachdenken, wer diese Probleme lösen und verwenden wird. Ich stimme Ihnen sehr zu, dass wir gute Werkzeuge brauchen, bei denen unter der Haube die Werkzeuge durchaus anspruchsvoll sein können, aber sie müssen einfach zu bedienen sein.

Und deshalb denke ich, dass wir mehr als nur ein Excel-Tabellenkalkulationsproblem haben. Wir müssen darüber nachdenken, wer diese Probleme lösen und verwenden wird. Ich stimme Ihnen sehr zu, dass wir gute Werkzeuge brauchen, bei denen unter der Haube die Werkzeuge durchaus anspruchsvoll sein können, aber sie müssen einfach zu bedienen sein.

Bei Optimal Dynamics konzentrieren wir uns sehr darauf, unsere Werkzeuge einfach zu bedienen zu machen. Aber unter der Haube wollen die Leute wirklich die bestmögliche Lösung. In der Supply Chain habe ich das Gefühl, dass, wenn ich einen Blick darauf werfe und über die Schultern der Leute schaue, “es gibt diese interessante Supply Chain-Welt, aber was passiert ist, dass 93% der Menschen ihre Planung in einer Tabellenkalkulation durchführen”.

Nun, Sie sind in einer Tabellenkalkulation eingeschränkt. Und wenn Sie also über einfache Simulationen sprechen, kann ich eine einfache Bestandssimulationstabelle machen, aber wenn wir anfangen, lange Vorlaufzeiten bei mehreren Lieferanten einzuführen, dann geht das schnell über die Fähigkeiten einer Tabellenkalkulation hinaus. Es geht auch über die Fähigkeiten der Personen hinaus, die diese Tabelle codieren und glauben, dass sie es alleine tun können.

Ich habe eine ehemalige Doktorandin, sie ist jetzt unsere Chief Analytics Officer, hyperintelligent, aber sie hat acht Jahre lang bei Kimberly Clark in Brasilien operative Planung gemacht. Lange Geschichte dahinter und irgendwann hatte sie mit den üblichen Bestandsplanungsproblemen zu kämpfen. Also rief sie ihre alten Freunde von McKenzie an, sie hatte kurz bei McKenzie gearbeitet, und raten Sie mal, McKenzie wusste nur, was in den Lehrbüchern stand, und sie wusste sofort, dass sie keine Ahnung hatten, wovon sie sprachen, und hat sie sofort rausgeworfen. Wir bringen nicht einmal den Besten und Klügsten bei, wie man Probleme löst. Ich spreche nicht von komischer Mathematik, ich spreche von praktischen Dingen, von der Art von Modellierung, die unbedingt zur Lösung des Problems gemacht werden sollte. Es wird nirgendwo gelehrt.

Conor Doherty: Wenn ich darf, es wird irgendwo gelehrt. Schamlose Eigenwerbung.

Joannes Vermorel: Schamlose Eigenwerbung. Bei Lokad haben wir begonnen, dies in einem halben Dutzend Universitäten zu unterrichten, die hauptsächlich in der Nähe von Paris liegen. Wir haben auch eine ganze Reihe von öffentlichen Workshops für Problemlösungssituationen in der Supply Chain gestartet, und einer der größten Aufwände, den wir haben, unsere größte Investition, besteht darin, Datensätze zu erstellen.

Also erstellen und veröffentlichen wir die relevanten Datensätze, und tatsächlich war meine Meinung, dass die Erstellung eines vollständig synthetischen Datensatzes einfach zu schwierig ist, also müssen wir die vorhandenen Kundendaten mit ihrem Einverständnis vollständig anonymisieren. Wir nehmen echte Daten, machen sie vollständig anonymisiert, bewahren die seltsamen Muster und packen sie in relativ kleine, gut organisierte Datensätze, damit die Studierenden das Problem angehen können, ohne drei Monate mit lockeren Winkeln an den Daten zu verbringen. Ich stimme Ihnen sehr zu, und übrigens haben meine beiden Eltern bei Procter & Gamble angefangen, also kann ich das Gefühl sehr gut nachvollziehen.

Warren Powell: Also unterrichten Sie, welche Art von Studenten unterrichten Sie an den Schulen rund um Paris?

Joannes Vermorel: Oh, das ist sehr klassisch. Das französische System hat zwei Jahre Vorbereitungsschule, das ist im Grunde eine nationale Prüfung. Man macht zwei Jahre, nationale Prüfungen, jeder bekommt Ränge, und die Noten werden in der Zeitung veröffentlicht, also wenn man schlechte Noten bekommt, steht es in der Zeitung, das ist kein Druck. Dann gibt es das, was wir die Grandes Écoles nennen, aber man kann es sich als die Mini-Französische Ivy League vorstellen. Die Leute gehen in diese Ingenieursschulen. Also spreche ich nur von drei Segmenten: Ingenieursschulen, Wirtschaftsschulen und Verwaltungsschulen. Hier spreche ich nur von den Ingenieursschulen.

Warren Powell: Ingenieurwesen, okay. An der Princeton habe ich Ingenieure unterrichtet. Jetzt, da ich mich mit Rutgers beschäftige, wird es das erste Mal an einer Wirtschaftsschule sein und mir wurde bereits sanft mitgeteilt, dass von allen verschiedenen Kategorien von Studenten an der Wirtschaftsschule diejenigen, die sich für das Supply Chain Management entscheiden, in Bezug auf technische Fähigkeiten eher am unteren Ende der Liste stehen. Diejenigen, die weiter oben stehen, gehen in die Finanzbranche und es gibt einen Abwärts-Effekt. Ich habe noch nicht angefangen, ich werde keinen Kurs unterrichten, ich unterrichte die Lehrer, aber ich werde von ihnen abhängig sein, um zu sagen: “Schau, Warren, wir werden damit einfach nicht durchkommen können.”

Eines, worauf ich mich konzentriere, ist, dass ich sage: “Schau, es gibt einen sehr wichtigen Teil meines Rahmens, der keine Mathematik beinhaltet. Es beinhaltet die folgenden drei Fragen und du kannst diese Fragen nicht beantworten, du kannst kein Modell erstellen, ohne diese drei Fragen zu beantworten.” Selbst wenn du kein Modell erstellen willst, solltest du trotzdem, wenn du ein Problem lösen willst, die folgenden drei Fragen beantworten: Was sind deine Kennzahlen, welche Arten von Entscheidungen triffst du, welche Arten von Unsicherheiten gibt es?

In einfachem Englisch ist die Art und Weise, wie wir es hier formulieren, und deshalb sage ich: keine Mathematik, aber das sind die Fragen, auf die ich antworten muss, wenn ich ein mathematisches Modell erstellen will. Also habe ich beschlossen, du gehst zur Geschäftswelt und fragst nach Kennzahlen, sie kennen alle Kennzahlen, sie haben Listen und Listen von Kennzahlen. Dann kommst du zu den Entscheidungen und sagst: “Hast du ein kleines rotes Buch mit einer Liste der Entscheidungen, die du triffst?” und sie schauen dich nur verwirrt an.

Also nach diesem Gespräch, Joannes, fange ich an, eine Reihe von Gedanken und Notizen zu generieren, die ich mit den anderen Rutgers-Fakultäten teilen werde. Es handelt sich um ein Google-Dokument, das öffentlich bearbeitet werden kann, und du wirst sehen, wie ich verschiedene Kategorien entwickle. Ich habe gerade den Abschnitt über Entscheidungen begonnen und werde ihn dir auch schicken, weil ich denke, dass es dir Spaß machen wird. Das ist nicht für ein Buch oder so etwas, das ist nur Geplauder, das ist meine Art, den Lehrern beizubringen, denn ich kann ihnen nicht sagen, was sie tun sollen, die Professoren müssen sagen: “Oh, das ist eine gute Idee, ich denke, ich werde das verwenden.” Wenn sie das nicht tun, dann kommt die Idee nicht in den Unterricht, aber ich muss ihrem Wissen darüber, was die Studenten tun, vertrauen. Es gibt diesen einen Kurs über Operationsanalyse, und das ist der Kurs, in dem sie sich mit Bestandsproblemen befassen. Ich denke, du kannst dir vorstellen, was dort gelehrt wird, es ist eine sehr grundlegende Präsentation und ich sage: “Es tut mir leid, sollten wir ihnen nicht zumindest beibringen, wie man, auch in einer Tabellenkalkulation, ein sehr einfaches Bestandsproblem simulieren kann.”

Also werde ich dir den Link zum Google-Dokument schicken. Eine der Dinge, die ich gerne zusammenstellen würde, und das habe ich noch nicht gemacht, ich fange gerade an, darüber nachzudenken, aber ich habe mein ganzes Berufsleben lang nicht nur Supply Chain Management gemacht, sondern an einer viel breiteren Palette von Problemen gearbeitet. Ich möchte eine Liste von Entscheidungen erstellen. Das wird keine kleine Sache sein; Entscheidungen gibt es in vielen Geschmacksrichtungen und Kategorien, es geht nicht nur um Bestände. Es gibt Finanzen, es gibt informationsbezogene Entscheidungen, und so wird es am Ende, ich würde es gerne in einer Tabelle zusammenstellen und dann würde ich es gerne herum schicken und einfach Leute einladen, “Hey, was ist eine Kategorie von mir oder was sind Beispiele für Entscheidungen?”, denn ich hatte diesen Slogan, der besagt: “Wenn du irgendetwas besser machen willst, nenne es Supply Chain, du musst bessere Entscheidungen treffen.” Ich habe noch nie gehört, dass jemand dem widerspricht, jeder sagt: “Ja, das stimmt.” Nun, wenn du bessere Entscheidungen treffen willst, was ist deine Liste von Entscheidungen? Und dann bekomme ich diese verwirrten Blicke.

Also werde ich mit einem sehr nicht-quantitativen Ansatz beginnen, der also Ihrem Sinn für Modellierung entspricht, und ich denke, dass dies eine gute Herausforderung für einen nicht-quantitativen MBA ist, denn das Beantworten und natürlich die Unsicherheiten, ganze Karrieren sind darauf aufgebaut, Quellen der Unsicherheit für Supply Chains zu identifizieren, aber ich liebe wirklich die Sache mit den Entscheidungen. Sollten wir nicht alle wissen, welche Entscheidungen wir treffen? Ich verstehe, warum in der Wirtschaft nicht, denn es heißt: “Nun, das ist das Problem von jemand anderem, ich werde nur bewerten, wie gut er es macht.” In der Wirtschaft ist es ausschließlich die Sprache der Kennzahlen, aber sollte es nicht irgendwo ein kleines rotes Buch geben, das die Entscheidungen enthält?

Joannes Vermorel: Ja, ich stimme dem sehr zu, und Entscheidungen sind sehr schwierig, weil große Unternehmen dazu neigen, Entscheidungen und Entscheidungsprozesse unter Workflows und Prozessen zu vergraben. Tatsächlich sehen sie nicht einmal eine Entscheidung, weil eine Regel angewendet wird, die tatsächlich ein Entscheidungsprozess ist. Und es ist bereits so allgegenwärtig, dass sie es nicht mehr sehen, es steuert einfach das Unternehmen. Es kann eine schlechte Politik sein, sie existiert, sie steuert das Geschäft, sie liefert potenziell Tausende von Entscheidungen pro Tag, und niemand sieht sie überhaupt. Sobald sie eine Weile in Kraft ist, hat diese Sache nicht einmal einen Befehl. Es gibt niemanden, der dafür verantwortlich ist, einfach weil es ist wie frische Luft im Gebäude, es passiert einfach, die Leute wissen nicht einmal genau, warum es so ist, es ist einfach da.

Ich stimme Ihrer Vorstellung von Entscheidung sehr zu. Es ist schwierig, weil die Leute eine falsche Vorstellung von Entscheidungen haben. Sie denken, eine Entscheidung ist etwas, bei dem es ein Treffen gibt, es gibt Spannungen und es gibt einen Chef, es werden Argumente vorgebracht und der Chef wird entscheiden. Das ist eine Art von Entscheidung, aber es gibt viel banalere Entscheidungen, die viel weitreichender sind. Wenn sie so banal sind, dass man sie nicht einmal mehr sieht, ist das sehr faszinierend.

Warren Powell: Denn, wie Sie gesagt haben, haben sie bereits die Politik gewählt, also sobald Sie die Politik festgelegt haben, hört es auf, eine Entscheidung zu sein. Und eigentlich ist die Entscheidung nicht die Entscheidung, die Entscheidung ist die Politik.

Lassen Sie mich Ihnen noch eine andere Erkenntnis anbieten. Sie wissen, ich spreche von den komplizierten und den einfachen Richtlinien. Eine Zeile, die ich ziemlich sicher in meinem großen Buch verwende, ist der Preis der Einfachheit sind einstellbare Parameter. Nahezu jede einfache Richtlinie wie SS-Richtlinien hat einstellbare Parameter, und das Einstellen ist schwierig. Das Einstellen ist ein universelles Entscheidungsproblem. Es ist ein aktives Lernproblem.

Ich halte im Juni einen Vortrag auf einer Konferenz zum Thema Supply Chain Analytics an der Rutgers University, und eines der Dinge, über die ich einen ganzen Abschnitt habe, ist, dass es etwas gibt, das absolut jeder, egal in welchem Bereich er tätig ist, verstehen muss. Es gibt eine Klasse von sequentiellen Entscheidungsproblemen, die Lernen genannt wird.

Es gibt viele Namen dafür. Es kann intelligentes Ausprobieren und Fehler, stochastische Suche oder Multi-Armed Bandit sein, aber es sind Lernprobleme. Es gibt nichts Physisches. Wenn Sie etwas Physisches haben, wird es komplizierter, aber es gibt viele Probleme, bei denen es nicht physisch ist, sondern nur Lernen.

Sie probieren dies aus, das hat funktioniert oder nicht funktioniert, ich werde etwas anderes ausprobieren. Es ist eine sequentielle Entscheidung, aber das Einzige, was Sie von einer Zeit zur nächsten mitnehmen, ist das, was Sie gelernt haben, und Ihr Glaube daran, was am besten funktioniert.

Sequentielles Lernen sollte auf Bachelor-Niveau gelehrt werden, nicht in einem Kurs, sondern im gesamten Lehrplan, ähnlich wie Statistik in verschiedenen Stilen unterrichtet wird. Aktives Lernen sollte allen außer Englisch-Majors beigebracht werden.

Es gibt kaum ein Feld, in dem Sie keine Form von intelligentem Ausprobieren und Fehler machen müssen, es sei denn, Sie sind ein reiner Geisteswissenschaftler. Dies ist ein grundlegend menschlicher Prozess, und es gibt einfache Werkzeuge dafür, mit denen Sie die Leute in Gang bringen können.

Es gibt grundlegende Richtlinien, die UCB-Richtlinien genannt werden, die Sie den Menschen in einer Minute beibringen können. Sie sagen einfach: Schauen Sie, Sie haben diskrete Auswahlmöglichkeiten, hier ist, wie gut ich jede einzelne davon finde, aber hier ist meine Unsicherheit.

Es gibt eine einfache Übung, die besagt, dass es ernsthaft suboptimal sein kann, wenn Sie sich nur darauf konzentrieren, wie gut Sie denken, dass etwas ist. Sie möchten ein wenig höher zielen, Sie möchten darauf abzielen, wie gut etwas sein könnte. Das ist eine Erkenntnis, die Sie in einer Minute vermitteln können, und dennoch gibt es Feinheiten, die es viel reicher machen und die wirklich gelehrt werden müssen.

Joannes Vermorel: Ich stimme dem sehr zu. Das ist sehr lustig, denn aus dem Hintergrund des maschinellen Lernens heraus war Lokad hauptsächlich auf maschinelles Lernen zur Prognose spezialisiert.

Die typische Situation war, dass diese simplen Richtlinien mit einstellbaren Parametern in der Praxis nie angepasst wurden. Wenn Sie schließlich Zugriff auf die Datensätze eines Unternehmens erhalten, ist es kompliziert, aber bei Lokad haben wir schließlich Zugriff auf die Datensätze bekommen.

Sie wenden Ihre Lernalgorithmen an und stellen fest, dass es sehr wenig zu lernen gibt, weil das Unternehmen seit langem mit einem unglaublich starren Autopiloten arbeitet, sodass Sie Milliarden von Dollar oder Euro an Geschichte haben und dennoch so wenig daraus lernen können, weil Sie immer dasselbe immer wieder mit null Variationen gemacht haben.

Eine der Herausforderungen, denen wir gegenüberstehen, besteht darin, dass wir häufig, wenn wir lernen wollen, anfangen müssen zu erkunden und ein wenig Rauschen hinzufügen müssen. Dieses Rauschen dient nur dem Zweck des Lernens.

Sie müssen sicherstellen, dass es nicht zu teuer ist, aber die Idee, von dem abzuweichen, was als optimal angesehen wird - sie haben keine Ahnung, ob es optimal ist, aber es ist sicherlich der Standard, der Status quo, die Praxis.

Von der Praxis abzuweichen, um zufällig etwas so Abstraktes wie Informationen darüber zu sammeln, wie die Landschaft aussieht, wenn Sie von dem abweichen, was Sie normalerweise tun, ist sehr verwirrend.

Es gibt nur sehr wenige Menschen, die einen MBA oder ähnliches absolviert haben und diese Idee des Tropfens nicht verstehen können. Wenn Sie ein großes Unternehmen sind, wird Ihnen selbst eine kleine Dosis von Erkundung, wenn Sie im großen Maßstab arbeiten, im Laufe der Zeit viele Informationen liefern.

In der Fertigung ist Abweichung schlecht. Sie möchten so starr und konsistent wie möglich sein. Aber im aktiven Lernen, wenn Sie das in der Supply Chain-Welt tun und so starr sind und diese Richtlinie, die unveränderlich bleibt, lernen Sie kaum etwas.

Das ist ein sehr seltsames Konzept. Die Einführung der Idee des aktiven Lernens, dass Sie Ihre Abweichungen gezielt auswählen können, um sich maximal zu informieren, sodass Sie nicht nur etwas zufällig tun, sondern mit der Absicht, etwas zu lernen, ist entscheidend.

Warren Powell: Die von Ihnen gerade dargelegten Erkenntnisse sind so grundlegend wichtig, dass sie überall in allen Arten von Bereichen gelehrt werden sollten, nicht nur in analytischen Bereichen.

Sie können das auf einem fortgeschrittenen analytischen Niveau und auf einem grundlegenden Niveau unterrichten, je nach den Studenten. Ich weiß nicht, warum das nicht gelehrt wird.

Ich schreibe einen Artikel für Princeton, um zu sagen: Hey, schaut mal, 40 Jahre Princeton, ratet mal, welchen Kurs wir nicht unterrichten. Etwa die Hälfte der Universität ist in Abteilungen involviert, in denen es die Möglichkeit gibt, über irgendeine Form von Ausprobieren und Fehler nachzudenken.

Wir könnten noch mehrere Stunden weitermachen.

Conor Doherty: Ich werde mich wieder einschalten und eine Schleife schließen. Eines der schamlosen Eigenlob, um das klarzustellen, wenn Sie über das Lernen von Supply Chain-Studenten sprechen, sind die von Ihnen erwähnten Workshops tatsächlich öffentlich auf unserer Website verfügbar.

Was das Programmieren für Supply Chain-Probleme betrifft, haben wir öffentlich verfügbare, komplett kostenlose Ressourcen auf unserer Website, docs.lokad.com. Dies sind von unseren Supply Chain Scientists entwickelte geführte Übungen, die die Art von Entscheidungsbäumen nachahmen, über die Sie sprechen.

Wenn Sie die Leistung bewerten möchten, Lieferantenanalyse, haben wir ein kostenloses geführtes Tutorial, bei dem Sie alle Code-Schnipsel sehen können, die speziell für diese Art von Problemen entwickelt wurden, im Gegensatz zu einer groben Annäherung in einer Excel-Tabelle.

Warren Powell: Ich weiß, dass Sie bei Lokad Ihre eigene Programmiersprache haben. Das fand ich sehr interessant. Ich liebe die Ressourcen, die Sie zur Verfügung stellen. Wir versuchen, etwas Ähnliches für den LKW-Verkehr zu tun, aber der LKW-Verkehr ist ein ganz anderes Geschäft.

Wir versuchen, sehr lehrreiche Dinge bereitzustellen. Wir würden niemals versuchen, so etwas zu tun. Erstens haben wir diesen einfachen Code nicht und es gibt niemanden in der LKW-Branche.

Eine Sache, die beim LKW-Verkehr ziemlich interessant ist, ist, dass wir nicht viel Konkurrenz haben. Es ist nicht der Umfang des LKW-Geschäfts, das in den USA etwa 800 Milliarden Dollar pro Jahr beträgt. Ich meine, es ist ein großer Markt, aber es ist nur ein winziger Teil der Supply Chains.

Die Supply Chain ist ein wahres Meer, während der LKW-Verkehr ein See oder so etwas ist. Aber ich werde die Aufmerksamkeit der Abteilung an der Rutgers University auf Ihre Ressourcen lenken, weil ich das sehr interessant finde.

Ich muss damit umgehen, dass dies Geschäftsstudenten sind, die ich dazu bringen muss, ihre Studenten zu lernen. Sie haben auch eine Abteilung für Industrietechnik und ich habe das Gefühl, dass das eher auf Ingenieursebene sein wird.

Ich denke tatsächlich, dass die beiden Abteilungen zusammenarbeiten sollten, weil der erste Schritt dieser drei Fragen wirklich schwierig ist. Man muss wirklich wissen, wovon man spricht. Sie benötigen also ein gutes, intelligentes Denken im Bereich Managementberatung, um diese Fragen zu beantworten.

Sobald Sie sie beantwortet haben, benötigen Sie jetzt einen anderen Satz von Fähigkeiten, um sie in Analysen umzusetzen und einen Computer zur Hilfe zu nehmen. Also hoffe ich an der Rutgers University, ich kenne Leute in der Industrietechnik sehr gut. Die Gruppe, die ich nicht so gut kenne, ist die Abteilung für Supply Chain Management. Sie scheinen zu mögen, was ich sage, und ich werde versuchen, den Vorschlag zu machen, dass wir sie zusammenbringen.

Conor Doherty: Ich denke, das geht schon eine Weile und ich habe alle meine Fragen erschöpft. Aber es ist bei Lokad üblich, dem Gast das letzte Wort zu überlassen. Also Warren, ich erlaube Ihnen, mit einem Aufruf zur Aktion oder schamlosen Eigenlob abzuschließen. Wir haben nichts dagegen.

Joannes Vermorel: Es gibt einen klaren Aufruf zur Aktion, nämlich das Buch zu kaufen. Es ist ein sehr solides gutes Buch.

Warren Powell: Ich empfehle den Leuten, nicht mit dem großen Buch anzufangen, sondern mit einem Buch, das sie kostenlos herunterladen können.

Tinyurl.com/SDAmodeling, das ist das Buch, das ich für die Grundkurse geschrieben habe. Es heißt Sequential Decision Analytics and Modeling. Ich arbeite mit einem Verlag zusammen, sie zahlen mir nichts, aber sie erlauben mir, das PDF kostenlos anzubieten, die veröffentlichte Version.

Das ist das Buch. Es verwendet einen Lehr-mit-Beispiel-Stil. Abgesehen von Kapitel eins, das den universellen Rahmen und Beispiele für Bestände enthält, sind alle Kapitel außer Kapitel 7 einfach verschiedene Beispiele, alle im gleichen Stil mit Schwerpunkt auf Modellierung geschrieben.

Also habe ich meine fünf Elemente: Zustand, Entscheidung, Information, Übergang, Ziel. Ich fange immer mit einer Erzählung an, einer einfachen englischen Erzählung, und dann habe ich die fünf Elemente. Dann sage ich ein Wort über die Modellierung von Unsicherheit, nicht sehr viel. Dann sage ich etwas darüber, wie wir Entscheidungen treffen könnten.

Bis zum Kapitel 7 habe ich Beispiele für alle vier Klassen von Richtlinien gegeben. Also sagt Kapitel 7: “Lassen Sie uns einen Moment innehalten, lassen Sie uns betrachten, was wir gerade getan haben.” Die verbleibenden Kapitel 8 bis 14 sind einfach fortgeschrittenere Beispiele, einschließlich des Bier-Spiels.

Das Bier-Spiel ist meine Gelegenheit, ein Multi-Agenten-Problem zu lösen. Eines meiner Lieblingskapitel in meinem großen Buch ist das letzte Kapitel über Multi-Agenten. Ich habe dieses Kapitel geschrieben und gesagt, wenn ich meine Karriere heute noch einmal beginnen würde, wäre Multi-Agenten so viel Spaß.

Und natürlich ist in der Supply-Chain-Welt alles Multi-Agent. Es definiert fast das Problem, dass man nicht nur einen hat. Wie bei meiner Arbeit im LKW-Bereich, obwohl es verschiedene Manager gibt, verhalten wir uns grob so, als ob das Speditionsunternehmen ein einzelner Agent wäre.

In der Supply Chain kann man das nicht. Es funktioniert einfach nicht. Man muss modellieren, dass man all diese interagierenden Komponenten hat, was die Tür für die Modellierung von allem Möglichen öffnet. Jetzt modellieren Sie die Organisation von Informationen, nicht nur die Bestellung von Beständen.

Das ist ein so unglaublich reiches Gebiet. Ich betrachte 70 Jahre des Schreibens von Lehrbüchern und erkenne, dass unsere Bücher anscheinend weit hinter dem zurückbleiben, was erforderlich ist, um das Problem wirklich zu lösen. Das überrascht mich ein wenig. Es ist eine tolle Gelegenheit. Ich wünschte, ich wäre ein paar Jahrzehnte jünger.

Also ist es großartig, dass Sie diese TV-Serie machen. Ich werde das auf jeden Fall bewerben. Ich möchte diesen Link auf jeden Fall herumschicken, aber ich werde die Leute auch auf Ihre Website verweisen, weil mir Ihr akademischer Stil gefällt.

Optimal Dynamics ist ein großartiges Unternehmen. Ich kann nicht viel Eigenwerbung machen, weil es sich wirklich auf LKW-Ladungsträger konzentriert, aber ich werde Lokad die schamlose Werbung geben. Ich mag euren Stil. Ich spreche über euch, weil es heißt, ihr habt eine sehr akademische Sichtweise.

Ich liebe es, wie gerne ihr teilt. Akademiker teilen gerne. Ja, wir möchten gerne Geld verdienen, aber wir können es trotzdem nicht lassen, unsere Ideen zu teilen und stolz darauf zu sein, so wie es sein sollte. Das schätze ich, weil ich mich intensiv mit eurer Website beschäftigt habe und sie mir hilft, Dinge zu lernen und euren Stil aufzugreifen.

Conor Doherty: Vielen Dank. Ich habe keine weiteren Fragen. Joannes, ich sage Ihnen vielen Dank für Ihre Zeit, Warren. Vielen Dank auch Ihnen. Und vielen Dank an alle, die zugeschaut haben. Wir sehen uns das nächste Mal.