Generationen des maschinellen Lernens

00:00:06 Einführung in die Entwicklung der Generationen des maschinellen Lernens.
00:00:38 1. Generation: Statistische Prognosealgorithmen der 1950er/60er Jahre.
00:03:26 Übergang zur 2. Generation: Nichtparametrische Modelle der späten 80er/90er Jahre.
00:06:20 Konvergenz von statistischem und maschinellem Lernen.
00:07:55 Auswirkungen technischer Verbesserungen auf die Entwicklung des maschinellen Lernens.
00:09:54 Auswirkungen des Deep Learnings auf die Prognose im Vergleich zum Standard-ML.
00:11:31 Parametrische Modelle zur Vermeidung von Overfitting beim Deep Learning.
00:13:01 Die Beziehung des Deep Learnings zur Hardware, GPUs und linearer Algebra.
00:14:50 Die Rolle des Cloud Computing bei der Datenverarbeitung des Deep Learnings.
00:16:01 Herausforderungen bei GPUs, Vorteile des Cloud Computing für die Prognose in der Supply Chain.
00:17:22 Zukunft des maschinellen Lernens: Aufstieg des differenzierbaren Programmierens.
00:19:13 Investitionen der Supply Chain-Branche in maschinelles Lernen, Anpassung an Big Data.
00:22:44 Das Tempo des technologischen Wandels, die Anpassungsfähigkeit von Supply Chain-Executives.
00:25:24 Fazit: Die Bedeutung von SaaS und Cloud Computing in der technologischen Entwicklung.

Zusammenfassung

In einem Interview erläuterte Joannes Vermorel, Gründer von Lokad, die Geschichte des maschinellen Lernens (ML) von seinen Anfängen in den 1950er Jahren mit Zeitreihenprognosealgorithmen bis hin zum Aufkommen des Deep Learnings. Er betonte die Anwendungen des ML im Supply Chain Management, dem Spezialgebiet seines Unternehmens. Vermorel skizzierte den Fortschritt von einfachen datengetriebenen Modellen zu nichtparametrischen statistischen Modellen, die in der Lage sind, jedes Muster mit ausreichend Daten zu erlernen. Das Gespräch behandelte wichtige Meilensteine des ML, die Rolle der Technologie und die Herausforderung des Overfittings. Vermorel prognostizierte zukünftige Entwicklungen im Bereich des ML, einschließlich des differenzierbaren Programmierens, sowie die fortlaufende Fokussierung auf Sprach- und Bilderkennung. Er schloss mit der Empfehlung von Software as a Service, um Supply Chain-Executives bei der Bewältigung des schnellen technologischen Wandels zu unterstützen.

Erweiterte Zusammenfassung

Das Interview zwischen Moderator Kieran Chandler und Joannes Vermorel, dem Gründer von Lokad, geht auf die Entwicklung des maschinellen Lernens ein und legt dabei einen besonderen Schwerpunkt auf dessen Anwendung im Supply Chain Management.

Vermorel deutet darauf hin, dass die Ursprünge des maschinellen Lernens auf die 1950er und 60er Jahre zurückgeführt werden können, als die ersten Zeitreihenprognosealgorithmen entstanden. Diese Algorithmen wurden zwar bei ihrer Entstehung nicht traditionell als maschinelles Lernen anerkannt, wiesen jedoch wichtige Merkmale des maschinellen Lernens auf, wie datengetrieben zu sein, statistisch zu sein und Muster aus Daten zu lernen. Vermorel hebt weiter hervor, dass der anfängliche Einsatz dieser Algorithmen eng mit der Optimierung der Supply Chain verbunden war, einem Bereich, auf den sich sein Unternehmen Lokad heute spezialisiert hat.

In Bezug auf die spezifischen Methoden, die in dieser frühen Phase des maschinellen Lernens verwendet wurden, nennt Vermorel mehrere, die Supply Chain-Experten vertraut sein dürften. Dazu gehören gleitende Durchschnitte, exponentielle Glättung und komplexere Modelle wie die Holt-Winters- und Box-Jenkins-Methoden. Er charakterisiert diese anfänglichen Algorithmen als relativ einfach, die hauptsächlich entwickelt wurden, um den Rechenkapazitäten der damals verfügbaren Computer gerecht zu werden. Diese frühen Modelle mussten schnell und effizient sein und in der Lage sein, Hunderte von Datenpunkten mit Tausenden von Operationen innerhalb der Grenzen begrenzter Rechenleistung und Speicher zu verarbeiten.

Den Fokus auf die Entwicklung des maschinellen Lernens lenkend, teilt Vermorel mit, dass der nächste bedeutende Fortschritt Ende der 80er und in den 90er Jahren stattfand und durch das Aufkommen nichtparametrischer statistischer Modelle gekennzeichnet war. Diese Entwicklung von den parametrischen Modellen der ersten Generation, die durch eine feste Anzahl an anpassbaren Parametern gekennzeichnet waren (in der Regel nicht mehr als ein Dutzend), stellte eine entscheidende Entwicklung dar.

Parametrische Modelle, die durch ihre festen Parameter begrenzt waren, konnten sich nur an einen bestimmten Bereich von Datenmustern anpassen. Im Gegensatz dazu hatten nichtparametrische Modelle keine vorbestimmte Form und konnten potenziell jedes Muster erlernen, sofern ausreichend Daten vorhanden waren. Diese Verschiebung signalisierte einen Durchbruch in den Fähigkeiten und der Flexibilität des maschinellen Lernens und legte den Grundstein für die komplexeren und vielseitigeren Anwendungen des maschinellen Lernens, die heute zu sehen sind.

Vermorel beginnt damit, die Herausforderung des Overfittings in frühen Prognosemodellen hervorzuheben, bei dem die Erhöhung der Anzahl der Parameter zu Modellen führen konnte, die historische Daten perfekt abbilden, aber keine Vorhersagefähigkeiten für die Zukunft bieten. Dies war jahrzehntelang ein großes Rätsel in diesem Bereich, bis Ende der 90er Jahre zufriedenstellende Lösungen mit dem Aufkommen nichtparametrischer Modelle auftauchten.

Anschließend diskutiert er die beiden Lager, die zu dieser Zeit in diesem Bereich entstanden: statistisches Lernen und maschinelles Lernen. Ersteres bestand aus Mathematikern, die Statistik betrieben und umfangreichen Einsatz von Computern machten, während letzteres aus Computerfachleuten bestand, die sich allmählich statistischen Algorithmen zuwandten. Er merkt an, dass diese Perspektiven zu unterschiedlichen Modellierungsstilen führten. Das statistische Lernlager bevorzugte beispielsweise Support Vector Machines, ein mathematisch gut verstandenes Modell. Das maschinelle Lernlager hingegen war mehr von neuronalen Netzwerken angezogen, die viel numerische Manipulation erforderten.

Chandler lenkt das Gespräch dann auf die Rolle der Technologie in der Entwicklung dieser Bereiche. Vermorel erwähnt einen bedeutenden Durchbruch Ende der 90er Jahre, die Idee, dass mehr Daten zu besseren Ergebnissen führen. Dieses Konzept galt nicht nur für längere Zeitreihen, sondern auch für vielfältigere Datensätze. Anfangs war dieser Ansatz ein langsamer Prozess, da er darauf wartete, dass sich mehr Historie ansammelte. Fortschritte im maschinellen Lernen und statistischen Lernen ermöglichten jedoch die Nutzung von Daten aus mehr Produkten, was zu genaueren Nachfrageprognosen führte.

Vermorel nennt die Einführung von Modellen wie Support Vector Machines Ende der 90er Jahre und Random Forests Anfang der 2000er Jahre als bedeutende Fortschritte bei der Erfassung von Informationen aus größeren und vielfältigeren Datensätzen.

Das Gespräch wendet sich dann der Entstehung des Deep Learning zu. Vermorel erklärt, dass die allmähliche Ansammlung entscheidender Erkenntnisse das Deep Learning wesentlich von herkömmlichem maschinellem Lernen unterscheidet. Einer der Hauptvorteile des Deep Learning besteht darin, dass es komplexere Funktionen mit weniger Daten im Vergleich zu flachen Lernalgorithmen erlernen kann.

Interessanterweise weist Vermorel darauf hin, dass Deep Learning auf kleinen Datensätzen nicht unbedingt bessere Leistungen erbringt als klassische Algorithmen. Es ist jedoch herausragend bei der Verarbeitung sehr großer Datensätze, bei denen flache Lernalgorithmen die zusätzlichen verfügbaren Informationen nicht nutzen können.

In einer überraschenden Wendung brachte das Deep Learning den Einsatz parametrischer Modelle zurück, wenn auch mit mehreren Millionen Parametern im Gegensatz zu den frühen parametrischen Modellen, die eine feste Anzahl von Parametern hatten. Die Herausforderung bestand hier darin, massives Overfitting zu vermeiden, was durch eine Reihe cleverer Techniken überwunden wurde.

Vermorel diskutiert weiterhin die Rolle von Graphical Processing Units (GPUs) bei der Weiterentwicklung des maschinellen Lernens. Diese sind für Deep Learning-Aufgaben unerlässlich, aber teuer und energieintensiv. Cloud-Computing-Plattformen haben dieses Problem durch Bereitstellung von GPU-Farmen auf Abruf gelöst und damit Kosten- und Energieverbrauchsprobleme angegangen. Dies hat sich insbesondere bei der Optimierung der Supply Chain als vorteilhaft erwiesen, wo statistische Prognosen in der Regel einmal täglich ausgeführt werden und daher nur für kurze Zeit eine GPU-Zuweisung erfordern.

Wenn es um die Zukunft des maschinellen Lernens geht, prognostiziert Vermorel eine Rückkehr zu nichtparametrischen Modellen im Bereich des Deep Learnings. Er verweist auf einen neuen Ansatz namens “differentiable programming”, bei dem die Struktur des Deep Learning-Modells während der Lernphase angepasst wird. Dieser dynamische Ansatz könnte die nächste bedeutende Phase im maschinellen Lernen und statistischen Lernen sein.

Auf die Frage nach dem aktuellen Fokus großer Technologieunternehmen erwähnte Vermorel, dass Spracherkennung, Sprachsynthese, Bilderkennung und maschinelle Übersetzung derzeit erhebliche Investitionen erhalten. Dies sind Kernbereiche der Forschung und Entwicklung, die die Zukunft des maschinellen Lernens vorantreiben. Allerdings hinken Supply-Chain-Unternehmen, einschließlich Lokad, etwas hinterher, da ihnen die Ressourcen fehlen, um stark in maschinelles Lernen zu investieren.

Die Optimierung der Supply Chain stellt für die Anwendung von maschinellem Lernen besondere Herausforderungen dar, insbesondere weil sie mit kleineren Datenmengen arbeitet im Vergleich zu anderen Bereichen wie der Bildverarbeitung. Dies erfordert eine ausgewogene Nutzung sowohl von CPUs als auch von GPUs.

Chandler sprach dann das Problem des schnellen technologischen Wandels an und die Herausforderung, die er für Supply-Chain-Manager darstellt, deren implementierte Lösungen schnell veraltet sein können. Vermorel empfahl, dass Software as a Service (SaaS) eine mögliche Lösung sein könnte. Er hob Lokad als Beispiel für einen SaaS-Anbieter hervor, der seine Dienste ständig aktualisiert und optimiert und damit die Belastung für seine Kunden verringert.

Vollständiges Transkript

Kieran Chandler: Heute bei Lokad TV gehen wir zurück zum Anfang und untersuchen die generationelle Entwicklung des maschinellen Lernens und versuchen zu verstehen, ob dieser allmähliche Fortschritt uns Hinweise auf die Zukunft des maschinellen Lernens geben kann. Also, Joannes, wie sah diese erste Generation des maschinellen Lernens aus? Wann kam sie auf?

Joannes Vermorel: Interessanterweise würde ich sagen, dass die ersten maschinellen Lernalgorithmen in gewisser Weise mit der Supply Chain in Verbindung standen, mit dem allerersten Zeitreihenprognosealgorithmus, der in den 50er und 60er Jahren aufkam. Er hatte alle Kernbestandteile: er war datengetrieben, statistisch und tatsächlich versuchte er, Muster aus den Daten zu lernen. Damals würde man das nicht als maschinelles Lernen bezeichnen; es waren einfach Prognosealgorithmen. Aber alle Bestandteile waren vorhanden.

Kieran Chandler: Welche Art von Methoden wurden verwendet? Ich meine, die meisten Supply-Chain-Praktiker würden sie kennen, oder?

Joannes Vermorel: Sie würden gleitenden Durchschnitt, exponentielle Glättung kennen und dann gibt es noch ausgefallenere Methoden aus dieser Ära, wie das Holt-Winters-Modell, die Box-Jenkins-Modelle usw. Es gab also eine Reihe von relativ einfachen Algorithmen, die gleich zu Beginn der Computer aufkamen. Es ist interessant zu sehen, dass sobald wir Computer in Unternehmen hatten, sie tatsächlich genutzt wurden, um Supply Chains zu optimieren, wenn auch für relativ bescheidene Zwecke.

Kieran Chandler: Damals waren die Dinge in der Welt der Rechenanalyse sehr anders. Was war damals der Hauptfokus?

Joannes Vermorel: Der Hauptfokus lag darauf, so wenig Rechenleistung, Speicher und Fähigkeiten wie möglich zu haben, um viele Berechnungen durchzuführen. Alle diese Modelle der ersten Generation, die aus den 60er und 70er Jahren stammen, waren darauf ausgerichtet, super schnell zu sein. Das bedeutet, wenn Sie 100 Datenpunkte verarbeiten mussten, hatten Sie nur ein paar tausend Operationen an diesen Datenpunkten durchzuführen. Diese Algorithmen wurden für Maschinen entwickelt, die nur Kilobytes an Speicher und Prozessorfrequenzen unter 1 MHz hatten.

Kieran Chandler: Ich stelle mir vor, dass damals viel weniger Ressourcen für die Rechenanalyse eingesetzt wurden im Vergleich zu heute, wo Hunderttausende von Menschen daran arbeiten. Wie lange hat es gedauert, bis die nächste Generation aufkam? Hat es lange gedauert, bis das passiert ist?

Joannes Vermorel: Es war eine allmähliche Entwicklung. Wir hatten die erste Welle von Modellen, die in den 60er und 70er Jahren aufkamen, und das waren alles parametrische Modelle. Das waren statistische Modelle mit einer festen Anzahl von Parametern, in der Regel nicht mehr als ein Dutzend.

Kieran Chandler: Was bedeutet das, ein Parameter?

Joannes Vermorel: Ein Parameter ist wie eine Zahl. Also hatte Ihr statistisches Modell ein paar Zahlen, die Sie anpassen konnten, um das Modell an die Daten anzupassen. Das Wesentliche der Lernphase besteht darin, diese Parameter zu finden. In der Regel hatte man etwa ein halbes Dutzend, vielleicht bis zu einem Dutzend für die ausgefeilteren Modelle, und das war es. Was in den späten 80er Jahren und noch stärker in den 90er Jahren geschah, war das Aufkommen nichtparametrischer statistischer Modelle. Das war interessant, weil die erste Generation von Modellen keine Zeitreihenmuster oder Nachfragemuster anpassen konnte; sie hatte nur eine sehr begrenzte Anzahl von Parametern, so dass sie sehr begrenzt waren in dem, was sie durch Beobachtung historischer Daten lernen konnten.

Kieran Chandler: Der Übergang von parametrisch zu nichtparametrisch in der zweiten Generation war bedeutend. Wenn Sie genügend Daten hatten, konnten Sie potenziell jedes Muster lernen. Dieser Durchbruch Ende der 90er Jahre führte zur Entwicklung von Modellen mit ansprechenden mathematischen Eigenschaften. Bei einer beliebig großen Datenmenge konnten Sie beliebig nahe am besten Modell sein, ohne ein Überanpassungsproblem zu haben. Überanpassung tritt natürlich auf, wenn Sie die Anzahl der Parameter erhöhen, bis das Modell perfekt zu Ihren historischen Daten passt, aber die Vorhersagefähigkeiten für die Zukunft verliert. Überanpassung ist ein rätselhaftes Problem, es geht darum, ein Prognosemodell zu haben, das genau auf Daten genau ist, die Sie nicht haben. Dieses Problem beschäftigte Entscheidungsträger jahrzehntelang, bis mit dem Aufkommen nichtparametrischer Modelle Ende der 90er Jahre einige zufriedenstellende Lösungen auftauchten. Mit diesen Modellen begannen wir das Aufkommen des maschinellen Lernens zu sehen. Wie kam es dazu und welche Auswirkungen hatte es?

Joannes Vermorel: Es ist interessant. In Bezug auf die Terminologie hatten wir mehrere Lager. Wir hatten das Lager des statistischen Lernens, in dem Mathematiker, die Statistik betrieben, umfangreich Computer zur Unterstützung ihrer Arbeit einsetzten. Auf der anderen Seite war das maschinelle Lernen das Gegenteil. Es waren Computerleute, die auf diese Art von Problemen stießen und sich allmählich zu statistischen Algorithmen hinbewegten. Es war eher ein Perspektivenunterschied.

Zum Beispiel hatte man im Lager des statistischen Lernens Support-Vektor-Maschinen, die aus mathematischer Sicht gut verstanden waren und die die Hardcore-Statistik-Community ansprachen. Auf der anderen Seite hatte man neuronale Netze, viel numerisches Kochen, das die maschinelle Lerngemeinschaft ansprach. Das waren unterschiedliche Perspektiven auf das Gebiet, und sie näherten sich allmählich an.

Kieran Chandler: Unabhängig davon, zu welchem Lager man gehörte, entwickelte sich um einen herum Technologie und die Möglichkeiten, die man damit erreichen konnte. Also, welche bedeutenden technologischen Verbesserungen und Durchbrüche haben wirklich geholfen?

Joannes Vermorel: Der Durchbruch Ende der 90er Jahre war die Idee, dass man mit mehr Daten bessere Ergebnisse erzielen würde. Und ich meine nicht nur längere Zeitreihen, sondern auch mehr Zeitreihen. Für die Supply Chain bedeutet das, dass Sie eine genauere Nachfrageprognose erhalten können, nur weil Sie mehr Historie haben? Aber das Problem ist, wenn Sie ein Jahr oder mehr Verkaufshistorie haben wollen, müssen Sie ein weiteres Jahr warten, was ein sehr langsamer Prozess ist. Außerdem bekommen Sie nie viel mehr Historie, da neue Produkte eingeführt werden und einige Produkte auslaufen.

Es gab einige Durchbrüche bei der Nutzung von mehr Daten von mehr Produkten. Das kam nicht Ende der 90er Jahre, sondern eher in den 2000er Jahren. Möglich gemacht haben das Durchbrüche im maschinellen Lernen und statistischen Lernen, alles im Zusammenhang mit diesen nichtparametrischen Modellen.

Es gab eine Reihe dieser statistischen Modelle, die Durchbrüche darstellten, wie zum Beispiel Support-Vektor-Maschinen, die um ‘96 herum veröffentlicht wurden und ab ‘98 eine funktionierende Implementierung hatten, und dann Random Forests um 2001. Diese Modelle begannen sehr gut zu funktionieren, um Informationen aus größeren Datensätzen mit mehr Vielfalt in Bezug auf Merkmale zu erfassen.

Kieran Chandler: Deep Learning, was war die Auswirkung davon und was war der wesentliche Unterschied zwischen Deep Learning und einfachem maschinellem Lernen?

Joannes Vermorel: Es ist interessant, weil Deep Learning wahrscheinlich das Ergebnis eines Dutzend entscheidender Erkenntnisse ist, aber es war alles sehr schrittweise. Indem man all diese Dinge zusammenbrachte, machte es tatsächlich einen großen Unterschied. Ein wesentlicher Vorteil des Deep Learning besteht darin, dass es komplexere Funktionen mit weniger Daten erlernen kann. Das Problem bei Algorithmen des maschinellen Lernens der zweiten Generation, wie dem flachen Lernen, besteht darin, dass sie jedes statistische Muster erlernen können, wenn ihnen genügend Daten zur Verfügung gestellt werden. In der Praxis erfordert dies jedoch eine enorme Menge an Daten, was völlig unpraktisch ist. Deep Learning war in der Lage, sehr große Datensätze besser zu nutzen.

Zunächst einmal übertrifft Deep Learning nicht unbedingt klassische Algorithmen bei kleinen Datensätzen, aber wenn die Datensätze sehr groß werden, nutzen diese flachen Lernalgorithmen nicht wirklich so viel wie tatsächlich möglich ist, all die zusätzlichen Informationen, die vorhanden sind, während Deep Learning dies kann. Was macht Deep Learning also anders? Wir sind zurück bei parametrischen Modellen, die bereits in den 1950er oder 1960er Jahren verwendet wurden. Diese haben eine feste Anzahl von Parametern, und wir sind zu nichtparametrischen Modellen übergegangen, bei denen die Anzahl der Parameter dynamisch ist. Mit Deep Learning sind wir jedoch wieder bei parametrischen Modellen, aber der große Unterschied besteht darin, dass diese Modelle mehrere Millionen Parameter haben können. Unsere Modelle können bis zu 20 Millionen Parameter haben.

Um massives Overfitting zu vermeiden, wurden im Rahmen der Deep Learning-Bewegung eine Reihe sehr cleverer Tricks entdeckt. Ein weiterer wichtiger Bestandteil bestand darin, statistische Modelle zu entwickeln, die eine maximale Affinität zur von uns verwendeten Hardware aufweisen, wie z.B. Grafikprozessoren (GPUs), die in der linearen Algebra sehr effizient sind. Einer der Berechnungstricks des Deep Learning besteht darin, alles auf lineare Algebra zurückzuführen. Durch den Wechsel von CPU-Berechnungen zu GPU-Berechnungen haben wir eine um zwei Größenordnungen höhere Rechenleistung gewonnen, was viele Dinge möglich gemacht hat, die zuvor nicht möglich waren.

Kieran Chandler: Sie sprechen von der fortschreitenden Hardware und der Rechenleistung. Welche anderen technischen Verbesserungen wurden in der Branche vorgenommen, die dies ermöglicht haben? Wie passt die Entwicklung der Cloud in dieses Bild?

Joannes Vermorel: Die Cloud hat wirklich dazu beigetragen, alle Daten zu sammeln. Wenn Deep Learning wirklich interessant sein soll, benötigen Sie viele Daten. Das Verschieben von Terabytes an Daten ist mit der Cloud tatsächlich viel einfacher.

Kieran Chandler: Es scheint, dass Cloud-Computing-Plattformen alles für jeden vereinfacht haben. Zum Beispiel müssen Sie sich nicht mehr mit Festplattenkontingenten oder der manuellen Verwaltung Ihres Speichers über mehrere physische Laufwerke hinweg befassen. Ist das korrekt?

Joannes Vermorel: Absolut. Cloud-Computing-Plattformen haben viele der mit der Speicherverwaltung verbundenen manuellen Prozesse beseitigt. Außerdem haben sie die Konsolidierung aller notwendigen Ebenen für Deep Learning erleichtert.

Kieran Chandler: Wie sieht es mit den Kosten für Deep Learning und GPUs aus? Sie sind ziemlich teuer und verbrauchen viel Strom, oder?

Joannes Vermorel: Tatsächlich können Grafikkarten problemlos etwa 400 bis 500 Watt verbrauchen. Wenn Sie mehrere davon haben, kann dies zu einem elektrischen Problem werden. Cloud Computing hat dies jedoch durch die Bereitstellung von GPU-Farmen auf Abruf erleichtert. Im speziellen Fall der Supply Chain ist dies sehr praktisch, da Sie in der Regel Ihre statistische Prognose nur einmal am Tag durchführen müssen. Sie können Ihre GPUs für eine Stunde zuweisen, alle Berechnungen durchführen und sie dann an Ihre bevorzugte Cloud-Computing-Plattform zurückgeben, sei es Microsoft Azure, Amazon Web Services oder Google Cloud.

Kieran Chandler: Das maschinelle Lernen hat sich in den letzten Jahrzehnten allmählich entwickelt. Können wir daraus Hinweise auf die Zukunft des maschinellen Lernens ableiten? Was können wir als Nächstes erwarten?

Joannes Vermorel: Interessanterweise verläuft alles in Zyklen. Wir begannen mit parametrischen Modellen und Zeitreihenprognosen, dann wechselten wir zu nichtparametrischen Modellen mit den ersten generischen maschinellen Lernalgorithmen. Als nächstes wechselten wir zu hyperparametrischen Modellen mit Deep Learning. Jetzt tauchen wieder nichtparametrische Modelle im Bereich des Deep Learning auf. Dies sind anspruchsvollere Deep Learning-Methoden, die die Struktur des Modells während der Lernphase anpassen. Wenn ich auf das Schlagwort von morgen wetten müsste, wäre es “differentiable programming”. Dieser Ansatz ähnelt dem Deep Learning, ist jedoch viel dynamischer in Bezug auf den Aufbau und die Entwicklung des Modells während der Lernphase.

Kieran Chandler: Also ist differentiable programming das neue Schlagwort. Die Supply-Chain-Branche hinkt oft den großen Vier in Bezug auf ihre Schwerpunkte hinterher. Worin investieren sie derzeit in der Forschung und welche großen Entwicklungen können wir in den nächsten Jahren erwarten?

Joannes Vermorel: Was das maschinelle Lernen betrifft, sind die großen Probleme, in die die Tech-Giganten Milliarden investieren, die Spracherkennung, die Sprachsynthese, die Bilderkennung und die maschinelle Übersetzung. Dies sind Kernprobleme für informationsgesteuertes Lernen und liegen in Bezug auf Forschung und Entwicklung vorn. Die Supply Chains, einschließlich derjenigen, die maschinelles Lernen entwickeln, hinken etwas hinterher. Niemand in der Supply Chain hat die Ressourcen, eine Milliarde Dollar pro Jahr für eine bessere Nachfrage zu investieren.

Kieran Chandler: Es wurde erheblich in die Prognose investiert, aber es scheint, dass es nur ein kleiner Bruchteil dessen ist, was notwendig ist. Es scheint ein paar Jahre hinter den großen Entwicklungen zurückzubleiben. Was denken Sie darüber?

Joannes Vermorel: Sie haben recht. Die große Entwicklung besteht derzeit darin, die in anderen Bereichen wie Bild- und Sprachverarbeitung gefundenen Techniken in Supply-Chain-Situationen anzupassen. Dies erfordert eine erhebliche Neuentwicklung. Zum Beispiel haben diese großen Probleme typischerweise große Datenmengen zu verarbeiten. Ein Bild ist zum Beispiel mehrere Megabyte groß. Daher ist kein ausgeklügeltes Pipeline-System erforderlich, um Ihre Daten von der CPU zur GPU zu übertragen. Ihr Bild ist ein großes Objekt mit vielen Informationen, das für eine Weile in der GPU verbleibt, bevor die Berechnung abgeschlossen ist.

Auf der anderen Seite haben Supply Chains unterschiedliche Anforderungen. Die Objekte, die Sie optimieren möchten, wie Lagerhaltungseinheiten (SKU), sind datenmäßig kleiner, aber zahlreich. Ihre gesamte Bewegungshistorie für eine SKU passt in ein paar Kilobyte, aber Sie haben zig Millionen davon. Daher stellen die Anpassung dieser Techniken, die für große maschinelle Lernprobleme entwickelt wurden, an Supply Chains eine Reihe von Herausforderungen dar. Es erfordert, dass wir das Beste aus CPU und GPU herausholen, da es immer noch viele Berechnungen gibt, die auf der CPU-Seite besser durchgeführt werden.

Kieran Chandler: Es scheint, dass die Branche sich ständig weiterentwickelt und verändert. Implementierungen werden schnell veraltet. Wie kann ein Supply-Chain-Manager da mithalten, und haben Sie Tipps dafür?

Joannes Vermorel: Das Tempo des Wandels ist in der Tat eine Herausforderung. Aber das war schon immer ein Problem, was Computer betrifft. Mein Vorschlag ist, sich für Software-as-a-Service (SaaS)-Lösungen wie Lokad zu entscheiden. Zum Beispiel sind wir bei der fünften Generation unseres Prognosemodells, aber unsere Kunden müssen nichts Technisches tun, um ein Upgrade durchzuführen. Wir führen das Upgrade von einer Version zur nächsten in ihrem Namen durch, als Teil des Pakets.

Mit der Einführung von SaaS-Software wird dieses Problem viel einfacher zu bewältigen. Sie müssen keine Ressourcen dafür aufwenden, auf dem neuesten Stand zu bleiben - Ihr Anbieter erledigt das für Sie. Dies war bei On-Premises-Software nicht der Fall, bei der ein Upgrade von einer Version zur nächsten in der Regel ein großes Projekt war.

Übrigens haben Cloud-Computing-Plattformen dieses genau gleiche Problem für uns gelöst. Ein Supply-Chain-Manager, der eine SaaS-App wie Lokad verwendet, die fortschrittliche Predictive Analytics zur Optimierung Ihrer Supply Chain liefert, wird mit dem Tempo des Wandels Schritt halten. Lokad wiederum hält mit dem Tempo des Wandels Schritt, weil die von uns verwendete Cloud-Computing-Plattform Platform as a Service (PaaS) ist und ständig viele Dinge für uns aktualisiert.

Kieran Chandler: Es scheint, dass alle im Wesentlichen mit den technologischen Fortschritten Schritt halten, das ist sehr aufschlussreich. Vielen Dank, dass Sie Ihre Gedanken geteilt haben, Joannes. Wir werden diese Diskussion nächstes Mal fortsetzen. Vielen Dank fürs Zuschauen, alle zusammen.