Der Zustand der supply chain Marktforschung - Ep 180

00:00:00 Der Niedergang traditioneller Berater
00:02:33 Probleme mit anbietergetriebenen Infomercials
00:05:05 Probleme mit Quadranteneinteilungen
00:07:11 Berichte, die Anbieteransprüche nicht in Frage stellen
00:09:30 Wichtigkeit technischer Vorzüge
00:11:11 KI-Anbieter verbessern die tiefgreifende Forschung
00:13:22 KI-Agenten organisieren die Websuche
00:15:36 Verbesserung von LLMs mithilfe von Anweisungen
00:17:27 Übertriebene Behauptungen kommen Anbietern und Kunden zugute
00:19:55 LLM-Berichtsranking basierend auf Untermauerung
00:21:56 Schnelle, detaillierte Berichtserstellung
00:23:21 LLMs übertreffen Berater in technischem Know-how
00:26:03 Präzision in der Forschung mit LLMs
00:28:09 Anbieter, die neutrale Markteinsichten bieten
00:30:46 Herausforderungen durch unbrauchbare Daten in LLMs
00:33:51 Vorteile von LLMs in der Softwareforschung
00:36:19 Voreingenommene Prompts untergraben die Objektivität von LLMs
00:39:35 Schnelles Erlernen von Prompting-Fähigkeiten
00:42:15 Reduktion des Risikos von Fehlinformationen
00:45:21 Effizienz bei schnellen Marktstudien
00:47:37 Berater als Unternehmensbegleiter
00:50:40 Beraterkompetenz statt Voreingenommenheit
00:52:07 KI-Training steigert die Leistungsfähigkeit bei Aufgaben
00:54:51 Führungskräfte bevorzugen klare, gut geschriebene Analysen
00:57:27 KI reduziert Zeit und Kosten in der Forschung
00:57:55 Interview endet mit Dankbarkeit

Zusammenfassung

In einem Gespräch auf LokadTV diskutieren Conor Doherty und Joannes Vermorel Marktforschung im supply chain management und üben Kritik an herkömmlichen Methoden, während sie die transformative Rolle von KI und Large Language Models (LLMs) erörtern. Vermorel stellt die Voreingenommenheiten der konventionellen Marktforschung, die von Anbieterinteressen getrieben werden, in Frage und lobt die Fähigkeit der KI, umfassende und unvoreingenommene Berichte zu liefern. Der Dialog betont das Versprechen der KI, im Vergleich zu traditionellen Ansätzen zügig detaillierte Einsichten zu liefern, trotz Bedenken hinsichtlich der Datenqualität und technologischer Voreingenommenheit. Vermorel und Doherty reflektieren über die potenzielle Obsoleszenz traditioneller Beratungsunternehmen und plädieren für innovative Kooperationen zwischen KI und menschlicher Expertise, um die supply chain Intelligenz neu zu definieren.

Ausführliche Zusammenfassung

In einem kürzlich auf LokadTV veranstalteten Dialog spricht Conor Doherty, Kommunikationsdirektor bei Lokad, mit Joannes Vermorel, dem CEO und Gründer von Lokad, um die Komplexitäten der Marktforschung im Bereich des supply chain management zu beleuchten. Dieses anregende Gespräch dreht sich um traditionelle Marktforschungsmethoden, die transformative Rolle von KI – insbesondere Large Language Models (LLMs) – und die sich wandelnde Landschaft für Softwareanbieter und Berater.

Doherty eröffnet die Diskussion, indem er auf die anhaltenden Dilemmata hinweist, mit denen Unternehmen bei der Auswahl von Softwareanbietern konfrontiert sind, und bemerkt dabei die potenziellen Fallstricke, die durch Interessenkonflikte mit Softwareanbietern entstehen. Vermorel kritisiert die herkömmlichen Ansätze der Marktforschung und hebt hervor, wie finanzielle Anreize Berichte häufig zugunsten von Anbietern von Unternehmenssoftware verzerren. Solche Berichte sind in der Regel mit Mängeln durchzogen, da den Analysten das tiefgehende Fachwissen fehlt, was in Analysen mündet, die weder aufschlussreich noch zufriedenstellend sind.

Doherty möchte verstehen, ob Vermorels Kritik in der Branche weitreichend Anklang findet. Vermorel betont, dass große Marktforschungsberichte oft versäumen, aussagekräftige Einsichten in wettbewerbsfähige Landschaften zu liefern, da sie durch mangelhafte Analysen gekennzeichnet sind, die lediglich dazu dienen, anbieterparteiische Narrative zu verbreiten. Diese Kritik erstreckt sich auch auf beliebte Marktbewertungsinstrumente wie Quadranten, die Vermorel als oberflächlich und ohne visionäre Einsichten bezeichnet, mit Ausnahme von Fällen wie Brightwork.

Im weiteren Gespräch über Brightwork führt Vermorel dessen herausragenden Ansatz darauf zurück, dass echte Softwareingenieure eingesetzt werden, die komplexe Unternehmenslösungen unabhängig bewerten und somit frei von Anbieter-Bias bleiben. Anschließend verlagert sich der Fokus auf das Potenzial der KI, die Marktforschung grundlegend zu verändern, was Doherty dazu veranlasst, zu hinterfragen, wie KI, insbesondere LLMs, die bestehenden Herausforderungen angeht. Laut Vermorel ermöglichen Fortschritte in der KI mittlerweile asynchrone Analysen, die umfassende Berichte hervorbringen, welche frühere Generationen von LLMs übertreffen.

Vermorel zeichnet ein Bild von LLMs als effektive und effiziente Werkzeuge, die in der Lage sind, fundierte Anbieteransprüche zu identifizieren und gleichzeitig schwächere abzulehnen. Doherty hebt die Vorteile dieser KI-Eigenschaft hervor, indem er auf die einfache Erstellung von Prompts verweist, die unerwartet detaillierte Markteinsichten liefern. Vermorel preist die Vorzüge der KI-gesteuerten Forschung – Ausführung in Lichtgeschwindigkeit und skalierbare, wirtschaftliche Forschungsprozesse, wie sie traditionelle Firmen nicht erreichen.

Obwohl sie die vielversprechenden Fähigkeiten der KI anerkennen, stellen sowohl Doherty als auch Vermorel den technologischen Bias dieser digitalen Werkzeuge fest, der im Gegensatz zu den Fallstricken von Marktforschungen steht, die von unerfahrenen Analysten durchgeführt werden. Ihrer Meinung nach umfasst die KI ein breites Verständnis und liefert dadurch umfassendere Berichte im Gegensatz zu Methoden, die durch menschliche Spezialisierung begrenzt sind.

Doherty geht auf ein Szenario ein, das Luft-und-Raumfahrtsysteme umfasst, und untersucht, wie Anbieterfeedback, das in LLM-Prompts integriert wird, die Marktforschung im Zusammenhang mit der seriellen inventory management verbessern könnte. Vermorel erörtert das Potenzial, Erkenntnisse anhand von Anbieterinformationen maßzuschneidern, und hebt hervor, wie unverzichtbare Merkmale wie die Verfolgung einzelner Einheiten zu zentralen Elementen in kosteneffizienten, KI-gesteuerten Berichten werden können.

Es gibt Bedenken hinsichtlich der Qualität der Eingangsdaten, die die Ergebnisse von LLMs beeinflussen. Vermorel behauptet, dass selbst Daten minderer Qualität durch die Fähigkeit von LLMs, vorhandene Informationen zu überprüfen und zu vergleichen, zu soliden Ergebnissen führen können. Überlegene Engineering-Teams produzieren seiner Ansicht nach zwangsläufig bessere Online-Inhalte, was die Bewertungen durch LLMs zugunsten verschiebt. Trotz möglicher Voreingenommenheiten bieten die schnellen, iterativen Fähigkeiten der KI reichhaltige Details, schneller als traditionelle Methoden.

Die Diskussion behandelt die Zuverlässigkeit von LLMs angesichts von Bedenken hinsichtlich Ungenauigkeiten durch “Halluzinationen”, woraufhin Vermorel klarstellt, dass, obwohl Fehler in den Fakten existieren, die durch LLMs unterstützte Online-Informationsbeschaffung diese Werkzeuge in die Lage versetzt, menschliche Fehler bei tiefergehenden Recherchen zu übertreffen.

Bei der Analyse der Überflüssigkeit von Marktkonsultingfirmen argumentiert Vermorel, dass viele Unternehmen dem Aussterben gegenüberstehen könnten, sofern sie ihre technische Kompetenz über die KI hinaus nicht neu definieren – was nach wie vor selten und teuer ist. Dennoch bleibt das unersetzliche menschliche Element, das Berater in der Unternehmensunterstützung bieten, ein wesentlicher Aspekt.

Doherty hinterfragt die Legitimität der Kompetenz von Beratungsfirmen und spielt auf historische Übertreibungen an. Vermorel räumt die Existenz von Experten ein, wenn auch wenigen, die sich mit dem nötigen Umfang auseinandersetzen, um unterschiedliche Unternehmenssoftware genau zu bewerten. Er stellt die Realisierbarkeit in Frage, dass Berater in der Lage sind, ständig in verschiedenen Bereichen Meisterschaft zu erlangen.

Mit Blick auf innovative Kooperationen, die das Potenzial der KI freisetzen, kommentiert Vermorel die Diskrepanz zwischen den Fähigkeiten der KI und den bestehenden Geschäftsmodellen der Beratung, bei denen schnelle, KI-gesteuerte workflows traditionelle Einnahmequellen untergraben. Doherty reflektiert, dass Unternehmen etablierte Marken gegenüber technischer Exzellenz bevorzugen und verdeutlicht so den strategischen Unterschied zwischen konventionellen Erfolgspfaden und den aufkommenden, KI-gesteuerten Alternativen.

Der Dialog wendet sich wieder der effektiven Kommunikation zu, wobei Vermorel für experimentelle, LLM-gesteuerte Forschung plädiert. Obwohl diese von der KI gesteuerten Einsichten ein effizientes, kostensparendes Potenzial bieten, räumt Vermorel ein, dass traditionelle Methoden ebenfalls ihren Wert haben, insbesondere in opponierenden Forschungsszenarien, in denen tiefgehende Untersuchungen von Behauptungen durchgeführt werden.

Zum Abschluss, in einem Ton der Dankbarkeit und reflektierten Wertschätzung, beendet Doherty die Episode und dankt Vermorel für das Teilen seiner tiefgründigen Einsichten. Mitten in den sich wandelnden Gezeiten der Marktforschungslandschaft laden Vermorels Perspektiven zu einer zum Nachdenken anregenden Überlegung ein, wie das transformative Potenzial der KI mit traditionellen, menschorientierten Analyseansätzen integriert werden kann – ein Hinweis auf eine Ära von Möglichkeiten, die darauf abzielen, die supply chain Intelligenz neu zu definieren.

Vollständiges Transkript

Conor Doherty: Willkommen zurück bei LokadTV. Den richtigen Softwareanbieter für Sie zu identifizieren ist schwierig und erfordert oft eine Menge Marktforschung. Historisch gesehen haben Marktkonsultanten den Menschen geholfen, dieses schwierige Terrain zu bewältigen.

Joannes Vermorel: Leider gibt es, so Joannes Vermorel, nicht nur eine Vielzahl potenzieller Interessenkonflikte, sondern dank der Fortschritte in der KI könnte das auch keine Rolle mehr spielen, da die Ära des Marktkonsultanten wohl gekommen und wieder vergangen ist.

Conor Doherty: Wie immer, falls Sie uns unterstützen möchten, liken Sie das Video, folgen Sie uns auf LinkedIn und abonnieren Sie unseren YouTube-Kanal. Damit präsentiere ich Ihnen das heutige Gespräch über supply chain Marktforschung mit Joannes Vermorel. Joannes, vielen Dank, dass du wieder dabei bist.

Wir haben bereits auf verschiedenen Wegen darüber gesprochen, wir haben zuvor die Frage der Effizienz und sogar der Ethik der traditionellen Marktforschung erörtert, und du hast mit deutlicher Skepsis reagiert, um es milde auszudrücken. Bevor wir jedoch tiefer darauf eingehen, wie KI die Zukunft der supply chain Marktforschung beeinflussen könnte, kannst du einen Überblick darüber geben, welche Probleme du mit dem aktuellen Zustand der Marktforschung siehst?

Joannes Vermorel: Ah, ich nehme an, wir haben drei Stunden Zeit, um durch den Kaninchenbau zu gehen, oder um eine andere Analogie zu verwenden: eine Matroschka – man hat ein Problem, man öffnet es, und dann ist da noch etwas drin, und es ist ein weiteres Problem, und man packt immer mehr Probleme aus.

Statt von traditioneller würde ich den Begriff “Mainstream-Marktforschung” verwenden, und sie ist genauso dysfunktional wie alle anderen. Was sind die großen Probleme auf sehr hoher Ebene? Wir haben Anreize, die völlig unglaubwürdig sind. Kurz gesagt, Marktforschungsunternehmen werden von Anbietern bezahlt. Ihre Anreize sind naturgemäß darauf ausgerichtet, das Beste für ihre Kunden zu tun, und diese Kunden sind heutzutage, würde ich sagen, zu mindestens 90% Anbieter von Unternehmenssoftware.

Conor Doherty: Also sagst du, dass es dort direkte und indirekte Kunden gibt. Du meinst, der Großteil ihres Einkommens stammt von Anbietern?

Joannes Vermorel: Ja, nicht von Unternehmen, die Orientierung suchen. In dieser Situation landet man also bei Infomercials. Wenn man quasi den gesamten Umsatz aus Unternehmenskunden bezieht, die Anbieter von Unternehmenssoftware sind, bedient man diese; das ist letztlich das Problem auf sehr hoher Ebene.

Zunächst einmal ist Fakt, dass der durchschnittliche Analyst in Bezug auf Softwaretechnologien nicht besonders bewandert ist. Zwischendrin gibt es viele andere Probleme, aber das sind wirklich die Extreme. Wir haben also falsche Anreize in den Händen von Menschen, denen letztlich Fähigkeiten, Erfahrung und selbst ein grundlegendes Verständnis von Software fehlen, und man landet mit Dokumenten, die sehr wenig beeindruckend sind. Das fasst zusammen, was mit der Mainstream-Marktforschung nicht stimmt.

Conor Doherty: Beschränkt sich das auf dich, oder hältst du das für eine weit verbreitete Ansicht heutzutage?

Joannes Vermorel: Ich denke, dass Leute wie ich, die Erfahrung mit Softwareanbietern haben, die Systeme ein wenig von innen gesehen haben. Ich würde sagen, das ist im Allgemeinen zutreffend. Ich glaube nicht, dass einer meiner Kollegen diese Berichte anschaut und denkt: “Oh, das ist sehr interessant; ich habe etwas Interessantes oder Relevantes an meinem Mitbewerber entdeckt.” Wäre Marktforschung richtig gemacht, wäre es von größtem Interesse, die eigenen Wettbewerber zu analysieren.

Meiner Meinung nach liegt das Analyselevel, selbst der größten Marktforschungsunternehmen, unter dem, was ich von einem Praktikanten bei Lokad erwarten würde. Es ist schlecht; es ist sehr schlecht.

Conor Doherty: Du sprichst zum Beispiel von Quadranten und davon, dass man in Kategorien eingeteilt wird wie: “Dieser ist ein Leader, dieser ist es nicht.”

Joannes Vermorel: Ja, und das spiegelt wiederum, wie ich schon sagte, ein Matroschka-Problem wider, wenn es darum geht, wer diese Berichte verfasst. Diese Berichte werden nicht von Visionären oder Menschen mit unglaublichem Talent erstellt, sondern von Personen, die sich wie Journalisten verhalten – im negativen Sinne – im Bereich der Unternehmenssoftwaretechnologien.

Conor Doherty: Nun, es scheint auf den ersten Blick, dass mehrere Dinge gleichzeitig zutreffen können. Zum Beispiel könnte es Berater geben, deren direkte Kunden Anbieter sind, die diese Anbieter empfehlen, aber diese Anbieter könnten dennoch tatsächlich die besten Lösungen auf dem Markt sein. Sagst du also, dass der Zustand der Forschung schrecklich ist und die Ergebnisse aufgrund von Interessenkonflikten schlecht ausfallen?

Joannes Vermorel: Ja, aber leider ist die Liste der Probleme so lang. Die Methodik ist in der Regel völlig fehlerhaft, gerade weil die Menschen – es gibt nur wenige Ausnahmen, wie die Brightwork-Forschung mit einem Typen namens Shaun Snapp, der sehr hochwertige Arbeit leistet, was jedoch extrem selten ist.

Wenn Marktforschung von Menschen betrieben wird, die nicht verstehen, wie diese Softwaretechnologien entwickelt werden, dann entsteht eine sehr oberflächliche Methodik, die die Behauptungen der Anbieter weitgehend als selbstverständlich hinnimmt, was zu Berichten führt, die äußerst oberflächlich sind – Infomercials für die Anbieter.

Eine angemessene Methodik würde beinhalten, die technische Argumentation jedes Anbieters eingehend zu hinterfragen, aber dafür braucht man jemanden, der diese Art von Herausforderung bewältigen kann. Häufig fordern die Marktforschungsberichte nie wirklich die Realität der von den Anbietern gemachten Behauptungen heraus.

So vieles läuft schief – die Fallstudien, sie würden die von den Anbietern erstellten Fallstudien als selbstverständlich hinnehmen, die mit Interessenkonflikten einhergehen, sodass man ihnen nicht trauen kann, usw. Es ist eine sehr lange Liste von Problemen.

Conor Doherty: Weil du Brightwork erwähnt hast, was unterscheidet die Methodik dieses Mannes von dem Mainstream, den du gerade beschrieben hast?

Joannes Vermorel: Es beginnt mit einer Person, die eigentlich ein anständiger Software-Ingenieur ist, jemand, der versteht, wie Enterprise-Software funktioniert. Der erste Schritt besteht darin, einen Bericht mit jemandem zu erstellen, der klug genug ist, die Aufgabe zu übernehmen. Wenn du das nicht tust, hast du am Ende allerlei Probleme mit dem Bericht, egal welche Methodologie und Anreize du hast.

Weil diese Person voll kompetent ist, kann sie eine Methodologie anwenden, die Sinn ergibt, zum Beispiel technologische Bewertungen durchführen und untersuchen, was die Technologie für sich allein wert ist. Hat sie Vorzüge? Ist sie gut konstruiert? Wie schneidet sie im Vergleich zu alternativen, ähnlichen Technologien ab?

Wenn du ein Produkt für das Enterprise möchtest – eine Lösung in Enterprise-Software ist sehr komplex, besteht aus vielen Teilen – betrachte die unterschiedlichen Bestandteile und beurteile, wie jeder Bestandteil im Vergleich zu modernsten Alternativen abschneidet. Du benötigst eine Teile-und-herrsche-Perspektive, die ein Verständnis der Technologie erfordert.

Dieser Fall ist ein Randfall, eine Ausnahme, die die Regel bestätigt, dass Marktforschungsunternehmen größtenteils relativ falsch liegen. Diese winzige Firma hat eine glaubwürdige Missionserklärung, dass sie kein Geld von Anbietern annimmt, was viele Probleme löst.

Marktforschung kann richtig durchgeführt werden, aber die gängige Marktforschung ist miserabel.

Conor Doherty: Wie passen KI und insbesondere LLMs in diese Gleichung? Denn ich weiß, dass du ein ziemlich großer Fan von ihnen und ihren Anwendungen in der Marktforschung bist.

Joannes Vermorel: Ja, das ist etwas, das kürzlich aufkam, als eine Reihe von KI-Anbietern tiefgehende Forschungskapazitäten veröffentlichte. Vor zwei Jahren, als Tools wie ChatGPT erstmals erschienen, hatten diese Tools nur begrenzte Web-Suchmöglichkeiten und waren nicht sehr gut. Das Problem war, dass LLMs – große Sprachmodelle – langsam sind, und wenn du eine interessante Aufgabe im Web erledigen lassen möchtest, kannst du das nicht interaktiv tun. Das bedeutet, du kannst nicht sagen: “ChatGPT, gib mir einen Vergleich der relevantesten Bestandsverwaltungssoftware” und dann die Suchoption aktivieren. Denn das LLM versucht, dir innerhalb von, sagen wir, 30 Sekunden eine Antwort zu geben, was realistisch gesehen bedeutet, dass das Modell nur etwa drei, vier Webseiten betrachten kann. Das ist nicht annähernd ausreichend, und daher waren die Ergebnisse überwiegend Müll.

Nun, vor einigen Wochen hat OpenAI einen Deep-Research-Modus veröffentlicht. Einige andere Wettbewerber hatten diesen Modus bereits. Google verfügt mit Gemini bereits über einen eigenen Deep-Research-Modus, und die Idee ist einfach: Du gibst die interaktive Natur der Antwort auf. Das heißt, das LLM arbeitet asynchron, und du kehrst später zurück. Du kannst eine halbe Stunde später wiederkommen, und dann ist dein Bericht fertig. Was im Hintergrund passiert, ist wie ein spezialisierter Agent. Es ist einfach etwas, das dem LLM sagt: “Okay, du hast den Auftrag, diese tiefgehende Recherche im Web durchzuführen. Zuerst musst du eine Sammlung von Web-Suchen über eine Suchmaschine, sagen wir Bing, organisieren, bei der du die relevanten Seiten sammelst.” Dann wirst du jede einzelne Seite analysieren, um zu sehen, ob sie etwas Wertvolles enthält, und schließlich all diese Teilanalysen zu einem synthetischen Bericht zusammenführen, der die Frage oder Aufgabe des Nutzers beantwortet. Es funktioniert hervorragend. Ich war positiv überrascht. Es sind im Grunde dieselben LLMs, aber mit den Automatisierungselementen, die es wirklich lohnenswert machen.

Und als Faustregel – sagen wir – überprüft OpenAI beim Deep Research etwa 50-60 Seiten. Es ist also ziemlich erheblich, und ich vermute, dass noch viel mehr geprüft wird, aber viele Seiten gleichzeitig verworfen werden. Ich würde also sagen, dass vermutlich etwa 200 Seiten geprüft werden. Von diesen Seiten wird der Großteil verworfen, weil sie nicht als ausreichende Quellen für die Analyse gelten.

Conor Doherty: Wenn du es anweist, ausreichend robust zu sein.

Joannes Vermorel: Nein, nein, nein, das macht es von selbst. Siehst du, es ist einfach die Kalibrierung dessen, was sie gemacht haben. Es scheint so, dass es zu diesem Zeitpunkt etwa 200 Seiten auswählt, die am relevantesten erscheinen, nicht mehr als, sagen wir, 50 behält und dann einen Bericht erstellt, indem es eine eingehende Analyse der Teile durchführt, die auf diesen Seiten am relevantesten sind. Vielleicht, weißt du, in fünf Jahren wären es 2.000 Seiten und das 200-fache, also gibt es ein Limit. Man sieht, dass hier die Kontextfenstergröße des LLM am Werk ist.

Ich vermute, dass dies ein wesentlicher Faktor dafür ist, wie viele Quellen du für deinen endgültigen Bericht zusammenstellen kannst. Aber wenn wir zur Marktforschung zurückkehren, funktionieren diese Dinge hervorragend, wenn du zusätzliche Anweisungen hinzufügst, um es zum Laufen zu bringen. Insbesondere musst du dem LLM eine gewisse Anleitung geben, denn die Modelle neigen dazu, wenn du sie direkt einsetzt, sehr naiv zu sein. Wenn ich von den Modellen spreche, meine ich, dass die LLMs sehr naiv sind, wenn es darum geht, mit Enterprise-Software umzugehen.

Du musst also einen Prompt erstellen, der der Methodologie viele Elemente hinzufügt, sodass ein halbwegs anständiger Bericht entsteht. Es ist eigentlich ganz einfach. Du musst Qualifikatoren hinzufügen wie: “Ich möchte einen maximal wahrheitssuchenden Bericht, keinerlei Marketing-Floskeln, sei äußerst skeptisch und nimm keine Behauptungen der Anbieter als selbstverständlich hin. Stelle absolut sicher, dass jede einzelne Behauptung, die du als positiven Aspekt der Lösung bewertest, belegt ist, sodass du keine bloßen, nackten Behauptungen unkommentiert lässt.”

Genau wie, oder einfach Behauptungen, die offensichtlich mit einem massiven Interessenkonflikt produziert wurden. Zum Beispiel, wenn ein Anbieter sagt: “Bei einer Bestandsverwaltungssoftware erreichen wir 50 % Produktivitätssteigerung”—

Ich meine, genau solche Behauptungen solltest du mit äußerster Vorsicht betrachten. Wenn du darüber nachdenkst, was dein Ausgangsniveau war, also im Vergleich zu was? Im Vergleich zu Stift und Papier? Das ist kein guter Maßstab. Außerdem hat der Kunde bei Fallstudien zu Enterprise-Software genauso ein Interesse daran zu behaupten, dass es einen massiven Gewinn gab, denn dann wirkt der Projektmanager wie ein Held, was wiederum seiner beruflichen Weiterentwicklung zugutekommt.

Gehe also nicht davon aus, dass, nur weil der Nutzen mit einem Kunden behauptet wird, dieser frei von Voreingenommenheit ist. Er trägt genauso viel Voreingenommenheit, wenn nicht sogar mehr, als wenn es nur der Softwareanbieter wäre. Zusammengefasst heißt das: Du musst im Prompt sagen: “Sei maximal wahrheitssuchend. Sei äußerst skeptisch. Lehne Nutzenbehauptungen ab, bei denen du die Begründung nicht nachvollziehen kannst.” Das Entscheidende ist, dass, wenn der Anbieter behauptet, Vorteile zu bringen, er auch erklären muss, wie er das tut, wie er zu dieser Messung gelangt. Wenn dies der Fall ist, kannst du der Studie etwas Glaubwürdigkeit verleihen. Wenn die Behauptung nur darauf beruht, dass “ich es so sage” oder weil mein Kunde, der zufällig mein Freund ist, es so sagt, dann nein. Siehst du, beim Prompt ist es letztlich nicht sehr kompliziert.

Es ist auch so, dass du ein paar Sicherheitsvorkehrungen hinzufügen musst, wenn du in dem Bereich Erfahrung hast, um Warnsignale oder schlicht absurde Behauptungen zu erkennen. Zum Beispiel, wenn du im Prompt sagen würdest, dass jeder, der behauptet, eine 50%ige Bestandsreduktion erzielen zu können, ein Clown ist. Das ist nicht möglich, nicht einmal annähernd. Also bitte, schwäche in deinem Bericht deine Bewertung dessen ab, wer diese verrückten Behauptungen aufstellt, denn das spielt nicht zu deren Gunsten. Es ist wie ein Warnsignal, das Inkompetenz demonstriert.

Conor Doherty: Auch, ohne dazwischenzureden, muss ich darauf hinweisen, dass jeder Zuhörer, der sich in diesem Bereich auskennt, vermutlich gerade das Gleiche denkt wie ich. Du hast im Grunde alles entwertet, was jemals von irgendjemand in der Geschichte der supply chain veröffentlicht wurde, denn selbst wenn du 99 % dieser Fallstricke verpasst hättest, bin ich sicher, dass du irgendwann auf einen gestoßen bist.

Joannes Vermorel: Ja, und dann ist es wieder eine Frage des Verhältnisses, und LLMs sind ziemlich gut darin, das zu erfassen. Siehst du, du sagst, es zählt als negativ. Und dann die LLMs – es ist sehr interessant zu beobachten, wie solche Berichte entstehen – würden zu der Einschätzung kommen: “Oh, dieser Anbieter, oh, es scheint, dass er immer nur reine, unbelegte Marketingbehauptungen aufstellt, und der Großteil davon ist in diesem Fall einfach absurd.” Aber sie bewerten oft, sodass es heißt: “Dies entsprach den Metriken als das beste, jenes als das schwächste, weil es diese unbelegten Behauptungen enthielt.”

Genau. Und daher ist es wichtig, auch als Teil des Prompts einige Hinweise darauf zu geben, wie man das Positive von dem Negativen unterscheiden kann. Und was interessant ist, ist dass die negativen Aspekte sehr gut funktionieren. Also liste die Art von Dingen auf, die sehr undurchsichtig erscheinen, Behauptungen, die unglaublich vage sind, die einfach zu schön erscheinen, um wahr zu sein usw. Wieder, du musst vielleicht iterieren; dein Erfolg kann ein wenig variieren. Aber innerhalb von etwa 20 Minuten kannst du einen Prompt haben. Wir sprechen hier nicht von einem zehnseitigen Prompt; die Art von Prompts, die ich verwendet habe, waren etwa eine Viertelseite lang. Also ist es etwas, das du in 20 Minuten erstellen kannst, und dann bist du startklar und erhältst eine Marktstudie zu nahezu jedem Thema – übrigens. Und es funktioniert. Ich würde sagen, was du bekommst, ist bereits weitaus besser als das, was professionelle Marktforschungsunternehmen oder sogar Beratungsfirmen produzieren.

Conor Doherty: Nun, mindestens wäre es auch günstiger. Selbst wenn es von nicht unterscheidbarer Qualität wäre – was du nicht behauptest – aber selbst wenn dem so wäre, ist es trotzdem schneller und billiger.

Joannes Vermorel: Ja, genau. Ich meine, das Schöne daran ist, dass du deinen Bericht innerhalb von 20-30 Minuten erhältst und bereits einen etwa 20-seitigen, sehr detaillierten Bericht mit den Quellenangaben hast, der exakt angibt, woher die Informationen stammen. Und das ist eine enorme Menge an Arbeit. Das Interessante daran ist, dass du mit diesen tiefen Forschungskapazitäten, die heutzutage von den KI-Spezialisten bereitgestellt werden, in Stunden das schaffen kannst, wofür ein Assistent Wochen gebraucht hätte. Und das ist sehr beeindruckend, und die Qualität – ich war wirklich beeindruckt – ist, dass, wenn du das Problem so formuliert hast, dass es maximal wahrheitssuchend sein soll, ja, LLMs, man kann argumentieren, dass sie voreingenommen sind, aber sie leisten einen ziemlich guten Versuch, – das ist meine Erfahrung – wahrheitssuchend zu sein. Das bedeutet nicht, dass es perfekt ist, sicherlich nicht, aber es ist ziemlich gut. Es ist ziemlich gut. Und ich würde sagen, vielleicht nicht besser als der Mensch, aber ziemlich – ich meine, es gibt trade-offs. Wieder einmal: Wie viel bist du bereit auszugeben? Wie viel Zeit möchtest du investieren?

Ich sagte, das Problem ist, dass die meisten dieser Berichte von Menschen erstellt werden, die überhaupt kein Verständnis der Technologie haben. Das Wunderbare ist, dass diese LLMs ein halbwegs anständiges Verständnis aller Technologien besitzen. Ja, sie sind zwar keine Datenbankzauberer, aber sie zeigen eine überdurchschnittliche Kompetenz im Datenbankdesign, bei Datenbankherausforderungen und Ähnlichem.

Wenn du Marktforschung betreibst, besteht die Herausforderung darin, dass es so viele Bereiche gibt, in denen du einfach zu wenig weißt. Das Schöne daran ist, dass, wenn es mit einem LLM durchgeführt wird, dieses fast nie völlig ahnungslos in Bezug auf irgendeinen Bereich im Unternehmen ist, den du betrachtest. Das macht solche Berichte sehr vollständig. Ich habe viel damit experimentiert und war insgesamt ziemlich beeindruckt von der Qualität der erstellten Inhalte. Es ist ein wenig verblüffend.

Conor Doherty: Nochmals, um das für die Zuhörer zu kontextualisieren, vielleicht mit einem Beispiel: Historisch gesehen, weiß ich, dass es ein Beispiel ist, zu dem ich immer wieder zurückkomme, aber deine Unterscheidung oder Kategorisierung der Arten von Enterprise-Software zwischen Records, Reports und Intelligence Systems of Records – ERPs, Systems of Reports mit BI Tools und dann Systems of Intelligence mit decision-making Software – verdeutlicht, dass man, um in einem Bereich exzellent zu sein, die anderen opfern muss. Man kann nicht in all diesen Bereichen Superman sein.

Nun zur Frage: Wenn du eine Marktforschungsstudie mithilfe eines LLM durchführen würdest, wäre es in der Lage, Behauptungen auseinanderzunehmen? Zum Beispiel ein ERP Anbieter, der sagt: “Unser ERP-System ist fantastisch in der Handhabung von Records, und wir können zudem unglaubliches Forecasting und Decision-Making-Optimierung leisten,” was du als Experte als im Wesentlichen unglaublichen Unsinn kennst. Die quasi Gesamtheit der Menschen würde auf den ersten Blick nicht erkennen, dass man strukturell, was das Design von Software angeht, nicht all diese Dinge brillant umsetzen kann.

Ein LLM könnte das durchaus auseinandernehmen, würde ich sagen, im Wesentlichen kostenlos.

Joannes Vermorel: Wahrscheinlich nicht. Es ist nicht so, aber wenn du dir der von mir eingeführten Klassifikation bewusst bist, kannst du diese dem LLM mitteilen, und es wird deine Intention umsetzen. Du kannst einfach sagen: “Übrigens, ich suche ein System von Records, das strikt die anderen Dinge ausschließt.” Du kannst sogar einen Link zur Seite bereitstellen und sagen: “Bitte berücksichtige diese Klassifikation in deiner Bewertung.” Das würde die Analyse gründlicher machen.

Aber ich würde sagen, das ist die Art von Sache, bei der du das gar nicht wirklich brauchst, denn mein Vorschlag ist, dass die LLM-Marktforschung nur der erste Schritt ist, um super schnell voranzukommen. Meine Empfehlung ist weiterhin, zu adversarieller Marktforschung überzugehen, bei der du die Anbieter selbst fragst, wer ihre Peers sind, was sie an ihren Peers gut oder schlecht finden und wen sie am meisten respektieren, und ob es aus ihrer Sicht irgendwelche Fallstricke gibt, die berücksichtigt werden müssen.

Du kannst deine Marktforschung in 30 Minuten durchführen, realistisch gesehen in zwei Stunden, und dann erhältst du deinen ersten soliden Bericht – du sitzt in diesen 30 Minuten nicht einmal vor dem Computer. Du schreibst den Prompt und stellst ein oder zwei Qualifikationsfragen wie: “Wie möchtest du das? Als Bericht?” Dann kommst du zurück, gehst einen Kaffee trinken, was auch immer.

Du benötigst ein wenig Zeit, um einen Bericht zu verdauen, sagen wir also zwei Stunden. Dann wechselst du zur adversariellen Marktforschung.

Du verschickst ein paar E-Mails an diese verschiedenen Anbieter, wählst einfach drei aus, und diese Anbieter werden – das ist Teil der Methodologie der adversariellen Marktforschung – mit ein paar Einsichten dazu auf dich zukommen, wie man dein Problem betrachten könnte.

Wenn es einen Anbieter wie Lokad gibt, der zu dir kommt und sagt: “Sei gewarnt, das Problem, das du betrachtest, besteht tatsächlich aus mehreren komplementären Produkten, aber Produkten, die sehr unterschiedlich sind,” und wenn dich die Begründung überzeugt, dann solltest du die Marktforschung einfach mithilfe des LLM erneut durchführen.

Damit siehst du: “Okay, ich habe dieses Verständnis, das mir von einem Anbieter vermittelt wurde, aber es ist nicht völlig neutral; es ist lediglich ein Verständnis des Marktes, das nicht ausschließlich diesem bestimmten Anbieter zugutekommt.” Du kannst auch die bereits erstellten Berichte nehmen und diese bewerten lassen.

Zum Beispiel, nehmen wir an, Sie sind ein Unternehmen, das Flugzeugteile herstellt und Sie möchten Bestandsverwaltung. Dann sagt der erste Anbieter, den Sie kontaktieren: “Vorsicht, Sie müssen ein System haben, das serielle Bestandsverwaltung unterstützt.” Das bedeutet, es geht nicht darum, zehn Einheiten auf Lager zu halten; es bedeutet, dass für jede Lagerhaltungseinheit eine bestimmte Nummer existiert und Sie diese nachverfolgen müssen.

Es gibt Bestandsverwaltungssysteme, die die serielle Inventur unterstützen, und solche, die es nicht tun. Unter denen, die die Bestandsverwaltung unterstützen, behandeln einige diese als erstklassigen Ansatz, sodass es als primärer Anwendungsfall gilt, während Artikel ohne Seriennummer wie Bürger zweiter Klasse behandelt werden.

Es gibt auch andere Bestandsverwaltungssysteme, bei denen es umgekehrt ist. Ein Anbieter kann Ihnen sagen, dass dies eine sehr wichtige Funktion ist, wenn Sie serielle Inventur verwalten möchten. Das unterscheidet sich völlig von der herkömmlichen Bestandsverwaltung.

Gut, ein Anbieter sagt Ihnen das, und Sie wussten es nicht. Also werde ich noch einmal meine Recherche zu Bestandsverwaltungssystemen durchführen und sagen: “Hey, ich muss wirklich auf diese serielle Inventarfähigkeit achten. Sie ist entscheidend, weil ich in der Luftfahrt tätig bin.” Führen Sie diese Marktanalyse unter Berücksichtigung dieses Kriteriums erneut durch und generieren Sie die Berichte neu.

Ich betrachte LLMs als sehr ergänzend zu dieser adversarialen Marktstudie. Wenn Sie von Anbietern einige kleine Rückmeldungen erhalten, können Sie diese zusätzlichen Einsichten – wie Sie das Problem betrachten sollten – einfach in Ihren LLM-Prompt einfließen lassen und wiederholen, regenerieren. Es ist günstig, relativ schnell, und Sie erhalten etwas, das zunehmend auf Ihren Anwendungsfall zugeschnitten ist.

Conor Doherty: Natürlich, das klingt in der Theorie gut. Aber stoßen Sie nicht auf das bereits bestehende Problem, dass LLMs auf Datensätzen trainiert werden? Sie haben den Zustand der aktuellen Literatur im supply chain bereits kritisiert, also wenn Sie eine Marktstudie mit einem LLM durchführen und ihm all diese sehr sorgfältigen Parameter, Anstöße und Qualifikationen geben, muss es trotzdem die öffentlich zugänglichen Informationen lesen. Wenn die öffentlich zugänglichen Informationen Müll sind, ist das dann nicht Müll rein, Müll raus?

Joannes Vermorel: Nein, ich meine, das ist wieder so. Hier stehen wir vor der Herausforderung der LLMs: Eines der unglaublichsten Dinge ist, dass LLMs bei Müll rein, qualitativ hochwertig raus liefern, was sehr merkwürdig ist. Deshalb denke ich, dass es lange dauerte, bis selbst die Software-Community diese Dinge entdeckte; es ist völlig kontraintuitiv und widerspricht radikal dem Dogma von vor zehn Jahren, das lautete: Müll rein, Müll raus.

Tatsächlich, wenn Sie das gesamte Web in diese Modelle einspeisen, erhalten Sie etwas, das sehr anständig ist – was seltsam ist. Ich meine, wenn man bedenkt, dass ChatGPT den ganzen Unsinn von Reddit aufgesogen hat und dennoch vernünftig bleibt, ist das ziemlich bemerkenswert.

Hier würde ich sagen, nein, es funktioniert. Die Herausforderung besteht darin, dass Anbieter manchmal Materialien von sehr niedriger Qualität haben, aber wiederum wird ein LLM diese nutzen, um eine vergleichende Bewertung vorzunehmen.

Wenn alle gleichermaßen schlecht sind, ist es schwierig, aber sehr häufig ist es so, dass einige Anbieter viel schlechter sind als andere. Vielleicht ist selbst der führende Anbieter nicht Ihr Traumanbieter; er lässt ein wenig zu wünschen übrig. Irgendjemand muss der Beste sein.

Genau, und meine beiläufige Beobachtung ist, dass, wenn es um die Qualität von Produkten, Softwareprodukten und Technologien geht, eine enorme Korrelation zwischen der Qualität der Materialien, die auf der Website des Anbieters veröffentlicht werden, und dem, was im Hintergrund abläuft, besteht.

Unternehmen, die über anständige Engineering-Teams verfügen, haben Inhalte auf ihren Websites, die erklären, was das Produkt macht, wie es das macht usw., und diese sind in der Regel auch anständig. Andererseits, wenn das Team klein ist und in ein billiges, unterentwickeltes Land ausgelagert wurde, dann ist – wie man erwarten könnte – die Qualität der Website und des technischen Inhalts ebenfalls miserabel.

Kein Wunder, solche Dinge gehen oft Hand in Hand. Das ist es, was den Einsatz von LLMs für Marktanalysen so mächtig macht, zumindest was Software betrifft. Es besteht eine enorme Korrelation zwischen der Qualität der Online-Inhalte und der Qualität des Produkts; sie gehen wirklich Hand in Hand. Ich glaube nicht, dass ich in meiner gesamten Karriere jemals eine Ausnahme von dieser Regel gesehen habe.

Conor Doherty: Okay, und nicht zuletzt, mir kommt der Gedanke, dass das, was Sie beschreiben – und was bereits verfügbar ist – tatsächlich eine objektiv bessere Marktstudie über das gesamte Angebot an Optionen ergeben könnte, aber die Frage ist dann: Ist das unbedingt das, was der Endnutzer, in diesem Fall die Kundenunternehmen, tatsächlich will? Zum Beispiel, ich bin mir sicher, dass, um dieses Gedankenexperiment durchzuspielen – ähm, Sie in Joannes’ Firma, einem Unternehmen namens Lokad, einen Anbieter finden möchten und eine vollständige Marktstudie durchführen – es 10 Optionen gibt, von denen neun die großen Namen sind, die wir alle kennen, und dann Nummer 10 ist Conors ERP.

Und Conors ERP ist das beste, aber niemand hat je davon gehört, doch es ist – zusammen mit Ihren Metriken – die beste Option. Es hat die beste Software, die beste öffentliche Dokumentation, es erklärt, wie alles gemacht wird, es ist fantastisch. Sie zeigen das dann intern und es wird gesagt: “Wer zum Teufel ist Conor? Gib mir einen der großen Namen.” Ich meine, weil die Leute große Namen wollen.

Joannes Vermorel: Nein, ich meine, erstens – LLMs sind überraschend gut. Wissen Sie, es ist ein No-Name-Unternehmen. Was qualifiziert ein No-Name-Unternehmen, wenn es sehr wenig Materialien, sehr wenig Dokumentation, sehr wenige Funktionen, sehr wenig von allem hat – Alter, Prestige, Kunden, ja – aber auch das spiegelt sich in der Tiefe dessen wider, was sie tun.

Wenn Sie sich OpenAI ansehen, war es bis vor Kurzem ein No-Name-Unternehmen, korrekt? Es explodierte 2023 regelrecht. Davor war es ein sehr obskures, stark finanziertes, aber dennoch sehr obskures Unternehmen im Silicon Valley. Also sehen Sie, meiner Meinung nach sind LLMs bei dieser Art von Bewertung ziemlich gut und werden dies berücksichtigen. Sie werden auch das und tausende andere Dinge mit einbeziehen.

Denken Sie also nicht, dass, wenn ich sage, seien Sie maximal wahrheitssuchend und so weiter, das LLM einfach ein Dummkopf sein wird und etwas wie einen super, super obskuren Anbieter aus Bashtoan oder so vorschlägt. Das werden Sie von ihnen nicht bekommen. Wenn Sie also bereits wissen, was Sie wollen, dann benutzen Sie ein LLM nicht, um es zu rechtfertigen.

Wissen Sie, das ist Wunschdenken. Wenn Sie davon ausgehen, dass Sie eine echte Marktanalyse durchführen wollen, dann sollten Sie Ihre Präferenzen für bestimmte Anbieter tatsächlich zurückstellen. Wissen Sie, sonst – warum sollten Sie überhaupt diese Marktanalyse durchführen? Wenn Sie bereits entschieden haben, dass Sie einen Anbieter auswählen möchten, dann wählen Sie einen Anbieter. Wählen Sie diesen Anbieter direkt und ersparen Sie sich den falschen Prozess, um die Entscheidungen, die Sie bereits getroffen haben, zu rechtfertigen. Wissen Sie, das spart einem Unternehmen einfach Zeit und Geld.

Also sehen Sie, wenn Sie bereits entschieden haben und dann eine Marktanalyse durchführen, ist das unsinnig. Es gibt kein logisches Argument, das diese Vorgehensweise unterstützt, daher müssen Sie das Problem zumindest aus der Perspektive angehen, in der Sie noch nicht entschieden haben, und was Sie mit diesem LLM zu erreichen versuchen, ist einfach eine maximal wahrheitsgetreue, objektive Aussage zu erhalten.

Und ich glaube, in dieser Hinsicht sind diese Werkzeuge ziemlich effizient, und wenn Sie wirklich befürchten, dass diese Werkzeuge Einschränkungen haben – oder wenn Sie denken, dass das LLM einfach einen Anbieter vermisst, den es betrachten sollte oder so – können Sie diesen direkt angeben. Sie können buchstäblich sagen: “Ich möchte Anbieter A, B, C, D, F und wer auch immer, zusätzlich zu diesen, die meiner Meinung nach am relevantesten sind.”

Also sehen Sie, es gibt hier keine strikten Regeln. Sie können Ihren Prompt buchstäblich anpassen, und das LLM wird einfach die Zusammensetzung verändern, aber versuchen Sie, es so zu tun, dass keine massive Voreingenommenheit in das LLM einfließt. Sehen Sie, tun Sie es beispielsweise so, dass wenn Sie explizit den Anbieter auflisten möchten, Sie darauf achten müssen, nicht zu verraten, wen Sie den Prozess gewinnen lassen möchten.

Denn wenn Sie das LLM mit einer Eingabe wie “Ich denke, dass dies die beste Option ist, führen Sie genau eine Fallstudie durch, machen Sie eine Marktstudie zur Bestandsverwaltungssoftware und vergessen Sie nicht diesen einen Anbieter, von dem ich wirklich glaube, dass er Nummer eins ist” auffordern, dann führen Sie eine massive Dosis Voreingenommenheit ein. Also hier – aber nochmals, Sie müssen nicht extrem klug sein, um das herauszufinden. Es geht einfach darum, Ihren eigenen Prompt neutral zu formulieren. Andernfalls erhalten Sie Voreingenommenheit in Ihrem Bericht.

Conor Doherty: Also Joannes, ich denke, es ist angebracht, hier ein Statement abzugeben. Ich meine, wir haben es bereits in gewissem Maße früher gemacht, aber um es wirklich darzustellen: Wenn wir über die Fähigkeiten sprechen – die digitale Kompetenz, die erforderlich ist, um diese Art von Informationen zu produzieren – dann ist das nicht fortgeschritten. Wir sprechen nicht davon, in Python zu programmieren oder dergleichen. Das ist grundlegendes Zeug, oder?

Joannes Vermorel: Ja, ich denke, wenn einige Leute sich entscheiden, ein Prompting-Diplom oder eine Prompting-Zertifizierung einzuführen, um ein LLM prompten zu können, dann wird das die Art von Dingen sein, die man in zwei Tagen meistern kann. In zwei Tagen kann man sein Prompt-Zertifikat erhalten. Ja, es ist nicht schwer. Es ist absolut unkompliziert.

Und nochmals, Sie können sogar mit einem Tool interagieren, um herauszufinden, was mit Ihrer eigenen Anfrage nicht stimmt. Es ist also ein ziemlich interaktiver Prozess, der Ihnen auch Feedback gibt, wie Sie sich verbessern können, wenn Sie darum bitten. Nun, der zweite Punkt – denn der erste betraf die dafür erforderlichen Fähigkeiten – war, wie Sie vor wenigen Momenten erwähnten, die Zuverlässigkeit.

Nun, Sie meinten es in diesem Kontext nicht so, aber es wirft eine Sorge auf, von der ich sicher bin, dass einige Leute sie haben, wenn sie dem zuhören, nämlich dass die Zuverlässigkeit von LLMs historisch gesehen in gewissem Maße angezweifelt wurde. Zum Beispiel halluzinieren sie, oder ich weiß, dass Ihnen der Begriff “Konfabulation” gefällt. Sie bitten ein LLM, etwas zu tun: “Hey, finde diese Information heraus,” und es will Ihnen nicht sagen: “Ich weiß es eigentlich nicht,” oder “Es gibt keine Information,” und es erfindet einfach Informationen größtenteils aus dem Nichts.

Wie plausibel oder berechtigt diese Sorge im Kontext von tiefgehender Forschung ist – was natürlich nicht dasselbe Modell ist, an das die Leute typischerweise denken, wenn sie an LLMs denken?

Es ist dasselbe Modell, aber das Problem ist, dass – wie in der Regel – wenn es tiefgehende Forschungen durchführt, das LLM dazu aufgefordert wird, die Informationen aus dem Internet abzurufen. Hier gilt es also erneut: LLMs sind keine Datenbanken für Fakten und Wissenshäppchen. Sie wurden zwar darauf trainiert, aber wenn Sie fragen: “Was ist die genaue Höhe des Mount Everest?” behalten sie es irgendwie im Gedächtnis; wenn sie jedoch tatsächlich die Informationen online nachschlagen können, fällt es dem Tool wesentlich leichter, vollkommen sicher zu sein.

Nach meiner Erfahrung ist der Grad an Konfabulation oder Halluzination bei der Verwendung von OpenAI Deep Research ziemlich gering. Man sieht wirklich, dass das Modell die auf der Seite vorhandenen Informationen nutzt, um seine eigene Bewertung zu erstellen, und somit fordern Sie das Modell nicht auf, einfach alles zu erfinden oder sich zu merken, was es über obskure Anbieter weiß. Es versucht es nicht einmal.

Es würde einfach sagen: “Okay, hier ist die Liste der Seiten, die ich von diesem Anbieter abgerufen habe. Was sagen mir diese Seiten?” So funktioniert das. Es ist zwar immer noch möglich, dass das LLM Dinge erfindet, aber ich würde sagen, in weitaus geringerem Maße als ein tatsächlicher Mensch. Wissen Sie, ein Beispiel für einen Fehler wäre, wenn auf der Seite des Anbieters steht: “Wir haben über tausend Kunden,” und dann würde das LLM im Bericht sagen: “Sie behaupten, 1.000 Kunden zu haben.”

Es ist eine subtile Annäherung; in einem Fall sagten sie “über 1.000,” wurde es zu genau 1.000 verzerrt. Nochmals, das ist in meiner Erfahrung eine eher geringe Verzerrung. Die Verzerrungen sind selten, und wenn sie auftreten, sind sie relativ unbedeutend – im Gegensatz dazu, einen ganzen Anbieter aus dem Nichts zu erfinden und diesem einfach Eigenschaften und Schwächen zuzuschreiben. Das wird nicht passieren.

Das wird nicht passieren. 100% der Anbieter werden eine Website mit Quellenangaben und allem haben. Ich habe noch nie einen Bericht gesehen, in dem aus dem Nichts erfundene Dinge extravagant dargestellt wurden. Es ist vorgekommen, aber es war subtil und manchmal liegen Sie sogar an der Grenze zur Interpretation. Wissen Sie, es sieht so aus, als hätten sie dies, und man nimmt einfach eine Abkürzung und sagt, sie haben das – aber es ist nicht ganz klar. Wenn man sich die Dokumentation anschaut, wird es irgendwie impliziert, und das LLM ist darauf hereingefallen.

Conor Doherty: Nun, ja, natürlich. Aber nochmals, selbst wenn Sie eine Beratungsfirma beauftragen würden, einen Bericht zu erstellen, würden Sie diesen presumtiv selbst lesen und bewerten. Es ist also nicht so, dass hier behauptet wird: Verwenden Sie einfach den Output der Deep Researchers und nehmen Sie ihn für bare Münze, als ob er absolut perfekt wäre. Sie müssen ihn immer noch hinterfragen.

Joannes Vermorel: Sich selbst zu hinterfragen, ja, genau. Ich meine, Sie können Ihre Urteile nicht suspendieren. Sie müssen diese nutzen. Und nochmals denke ich, dass der Punkt, an dem diese Werkzeuge wirklich glänzen, darin liegt, dass Sie in einem Tempo iterieren können, das einfach unmöglich ist, selbst mit den besten Beratern. Es ist, als könnten Sie eine einmonatige Studie wiederholen – etwas, das einen Monat für einen Menschen dauern würde – aber von Hand in 30 Minuten erledigen. Es ist äußerst beeindruckend. Ich meine, wir sprechen hier von der Erstellung eines 20-seitigen Berichts, super strukturiert, vollständig auf Ihre Anfrage zugeschnitten, in 30 Minuten. Das verändert das Spiel komplett, was Ihre Iterationsfähigkeit angeht.

Sie können letztlich 20 Marktstudien hintereinander durchführen, wobei jede auf der vorherigen aufbaut, sodass Sie immer fokussierter auf das sind, was Sie tatsächlich wollen.

Conor Doherty: Nun, Sie sprachen vor einem Moment von Schlussfolgerungen. Ist es angemessen für jemanden, der zuhört, die Schlussfolgerung zu ziehen, dass Sie die Rolle des Marktkonsulenten und der Beratungsfirmen usw. entweder als überflüssig ansehen oder dass diese bereits aufgrund dieser Technologie überflüssig geworden sind?

Joannes Vermorel: Wenn wir in Bezug auf das Ergebnis sprechen und davon ausgehen, dass das Ergebnis eine Marktstudie ist, dann werden in der Tat viele – wenn nicht die meisten – Marktforschungsunternehmen und Berater, die diese Art von Dienstleistung erbringen, völlig obsolet, es sei denn, sie können wirklich beweisen, dass sie besser sein können als eine Maschine. Es beginnt damit, dass Menschen auf technischer Ebene äußerst fähig sein müssen, um eine Analyse zu erstellen, die schlauer ist als das, was ein LLM leisten kann.

Es gibt sie, aber sie wird super nischig sein, einfach weil es in diesen Branchen derzeit nicht so viele Menschen dieses Kalibers gibt und es langsamer und teurer ist. Ja, wir sprechen hier von etwas, das wesentlich langsamer sein wird. Diese Softwareanbieter kaufen keine Marktstudien von ihnen; was sie kaufen, ist Werbung. Solange Unternehmenssoftwareanbieter bereit sind, Geld für diese Marktforschungsfirmen auszugeben, werden die Marktforschungsfirmen ganz gut funktionieren – was nichts mit der Existenz von LLMs zu tun hat, die in der Lage sind, Marktstudien zu erstellen.

Das ist nicht das, wofür diese Unternehmenssoftwareanbieter bezahlen; sie zahlen für die Werbung. Es ist lediglich ein Kanal. Alternativ könnten sie das Geld für Google-Anzeigen ausgeben; sie entscheiden sich einfach, es auf einige Marktforschungsfirmen oder einen Bruchteil ihres Budgets in diesem Bereich zu verwenden.

Für Berater, meiner Meinung nach, ist es sehr, sehr häufig so, dass Berater – wofür Unternehmen oder tatsächlich Führungskräfte wirklich bezahlen – Gesellschaft oder moralische Unterstützung bieten, und das ist nichts, was Ihnen ein LLM geben wird. Es klingt ein wenig dumm, wenn man es so formuliert: “Oh, warum hast du diese 100.000-Dollar-Mission bezahlt?” “Ich fühlte mich einsam, ich fühlte mich unsicher, ich brauchte jemanden, der hinter mir steht, also habe ich sie einfach engagiert. Sie sind gute Kerle; sie unterstützen mich.” Das klingt ein wenig lächerlich, aber ja, das erklärt meines Erachtens in hohem Maße diese Einstellung, die den größten Teil des Beratungswesens erklärt.

Die Tatsache, dass Sie eine Marktstudie kaufen, ist nur der Vorwand, eine Mission in einer Art und Weise zu formulieren, die nicht so albern klingt wie “Ich suche einen Unternehmenscoach”. Aber abgesehen davon – darum denke ich, dass sich daran wahrscheinlich nichts ändern wird. Die Existenz von LLMs und ihre Fähigkeiten werden sich in dieser Hinsicht möglicherweise nicht wesentlich verändern, denn letztlich war das nicht das, was tatsächlich gekauft wurde. Der Bericht war ein Vorwand für etwas anderes. Es war nicht das, was aus Sicht des Managements tatsächlich die Bezahlung der Berater rechtfertigte.

Conor Doherty: Also nochmal, zwischen den Zeilen lesend, nachdem ich das alles gehört habe, wäre es vernünftig zu sagen, dass Sie nicht glauben, dass Marktforschungsberatungen wertvolles Fachwissen besitzen, das direkt auf die Marktanalyse anwendbar ist? Ihr Fachwissen liegt also nicht in diesem Bereich, weder jetzt noch historisch, könnte man sogar argumentieren, aber Sie sind sehr skeptisch, dass ein Berater – ein professioneller Berater – in der Lage ist, wertvolles Fachwissen, jene immaterielle Qualität, bei einer weltweiten Population von 8 Milliarden Menschen und wahrscheinlich einer Million, wissen Sie, Beratern einzubringen.

Joannes Vermorel: Ja, sicher, es muss Dutzende, Hunderte von Menschen geben, die dazu in der Lage sind. Jetzt stellt sich die Frage, wie viele tatsächlich dazu in der Lage sind? Wie hoch ist der Prozentsatz? Meiner Meinung nach ist der Anteil der Menschen in Beratungsringen, die in der Lage sind, solche Bewertungen im Hinblick auf Unternehmenssoftware besser als LLM durchzuführen, einfach verschwindend gering.

Und ethisch oder voreingenommen zu sein, ja, genau. Ich meine, beides. Aber ich glaube, dass die Voreingenommenheit eher bei den Marktforschungsfirmen liegt. Bei Beratungsgruppen denke ich, dass die meisten von ihnen nicht in demselben Ausmaß dieses Problem haben; sie haben zwar das Problem, aber es ist ein relativ kleines Problem. Das viel größere Problem ist schlichtweg die Fähigkeit und Kompetenz, überhaupt diese Bewertung durchzuführen.

Und nochmals, das liegt daran, dass man als Berater ständig extrem vielfältige Aufgaben übernimmt. Wissen Sie, es ist sehr schwierig. Heute soll man ein Experte für Bestandsverwaltungssoftware sein; am nächsten Tag soll man ein Experte für Ertragsquoten in einer chemischen Produktionslinie sein. Die Vielfalt der Missionen ist einfach überwältigend, und es ist daher nicht sehr realistisch, dass man Menschen haben wird, die in diesen Bereichen wirklich kompetent sind.

Conor Doherty: Also, Joan, es ist interessant, denn als ich Ihnen und dieser Diskussion über Marktforschungsberatungen zuhörte, erinnere ich mich daran, dass vor etwa anderthalb bis zwei Jahren – und korrigieren Sie mich bitte, wenn ich falsch liege – obwohl ich es tatsächlich war, der das Papier verfasste, wir ein Papier der Harvard Business School überprüft haben, von dem ich glaube, dass es “Navigating the Jagged Technological Frontier” hieß. Und es wurde, wenn ich mich richtig erinnere, in Zusammenarbeit mit der BCG Boston Consulting Group produziert.

Darin, und ich werde es stark zusammenfassen, und jeder kann anmerken, falls ich mich irre – ich erinnere mich in Echtzeit –, haben Personen, die mit LLMs oder generativer KI trainiert wurden, bei bestimmten Aufgaben – sowohl qualitativ als auch quantitativ – besser abgeschnitten als Personen, die dieses Training nicht hatten. Meine Frage an Sie jetzt lautet also: Jeder, der dies hört, könnte Ihnen genauso gut sagen, “Nun, Joannes, wenn wir diesen hochqualifizierten Beratern nur diese Werkzeuge, die sich in den vergangenen 18 Monaten verbessert haben, zur Verfügung stellen, werden sie nicht einfach die weltweit besten Beratungsberichte erstellen?”

Joannes Vermorel: Ja, das würden sie. Ich meine, in den Händen von Beratern könnte man sicherlich fantastische Berichte erstellen. Aber nun stellt sich die Frage, dass es ein Geschäftsmodell der Beratungsunternehmen ist. Man kann einer großen Beratungsgesellschaft wie BCG oder McKinsey nicht zwei Stunden Arbeit in Rechnung stellen, was das Geschäftsmodell etwas infrage stellt. Aber nochmals: Wenn wir zu der Idee zurückkehren, dass der Bericht tatsächlich das ist, was erworben wird, dann stelle ich diese Annahme wirklich infrage.

Meiner Meinung nach ist es nicht das, wofür bezahlt wird, sodass die Verfügbarkeit der Technologie irrelevant ist, weil es nicht das ist, was bei der nahezu Gesamtheit dieser Beratungsmissionen gekauft wird.

Conor Doherty: Einer der Punkte, denen ich tatsächlich tendenziell zustimme, ist die Tatsache, dass je länger ich in diesem Bereich gearbeitet habe und je mehr ich auf Messen und bei Konferenzen mit Fachleuten gesprochen habe, desto mehr wurde mir bewusst, dass große Namensnennungen das Maß sind, nach dem die Leute im Allgemeinen suchen. Um das Gespräch ein wenig abzurunden, gibt es den Ausdruck “Besser konventionell scheitern als unkonventionell Erfolg haben”, wonach in großen Unternehmen die Auffassung herrscht: “Nun, ich möchte nicht das Unternehmen sein, das ein Risiko eingeht und auf diese obskure Firma setzt, die auf dem Papier – sei es laut einem Berater oder einem LLM – die beste Option sein könnte. Ich bleibe lieber beim kleineren Menü etablierter, erfolgreicher Namen.” Was halten Sie davon?

Joannes Vermorel: Ich bin, nochmals, alles ist relativ. Die meisten Unternehmenssoftwarefirmen sind nicht brandneu; selbst wenn wir über Lokad sprechen, sprechen wir über ein Unternehmen, das 15 Jahre alt ist. Es ist nicht gerade superjung. Meiner Meinung nach liegt das Problem eher darin, dass man etwas Überzeugendes vorweisen muss.

Und das typische Problem, dem vielleicht das obere Management gegenübersteht, ist, dass es schließlich mit Botschaften von seinen Untergebenen konfrontiert wird, die völlig unklar sind und bei denen die Schreibfähigkeiten möglicherweise unzureichend sind, ebenso wie die Problemanalyse. Die Berater liefern eine höllisch lange PowerPoint-Präsentation von 80 Folien, die keinen Sinn ergibt oder wenig Sinn macht, und es ist ein ziemlicher Kopfzerbrechen für das Top-Management. Sie müssen eine Entscheidung treffen, und so greifen sie auf etwas zurück, das nicht zu riskant erscheint.

Aber nochmals, ich glaube nicht, dass die meisten Menschen, die es in die Reihen der hochrangigen Führungskräfte schaffen, Idioten sind. Wenn es etwas Überzeugendes gibt, das recht ordentlich erklärt ist, würden sie einfach mitziehen. Und ich denke, wo LLMs wirklich bahnbrechend sind, ist ihre Fähigkeit, eine sehr hochwertige, schriftliche Argumentation zu erstellen, um den Fall für diese Option gegenüber jener Option zu untermauern.

Das ist etwas, wobei ich feststelle, dass in den meisten großen Unternehmen die typischen Schreibfähigkeiten recht gering sind. Einige Unternehmen, wie Amazon, sind berüchtigt dafür, dass ihre Manager in der Lage sind, hochwertige Fünf-Seiten-Memos zu schreiben. Das ist sehr selten, und ich denke, ein großer Teil des Erfolgs von Amazon beruht auf dieser Fähigkeit, Probleme schriftlich anzugehen anstatt in PowerPoint, und wirklich gründlich über etwas nachzudenken. Hier ist das Interessante an LLMs, dass diese Übung plötzlich für Menschen, die nicht all diese Schreibfähigkeiten besitzen, viel zugänglicher wird. Natürlich wird man noch besser, wenn man über Schreibfähigkeiten verfügt, aber insgesamt ist es einfach ein enormer Erleichterer.

Conor Doherty: Also, als abschließender Gedanke und als Ratschlag würden Sie dafür plädieren, LLMs zumindest für die Erzeugung einer bedeutungsvolleren Kommunikation einzusetzen?

Joannes Vermorel: Ich würde sagen, wenn Sie an etwas denken, das mit Marktforschung zu tun hat, beginnen Sie mit diesen tiefgreifenden Forschungskapazitäten, die von einem halben Dutzend AI-Chatbot-Anbietern unterstützt werden, die diese umfassenden Forschungskapazitäten bieten. Das wird höchstwahrscheinlich eine bahnbrechende Erfahrung für Sie sein, und Sie werden feststellen, dass Sie in Stunden erreichen können, was sonst Monate gedauert hätte und zudem viel Geld gekostet hätte – und das zu sehr niedrigen Kosten.

Ja, es wird sehr billig sein. Das ist es; überzeugen Sie sich selbst, Sie werden angenehm überrascht sein. Der nächste Schritt danach besteht dann lediglich darin, auf die Beratung in der Marktforschung zurückzugreifen, die ebenfalls sehr leichtgewichtig ist, aber es geht hier um etwas, das vielleicht mehrere Tage dauern würde, nicht nur mehrere Stunden.

Conor Doherty: In Ordnung, Joannes, ich habe keine weiteren Fragen. Vielen Dank für Ihre Zeit und dafür, dass Sie einige gute Einblicke geteilt haben, und vielen Dank fürs Zuschauen. Wir sehen uns beim nächsten Mal.