Eine nuancierte Perspektive auf die unebene technologische Grenze der Harvard Business School

Conor E. Doherty

Qualität ist subjektiv; Kosten nicht.

In einer kürzlich erschienenen Folge von LokadTV habe ich vorgeschlagen, dass eine Studie der Harvard Business School (HBS), in Zusammenarbeit mit der Boston Consulting Group (BCG), schwerwiegende Mängel aufweist und potenziell gefährlich ist. Der vollständige Titel der Studie lautet Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge, Worker Productivity, and Quality¹. Kurz gesagt, die Studie besagt, dass die Fähigkeiten von KI bei anspruchsvollen Aufgaben ungleich verteilt sind, da sie in einigen Aufgabenbereichen herausragend ist und in anderen schlecht abschneidet („innerhalb“ und „außerhalb“ der Grenzaufgaben).

Kontext

Auf der anderen Seite dieser “unebenen technologischen Grenze” (siehe Abbildung auf S. 27 der Studie) übertrifft menschliche Expertise immer noch KI (in diesem Fall ChatGPT-4), insbesondere bei Aufgaben, die quantitative und qualitative Analysen kombinieren (d.h. “außerhalb” der Grenzaufgaben).

Dies sollte niemanden überraschen, der mit dem vertraut ist, wofür große Sprachmodelle (LLMs) wie ChatGPT entwickelt wurden (Spoiler: nicht für Mathematik). Wenn LLMs jedoch als “Datenbank für alles” behandelt werden, liefern sie plausible, aber manchmal ungenaue Antworten². Die Studie wirft jedoch immer noch einige interessante Punkte auf - wenn auch nur versehentlich.

Zu ihrer Ehre ist die Studie sehr gut lesbar, was in der Wissenschaft oft schmerzlich fehlt. Dennoch könnte man einige Bedenken hinsichtlich möglicher Interessenkonflikte³ und ihrer Ergebnisse⁴ äußern, aber hier sind vor allem die Methodik und die implizite Wirtschaftlichkeit der Studie von Interesse.

Kritik an der Methodik

In Bezug auf die Methodik wurde dieser Punkt bereits im Video kritisiert, daher werde ich mich hier kurz fassen. Das Forschungsteam hat die Produktivitätsgewinne, die durch Automatisierung erzielt werden, nicht untersucht. Stattdessen wurden Gruppen von Beratern (d.h. Nicht-Spezialisten für KI, Informatik und/oder Ingenieurwesen) ausgewählt, um ChatGPT-4 zu verwenden. Die einzige Ausnahme bildete die Kontrollgruppe, die nur ihre Expertise einsetzte. Die Ethik der Art und Weise, wie diese Gruppen beurteilt wurden, wird in Kürze erwähnt.

Es gab keine externen Softwareingenieure oder KI-Experten in dem Experiment. Es gab keine Teams von Entwicklern, die sich mit der erweiterten Generierung durch Abruf (RAG), domänenspezifischem Feintuning oder anderen Techniken auskannten, die die größten Stärken von LLMs nutzen: geräuschresistente, universelle Vorlagenroboter.

Dieser beeindruckende Roboter wurde nicht darauf programmiert, das in den umfangreichen internen Datenbanken von BCG gespeicherte domänenspezifische Wissen zu nutzen. Im Gegenteil, das Experiment umfasste einige Berater mit einem Abonnement für ChatGPT-4.

Diese Orchestrierung führte natürlich zu unterschiedlichen Ausgaben (in Bezug auf Qualität), insbesondere bei Aufgaben, die sowohl quantitative als auch qualitative Analysen erforderten. Mit anderen Worten: Es wurde ein Experiment entworfen, um zu sehen, wie schlecht Nicht-Experten eine anspruchsvolle Technologie nutzen können, und das unter unrealistisch restriktiven Bedingungen.

Wie ich im Video festgestellt habe, grenzt es an einen Skandal, die möglichen Produktivitätsgewinne (und Einsparungen) durch Automatisierung zu ignorieren. Dies gilt insbesondere, wenn man unter dem Namen einer renommierten Bildungseinrichtung veröffentlicht. Die Ergebnisse der Studie vermitteln meiner Meinung nach auch den Studierenden, die kurz davor stehen, sich durch ein Studium an einer Top-Business-School in eine lebensverändernde Schuldenlast zu stürzen, ein sehr falsches (Berufs-)Sicherheitsgefühl. Dies gilt auch für Menschen, die bereits den Sprung gewagt und beträchtliche Schulden für Abschlüsse in Bereichen auf sich genommen haben, die kurz vor der vollständigen Automatisierung stehen könnten.

Kritik aus wirtschaftlicher Perspektive

Trotz der oben genannten Kritik ist aus meiner Sicht die implizite Wirtschaftlichkeit des Papiers viel faszinierender. Einfach ausgedrückt hat die Harvard Business School nur die $${Qualität}$$ der Ergebnisse gemessen, nicht die $${Kosten}$$ der Ergebnisse⁵.

Zu keinem Zeitpunkt (und bitte überprüfen Sie mich) messen die Forscher die Kosten, die mit der Erstellung der Beratungsleistungen verbunden sind. Dies ist kein unwesentlicher Punkt. Das Wort “Qualität” wird im Papier 65 Mal in 58 Seiten erwähnt (einschließlich des Titels des Papiers). Das Wort “Kosten” wird…2 Mal…und nur im allerletzten Satz des Papiers erwähnt. Ich reproduziere diesen Satz hier für den Kontext:

“Ähnlich wie das Internet und Webbrowser die Grenzkosten für den Austausch von Informationen dramatisch reduziert haben, könnte KI auch die Kosten für menschliches Denken und Schlussfolgern senken, mit potenziell weitreichenden und transformierenden Auswirkungen.” (S. 19)

Selbst als die Harvard Business School endlich das Konzept der finanziellen Kosten anerkannte, geschah dies nicht in Bezug auf die reduzierten Kosten für die Erstellung hochwertiger Arbeit ohne die Notwendigkeit teurer Absolventen einer Business School. Dies mag offensichtlich erscheinen, wenn man bedenkt, dass der Titel des Papiers “Produktivität” und “Qualität” als Forschungsschwerpunkte nennt, ganz zu schweigen davon, dass eine teure Business School kaum ihre eigene potenzielle Nutzlosigkeit bewerben wird.

Nichtsdestotrotz schlage ich höflich vor, dass die Messung der $${Produktivität}$$ und $${Qualität}$$ der Ergebnisse ohne eine fundierte finanzielle Perspektive praktisch bedeutungslos ist, insbesondere in einem wissenschaftlichen Papier einer Business School. Dies ist besonders gravierend, wenn man bedenkt, dass der gesamte Kern der KI darin besteht, dass sie ein großer Ausgleicher ist, wenn es um finanzielle Schlagkraft geht.

KI liefert sehr hochwertige Ergebnisse zu sehr niedrigen Kosten, insbesondere durch Automatisierung. Dieses $${Qualität/Kosten}$$-Verhältnis ist um Größenordnungen höher als das von menschlichen Arbeitern⁶. Darüber hinaus öffnet es diese Tür für jeden, der ein ChatGPT-Abonnement und etwas Programmierkenntnisse hat. Dadurch wird das Spielfeld im Wettbewerb zwischen den Großen und den Kleinen dramatisch ausgeglichen.

Stattdessen bewertet die Harvard Business School auf 58 Seiten die “Qualität” der Arbeit der BCG-Berater isoliert. Wie wurde diese Qualität bestimmt? Durch “menschliche Bewerter”… die für BCG arbeiten⁷. Unabhängig von den bereits detaillierten offensichtlichen Interessenkonflikten ist es erwähnenswert, wie die falsche Dichotomie, die in dem Papier präsentiert wird, und wie dies seine implizite Wirtschaftlichkeit beeinflusst. Diese falsche Dichotomie läuft in etwa so ab:

“KI ist entweder besser oder schlechter als menschliche Expertise.”

Oder vielleicht ist eine wohlwollendere Interpretation:

“KI macht Menschen in ihrem Job besser oder schlechter.”

Wie auch immer, die Metrik, die der falschen Dichotomie im Papier zugrunde liegt, ist “Qualität”, die subjektiv gemessen wird und in einem akademischen Vakuum unabhängig von anderen Einschränkungen wie Zeit, Effizienz und Kosten existiert. Eine anspruchsvollere wirtschaftliche Perspektive wäre so etwas wie:

Was ist das $${Qualität/Kosten}$$-Verhältnis der menschlichen Ergebnisse im Vergleich zum $${Qualität/Kosten}$$-Verhältnis der KI-Automatisierung?

Anspruchsvolle Leser werden dies als ein ROI (Return on Investment)-Argument erkennen. Ihr persönliches $${Qualität/Kosten}$$-Verhältnis kann durch Beantwortung der folgenden Fragen ermittelt werden:

1. Wie gut waren die Ergebnisse für eine bestimmte Aufgabe?
2. Wie viel hat es gekostet?
3. War die Qualität den Kosten wert?
4. Wie viel würde es kosten, die Qualität zu verbessern, und wäre diese Verbesserung finanziell lohnenswert?

Die Harvard Business School widmet 58 Seiten der ersten Frage und geht nie darüber hinaus. Das ist eine bemerkenswerte Perspektive für eine Business School, muss man sagen. Tatsächlich kann man interessanterweise eine Parallele zur Supply Chain ziehen. Die blinde Verfolgung von Qualität durch die HBS ähnelt stark der isolierten Verfolgung der Prognosegenauigkeit (d.h. dem Versuch, die Prognosegenauigkeit zu verbessern, ohne den damit verbundenen ROI zu berücksichtigen)⁸.

Mögliche Auswirkungen

Wirtschaftlich gesehen besteht die “zerklüftete technologische Grenze” nicht einfach darin, herauszufinden, bei welchen Aufgaben LLMs besser abschneiden als Menschen. Vielmehr geht es darum, Ihr ideales $${Qualität/Kosten}$$-Verhältnis zu ermitteln, wenn Sie LLMs nutzen, und intelligente, finanziell informierte Entscheidungen zu treffen. Für clevere Geschäftsleute bedeutet dies Automatisierung, nicht manuelle Eingriffe (oder zumindest sehr wenige davon).

Für diese Geschäftsleute ist vielleicht ein vergleichbares Qualitätsniveau akzeptabel, solange es kosteneffizient ist. “Akzeptabel” kann bedeuten, dass die Qualität gleichwertig ist oder etwas besser/schlechter als das, was ein menschlicher Experte generieren kann. Mit anderen Worten, die Bezahlung von 0,07% des Preises eines Beraters für >90% der Qualität könnte ein sehr guter Kompromiss sein, obwohl sie nicht genau so gut wie die Ausgabe des teuren Experten ist⁹.

Die Zahlen werden für jeden Kunden unterschiedlich sein, aber was deutlich ist, ist, dass es einen Wendepunkt gibt, an dem “Qualität” nicht mehr isoliert betrachtet werden kann und in Bezug auf ihre finanziellen Kosten bewertet werden muss. Dies gilt zumindest für Unternehmen, die im Geschäft bleiben wollen.

Vielleicht sind Sie der Meinung, dass die Einstellung eines Teams von Absolventen der Harvard Business School oder Beratern von BCG ein ideales $${Qualität/Kosten}$$-Verhältnis darstellt, unabhängig von günstigeren Optionen wie KI-Automatisierung. Wenn ja, hoffe ich, dass Sie lange leben und gedeihen¹⁰.

Alternativ denken Sie vielleicht wie ich: Qualität ist subjektiv; Kosten nicht. Meine subjektive Wertschätzung von Qualität - insbesondere im Geschäftsbereich - hängt von den Kosten ab. Ähnlich wie bei Service Levels (oder Prognosegenauigkeit) in der Supply Chain ist eine zusätzliche Steigerung der Qualität (oder Genauigkeit) um 1% wahrscheinlich keine 1.000%ige Kostensteigerung wert. Daher gibt es bei KI im Geschäft einen wirtschaftlichen Kompromiss zwischen Qualität und Kosten. Es ist wichtig, dies nicht aus den Augen zu verlieren, wie es der Harvard Business School offenbar passiert ist.

Abschließend, wenn Sie darauf warten, dass KI die menschliche Qualität überschreitet, bevor Sie sie übernehmen, dann sei es so, aber der Rest von uns wird nicht mit Ihnen warten.