Una prospettiva sfumata sulla frontiera tecnologica frastagliata di Harvard Business School

Conor E. Doherty

La qualità è soggettiva; il costo no.

In un recente episodio di LokadTV, ho suggerito che un articolo di Harvard Business School (HBS), condotto in collaborazione con Boston Consulting Group (BCG), fosse profondamente difettoso e potenzialmente pericoloso. Il titolo completo dell’articolo è Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge, Worker Productivity, and Quality¹. In sintesi, l’articolo afferma che le capacità dell’IA in compiti complessi sono distribuite in modo disomogeneo, in quanto eccelle in alcuni compiti e si comporta male in altri (“compiti all’interno” e “compiti all’esterno” della frontiera, rispettivamente).

Contesto

Dall’altra parte di questa “frontiera tecnologica frastagliata” (vedi illustrazione a pagina 27 dell’articolo), l’esperienza umana supera ancora l’IA (in questo caso, ChatGPT-4), soprattutto in compiti che combinano analisi quantitative e qualitative (cioè “compiti all’esterno” della frontiera).

Questo non dovrebbe sorprendere chiunque sia familiare con ciò per cui sono progettati i grandi modelli di linguaggio (LLM) come ChatGPT (spoiler: non matematica). Inoltre, quando i LLM vengono trattati come un “database di tutto”, producono risposte plausibili ma a volte inaccurate². Tuttavia, l’articolo solleva ancora alcuni punti interessanti, anche se solo accidentalmente.

A suo merito, l’articolo è molto leggibile, cosa spesso mancante nell’ambito accademico. Detto questo, si potrebbero sollevare alcune preoccupazioni riguardo a potenziali conflitti di interesse³ e ai suoi risultati⁴, tuttavia è la metodologia e l’economia implicita dell’articolo che sono di principale interesse qui.

Critica della metodologia

Riguardo alla metodologia, questo punto è stato già criticato nel video, quindi sarò breve qui. Il team di ricerca non ha esplorato i guadagni di produttività generati attraverso l’automazione. Invece, i ricercatori hanno selezionato gruppi di consulenti (cioè non specialisti in IA, informatica e/o ingegneria) per utilizzare ChatGPT-4. L’unica eccezione a ciò era il gruppo di controllo, che lavorava utilizzando solo la propria esperienza. L’etica di come questi gruppi sono stati valutati sarà menzionata a breve.

Non c’erano ingegneri software esterni o esperti di IA nell’esperimento. Nessun team di sviluppatori esperti in retrieval augmented generation (RAG), domain specific fine-tuning o altre tecniche che utilizzano i punti di forza dei LLM: essere robot universali e resistenti al rumore.

Questo impressionante robot non è stato programmato per sfruttare le conoscenze specifiche del dominio conservate nelle estese banche dati interne di BCG relative a iniziative di consulenza passate. Al contrario, l’esperimento ha coinvolto alcuni consulenti con una sottoscrizione a ChatGPT-4.

Questa orchestrazione ha naturalmente prodotto gradi di output variabili (in termini di qualità), soprattutto per quanto riguarda i compiti che richiedevano sia analisi quantitative che qualitative. In altre parole: è stato progettato un esperimento per vedere quanto male i non esperti riescono a sfruttare una sofisticata tecnologia, e in condizioni irrealisticamente restrittive.

Come ho concluso nel video, ignorare i possibili guadagni di produttività (e risparmi) generati attraverso l’automazione confina con lo scandalo. Questo è particolarmente vero quando si pubblica sotto il nome di un prestigioso istituto di apprendimento. I risultati dell’articolo danno anche, a mio parere, una falsa sensazione di (sicurezza lavorativa) agli studenti che stanno per affrontare un debito che cambierà la vita al fine di studiare presso una prestigiosa scuola di economia. Questo vale anche per le persone che hanno già preso l’iniziativa e si sono indebitate per ottenere diplomi in settori che potrebbero essere sull’orlo dell’automazione completa.

Critica della prospettiva economica

Nonostante le critiche significative sopra riportate, secondo me, l’economia implicita dell’articolo è molto più affascinante. In poche parole, la Harvard Business School ha misurato solo la $${qualità}$$ dell’output, non il $${costo}$$ dell’output⁵.

In nessun momento (e per favore verificate i fatti) i ricercatori misurano il costo associato all’output del lavoro dei consulenti. Questo non è un punto banale. La parola “qualità” viene menzionata 65 volte in 58 pagine (incluso il titolo dell’articolo). La parola “costo” viene menzionata…2 volte…e solo nell’ultima frase dell’articolo. Riproduco qui quella frase per contestualizzarla:

“Analogamente a come Internet e i browser Web hanno ridotto drasticamente il costo marginale della condivisione delle informazioni, l’IA potrebbe anche ridurre i costi associati al pensiero e al ragionamento umano, con effetti potenzialmente ampi e trasformativi.” (p. 19)

Anche quando la Harvard Business School ha finalmente riconosciuto il concetto di costo finanziario, non lo ha fatto in termini di riduzione dei costi per generare un lavoro di alta qualità senza la necessità di costosi laureati in scienze economiche. Questo potrebbe sembrare ovvio considerando che il titolo dell’articolo identifica “produttività” e “qualità” come punti focali della ricerca, senza dimenticare il fatto che una costosa scuola di economia difficilmente pubblicizzerebbe la propria potenziale inutilità imminente.

Ciò nonostante, suggerisco cortesemente che misurare la $${produttività}$$ e la $${qualità}$$ dell’output senza una solida prospettiva finanziaria è praticamente privo di significato, soprattutto in un articolo accademico di una scuola di economia. Questo è particolarmente grave considerando che l’intero fulcro dell’IA è che essa è un grande livellatore quando si tratta di potere finanziario.

L’IA fornisce risultati di altissima qualità a costi molto bassi, soprattutto attraverso l’automazione. Questo rapporto $${qualità/costo}$$ è di ordini di grandezza superiore a quello dei lavoratori umani⁶. Inoltre, apre questa porta a chiunque abbia una sottoscrizione a ChatGPT e una certa conoscenza della programmazione. Questo livella drasticamente il campo di gioco quando si tratta di competizione tra i grandi e i piccoli.

Invece, per 58 pagine, la Harvard Business School valuta la “qualità” del lavoro dei consulenti di BCG in isolamento. Come è stata determinata questa qualità? Da “valutatori umani”…che lavorano per BCG⁷. Mettendo da parte i manifesti conflitti di interesse già descritti, vale la pena notare la falsa dicotomia presentata dall’articolo e come questa influenzi la sua economia implicita. Questa falsa dicotomia si può riassumere così:

“L’IA è migliore o peggiore dell’esperienza umana.”

O forse un’interpretazione più benevola è:

“L’IA rende gli esseri umani migliori o peggiori nel loro lavoro.”

In entrambi i casi, la metrica alla base della falsa dicotomia nell’articolo è “qualità”, che viene misurata soggettivamente ed esiste in un vuoto accademico indipendente da altre limitazioni, come il tempo, l’efficienza e il costo. Una prospettiva economica più sofisticata sarebbe qualcosa del genere:

Qual è il rapporto $${qualità/costo}$$ dell’output umano rispetto al rapporto $${qualità/costo}$$ dell’automazione basata sull’IA?

I lettori sofisticati riconosceranno questo come un argomento di ROI (ritorno sull’investimento). Il proprio rapporto $${qualità/costo}$$ personale può essere scoperto rispondendo alle seguenti domande:

1. Quanto era buono l’output per un determinato compito?
2. Quanto è costato?
3. Valeva la pena la qualità del costo?
4. Quanto costerebbe migliorare la qualità e sarebbe finanziariamente conveniente?

La Harvard Business School dedica 58 pagine a discutere della prima domanda e non va oltre. È una prospettiva peculiare per una business school, bisogna ammetterlo. In effetti, si può tracciare un interessante parallelismo con la supply chain. La cieca ricerca della qualità da parte della HBS è sorprendentemente simile alla ricerca isolata dell’accuratezza delle previsioni (cioè cercare di migliorare l’accuratezza delle previsioni senza considerare il ROI associato a tale miglioramento)⁸.

Possibili Implicazioni

Dal punto di vista economico, la “frontiera tecnologica frastagliata” non consiste semplicemente nell’identificare quali compiti gli LLM svolgono meglio degli esseri umani. Piuttosto, consiste nell’identificare il tuo rapporto $${qualità/costo}$$ ideale quando si sfruttano gli LLM e prendere decisioni intelligenti e informate dal punto di vista finanziario. Per gli imprenditori esperti, ciò comporterà l’automazione, non l’intervento manuale (o almeno molto poco di esso).

Per questi imprenditori, forse un livello di qualità comparabile è accettabile, purché sia efficiente dal punto di vista dei costi. “Accettabile” può significare lo stesso livello di qualità o leggermente migliore/peggiore rispetto a quello che un esperto umano può generare. In altre parole, pagare lo 0,07% del prezzo di un consulente per ottenere oltre il 90% della qualità potrebbe rappresentare un ottimo compromesso, nonostante non sia esattamente come l’output dell’esperto costoso⁹.

I numeri varieranno per ogni cliente, ma ciò che è dimostrabilmente chiaro è che c’è un punto di svolta oltre il quale la “qualità” cessa di essere una preoccupazione isolata e deve essere valutata rispetto al suo costo finanziario. Questo è almeno vero per le aziende intenzionate a rimanere in attività.

Forse sei dell’opinione che assumere un team di laureati della Harvard Business School o consulenti di BCG rappresenti un rapporto $${qualità/costo}$$ ideale, indipendentemente dalle opzioni più economiche come l’automazione basata sull’IA. In tal caso, spero che tu viva a lungo e prosperi¹⁰.

In alternativa, forse la pensi come me: la qualità è soggettiva; il costo non lo è. La mia valutazione soggettiva della qualità - soprattutto quando si tratta di affari - è relativa al suo costo. Similmente ai livelli di servizio (o all’accuratezza delle previsioni) nella supply chain, un aumento del 1% nella qualità (o nell’accuratezza) probabilmente non vale un aumento del 1.000% dei costi. Pertanto, quando si tratta di IA in ambito aziendale, c’è un compromesso economico da fare tra qualità e costo. È fondamentale non perdere di vista questo aspetto, come sembra che abbia fatto la Harvard Business School.

In conclusione, se stai aspettando che l’IA superi la qualità umana prima di adottarla, fallo pure, ma il resto di noi non aspetterà con te.