A/B Testing, Esplorazione vs. Sfruttamento

00:00:08 A/B testing e le sue applicazioni nel marketing e nelle supply chain.
00:01:47 Esempi di A/B testing nel marketing e nelle supply chain.
00:03:41 Problemi con l’A/B testing nelle supply chain e come risolverli.
00:06:02 Problemi di spostamento e interconnessione nell’A/B testing della supply chain.
00:07:45 Le supply chain come sistemi interconnessi e le sfide dell’A/B testing.
00:09:58 Limitazioni dell’A/B testing nella gestione della supply chain.
00:11:45 Apprendimento per rinforzo per le supply chain.
00:13:22 Bilanciare l’esplorazione e lo sfruttamento nella presa di decisioni.
00:15:01 Casualità per una migliore comprensione della supply chain.
00:17:08 Aziende che esplorano fornitori e mercati alternativi.
00:19:39 Quantificare il valore della conoscenza nelle decisioni aziendali.
00:20:52 Come Lokad ottimizza le decisioni aziendali considerando gli effetti di secondo ordine.
00:23:42 L’importanza futura dell’esplorazione e la quantificazione del suo valore per le aziende.

Riassunto

In questa intervista, Kieran Chandler parla con Joannes Vermorel, fondatore di Lokad, dell’A/B testing e delle sue limitazioni nell’ottimizzazione della supply chain. Discutono la storia e le applicazioni dell’A/B testing, che è popolare nel marketing ma meno nella gestione della supply chain. Vermorel sostiene che l’A/B testing non è sufficiente per l’ottimizzazione della supply chain a causa della natura interconnessa delle supply chain e dell’apprendimento limitato che fornisce. Invece, suggerisce di adottare un approccio di machine learning e introdurre casualità nella presa di decisioni. Attraverso l’esplorazione continua di opzioni alternative e la quantificazione della conoscenza, Vermorel ritiene che le aziende all’avanguardia possano migliorare i loro processi di supply chain, guidando l’ottimizzazione e il miglioramento nel tempo.

Riassunto Esteso

In questa intervista, Kieran Chandler discute dell’A/B testing e delle sue applicazioni nell’ottimizzazione della supply chain con Joannes Vermorel, fondatore di Lokad, un’azienda specializzata nell’ottimizzazione della supply chain. Iniziano spiegando cos’è l’A/B testing e la sua storia prima di approfondire le sue applicazioni, limitazioni e alternative.

L’A/B testing, una parte del design sperimentale, consiste nel testare due varianti tra loro per determinarne l’efficacia. Il metodo probabilmente ha avuto origine alla fine del XIX secolo, anche se i documenti non sono chiari a causa della sua natura intuitiva. L’A/B testing fa parte del metodo scientifico e del campo più ampio del design degli esperimenti, che mira a ottenere informazioni veritiere su affermazioni o ipotesi.

L’A/B testing è particolarmente popolare nel marketing, dove viene utilizzato per valutare l’efficacia di materiali promozionali, come newsletter o annunci pubblicitari. Un esempio di A/B testing nel marketing è dividere un database di clienti in due gruppi casuali e inviare la versione A di una newsletter al primo gruppo e la versione B al secondo gruppo. I risultati vengono quindi misurati per determinare quale versione ha ottenuto migliori risultati.

Nei primi anni 2000, Google ha condotto una serie di A/B test per determinare il numero ottimale di risultati di ricerca da visualizzare nella pagina dei risultati del motore di ricerca. I test hanno aiutato l’azienda a bilanciare i tempi di caricamento della pagina e la soddisfazione dell’utente, portando infine alla decisione di visualizzare circa 10 risultati per pagina.

Sebbene l’A/B testing sia meno popolare nella gestione della supply chain, a Lokad viene spesso chiesto, esplicitamente o implicitamente, di condurre test A/B per i propri clienti. Nel contesto della supply chain, l’A/B testing di solito comporta il confronto delle prestazioni di un insieme di negozi gestiti dal sistema di ottimizzazione dell’inventario di Lokad con un insieme di negozi comparabili gestiti dal sistema esistente del cliente. Il confronto viene effettuato nel corso di un periodo, ad esempio tre mesi, e può essere definito come un benchmark o un pilota.

Vermorel sostiene che l’A/B testing può sembrare un approccio razionale per confrontare due metodi, ma può essere problematico per l’ottimizzazione della supply chain a causa della natura interconnessa delle supply chain stesse.

Vermorel spiega che in una supply chain, i problemi spesso vengono spostati anziché risolti. Quando si confronta la performance di due diverse tecniche di ottimizzazione, potrebbero non essere indipendenti, in quanto competono per le stesse risorse. Ciò porta a una situazione in cui l’ottimizzazione di una tecnica può essere fatta a spese dell’altra. La natura interconnessa delle supply chain significa anche che quando una parte viene influenzata, può influenzare altre parti, rendendo difficile isolare e misurare l’impatto di una singola variabile.

Un altro problema dell’A/B testing nel contesto delle supply chain è l’apprendimento limitato che fornisce. L’A/B testing testa solo un’ipotesi alla volta, generando una piccola quantità di informazioni. Questo può essere sufficiente se si cerca una certezza assoluta su qualcosa in cui si crede fortemente, ma le supply chain sono in continua evoluzione e il lento ritmo dell’A/B testing potrebbe non tenere il passo con le esigenze in evoluzione.

Vermorel evidenzia anche il problema della stagionalità, che può influenzare la validità dei risultati dell’A/B testing. Per tenerne conto, un test potrebbe dover essere eseguito per 12 mesi, ma spesso ciò non è fattibile in quanto fornisce solo un singolo dato su quale sistema sia migliore. Inoltre, diversi sistemi potrebbero essere migliori per diversi tipi di prodotti o situazioni, limitando ulteriormente l’utilità dell’A/B testing.

Invece di fare affidamento sull’A/B testing, Vermorel suggerisce di guardare al problema da una prospettiva di machine learning. Questo approccio si concentra sull’estrazione attiva di informazioni dai dati, il che può essere più efficace per comprendere sistemi complessi e interconnessi come le supply chain. Considerando come le decisioni influenzano le osservazioni, diventa possibile apprendere meglio la domanda e ottimizzare le operazioni della supply chain.

Vermorel spiega che le aziende dovrebbero bilanciare l’ottimizzazione dei loro processi attuali con l’esplorazione di opzioni alternative. Ciò potrebbe comportare l’introduzione di casualità nella loro presa di decisioni, il che può aiutare a evitare che le aziende rimangano bloccate in un minimo locale - una situazione in cui pensano di aver trovato la migliore soluzione, ma ne esiste una migliore se si devia dal loro approccio attuale.

Un modo per introdurre casualità è sperimentare con diversi prodotti o fornitori. Ad esempio, una rete di vendita al dettaglio potrebbe aggiungere alcuni prodotti casuali al loro assortimento in ogni negozio o testare fornitori alternativi per valutarne l’affidabilità e l’offerta di prodotti. Le aziende del settore dell’aftermarket automobilistico hanno addirittura adottato questo approccio, passando una parte dei loro ordini a fornitori che inizialmente non offrono i migliori prezzi o condizioni, semplicemente per testare le acque.

Sebbene possa sembrare controintuitivo per le aziende introdurre tale casualità nei loro processi, Vermorel sostiene che questo approccio può effettivamente migliorare la redditività nel lungo periodo. Continuando a imparare sul proprio mercato, le aziende possono scoprire nuove informazioni che possono avere un impatto significativo sul loro bilancio. Ad esempio, potrebbero scoprire che potrebbero aumentare o abbassare i prezzi senza influire sulle vendite, portando a un aumento dei ricavi o a economie di scala.

Incorporare casualità nella presa di decisioni consente alle aziende di testare mercati alternativi, fornitori, punti di prezzo e persino strutture organizzative della supply chain. Questo investimento nell’esplorazione aiuta le aziende a scoprire leggere variazioni che sono più adatte alle loro operazioni, il che a sua volta può stimolare la crescita e migliorare le loro prestazioni complessive.

Joannes Vermorel, fondatore di Lokad, discute dell’importanza di esplorare e quantificare la conoscenza all’interno di un’azienda. Fa riferimento a un articolo che ha pubblicato più di un decennio fa, in cui introduce un algoritmo chiamato “poker price of knowledge and estimated reward” che può aiutare a quantificare il costo e il premio dell’esplorazione. Vermorel sottolinea che le aziende dovrebbero ottimizzare i guadagni effettivi, come i dollari, piuttosto che obiettivi arbitrari. Prevede che le aziende all’avanguardia introdurranno sempre più esplorazione e casualità nei loro processi di supply chain per guidare l’ottimizzazione e migliorare nel tempo.

Trascrizione completa

Kieran Chandler: Oggi parleremo di perché questa tecnica è profondamente debole e capire quali sono alcune delle tecniche alternative che possiamo utilizzare per testare in modo più efficace le nostre supply chain. Quindi, Joannes, forse dovresti iniziare, come sempre, dicendoci un po’ di più su cosa sia il test A/B.

Joannes Vermorel: Il test A/B è un metodo per testare se un’ipotesi è vera o meno, di solito confrontando due gruppi, ma possono essere più di due gruppi. È un po’ confuso quando è stato inventato. Probabilmente indovinerei che è stato inventato verso la fine del XIX secolo, ma i documenti sono confusi e probabilmente perché è qualcosa di così intuitivo, le persone ci hanno pensato molto prima, semplicemente non è stato documentato in modo molto chiaro e non è stato necessariamente chiamato test A/B. La cosa interessante è che fa parte del metodo scientifico, che è nel campo della progettazione degli esperimenti, un modo scientifico per acquisire piccole verità su qualsiasi affermazione che si possa fare. Non dimostrerà che qualsiasi affermazione sia vera, ma può darti una risposta scientifica alla domanda se la tua ipotesi è vera o no.

Kieran Chandler: Quindi, di che tipo di esperimenti stiamo realmente parlando qui?

Joannes Vermorel: Il test A/B è molto popolare nel marketing. Nella supply chain, è molto meno popolare. Nel marketing, viene ampiamente utilizzato per cose come newsletter promozionali. Ad esempio, se stai pubblicizzando un prodotto prima e un altro prodotto dopo, puoi dividere il tuo database clienti in due gruppi casuali, inviare la versione A della tua newsletter al primo gruppo e la versione B al secondo gruppo, e quindi misurare il risultato. È un modo abbastanza efficiente per fare il test A/B.

Kieran Chandler: Quindi, l’idea è che stai inviando due cose e vedi quale funziona meglio?

Joannes Vermorel: Esattamente. Stai testando un’ipotesi. Google, ad esempio, ha fatto una serie di test A/B nei primi anni 2000 solo per determinare quanti risultati di ricerca erano ottimali in termini di visualizzazione. Hanno trovato un equilibrio attraverso il test A/B, che era di circa 10 risultati all’epoca.

Kieran Chandler: Perché è qualcosa che ci interessa qui a Lokad? È qualcosa che i nostri clienti stanno davvero chiedendo?

Joannes Vermorel: Nella supply chain, ci viene spesso chiesto, esplicitamente o talvolta implicitamente, di fare test A/B. Nella supply chain, il test A/B assume un’altra forma. Ad esempio, le persone potrebbero dire: “Facciamo gestire a Lokad 10 negozi con il loro sistema di ottimizzazione dell’inventario, mentre altri 10 negozi comparabili sono gestiti tramite il vecchio sistema. Lo faremo per tre mesi e confrontiamo i risultati”. Potrebbero chiamarlo un benchmark, ma in realtà è un test A/B.

Kieran Chandler: C’è una sorta di test A/B in corso, e sembra abbastanza razionale. Sembra che tu abbia bisogno di un modo per confrontare questi due approcci diversi. Quindi, come funziona effettivamente nel mondo reale?

Joannes Vermorel: Il nocciolo del problema è che sembra ovvio e ragionevole. Potresti dire che sembra un modo ragionevole per confrontare quei due metodi. Cambio solo una variabile, come il software che gestisce le scorte, e mi assicuro che il mio esperimento sia rappresentativo. Quindi, prenderei più negozi e un periodo più lungo, come tre mesi, per garantire la significatività statistica. Tutto questo sembra abbastanza ragionevole e razionale. Ma c’è un “ma” - è più complicato di quanto sembri. I problemi che ho con quei benchmark sono nei miei esempi di razionalismo ingenuo. Sembra molto scientifico, ma in realtà non è super scientifico o razionale; sembra solo.

Il problema nella gestione della supply chain è che tendi a spostare i problemi anziché risolverli. Ad esempio, hai quei 20 negozi nel test. Sembra super razionale. Il problema è che tutti quei negozi competono con le stesse scorte presso il centro di distribuzione. Se volessi imbrogliare, essendo Lokad, il software, potrei migliorare i miei stessi risultati consumando molte scorte, migliorando le prestazioni del mio ambito a spese degli altri negozi. E se hai un benchmark che dice che l’obiettivo è massimizzare le prestazioni di quei dieci negozi, l’ottimizzazione matematica lo farà a spese degli altri negozi. Quindi, c’è un ciclo di feedback tra i negozi perché competono attraverso lo stesso distributore per le stesse scorte presso il centro di distribuzione. Questo accade sempre nelle supply chain; è un sistema ed è interconnesso per design.

Le supply chain consentono guadagni massicci in termini di efficienza, affidabilità, costo e economie di scala. Ma il lato negativo è che, essendo un unico sistema, se tocchi una parte, tendi ad influenzare le altre parti.

Kieran Chandler: Qual sarebbe un approccio migliore allora? Dovresti provare una tecnica per sei mesi in venti sedi e poi un’altra tecnica per sei mesi?

Joannes Vermorel: Un altro problema che ho con questo tipo di benchmark è che si impara molto poco sul proprio sistema. I test A/B sono tipicamente sottovalutati perché si testa solo un’ipotesi alla volta. In termini di informazioni, stiamo parlando di una piccola quantità di informazioni, solo un zero o uno. Non è nemmeno un byte, ma un bit. E nemmeno un bit completo perché avrai solo un grado di fiducia nei tuoi risultati. Quindi, ciò che impari è come una frazione di un bit, che sembra molto poco, ed effettivamente lo è. La principale critica ai test A/B è che si impara molto poco sul proprio sistema.

Kieran Chandler: I test sono utili se si desidera avere una certezza assoluta su qualcosa in cui si ha una forte convinzione. Ad esempio, è possibile fare un test A/B per avere la conferma finale di aver ragione, ma il problema è che si sta assumendo di conoscere già la verità. Ecco perché funziona molto bene per la scienza. Nei metodi scientifici, le persone raccolgono indizi in modi molto indiretti e, una volta raccolti una montagna di indizi, eseguono un test A/B per confermare la loro ipotesi in modo più diretto. Ma sarà molto costoso e lento, e quella sarà la conferma finale, mettendo il chiodo nella bara e chiudendo il caso per sempre.

Joannes Vermorel: Il problema con le supply chain è che le cose cambiano continuamente. La tua rete è una bestia in continua evoluzione. Se vuoi fare un test A/B per ottimizzare la supply chain, potresti aver bisogno di 12 mesi invece di tre a causa della stagionalità. Ma poi, chi può permettersi 12 mesi solo per ottenere una piccola informazione su quale dei due sistemi è il migliore? Ci sono così tante altre alternative sul mercato e solo tanti test che puoi condurre. Il sistema A potrebbe essere migliore per i prodotti a lenta rotazione, mentre il sistema B potrebbe essere migliore per i prodotti ad alta rotazione. Avere solo una piccola informazione è molto debole e non ti darà alcuna indicazione sulla migliore opzione.

Il problema con i test A/B è che stai testando solo due possibili percorsi e in una supply chain ci sono milioni di possibili percorsi. Come possiamo generare informazioni su tutte queste possibilità?

Kieran Chandler: Quindi, in una supply chain, abbiamo milioni di possibili percorsi. Come possiamo generare informazioni su tutte queste possibilità?

Joannes Vermorel: È una domanda molto interessante e una prospettiva più moderna sul caso sarebbe l’apprendimento per rinforzo. Quando si pensa a come funziona un motore di apprendimento, è possibile estrarre informazioni dai dati in modo passivo, come quando i dati arrivano e si vuole imparare, o in modo attivo, quando ciò che si fa influisce su ciò che si osserva, come nel caso della gestione della supply chain. Ad esempio, se decidi di non mettere in vendita un prodotto in un negozio, non osserverai mai la domanda per quel prodotto in quel negozio.

I test A/B sono un modo per acquisire conoscenza, ma sono estremamente lenti. Se dovessi imparare a camminare attraverso test A/B da bambino, ci vorrebbero un milione di anni per imparare a camminare. Sono molto potenti per la certezza scientifica, ma non possono essere il processo che guida un viaggio verso la verità.

Nella gestione della supply chain, una prospettiva più moderna è l’apprendimento per rinforzo, in cui si pensa a un compromesso tra esplorazione e sfruttamento. Hai un’idea di quale sia la cosa giusta, ma non sei completamente convinto che sia sempre la migliore, quindi vuoi fare ciò che viene chiamato esplorazione. Randomizzi un po’ le tue azioni per imparare di più sul sistema.

Kieran Chandler: Hai il tuo processo di ottimizzazione che sta cercando di ottimizzare, sai, secondo metriche specificate, un algoritmo che ti guida verso ciò che pensi sia l’ottimale secondo le tue misurazioni. Ma il problema è che se fai così, puoi rimanere bloccato in un modo di fare le cose, che è, sai, matematicamente è quello che le persone chiamano un minimo locale. Cerchi di minimizzare la tua funzione di costo e sei bloccato in un’area come un minimo locale dove sembra buono. Se ti allontani da questo punto, sembra che tu sia all’ottimo, ma in realtà, se vuoi avere qualcosa di molto migliore, devi divergere.

Joannes Vermorel: Quindi fondamentalmente stiamo parlando di introdurre una certa percentuale della tua decisione, che potrebbe non essere corretta e potrebbe non andare effettivamente con la tua ottimizzazione. Ma si tratta fondamentalmente di introdurre questa certa percentuale di errore potenziale solo per scoprire di più su ciò che potrebbe funzionare. E ovviamente, si tratta di sperimentare. Non si vogliono fare cose folli, ma ad esempio, se si ha una grande rete di vendita al dettaglio, l’idea sarebbe quella di cambiare l’assortimento. Puoi decidere che tutto il tempo in ogni singolo negozio, introdurrai alcuni prodotti che di solito non fanno parte dell’assortimento, praticamente a caso. Ovviamente, non proverai a farlo con articoli super costosi, come una costosa macchina da giardinaggio se hai un negozio che si trova in centro città. Non si fanno cose completamente assurde, ma si introduce un po’ di casualità per vedere se alcuni prodotti non otterrebbero completamente inaspettatamente molto successo solo perché li hai provati in un centro città e di solito pensavi che quel prodotto non fosse adatto a quella zona. Si è scoperto che forse lo è. Quindi si vuole introdurre una sorta di randomizzazione.

Può essere fatto nella supply chain, ad esempio, provare a volte altri fornitori per testare le acque in termini di tempi di consegna. Hai il tuo fornitore di routine e passi solo alcuni ordini ai concorrenti solo per vedere come va. E ho persino visto aziende, nel settore dell’aftermarket automobilistico, ad esempio, avere questo meccanismo automaticamente in atto, in cui una certa frazione degli ordini passati ai fornitori non viene inizialmente passata ai fornitori che offrono il miglior prezzo e le migliori condizioni, ma vengono passati solo per testare le acque e vedere se il fornitore è super affidabile e se i prodotti soddisfano le aspettative in termini di processo di ordinazione, nel senso che quando si ordina una determinata parte, è davvero questa parte che si riceve e non un’altra.

Kieran Chandler: Sembra molto sorprendente perché le aziende, nel complesso, sono normalmente così incentrate sulla redditività e sull’agire nel modo più efficiente possibile, massimizzando il margine di profitto. In realtà, stanno introducendo questi diversi fornitori solo per testare le cose. Ma è una cosa difficile da incorporare?

Joannes Vermorel: Questo è, ancora una volta, direi che l’approccio razionale ingenuo direbbe: “Oh, ottimizziamo direttamente”. Ma questo non è né razionalismo né il miglior approccio. Se inizi a pensare agli effetti di secondo ordine, l’idea è che vuoi sempre imparare qualcosa sul tuo mercato. Vuoi testare fornitori alternativi, mercati alternativi per i tuoi clienti, punti di prezzo alternativi perché l’idea è che la conoscenza ha un prezzo ed è preziosa. Puoi ottenere grandi ricompense.

Potresti essere bloccato, ad esempio, potresti renderti conto che stai vendendo il tuo prodotto a un certo prezzo, ma in realtà potresti aumentare il prezzo e vendere comunque più o meno allo stesso modo. È solo che non hai mai provato; non pensavi che le persone percepissero il tuo prodotto come prezioso come lo sono.

Kieran Chandler: La realtà è che di solito, sai, sei bloccato in ciò che hai fatto finora. Oppure a volte è vero il contrario: in realtà stai vendendo il tuo prodotto a un prezzo troppo alto. E se cercassi di abbassare il prezzo, aumenteresti notevolmente la domanda, e poi avresti economie di scala che entrerebbero in gioco. E potresti effettivamente produrre a un prezzo più economico e avere cose che si ingrandiscono in termini di ottenere molto crescita per l’azienda. Quindi l’idea è che questa randomizzazione che può essere introdotta è effettivamente un investimento che fai nell’idea che scoprirai leggere variazioni che sono più adatte per la tua azienda. Possono essere variazioni nei tuoi punti di prezzo, nei tuoi fornitori o persino nelle tue organizzazioni di supply chain, come ad esempio quale magazzino fornisce quali impianti, o viceversa. C’è un modo per quantificare questa conoscenza e lavorare effettivamente a quanto vale questa conoscenza per un’azienda?

Joannes Vermorel: In realtà, sì. Voglio dire, ho persino pubblicato un articolo più di un decennio fa chiamato “POKER: Prezzo della Conoscenza e Ricompensa Stimata”. Quindi, se vuoi farlo in modo elegante, puoi letteralmente quantificare il costo dell’esplorazione rispetto alla ricompensa dell’esplorazione di ciò che ottieni avendo un certo orizzonte. Perché ovviamente devi continuare a giocare - è l’idea di avere un gioco iterato in cui giochi lo stesso gioco più e più volte. E quando esplori, fai cose che sono tipicamente meno ottimali, ma a volte trovi un punto dolce, e poi puoi sfruttare questa scoperta. Ma l’idea è che per fare ciò, devi avere un algoritmo, specialmente, direi, sul lato dell’apprendimento automatico, che possa davvero sfruttare questo rumore nei tuoi dati e sfruttarlo per imparare non solo un po’ di informazioni ma molto di più. E ancora una volta, questo non è solo come un test A/B in cui stai solo stabilendo la tua percentuale o qualcosa del genere. È qualcosa che è in grado di catturare, direi, modelli molto più sfumati in cui hai tonnellate di effetti interconnessi e che possono guidare una migliore performance in una situazione molto ad alta dimensionalità.

Kieran Chandler: Come si inserisce questo approccio in ciò che facciamo qui da Lokad? Perché quello che facciamo qui da Lokad è un po’ ottimizzare quelle decisioni aziendali che possono essere prese in qualsiasi momento. Introdurre un po’ di rumore, fare cose che sono intenzionalmente un po’ sbagliate.

Joannes Vermorel: Sì, e questo va fondamentalmente contro quella convinzione. Voglio dire, non la mia convinzione, ma quando si vuole davvero considerare gli effetti di secondo ordine. Da Lokad, cerchiamo davvero di applicare non l’irrazionalismo, ma di cercare di essere razionali, tenendo conto di quegli altri effetti che sono malvagi. Durante il primo decennio di Lokad, per la grande maggioranza dei nostri clienti, non stavano nemmeno ottimizzando nulla. Stavano ottimizzando percentuali di errore, che secondo me non è nemmeno un’ottimizzazione. Se ottimizzi percentuali di errore, non sai nemmeno cosa stai facendo per la tua azienda. Devi ottimizzare i dollari. Il primo passo è passare a un processo di ottimizzazione in cui cerchi effettivamente di ottimizzare, anziché ripetere obiettivi completamente arbitrari. Ora, quello che vediamo è che con i nostri clienti più avanzati, specialmente nel settore dell’e-commerce, ora che questo processo di ottimizzazione è in atto, l’idea di esplorazione inizia a emergere. Inizia tipicamente con cose come la determinazione dei prezzi, che ancora una volta, dal mio punto di vista, rientra molto nell’ambito della supply chain perché è da lì che proviene la domanda. Devi avere un buon prezzo, e il prezzo spiega la domanda per una grande parte. Ma il prezzo non è certamente l’unico ambito in cui vuoi fare esplorazione. Quello che vedo per i prossimi anni è che penso che le aziende per rimanere all’avanguardia, devono avere l’ambizione di essere all’avanguardia per quanto riguarda la loro supply chain. Introdurranno sempre di più l’idea di un po’ di esplorazione e randomizzazione, solo per generare risultati che guidano il processo di ottimizzazione stesso e lo migliorano nel tempo.

Kieran Chandler: Quindi, per concludere, si può vedere che in futuro ci sarà un momento in cui si darà un’importanza molto maggiore a questo tipo di esplorazione e all’importanza di quantificare quanto ti dà come azienda in termini di conoscenza.

Joannes Vermorel: Esattamente, perfetto.

Kieran Chandler: Bene, dobbiamo concludere qui per oggi. Grazie per il tuo tempo.

Joannes Vermorel: Questo è tutto per oggi. Grazie mille per averci seguito, e ci vediamo la prossima volta.

Kieran Chandler: Grazie per aver guardato.