00:00:08 A/B testing e le sue applicazioni nel marketing e nelle supply chains.
00:01:47 Esempi di A/B testing nel marketing e nelle supply chains.
00:03:41 Problemi con l’A/B testing nelle supply chains e come esso sposta i problemi.
00:06:02 Questioni di spostamento e interconnessione nell’A/B testing delle supply chains.
00:07:45 Le supply chains come sistemi interconnessi e le sfide dell’A/B testing.
00:09:58 Limitazioni dell’A/B testing nel supply chain management.
00:11:45 Reinforcement learning applicato alle supply chains.
00:13:22 Bilanciare esplorazione e sfruttamento nel processo decisionale.
00:15:01 Casualità per migliori approfondimenti sul supply chain.
00:17:08 Aziende che esplorano fornitori e mercati alternativi.
00:19:39 Quantificare il valore della conoscenza nel processo decisionale aziendale.
00:20:52 Come Lokad ottimizza le decisioni aziendali considerando effetti di secondo ordine.
00:23:42 L’importanza futura dell’esplorazione e la quantificazione del suo valore per le aziende.
Riassunto
In questa intervista, Kieran Chandler parla con Joannes Vermorel, il fondatore di Lokad, dell’A/B testing e delle sue limitazioni nell’ottimizzazione del supply chain. Discutono la storia e le applicazioni dell’A/B testing, che è popolare nel marketing ma meno nel supply chain management. Vermorel sostiene che l’A/B testing sia insufficiente per l’ottimizzazione del supply chain a causa della natura interconnessa delle supply chains e del limitato apprendimento che offre. Invece, suggerisce di adottare un approccio basato su machine learning e di introdurre la casualità nel decision-making. Esplorando continuamente opzioni alternative e quantificando la conoscenza, Vermorel crede che le aziende all’avanguardia possano migliorare i loro processi nel supply chain, guidando l’ottimizzazione e il miglioramento nel tempo.
Riassunto Esteso
In questa intervista, Kieran Chandler discute l’A/B testing e le sue applicazioni nell’ottimizzazione del supply chain con Joannes Vermorel, il fondatore di Lokad, una società software specializzata nell’ottimizzazione del supply chain. Iniziano spiegando cos’è l’A/B testing e la sua storia, per poi approfondire le sue applicazioni, limitazioni e alternative.
L’A/B testing, una sottocategoria del design sperimentale, consiste nel testare due varianti l’una contro l’altra per determinarne l’efficacia. Il metodo probabilmente ebbe origine alla fine del XIX secolo, anche se le fonti sono imprecise a causa della sua natura intuitiva. L’A/B testing fa parte del metodo scientifico e del più ampio campo del design degli esperimenti, che mira ad acquisire frammenti di verità riguardo a enunciati o ipotesi.
L’A/B testing è particolarmente popolare nel marketing, dove viene utilizzato per valutare l’efficacia dei materiali promozionali, come newsletter o pubblicità. Un esempio di A/B testing nel marketing consiste nel dividere un database di clienti in due gruppi casuali, inviando la versione A di una newsletter al primo gruppo e la versione B al secondo, per poi misurare i risultati e determinare quale versione abbia performato meglio.
All’inizio degli anni 2000, Google condusse una serie di test A/B per determinare il numero ottimale di risultati di ricerca da visualizzare sulla pagina dei risultati del motore di ricerca. I test aiutarono l’azienda a bilanciare i tempi di caricamento della pagina e la soddisfazione degli utenti, portando alla decisione di mostrare circa 10 risultati per pagina.
Sebbene l’A/B testing sia meno popolare nel supply chain management, a Lokad viene spesso richiesto, esplicitamente o implicitamente, di eseguire test A/B per i propri clienti. Nel contesto del supply chain, l’A/B testing solitamente comporta il confronto delle prestazioni di un gruppo di negozi gestiti dal sistema di ottimizzazione dell’inventario di Lokad con un gruppo di negozi comparabili, gestiti dal sistema esistente del cliente. Il confronto viene effettuato su un periodo, ad esempio tre mesi, e può essere definito come benchmark o pilota.
Vermorel sostiene che l’A/B testing possa sembrare un approccio razionale per confrontare due metodi, ma può risultare problematico per l’ottimizzazione del supply chain a causa della natura interconnessa delle supply chains.
Vermorel spiega che in un supply chain i problemi vengono spesso spostati anziché risolti. Confrontando le prestazioni di due tecniche di ottimizzazione differenti, queste potrebbero non essere indipendenti, poiché competono per le stesse risorse. Ciò porta a una situazione in cui l’ottimizzazione di una tecnica avviene a scapito dell’altra. La natura interconnessa delle supply chains significa inoltre che, se una parte viene influenzata, essa può influire sulle altre, rendendo difficile isolare e misurare l’impatto di una singola variabile.
Un altro problema dell’A/B testing nel contesto delle supply chains è il limitato apprendimento che offre. L’A/B testing testa solo un’ipotesi alla volta, generando una quantità minima di informazioni. Questo può bastare se si cerca una certezza assoluta su qualcosa in cui si crede fermamente, ma le supply chains sono in costante evoluzione e il ritmo lento dell’A/B testing potrebbe non tenere il passo con le esigenze in cambiamento.
Vermorel sottolinea anche il problema della stagionalità, che può influire sulla validità dei risultati dei test A/B. Per tenerne conto, un test potrebbe dover durare 12 mesi, ma ciò spesso non è fattibile poiché fornisce solo un’informazione limitata su quale sistema sia migliore. Inoltre, sistemi differenti potrebbero essere più adatti per diversi tipi di prodotti o situazioni, limitando ulteriormente l’utilità dell’A/B testing.
Invece di fare affidamento sull’A/B testing, Vermorel suggerisce di analizzare il problema da una prospettiva di machine learning. Questo approccio si concentra sull’estrazione attiva di informazioni dai dati, risultando più efficace per comprendere sistemi complessi e interconnessi come le supply chains. Considerando come le decisioni influenzano le osservazioni, diventa possibile apprendere meglio la domanda e ottimizzare il supply chain delle operazioni.
Vermorel spiega che le aziende dovrebbero bilanciare l’ottimizzazione dei processi attuali con l’esplorazione di opzioni alternative. Ciò potrebbe comportare l’introduzione della casualità nel processo decisionale, per evitare che le aziende rimangano intrappolate in un minimo locale – una situazione in cui si pensa di aver trovato la soluzione migliore, mentre ne esiste una migliore se ci si discosta dall’approccio corrente.
Un modo per introdurre la casualità è sperimentare con prodotti o fornitori differenti. Ad esempio, una rete di vendita al dettaglio potrebbe aggiungere alcuni prodotti casuali al proprio assortimento in ogni negozio o testare fornitori alternativi per valutarne l’affidabilità e l’offerta. Aziende nel settore aftermarket automobilistico hanno persino adottato questo approccio, destinando una parte degli ordini a fornitori che inizialmente non offrono i migliori prezzi o condizioni, semplicemente per sondare il mercato.
Anche se potrebbe sembrare controintuitivo che le aziende introducano tale casualità nei loro processi, Vermorel sostiene che questo approccio possa in realtà migliorare la redditività a lungo termine. Imparando continuamente dal mercato, le aziende possono scoprire nuove intuizioni che potrebbero avere impatti significativi sul loro fatturato. Ad esempio, potrebbero rendersi conto di poter aumentare o diminuire i prezzi senza intaccare le vendite, portando a maggiori ricavi o economie di scala.
Integrare la casualità nel processo decisionale permette alle aziende di testare mercati, fornitori, fasce di prezzo e persino strutture organizzative alternative del supply chain. Questo investimento nell’esplorazione aiuta le aziende a scoprire lievi variazioni più adatte alle loro operazioni, contribuendo così a stimolare la crescita e a migliorare le performance complessive.
Joannes Vermorel, fondatore di Lokad, discute l’importanza di esplorare e quantificare la conoscenza all’interno di un’azienda. Cita un documento pubblicato oltre un decennio fa, in cui viene introdotto un algoritmo chiamato “poker price of knowledge and estimated reward” che può aiutare a quantificare il costo e il beneficio dell’esplorazione. Vermorel sottolinea che le aziende dovrebbero ottimizzare per guadagni reali, come i dollari, piuttosto che per obiettivi arbitrari. Prevede che le aziende all’avanguardia introdurranno sempre più l’esplorazione e la randomizzazione nei loro processi del supply chain per guidare l’ottimizzazione e il miglioramento nel tempo.
Trascrizione Completa
Kieran Chandler: Oggi discuteremo del motivo per cui questa tecnica è profondamente debole e cercheremo di capire quali siano alcune delle tecniche alternative che possiamo utilizzare per testare i nostri supply chains in modo più efficace. Quindi, Joannes, forse potresti iniziare, come sempre, raccontandoci un po’ di più su cos’è l’A/B testing.
Joannes Vermorel: L’A/B testing è un metodo per verificare se un’ipotesi sia vera o meno, tipicamente confrontando due gruppi, anche se può coinvolgere più di due gruppi. Le origini non sono del tutto chiare; probabilmente fu inventato verso la fine del XIX secolo, ma le fonti sono imprecise e, forse, essendo qualcosa di così intuitivo, le persone ci avevano pensato molto prima, sebbene non sia stato documentato in modo chiaro né chiamato necessariamente A/B testing. La cosa interessante è che fa parte del metodo scientifico, appartenente al campo del design degli esperimenti, un modo scientifico per acquisire frammenti di verità riguardo a qualsiasi affermazione si possa fare. Non dimostrerà che un’affermazione sia vera, ma può fornire una risposta scientifica alla domanda se la tua ipotesi sia corretta o meno.
Kieran Chandler: Quindi, di che tipo di esperimenti stiamo parlando qui?
Joannes Vermorel: L’A/B testing è estremamente popolare nel marketing. Nel supply chain, è molto meno diffuso. Nel marketing viene ampiamente utilizzato per, ad esempio, le newsletter promozionali. Se stai pubblicizzando un prodotto prima e un altro dopo, puoi dividere il tuo database clienti in due gruppi casuali, inviare la versione A della newsletter al primo gruppo e la versione B al secondo, per poi misurare il risultato. È un modo abbastanza efficiente per fare A/B testing.
Kieran Chandler: Quindi, l’idea è che invii due varianti e vedi quale performa meglio?
Joannes Vermorel: Esattamente. Stai testando un’ipotesi. Google, ad esempio, ha condotto una serie di test A/B all’inizio degli anni 2000 per determinare quanti risultati di ricerca fossero ottimali in termini di visualizzazione. Hanno trovato un equilibrio attraverso l’A/B testing, che all’epoca si aggirava intorno a 10 risultati.
Kieran Chandler: Perché questo argomento interessa a noi di Lokad? È qualcosa che i nostri clienti richiedono davvero?
Joannes Vermorel: Nel supply chain ci viene spesso chiesto, esplicitamente o implicitamente, di eseguire test A/B. Nel contesto del supply chain l’A/B testing assume un’altra forma. Ad esempio, qualcuno potrebbe dire: “Facciamo gestire a Lokad 10 negozi con il loro sistema di ottimizzazione dell’inventario, mentre 10 altri negozi comparabili vengono gestiti con il vecchio sistema. Lo sperimentiamo per tre mesi e confrontiamo i risultati.” Potrebbero chiamarlo benchmark, ma in realtà si tratta di un test A/B.
Kieran Chandler: C’è una specie di test A/B in corso, e sembra abbastanza razionale. Sembra che ci sia bisogno di un modo per confrontare questi due approcci differenti. Quindi, come funziona realmente nel mondo reale?
Le supply chains consentono guadagni massicci in termini di efficienza, affidabilità, costi ed economie di scala. Tuttavia, l’aspetto negativo è che, essendo un sistema unico, se si modifica una parte essa tende a influenzare le altre.
Kieran Chandler: Quale sarebbe allora un approccio migliore? Dovresti provare una tecnica per sei mesi in venti sedi e poi un’altra tecnica per sei mesi?
Joannes Vermorel: Un altro problema che ho con questo tipo di benchmark è che si impara ben poco sul proprio sistema. L’A/B testing è solitamente sottovalutato perché si testa solo un’ipotesi alla volta. In termini di informazione, si parla di una minima quantità, praticamente uno zero o uno. Non si tratta nemmeno di un byte, ma di un bit, e neppure di un bit intero, dato che ottieni solo un certo grado di confidenza nei risultati. In sostanza, quanto impari equivale a una frazione di un bit, che risulta davvero poco. La critica principale all’A/B testing è proprio questa scarsa capacità di apprendimento del sistema.
Kieran Chandler: La prova è utile se vuoi avere una certezza assoluta su qualcosa per cui senti una forte convinzione. Ad esempio, puoi eseguire un test A/B per avere la conferma finale di avere ragione, ma il problema è che stai presumendo di conoscere già la verità. È per questo che funziona molto bene per la scienza. Nei metodi scientifici, le persone raccolgono indizi in modi molto indiretti, e una volta raccolta una montagna di indizi, eseguono un test A/B per confermare la loro ipotesi in maniera più diretta. Tuttavia, sarà molto costoso e lento, e quella sarà la conferma finale, il colpo di grazia che chiude il caso per sempre.
Joannes Vermorel: Il problema con le supply chains è che le cose cambiano continuamente. La tua rete è una bestia in costante mutamento. Se vuoi fare un test A/B per l’ottimizzazione della supply chain, potresti aver bisogno di 12 mesi invece di tre a causa della stagionalità. Ma poi, chi può permettersi 12 mesi solo per ottenere un’informazione su quale dei due sistemi sia il migliore? Ci sono così tante alternative sul mercato, e solo un numero limitato di prove può essere condotto. Il sistema A potrebbe essere migliore per i movimenti lenti, mentre il sistema B potrebbe essere migliore per quelli ad alta rotazione. Avere solo un’informazione è molto debole e non ti darà alcun spunto sulla scelta migliore.
Il problema con il test A/B è che stai testando solo due possibilità, e in una supply chain ci sono milioni di percorsi possibili. Come possiamo generare informazioni su tutte queste possibilità?
Kieran Chandler: Quindi, in una supply chain, abbiamo milioni di percorsi possibili. Come possiamo generare informazioni su tutte queste possibilità?
Joannes Vermorel: È una domanda molto interessante, e una prospettiva più moderna sul caso sarebbe l’apprendimento per rinforzo. Quando vuoi capire come funziona un motore di apprendimento, puoi estrarre informazioni dai dati in modo passivo, dove i dati arrivano e tu impari, oppure in modo attivo, dove ciò che fai influenza ciò che osservi, come accade nella supply chain management. Ad esempio, se decidi di non mettere un prodotto in vendita in un negozio, non osserverai mai la domanda per quel prodotto in quel negozio.
Il test A/B è un modo per acquisire conoscenza, ma è incredibilmente lento. Se un bambino dovesse imparare a camminare attraverso test A/B, ci vorrebbe un milione di anni per imparare a camminare. È molto potente per ottenere una certezza scientifica, ma non può essere il processo che guida il percorso verso la verità.
Nella supply chain management, una prospettiva più moderna è l’apprendimento per rinforzo, in cui si considera un compromesso tra esplorazione e sfruttamento. Hai un’ipotesi su quale possa essere la soluzione ottimale, ma non sei completamente convinto che sia sempre la migliore, quindi desideri procedere con quella che si chiama esplorazione. Randomizzi un po’ le tue azioni per conoscere meglio il sistema.
Kieran Chandler: Hai il tuo processo di ottimizzazione che cerca di ottimizzare, sai, secondo metriche specificate, un certo algoritmo che ti guida verso quella che consideri l’ottimale in base alle tue misurazioni. Ma il problema è che, facendo così, potresti rimanere bloccato in un modo di operare che, matematicamente, è quello che viene chiamato un minimo locale. Cerchi di minimizzare la tua funzione di costo e rimani intrappolato in un’area, un minimo locale, dove tutto sembra buono. Se ti discosti da questo punto, sembrerebbe che tu abbia raggiunto l’ottimo, ma in realtà, se vuoi ottenere qualcosa di decisamente migliore, devi divergere.
Joannes Vermorel: Quindi, fondamentalmente, stiamo parlando di introdurre una certa percentuale nelle tue decisioni, che in realtà potrebbe non essere corretta e non allinearsi con la tua ottimizzazione. Ma si tratta sostanzialmente di introdurre una certa percentuale di potenziale errore solo per scoprire di più su ciò che potrebbe funzionare. E ovviamente, si tratta di sperimentare. Non vuoi fare cose folli, ma ad esempio, se hai una grande rete di vendita al dettaglio, l’idea sarebbe quella di cambiare il tuo assortimento. Puoi decidere che, ogni volta, in ogni singolo negozio, introdurrai alcuni prodotti che normalmente non fanno parte dell’assortimento, più o meno a caso. Ovviamente, non lo farai con articoli super costosi, come una costosa macchina da giardinaggio se hai un negozio nel centro di una città. Non compi azioni completamente assurde, ma introduci un po’ di casualità per verificare se alcuni prodotti potrebbero, inaspettatamente, riscuotere molto successo solo perché li hai provati in un centro città, anche se in genere ritenevi che quel prodotto non si adattasse bene a quell’area. Si scopre che, forse, lo è. Quindi vuoi introdurre una certa randomizzazione.
Questo può essere fatto nella supply chain, per esempio, provando talvolta altri fornitori per sondare i tempi di lead times. Hai il tuo fornitore abituale e invii semplicemente alcuni ordini ai concorrenti per vedere come va. E ho anche visto aziende, ad esempio nell’aftermarket automobilistico, che automatizzano questo processo, dove una certa frazione degli ordini destinati ai fornitori non viene inizialmente affidata a quelli che offrono il prezzo migliore e le condizioni ottimali, ma viene comunque affidata per testare l’affidabilità del fornitore e verificare se i prodotti soddisfano le aspettative in termini di processo di ordinazione, ovvero che quando ordini una certa parte, sia quella stessa parte a venire consegnata e non un’altra.
Kieran Chandler: Sembrerebbe sorprendente, perché le aziende, in generale, sono così orientate alla redditività e all’agire nel modo più efficiente possibile, massimizzando l’utile netto. Eppure stanno introducendo questi fornitori differenti solo per sperimentare. Ma è difficile incorporare tutto ciò?
Joannes Vermorel: Questa, ancora una volta, direi che l’approccio razionale ingenuo direbbe: “Oh, ottimizziamo direttamente.” Ma ciò non è né razionalismo né il miglior approccio. Se inizi a considerare gli effetti di secondo ordine, l’idea è che devi sempre imparare qualcosa sul tuo mercato. Vuoi testare fornitori alternativi, mercati alternativi per i tuoi clienti, punti di prezzo alternativi, perché l’idea è che la conoscenza ha un prezzo ed è preziosa. Puoi ottenere grandi ricompense.
Potresti rimanere bloccato, per esempio, potresti renderti conto che stai vendendo il tuo prodotto a un certo prezzo, ma in realtà potresti aumentarlo e venderlo comunque quasi allo stesso modo. È solo che non ci hai mai provato; non pensavi che le persone percepissero il tuo prodotto come prezioso quanto lo è.
Kieran Chandler: La realtà è che, solitamente, rimani intrappolato in ciò che hai fatto finora. O, a volte, il contrario potrebbe essere vero – in realtà stai vendendo il tuo prodotto a un prezzo troppo alto. E se provassi ad abbassare il prezzo, la domanda aumenterebbe notevolmente, facendo scattare economie di scala. Poi potresti effettivamente produrre a un costo inferiore e ottenere un effetto a catena che genera una notevole crescita per l’azienda. Quindi, l’idea è che questa randomizzazione che può essere introdotta è in realtà un investimento basato sull’idea che scoprirai lievi variazioni più adatte alla tua azienda. Possono essere variazioni nei tuoi punti di prezzo, nei tuoi fornitori, o anche nelle organizzazioni della supply chain, come quale warehouse fornisce a quali impianti, o viceversa. Esiste qualche modo per quantificare questa conoscenza e misurare quanto effettivamente valga per un’azienda?
Joannes Vermorel: In realtà, sì. Anzi, ho addirittura pubblicato un articolo più di un decennio fa intitolato “POKER: Price of Knowledge and Estimated Reward.” Quindi, se vuoi farlo in modo sofisticato, puoi letteralmente quantificare il costo dell’esplorazione rispetto al vantaggio di ciò che ottieni con un certo orizzonte temporale. Perché ovviamente devi continuare a giocare – è l’idea di avere un gioco iterato in cui giochi lo stesso gioco più e più volte. E quando esplori, beh, fai cose che sono tipicamente meno ottimali, ma a volte colpisci il punto giusto e, successivamente, puoi sfruttare quella scoperta. Ma l’idea è che, per fare ciò, hai bisogno di un algoritmo, soprattutto, direi, nell’ambito del machine learning, che possa davvero trarre vantaggio da questo rumore nei tuoi dati e sfruttarlo per imparare non solo qualche informazione, ma molto di più. E, ancora, non si tratta semplicemente di un test A/B in cui stai stabilendo una percentuale o qualcosa del genere. È qualcosa in grado di catturare, direi, schemi molto più sfumati in cui ci sono tonnellate di effetti interconnessi che possono guidare una performance migliore in una situazione ad altissima dimensionalità.
Kieran Chandler: Come si inserisce questo approccio in ciò che facciamo qui a Lokad? Perché quello che facciamo qui a Lokad è, in un certo senso, ottimizzare quelle decisioni aziendali che possono essere prese in un determinato momento. In un certo modo, introducendo questo genere di rumore, facendo cose che sono intenzionalmente un po’ sbagliate.
Joannes Vermorel: Sì, e questo va fondamentalmente contro quella convinzione. Voglio dire, non è la mia convinzione, ma quando vuoi davvero considerare gli effetti di secondo ordine. A Lokad cerchiamo veramente di non applicare l’irrazionalismo, ma di essere razionali, tenendo conto di quegli altri effetti che sono ingannevoli. Durante il primo decennio di Lokad, per la stragrande maggioranza dei nostri clienti, non si stava nemmeno ottimizzando nulla. Si ottimizzavano le percentuali di errore, che a mio parere non costituiscono affatto una vera ottimizzazione. Se ottimizzi le percentuali di errore, non sai davvero cosa stai facendo per la tua azienda. Devi ottimizzare in termini di dollari. Il primo passo è passare a un processo di ottimizzazione in cui tenti effettivamente di ottimizzare, anziché replicare obiettivi completamente arbitrari. Ora, ciò che osserviamo è che, con i nostri clienti più avanzati, soprattutto nel settore dell’e-commerce, ora che questo processo di ottimizzazione è in atto, l’idea dell’esplorazione comincia a emergere. Tipicamente inizia con aspetti come il pricing, che, ancora una volta, dal mio punto di vista, rientra molto nell’ambito della supply chain perché è da lì che proviene la domanda. Devi avere un buon prezzo, e il prezzo spiega in larga parte la domanda. Ma il prezzo sicuramente non è l’unica area in cui vuoi fare esplorazione. Quello che prevedo per i prossimi anni è che, per rimanere all’avanguardia, le aziende dovranno avere l’ambizione di essere all’avanguardia anche per quanto riguarda la loro supply chain. Introducono sempre più l’idea di una certa esplorazione e randomizzazione, solo per generare risultati che alimentino il processo di ottimizzazione stesso e lo migliorino col tempo.
Kieran Chandler: Quindi, per concludere, si può intravedere un futuro in cui si attribuirà un’importanza molto maggiore a questo tipo di esplorazione e all’importanza di quantificare quanto ciò ti apporti in termini di conoscenza per l’azienda.
Joannes Vermorel: Esattamente, perfetto.
Kieran Chandler: Va bene, per oggi dobbiamo concludere qui. Grazie per il tuo tempo.
Joannes Vermorel: Questo è tutto per oggi. Grazie mille per averci seguito, e ci vediamo ancora la prossima volta.
Kieran Chandler: Grazie per aver guardato.
