00:00:07 Introduzione a Kaggle e ospite Rafael de Rezende.
00:00:39 Ruolo e background di Rafael presso Lokad.
00:01:29 Kaggle e le sue competizioni di machine learning.
00:04:22 La natura competitiva e collaborativa di Kaggle.
00:06:55 Impatto della collaborazione sulla creatività nelle competizioni di Kaggle.
00:08:02 La competizione M5 e il suo ambito (previsione delle vendite per 30.000 SKU nei negozi Walmart).
00:08:39 La funzione di perdita Pinball come metrica di valutazione.
00:10:26 I membri del team e i loro ruoli specifici nella competizione.
00:12:05 La differenza tra le metodologie di competizione e le applicazioni nella vita reale.
00:14:25 Analisi delle prime 10 soluzioni e la loro vicinanza nelle prestazioni.
00:16:00 Discussione sui costi operativi e sulla manutenibilità dei modelli.
00:17:47 Importanza della stabilità numerica in scenari reali.
00:19:21 Estensibilità e vincoli del mondo reale nei modelli di competizione.
00:20:35 Possibili miglioramenti e focus futuri dopo la competizione.
00:22:14 Importanza dell’esperienza nel settore e confronto delle prestazioni con lo stato dell’arte.
Riassunto
In un’intervista con Kieran Chandler, Joannes Vermorel e Rafael de Rezende di Lokad discutono della loro partecipazione a una competizione Kaggle che riguarda la previsione delle vendite di Walmart. Sottolineano l’importanza che i modelli siano numericamente stabili, manutenibili ed estensibili. Nonostante i vincoli, il loro approccio ha portato a risultati vicini allo stato dell’arte, convalidando il loro focus su metodi pratici, economici e manutenibili di ottimizzazione della supply chain. L’esperienza ha dimostrato i vantaggi di essere esperti sia di supply chain che di scienze dei dati. Il team ha ora intenzione di implementare le conoscenze acquisite per migliorare le soluzioni per i propri clienti.
Riassunto Esteso
In questa intervista, l’ospite Kieran Chandler parla con Joannes Vermorel, fondatore di Lokad, e Rafael de Rezende, Responsabile dello Sviluppo del Prodotto presso Lokad. Entrambi gli ospiti hanno una formazione in ottimizzazione della supply chain e portano la loro esperienza nella discussione di una recente competizione Kaggle che riguarda la distribuzione dell’incertezza delle vendite di Walmart.
Rafael de Rezende si presenta come un ingegnere industriale con una formazione in supply chain. Ha lavorato presso Lokad negli ultimi tre anni e il suo ruolo si è evoluto nel corso del tempo. Attualmente, ricopre il ruolo di Responsabile dello Sviluppo del Prodotto, guidando un team che si occupa degli argomenti “geeky” presso Lokad. Lavorano principalmente sulla previsione delle serie temporali, nonché sulla risoluzione delle immagini a più scale e sul sistema MOQ, che è stato discusso in precedenza nello show.
Joannes Vermorel fornisce una panoramica della competizione Kaggle in questione e di Kaggle stesso, descrivendolo come una “sottocultura molto specifica”. Kaggle, ora di proprietà di Google, è un’organizzazione che ospita competizioni di apprendimento automatico in cui i partecipanti devono prevedere o pronosticare determinati risultati. Le aziende forniscono tipicamente un set di dati e offrono grandi premi in denaro per incentivare la partecipazione. Nel caso della competizione sulle vendite di Walmart, erano in palio 100.000 dollari.
L’ambiente in queste competizioni è altamente competitivo, attirando centinaia di professionisti esperti negli ultimi algoritmi e pubblicazioni. Nonostante la sua natura di nicchia, Kaggle ha una presenza globale significativa, vantando oltre un milione di partecipanti registrati. I concorrenti non sono necessariamente ricercatori stessi, ma sono abili nell’individuare gli algoritmi all’avanguardia per un determinato problema. Trovano poi miglioramenti minori per ottenere un leggero vantaggio sugli altri e alla fine vincere la competizione.
Secondo Vermorel, i vincitori di Kaggle sono tipicamente provenienti dal Nord America o dall’Asia, ma vantano una comunità mondiale di partecipanti. L’acquisizione della piattaforma da parte di Google sottolinea ulteriormente la sua crescente popolarità e importanza nel campo dell’apprendimento automatico e della scienza dei dati.
Vermorel e Rezende apprezzano entrambi l’analogia con lo sport quando si tratta della competizione. Mettono in evidenza l’approccio collaborativo all’evento, con i partecipanti che si aiutano a vicenda a migliorare le proprie competenze. Allo stesso tempo, riconoscono la feroce competizione che si verifica a causa degli incentivi monetari e del coinvolgimento di grandi organizzazioni.
Il team di Lokad era nuovo in questa competizione, ma aveva esperienza precedente con competizioni intense nella gestione della supply chain. Rezende riconosce che il livello di competizione in questo evento era molto più alto rispetto alle sfide precedenti affrontate.
Alcuni critici sostengono che la natura collaborativa della competizione possa ostacolare la creatività, poiché i partecipanti potrebbero abbandonare le proprie idee e seguire l’esempio delle soluzioni con punteggio più alto. Questo effetto di gregge potrebbe limitare il pensiero innovativo.
Dal punto di vista aziendale, Vermorel è contento che il team abbia partecipato alla competizione, anche se la vittoria non faceva parte della roadmap strategica di Lokad. Crede che tali competizioni chiariscano lo stato dell’arte nel campo senza necessariamente cambiarlo in modo fondamentale. In questa competizione specifica, il team, guidato da Rezende, si è classificato sesto su 909 squadre in una sfida di previsione delle vendite che coinvolgeva 30.000 SKU nei negozi Walmart per 28 giorni.
Vermorel trova interessante che questa competizione abbia utilizzato una funzione di perdita pinball come metrica di punteggio per la prima volta, qualcosa che Lokad aveva proposto anni prima. Spiega che le previsioni dei quantili sono accompagnate da un bias intenzionale per garantire la disponibilità dei prodotti nei negozi, puntando a un alto livello di servizio. Questa competizione ha esplicitamente dichiarato l’uso di una previsione dei quantili, che era una novità nel campo.
Il team di Rezende era composto da quattro persone, ognuna con un ruolo specifico. Hanno lavorato sul modello principale, analizzato i dati e costruito l’infrastruttura per la competizione. Come capo squadra, Rezende si è concentrato nel mantenere tutti motivati e lavorare insieme.
L’intervista si conclude con Rezende che confronta il loro approccio con un’analogia sportiva, implicando che potrebbero aver adottato un approccio unico o strategico alla competizione.
La conversazione ruotava attorno alle differenze tra i modelli di competizione e le applicazioni reali nell’ottimizzazione della supply chain.
I partecipanti hanno confrontato i modelli di competizione con le auto di Formula 1, che sono ottimizzate per tracciati specifici ma non pratiche per un uso quotidiano. Hanno osservato che i metodi utilizzati nelle competizioni sono computazionalmente costosi e non sempre adatti a scenari reali. Ad esempio, i primi dieci vincitori di una recente competizione hanno impiegato circa 10 ore per elaborare un piccolo sottoinsieme dei dati di Walmart, il che sarebbe impraticabile per le operazioni reali.
Vermorel e de Rezende hanno spiegato che Lokad ha adottato un approccio diverso utilizzando un quadro teorico simile alle loro operazioni quotidiane, apportando solo piccoli aggiustamenti per scopi di competizione. Hanno sottolineato l’importanza di essere prima di tutto professionisti della supply chain, utilizzando la loro esperienza e intuizione per guidare le decisioni.
Gli intervistati hanno anche sottolineato che le prime 10 soluzioni nella competizione erano numericamente molto vicine, con solo piccole differenze nelle loro prestazioni. Hanno identificato tre preoccupazioni chiave che rendono i modelli di competizione diversi dalle soluzioni di supply chain del mondo reale: costo operativo, manutenibilità e adattabilità alle condizioni imperfette. L’approccio di Lokad, al contrario, si è concentrato sulla minimizzazione dei costi di calcolo e sulla garanzia di manutenibilità, tenendo conto anche degli ostacoli e delle imperfezioni del mondo reale.
Nel complesso, la discussione ha evidenziato la necessità di metodi di ottimizzazione della supply chain pratici, economici e manutenibili che possano essere applicati in scenari reali, anziché approcci puramente teorici o basati sulla competizione.
Parlano dell’importanza di avere modelli che siano numericamente stabili, manutenibili ed estendibili. La stabilità numerica garantisce che i modelli possano gestire dati imperfetti e non produrre risultati estremamente inaccurati. La manutenibilità significa che il modello può funzionare bene anche in condizioni meno ideali. L’estensibilità consente di incorporare nel modello fattori aggiuntivi, come i livelli di stock e le future promozioni.
Il team ha partecipato a una competizione di previsione che ha enfatizzato l’importanza della conoscenza di dominio nell’ottimizzazione della supply chain. Nonostante le restrizioni non correlate all’accuratezza delle previsioni, sono riusciti a ottenere risultati vicini allo stato dell’arte. La sfida ha convalidato il loro approccio, dimostrando che i loro modelli sono competitivi pur essendo snelli, manutenibili ed estendibili.
Dopo la competizione, l’obiettivo ora è portare le intuizioni e le migliorie acquisite all’intero team di Lokad, assicurandosi che possano essere implementate rapidamente per i loro clienti. L’esperienza ha anche evidenziato i vantaggi di essere sia esperti di supply chain che di data science nella competizione, anziché solo esperti di data science.
Trascrizione completa
Kieran Chandler: Oggi siamo lieti di essere accompagnati da uno dei nostri colleghi, Rafael de Rezende. Ci parlerà di una recente competizione M5 che ha esaminato la distribuzione dell’incertezza delle vendite di Walmart. Quindi, Rafael, grazie mille per esserti spostato lungo il corridoio per unirti a noi.
Rafael de Rezende: È un piacere essere qui. Forse posso raccontarvi un po’ di più su di me e sul mio background. Lavoro qui a Lokad da tre anni. Ho una formazione in supply chain, sono un ingegnere industriale e durante il mio tempo qui a Lokad, il mio ruolo è cambiato molto. Al momento, sono il responsabile dello sviluppo del prodotto presso Lokad e il mio team ed io ci occupiamo degli argomenti molto tecnici di Lokad. Lavoriamo sulla previsione delle serie temporali, sulla risoluzione delle immagini e sulle MOQ, di cui credo si sia già parlato qui nello show.
Kieran Chandler: Fantastico, e Joannes, oggi parleremo di una recente competizione Kaggle che riguardava proprio l’analisi della distribuzione dell’incertezza delle vendite di Walmart. Forse potresti darci una panoramica della sfida stessa e di Kaggle in generale?
Joannes Vermorel: Sì, e forse anche di Kaggle in generale. È un tipo molto specifico di sottocultura. Kaggle è un’organizzazione piuttosto grande che è stata acquisita da Google. Ciò che Kaggle organizza sono competizioni di machine learning in cui devi prevedere o fare previsioni su qualcosa. Per organizzare una competizione, hai bisogno di un dataset su cui fare previsioni o previsioni su qualcosa e di premi consistenti. Per la competizione di cui stiamo parlando, c’erano $100.000 in premi. È un ambiente molto competitivo, con centinaia di persone che sono dei veri professionisti. È come uno sport di alto livello in un certo senso.
La comunità che vince le competizioni Kaggle di solito non è composta da ricercatori, ma sono molto bravi a capire qual è lo stato dell’arte. Guardano tutte le cose che vengono pubblicate tutto il tempo e individuano quale sarà lo stato dell’arte. Poi, devono fare qualche magia in più per ottenere una piccola percentuale in più di accuratezza che gli permette di vincere. Devono trovare una piccola cosa che gli dà un piccolo vantaggio e saranno avanti rispetto agli altri. È una sottocultura molto specifica ed è enorme. Kaggle ha più di 1 milione di partecipanti registrati da tutto il mondo, anche se i vincitori sono di solito del Nord America o dell’Asia.
Kieran Chandler: Voglio dire, è stato acquistato da Google, quindi è sicuramente in crescita. Joannes ha menzionato l’analogia con un evento sportivo, in cui hai scienziati dei dati che competono ma anche collaborano, cosa che trovo davvero una bella analogia. Parliamo un po’ di più della sfida stessa. Quali sono state le principali sfide che hai affrontato e contro chi ti sei trovato?
Joannes Vermorel: Penso che l’analogia con lo sport sia davvero buona. Voglio dire, Kaggle sembra davvero uno sport. Quello che è bello in Kaggle è l’approccio molto collaborativo in cui le persone si aiutano a vicenda e passano molto tempo ad aiutare gli altri a migliorare. Questo avviene contemporaneamente alla competizione brutale perché c’è denaro in gioco e ci sono grandi organizzazioni che sponsorizzano o osservano da vicino ciò che stai facendo. Eravamo dei principianti in Kaggle, ma il nostro team aveva già partecipato a una sorta di competizione in precedenza, con clienti che mettevano alla prova la nostra soluzione nelle supply chain. Tuttavia, non era allo stesso livello di Kaggle. In Kaggle, c’erano 900 squadre, mentre prima potevamo avere una competizione contro due o tre altre squadre. Tutti cercavano davvero di aiutarsi a vicenda ancora di più che in Kaggle.
Rafael de Rezende: Una cosa interessante del lato collaborativo di Kaggle è che molte persone lo criticano perché potrebbe ostacolare la creatività. Spesso succede che alcune persone pubblicano una soluzione che ottiene un buon punteggio all’inizio e improvvisamente molte altre squadre iniziano a seguirla, abbandonando quello che stavano facendo prima. Quindi c’è questo effetto di folla e tutti vanno sullo stesso lato dell’angolo. La collaborazione è vantaggiosa, ma devo concordare con coloro che dicono che a volte ostacola la creatività.
Kieran Chandler: E dal punto di vista aziendale? Hai questi ragazzi che lavorano nel loro tempo libero. Cosa ne pensi?
Joannes Vermorel: Sono molto contento che lo abbiano fatto. Non è mai stata la strategia di Lokad cercare di vincere queste competizioni. Ne ho fatte alcune con molto meno successo durante i primi anni di Lokad, ma ho capito che queste competizioni non modificano necessariamente in modo fondamentale lo stato dell’arte. Esse chiariscono qual è lo stato dell’arte, il che è molto buono. Ad esempio, questa competizione in cui la squadra di Rafael si è classificata sesta su 909 squadre era stata pensata come una competizione di previsione della domanda, ma si è rivelata essere una competizione di previsione delle vendite a causa della mancata corretta gestione delle rotture di stock. Quindi stavano facendo previsioni sulle vendite, non sulla domanda. Era una competizione di previsione della domanda per 30.000 SKU nei negozi Walmart per 28 giorni. Queste competizioni rivelano lo stato dell’arte ma non lo modificano fondamentalmente.
Kieran Chandler: È molto interessante che in questa competizione, per la prima volta, per quanto ne so, abbiano utilizzato una funzione di perdita a pinball come metrica per valutare chi stava vincendo. È molto oscuro, sai? È letteralmente la metrica utilizzata per misurare l’accuratezza.
Joannes Vermorel: Credo che Lokad sia stata la prima a proporre, nel 2012, che le previsioni della supply chain dovessero passare alle previsioni dei quantili. In realtà, in seguito abbiamo detto che dovevamo passare alle previsioni probabilistiche e fare ancora più cose. Otto anni fa, abbiamo affermato che dovevamo fare questa transizione. A proposito, queste previsioni sono molto strane perché sono intenzionalmente sbilanciate. Per il pubblico che potrebbe essere un po’ confuso, perché vorresti anche un bias intenzionale per una previsione della domanda? La risposta è perché nei negozi, ciò che si desidera è garantire la disponibilità dei beni. Non si desidera una previsione in cui, in media, le persone trovano ciò che cercano solo la metà delle volte. Questo non è l’obiettivo. Si desidera che le persone abbiano, ad esempio, un livello di servizio del 98% o qualcosa del genere, dove di solito ciò che cercano è presente nel negozio. Pertanto, si desidera avere una previsione con un bias, e questa tecnica è nota come previsione dei quantili. Questa competizione è stata molto interessante perché è stata la prima volta in assoluto che c’è stata una competizione pubblica in cui è stata esplicitamente dichiarata come previsione dei quantili.
Rafael de Rezende: Poi, devi costruire la tecnologia e gli strumenti per risolvere questo problema. Sono molto contento e orgoglioso che la mia squadra sia riuscita a classificarsi sesta in una competizione così brutale.
Kieran Chandler: Parliamo un po’ di più della tua squadra. Hai detto che stavi lavorando con una squadra. Quanti di voi erano in questa squadra e chi erano le altre persone con cui stavi lavorando?
Rafael de Rezende: Eravamo una squadra di quattro persone. Ero io e tre designer di Lokad. Uno non lavora più qui, ma è comunque venuto da qui. Ognuno aveva un ruolo molto specifico all’interno della squadra. Huggy stava lavorando con me sul modello principale, concentrandosi sui piccoli dettagli matematici su come avremmo affrontato il problema. Catarina stava portando la sua visione aziendale, analizzando i dati e identificando i punti principali che avremmo dovuto considerare per assicurarci di modellare correttamente le cose. Infine, c’era Marine, che ha fatto circa l'80% del vero e proprio lavoro duro. Stava lavorando come ingegnere dei dati questa volta e ha costruito la nostra infrastruttura per la competizione. Il mio ruolo era far lavorare tutti insieme e mantenere le persone motivate.
Kieran Chandler: Puoi spiegare un po’ di più l’approccio che hai adottato? In che modo differiva dalle altre metodologie disponibili? Cosa era diverso?
Rafael de Rezende: Penso che un buon paragone sia quello di confrontarlo con la Formula 1. Se prendi una macchina di Formula 1 rispetto a una macchina normale, vedrai che non è esattamente la stessa macchina che stai comprando in un negozio. Sono entrambe macchine, ma non sono le stesse. Quando si tratta di questo tipo di competizione, le persone tendono a lavorare più o meno allo stesso modo. Costruiscono metodi estremamente computazionalmente costosi, che sono ottimi per la competizione, ma non sono esattamente ciò che otterrai se effettivamente acquisti il prodotto alla fine. Potrebbero esserci alcuni cambiamenti. Ad esempio, la maggior parte dei primi dieci vincitori ha utilizzato metodi che richiedevano molto tempo per essere eseguiti, anche per un subset abbastanza piccolo di dati provenienti da Walmart. Era completamente assurdo, come dieci ore solo per un subset molto piccolo. Quindi,
Kieran Chandler: Abbiamo preso una direzione diversa, quello che abbiamo fatto e penso che questa idea fosse davvero presente fin dall’inizio. Volevamo applicare lo stesso quadro teorico che facciamo qui quotidianamente e metterlo in pratica. Quindi quello che abbiamo fatto è che la maggior parte delle cose che usiamo non sono così lontane da quelle che facciamo quotidianamente. Certo, voglio dire che potremmo aver cambiato la macchina per mettere un tipo di configurazione di gara più piccola, abbiamo fatto alcuni cambiamenti, tolto il sedile posteriore, ecc. per renderla più orientata alle prestazioni. Ma se controlli davvero quello che abbiamo fatto e quello che le persone fanno qui, dovresti essere un esperto solo per identificare quale è effettivamente la differenza.
Rafael de Rezende: Ok, quindi quello che stai dicendo è che dal punto di vista computazionale, perché c’erano solo circa 30.000 SKU, alcuni di quegli altri approcci hanno funzionato, ma se fossero stati a scala, sarebbe stato molto più difficile per loro funzionare nel mondo reale. Penso di sì. Non sto dicendo che non funzionerebbero nel mondo reale; penso che sarebbe complicato. Voglio dire, hai molta manutenzione. Abbiamo usato metodi di bassa dimensionalità che sono noti da molto tempo, ma il modo in cui abbiamo risolto il problema non è stato dal punto di vista della scienza dei dati. Siamo stati davvero professionisti della supply chain per prima cosa. Abbiamo messo in campo tutto ciò che sappiamo sulle supply chain e la nostra intuizione sul problema perché abbiamo partecipato a molte altre competizioni interne in precedenza, quindi sappiamo come si comportano le cose, ed è davvero quello che abbiamo messo in primo piano.
Kieran Chandler: Quali sono state le tue considerazioni su questo approccio e forse potresti dare una panoramica di base su come lo hai visto dal tuo punto di vista?
Joannes Vermorel: È molto interessante perché tra i primi 10, quindi in pratica c’erano 909 squadre che hanno partecipato. Non ho guardato tutte le soluzioni fornite, ho guardato le prime 10. Quindi, c’erano persone che erano migliori di Lokad, peggiori di Lokad. Quello che è stato molto interessante è che se guardi le prime 10 soluzioni, sono tutte numericamente incredibilmente vicine. Quindi, fondamentalmente, sai, dal primo al decimo, non c’è quasi nulla. Penso che fossimo qualcosa come lo 0,01% dopo il ragazzo che era al quinto posto, e la persona che era al settimo posto era come lo 0,01% dietro. La squadra che si è classificata al primo posto era avanti di qualche percento, ma nel complesso era comunque incredibilmente vicina.
Ora, penso che ci siano almeno tre aspetti in cui queste competizioni non riflettono ciò di cui hai bisogno nel mondo reale della supply chain. E penso che la differenza tra avere una macchina di Formula 1 e una macchina che hai appena messo a punto per la gara sia molto accurata in questo senso. In realtà, c’erano tre preoccupazioni principali.
La prima era il costo operativo solo per ottenere risultati. I metodi tra i primi dieci, Lokad era l’unico che non aveva costi di calcolo folli. E ancora una volta, immagina una macchina che consuma qualcosa come 50 litri ogni 100 chilometri. Sarebbe qualcosa dieci volte più costoso di qualsiasi macchina che consuma tanto carburante quanto un camion. Voglio dire, se puoi fare pit stop ogni 20 minuti, è fantastico, ma altrimenti no. E a proposito, con il cloud computing, questi costi sono molto reali. Se devi affittare mille server, costa un sacco di soldi.
La seconda cosa è la manutenibilità. Le impostazioni sono solo, ad esempio, se guardi questa analogia con la Formula 1, che penso sia eccellente, una macchina di Formula 1 è super bella perché funziona su circuiti dove la strada è perfetta.
Kieran Chandler: È come se stessi cercando di far correre una macchina di Formula 1 a Parigi. Ad esempio, anche solo l’umidità sui marciapiedi danneggerebbe effettivamente la macchina. La macchina non può subire più di un urto che è anche, sai, più di qualche centimetro perché la Formula 1 è così vicina alla strada. È letteralmente a un centimetro dal suolo. Quindi, se hai qualsiasi ostacolo, romperebbe la macchina. Ovviamente, se decidi di avere una macchina normale, hai un po’ più di margine e non sei completamente bloccato a terra. Non guidi così veloce, ma indovina un po’? Se la tua strada è un po’ più accidentata, sopravviverai agli ostacoli.
Joannes Vermorel: Quindi, quei modelli di cui sto parlando, beh, in termini di stabilità numerica, devi avere qualcosa in cui se i tuoi dati non sono perfetti, se hai cose che sono, sai, un po’ corrotte qua e là, il tuo modello non impazzisce e non finisci con risultati completamente folli, che sarebbe come la tua macchina di Formula 1 che va completamente fuori pista. La manutenibilità significa che se hai condizioni che non sono ideali, è comunque relativamente sano e conservativo, che si traduce ancora nel fatto che funzionerà.
In questa competizione, puoi avere persone che passeranno letteralmente centinaia di ore per assicurarsi che tutto sia perfetto, proprio come un circuito di gara. Ma nel mondo reale, hai cose che accadono tutto il tempo, ed è disordinato, e le strade non sono perfette. Questo si traduce nel fatto che la stabilità numerica è molto importante per avere modelli che siano numericamente stabili, forse un po’ meno precisi, in modo che quando hai un po’ di spazzatura, sai, c’è un detto nel data mining: “spazzatura dentro, spazzatura fuori”. Ma la realtà è che hai sempre un po’ di spazzatura, quindi devi avere qualcosa che non impazzisca quando c’è un po’ di spazzatura.
L’ultima cosa, che è anche completamente assente da questa competizione, è l’estensibilità. La realtà è che, ad esempio, in questa competizione, i livelli di stock erano assenti, le promozioni future erano assenti. Il team doveva fare previsioni per 28 giorni in anticipo. Avevano la cronologia dei prezzi ma non avevano i prezzi futuri per la durata da prevedere, che era di 28 giorni. Quindi, fondamentalmente, non conoscevano le promozioni future. Se volessimo avere una configurazione del mondo reale, dovremmo incorporare i livelli di stock, le promozioni future e probabilmente avremmo voluto vincoli sugli scaffali su quanto stock puoi avere sugli scaffali, per davvero. Sono vincoli che, e poi avresti, diciamo, la perdita che è stata utilizzata per valutare l’accuratezza era una perdita a biliardo, ma la realtà è che puoi avere tutti i tipi di non linearità che accadono.
Kieran Chandler: E quali sono i tuoi pensieri ora che la competizione è finita? Joannes ha menzionato che ci sono linee molto sottili dello 0,1%. Entrare tra i primi cinque deve essere un po’ frustrante. Hai qualche pensiero su come avresti potuto migliorare?
Joannes Vermorel: Abbiamo molte cose che non abbiamo provato durante la competizione. Ad un certo punto, si raggiunge la scadenza e bisogna dire: “Ok, questo sarà tutto. Andiamo.” Certo, ci sono molte idee là fuori che avremmo potuto migliorare. Non penso che sarà il prossimo focus adesso. Il focus principale sarebbe prendere i pochi miglioramenti che abbiamo fatto e cercare di portarli a tutto il team, a tutti gli altri scienziati, e assicurarsi che quelle intuizioni vengano riprodotte rapidamente per tutti i nostri clienti.
Rafael de Rezende: Cosa che Walmart non fa, tra l’altro. Quindi prenderemo tutte le cose che abbiamo imparato e cercheremo di metterle in pratica il più velocemente possibile, condividendo soprattutto le conoscenze con gli altri in modo da poter aiutare più clienti.
Kieran Chandler: Ottimo. E tu, Joannes? C’è qualcosa che hai notato che il team ha fatto e che pensi possa essere particolarmente utile per il futuro?
Joannes Vermorel: Sinceramente, è stato fantastico. Ha convalidato così tanto del nostro approccio. Quando dico che abbiamo bisogno di un modello che sia super snello, mantenibile ed estensibile, abbiamo molte restrizioni che sono completamente slegate dall’accuratezza delle previsioni. La domanda è, quando si tiene conto di queste restrizioni, quanto sei lontano dallo stato dell’arte? Forse la conclusione sarebbe stata che i nostri modelli hanno buone proprietà, sono mantenibili ed estensibili, ma sono anni luce dietro a ciò che si potrebbe ottenere con lo stato dell’arte. La conclusione è l’esatto contrario: siamo effettivamente a un soffio da ciò che è lo stato dell’arte.
Rafael de Rezende: Vorrei aggiungere che si trattava di una competizione sulla supply chain. È bello sapere che la tua conoscenza del settore è effettivamente utile. Stavamo competendo principalmente contro persone che non erano esperti di supply chain ma esperti di data science. Noi eravamo i fornitori di supply chain, che per caso erano anche esperti di data science che giocavano nel campo, quindi questo potrebbe averci differenziato nella competizione.
Kieran Chandler: Fantastico. E, Rafael, cosa c’è in programma per te? Hai altre competizioni all’orizzonte?
Rafael de Rezende: No, penso che quest’anno abbiamo avuto molto stress, quindi lo lasceremo al prossimo anno, prenderemo un po’ di tempo per riposarci e poi magari l’anno prossimo.
Kieran Chandler: Penso che ti meriti una pausa. Questo è tutto per lo show, e lasciamolo così. Grazie per il vostro tempo. Questo è tutto per questa settimana. Grazie mille per averci seguito, e ci vediamo nella prossima puntata. Ciao per ora!
