Migliorare una tecnologia di previsione

Joannes Vermorel

Sin dalla creazione di Lokad, il nostro obiettivo è stato quello di migliorare incessantemente la nostra tecnologia di previsione al fine di offrire forme superiori di ottimizzazione della supply chain. Quasi un decennio fa, ho già sottolineato che essere un’azienda di machine learning è strano: il progresso è costante ma anche non lineare e erratico. Inoltre, la maggior parte degli approcci considerati come buon senso in altri settori sono completamente fuorvianti per quanto riguarda il machine learning. Tuttavia, ciò non implica che questo progresso sia lasciato al caso: c’è un metodo dietro.

Migliorare la nostra tecnologia di previsione inizia con il miglioramento dei dati. Senza una corretta preparazione dei dati, il processo si trasforma in un esercizio di garbage-in garbage-out. Assicurarsi che promozioni, stock-out, tempi di consegna siano correttamente rappresentati in un determinato set di dati richiede molto tempo e competenza. Nella pratica, poiché le complicazioni dei dati tendono ad essere specifiche del settore, è necessaria un’intera squadra di supply chain scientist presso Lokad per consolidare una varietà di set di dati che rappresentano settori verticali diversi come l’aerospaziale, la moda, il retail alimentare, ecc.

Quindi, quando inventiamo¹ un nuovo metodo statistico, di solito si scopre che questo metodo presenta prestazioni superiori su un determinato set di dati e prestazioni inferiori su un altro set di dati. Purtroppo, quando ciò accade, il nuovo metodo statistico tende ad essere fragile: potrebbe essere in qualche modo fortunato o vittima di un problema di overfitting. Pertanto, sebbene possa essere tentante creare un caso speciale per un determinato cliente di Lokad, perché un metodo statistico sembra adattarsi meglio a questo cliente, non operiamo in questo modo. Il nostro decennio di esperienza ci ha insegnato che questi risultati si rivelano invariabilmente fragili e che il metodo suppostamente superiore potrebbe non rimanere tale per molto tempo. Se l’azienda cliente subisce cambiamenti sostanziali - che potrebbero essere causati proprio dalle azioni di Lokad - le prestazioni del nuovo metodo potrebbero crollare.

Pertanto, ci concentriamo invece sulla scoperta di metodi statistici che offrano risultati superiori in una grande varietà di situazioni, in molti settori in qualche modo non correlati, offrendo idealmente un miglioramento uniforme ovunque anziché una miscela di miglioramenti e regressioni, anche se la miscela è fortemente sbilanciata verso i miglioramenti. Questa metodologia è più impegnativa rispetto all’ingegnerizzazione delle caratteristiche² di un determinato set di dati, riciclando all’infinito gli stessi algoritmi di machine learning, che è ciò che la maggior parte delle agenzie di analisi dei dati offre al giorno d’oggi.

Questo approccio ci costringe a rivedere le basi stesse della previsione statistica. Ad esempio, il passaggio al cross entropy come metrica superiore per misurare l’accuratezza delle previsioni è stato fondamentale per sfruttare al massimo il deep learning. Più recentemente, abbiamo aggiornato verso le mixture density networks, un approccio potente ma poco utilizzato³ per catturare comportamenti complessi della coda nelle supply chain. Queste mixture density networks forniscono una soluzione gestibile per stimare in modo affidabile la probabilità di eventi rari, che è fondamentale in settori come l’aerospaziale.

La nostra tecnologia di previsione rimane un lavoro in corso. Ci sono molte sfide che sono ancora affrontate in modo imperfetto. Ad esempio, le cannibalizzazioni e la risposta del mercato ai cambiamenti di prezzo rimangono sfide molto difficili. Tuttavia, non ci arrendiamo e anche dopo 10 anni di R&S, stiamo ancora facendo progressi.