Dal CRPS all'entropia incrociata
La nostra tecnologia di deep learning rappresenta una pietra miliare importante sia per noi che per i nostri clienti. Alcuni dei cambiamenti associati al deep learning sono evidenti e tangibili, anche per i non esperti. Ad esempio, gli uffici di Lokad sono ora disseminati di scatole Nvidia associate a prodotti per il gaming di fascia alta. Quando ho fondato Lokad nel 2008, non avrei certo previsto che avremmo avuto così tanto hardware per il gaming di fascia alta coinvolto nella risoluzione delle sfide della supply chain.
Poi, altri cambiamenti sono molto più sottili eppure altrettanto importanti: il passaggio dal CRPS (continuous ranked probability score) alla cross-entropy è uno di quei cambiamenti.
L’uso sistematico del metrico CRPS presso Lokad è stato introdotto contemporaneamente al nostro motore di previsione di quarta generazione; il nostro primo motore nativo probabilistico. Il CRPS era stato introdotto come una generalizzazione della funzione di perdita pinball, e ha svolto bene il suo compito. All’epoca, Lokad non avrebbe mai superato le sfide aerospaziali o della moda - dal punto di vista della supply chain - senza questa metrica. Tuttavia, il CRPS, che in termini approssimativi generalizza l’errore medio assoluto alle previsioni probabilistiche, non è privo di difetti.
Ad esempio, dal punto di vista del CRPS, è accettabile assegnare una probabilità zero a un risultato stimato, se la maggior parte della massa di probabilità non è troppo lontana dal risultato osservato effettivo. Questo è esattamente ciò che ci si aspetterebbe da una generalizzazione dell’errore medio assoluto. Tuttavia, ciò implica anche che i modelli probabilistici possono affermare con certezza assoluta che certi eventi non si verificheranno, mentre questi eventi si verificano effettivamente. Questo tipo di affermazioni statistiche sul futuro estremamente errate comporta un costo che è strutturalmente sottovalutato dal CPRS.
L’entropia incrociata, al contrario, assegna una penalità infinita a un modello che viene provato sbagliato dopo aver assegnato una probabilità zero a un risultato che si verifica comunque. Pertanto, dal punto di vista dell’entropia incrociata, i modelli devono abbracciare la prospettiva che tutti i futuri sono possibili, ma non equamente probabili. Assegnare una probabilità zero uniforme quando non ci sono dati sufficienti per una stima accurata della probabilità non è più una risposta valida.
Tuttavia, l’entropia incrociata non è superiore solo da un punto di vista puramente teorico. In pratica, utilizzare l’entropia incrociata per guidare il processo di apprendimento statistico porta infine a modelli che si rivelano superiori sia rispetto all’entropia incrociata che al CRPS; anche se il CRPS non è affatto presente nel processo di ottimizzazione.
L’entropia incrociata è la metrica fondamentale che guida il nostro motore di previsione di quinta generazione forecasting engine. Questa metrica si discosta notevolmente dall’intuizione che sosteneva i nostri vecchi motori di previsione. Per la prima volta, Lokad adotta una prospettiva bayesiana completa sull’apprendimento statistico, mentre le nostre iterazioni precedenti erano più radicate nella prospettiva frequentista.
Dai un’occhiata al nostro ultimo articolo sulla cross-entropy.
