De Crps à Cross Entropy
Notre deep learning technology constitue une étape importante tant pour nous que pour nos clients. Certains des changements associés au deep learning sont évidents et tangibles, même pour le non-expert. Par exemple, les bureaux de Lokad sont désormais encombrés de boîtes Nvidia associées à des produits de gaming haut de gamme. Lorsque j’ai lancé Lokad en 2008, je n’aurais certainement jamais anticipé que nous impliquerions autant de matériel de gaming haut de gamme dans la résolution des supply chain challenges.
Ensuite, d’autres changements sont beaucoup plus subtils et pourtant tout aussi cruciaux : passer de CRPS (score de probabilité classé continu) à cross-entropy est l’un de ces changements.
L’utilisation systématique par Lokad de la métrique CRPS a été introduite en même temps que notre moteur de prévision de 4e génération; notre premier moteur probabiliste natif. Le CRPS avait été introduit comme une généralisation de la fonction de perte pinball, et il a bien rempli son rôle. À l’époque, Lokad n’aurait jamais relevé ses défis dans l’aérospatial ou la mode – en supply chain – sans cette métrique. Pourtant, le CRPS qui, en gros, généralise l’erreur absolue moyenne aux prévisions probabilistes, n’est pas dépourvu de défauts.
Par exemple, du point de vue du CRPS, il est acceptable d’attribuer une probabilité nulle à un résultat estimé, si l’essentiel de la masse de probabilité n’est pas trop éloigné du résultat effectivement observé. C’est exactement ce à quoi on s’attend pour une généralisation de l’erreur absolue moyenne. Pourtant, cela implique également que les modèles probabilistes puissent affirmer avec une certitude absolue que certains événements ne se produiront pas, alors que ces événements se produisent effectivement. Ce type d’affirmations statistiques gravement erronées sur le futur entraîne un coût structurellement sous-estimé par le CRPS.
Le cross-entropy, en revanche, attribue une pénalité infinie à un modèle qui se révèle prouvé faux après avoir attribué une probabilité nulle à un résultat qui se produit néanmoins. Ainsi, du point de vue du cross-entropy, les modèles doivent adopter la perspective selon laquelle tous les futurs sont possibles, mais pas également probables. Attribuer une probabilité nulle uniforme dès qu’il n’y a pas suffisamment de données pour une estimation précise de la probabilité n’est plus une réponse valable.
Cependant, le cross-entropy n’est pas seulement supérieur du point de vue purement théorique. En pratique, utiliser le cross-entropy pour piloter le processus d’apprentissage statistique donne finalement des modèles qui s’avèrent supérieurs selon les deux métriques : cross-entropy et CRPS, même si le CRPS est complètement absent du processus d’optimisation.
Le cross-entropy est la métrique fondamentale qui alimente notre forecasting engine de 5e génération. Cette métrique s’écarte substantiellement de l’intuition qui soutenait nos anciens moteurs de prévision. Pour la première fois, Lokad adopte une perspective bayésienne complète sur l’apprentissage statistique, alors que nos itérations précédentes reposaient davantage sur la perspective fréquentiste.
Consultez notre dernière entrée de la base de connaissances concernant le cross-entropy.
