De CRPS à l'entropie croisée
Notre technologie d’apprentissage profond est une étape importante pour nous et nos clients. Certains des changements associés à l’apprentissage profond sont évidents et tangibles, même pour les non-experts. Par exemple, les bureaux de Lokad sont maintenant jonchés de boîtes Nvidia associées à des produits de jeu relativement haut de gamme. Quand j’ai lancé Lokad en 2008, je n’aurais certainement pas anticipé que nous aurions autant de matériel de jeu haut de gamme impliqué dans la résolution de défis de la supply chain.
Ensuite, d’autres changements sont beaucoup plus subtils et pourtant tout aussi importants : passer du CRPS (score de probabilité classé continu) à l’entropie croisée est l’un de ces changements.
L’utilisation systématique du métrique CRPS chez Lokad a été introduite en même temps que notre moteur de prévision de 4e génération; notre premier moteur probabiliste natif. Le CRPS avait été introduit comme une généralisation de la fonction de perte flippeur, et il a bien rempli sa fonction. À l’époque, Lokad n’aurait jamais résolu ses défis aérospatiaux ou de mode - du point de vue de la supply chain - sans cette métrique. Pourtant, le CRPS, qui généralise grossièrement l’erreur absolue moyenne aux prévisions probabilistes, n’est pas sans défauts.
Par exemple, du point de vue du CRPS, il est acceptable d’attribuer une probabilité nulle à un résultat estimé, si la majeure partie de la masse de probabilité n’est pas trop éloignée du résultat observé réel. C’est exactement ce à quoi vous vous attendriez pour une généralisation de l’erreur absolue moyenne. Pourtant, cela implique également que les modèles probabilistes peuvent affirmer avec certitude absolue que certains événements ne se produiront pas, alors que ces événements se produisent effectivement. Ce genre d’affirmations statistiques largement incorrectes sur l’avenir entraîne un coût qui est structurellement sous-estimé par le CRPS.
En revanche, l’entropie croisée attribue une pénalité infinie à un modèle qui est prouvé faux après avoir attribué une probabilité nulle à un résultat qui se produit néanmoins. Ainsi, du point de vue de l’entropie croisée, les modèles doivent adopter la perspective selon laquelle tous les futurs sont possibles, mais pas également probables. Attribuer une probabilité uniforme nulle chaque fois qu’il n’y a pas suffisamment de données pour une estimation de probabilité précise n’est plus une réponse valide.
Cependant, l’entropie croisée n’est pas seulement supérieure d’un point de vue purement théorique. En pratique, l’utilisation de l’entropie croisée pour piloter le processus d’apprentissage statistique conduit finalement à des modèles qui se révèlent supérieurs aux deux métriques : l’entropie croisée et le CRPS ; même si le CRPS est totalement absent du processus d’optimisation.
L’entropie croisée est la métrique fondamentale qui alimente notre moteur de prévision de 5e génération. Cette métrique s’éloigne considérablement de l’intuition qui soutenait nos anciens moteurs de prévision. Pour la première fois, Lokad adopte une perspective bayésienne complète sur l’apprentissage statistique, tandis que nos itérations précédentes étaient davantage ancrées dans la perspective fréquentiste.
Consultez notre dernière entrée de base de connaissances sur l’entropie croisée.
