De CRPS a Entropía Cruzada
Nuestra tecnología de aprendizaje profundo es un hito importante tanto para nosotros como para nuestros clientes. Algunos de los cambios asociados con el aprendizaje profundo son obvios y tangibles, incluso para los no expertos. Por ejemplo, las oficinas de Lokad ahora están llenas de cajas de Nvidia asociadas a productos de juegos de alta gama. Cuando comencé Lokad en 2008, ciertamente no habría anticipado que tendríamos tanto hardware de juegos de alta gama involucrado en la resolución de desafíos de la cadena de suministro.
Luego, otros cambios son mucho más sutiles pero igualmente importantes: la transición de CRPS (puntuación de rango de probabilidad continua) a entropía cruzada es uno de esos cambios.
El uso sistemático de la métrica CRPS en Lokad se introdujo al mismo tiempo que nuestro motor de pronóstico de 4ta generación; nuestro primer motor probabilístico nativo. CRPS se había introducido como una generalización de la función de pérdida de pinball, y cumplió su propósito. En ese momento, Lokad nunca habría superado sus desafíos en la industria aeroespacial o de la moda, en términos de cadena de suministro, sin esta métrica. Sin embargo, CRPS, que generaliza aproximadamente el error absoluto medio a pronósticos probabilísticos, no está exento de fallas.
Por ejemplo, desde la perspectiva de CRPS, está bien asignar una probabilidad cero a un resultado estimado, si la mayor parte de la masa de probabilidad no está demasiado alejada del resultado observado real. Esto es exactamente lo que esperarías de una generalización del error absoluto medio. Sin embargo, esto también implica que los modelos probabilísticos pueden afirmar con certeza absoluta que ciertos eventos no ocurrirán, mientras que esos eventos sí ocurren. Este tipo de declaraciones estadísticas ampliamente incorrectas sobre el futuro conlleva un costo que es subestimado estructuralmente por CPRS.
En cambio, la entropía cruzada asigna una penalización infinita a un modelo que se demuestra que está equivocado después de asignar una probabilidad cero a un resultado que de todos modos ocurre. Por lo tanto, desde la perspectiva de la entropía cruzada, los modelos deben adoptar la perspectiva de todos los futuros son posibles, pero no igualmente probables. Asignar una probabilidad uniforme cero cuando no hay suficientes datos para una estimación precisa de la probabilidad ya no es una respuesta válida.
Sin embargo, la entropía cruzada no solo es superior desde una perspectiva puramente teórica. En la práctica, utilizar la entropía cruzada para impulsar el proceso de aprendizaje estadístico finalmente produce modelos que resultan ser superiores en ambos aspectos: entropía cruzada y CRPS; incluso si CRPS no está presente en el proceso de optimización en absoluto.
La entropía cruzada es la métrica fundamental que impulsa nuestro motor de pronóstico de 5ta generación. Esta métrica se aparta sustancialmente de la intuición que respaldaba nuestros motores de pronóstico anteriores. Por primera vez, Lokad adopta una perspectiva bayesiana completa sobre el aprendizaje estadístico, mientras que nuestras iteraciones anteriores estaban más fundamentadas en la perspectiva frecuentista.
Consulta nuestra última entrada en la base de conocimientos sobre entropía cruzada.
