Cómo mitigar el sobreajuste al pronosticar la demanda

Joannes Vermorel

Nuestro video sobre el sobreajuste ha recibido su atención desde que se publicó hace 5 años, es decir, medio siglo para una startup como Lokad. Años más tarde, hemos avanzado mucho pero el sobreajuste sigue siendo un tema difícil.

En resumen, el sobreajuste representa el riesgo de que tu modelo de pronóstico sea preciso solo al predecir el pasado, y no al predecir el futuro. Un buen modelo de pronóstico debería ser bueno para predecir los datos que no tienes.

Una idea equivocada común es que no hay otra forma de evaluar un modelo excepto verificando su rendimiento frente a los datos históricos. Es cierto, los datos históricos deben ser aprovechados; sin embargo, si hay una idea para recordar de la teoría de Vapnik-Chervonenkis es que no todos los modelos son iguales: algunos modelos tienen mucho más riesgo estructural - un concepto parte de la teoría - que otros. Una clase entera de modelos puede considerarse segura o insegura. Desde una perspectiva puramente teórica, esto se traduce en mejoras de precisión muy reales.

Los problemas de sobreajuste no se pueden evitar por completo, pero se pueden mitigar de todos modos.

Hay varias formas de mitigar el sobreajuste. Primero, la regla que nunca debes romper es: un modelo de pronóstico nunca debe ser evaluado con los datos que se utilizaron para entrenar el modelo en primer lugar. Muchos kits de herramientas hacen regresiones de modelos en toda la historia para estimar el ajuste general después. Bueno, como sugiere el nombre, dicho proceso te da el ajuste pero nada más. En particular, el ajuste no debe interpretarse como algún tipo de precisión esperada, no lo es. El ajuste suele ser mucho menor que la precisión real.

Segundo, una forma simple de mitigar el sobreajuste es realizar extensas pruebas retrospectivas. En la práctica, significa que tu proceso debe dividir el conjunto de datos de entrada en docenas - si no cientos - de umbrales de fecha incrementales, y volver a entrenar todos los modelos de pronóstico y volver a evaluarlos cada vez. Las pruebas retrospectivas requieren mucha potencia de procesamiento. Poder asignar la enorme potencia de procesamiento que se necesita para realizar extensas pruebas retrospectivas fue en realidad una de las razones principales por las que Lokad migró hacia la computación en la nube en primer lugar.

Tercero, incluso la prueba retrospectiva más extensa tiene poco valor si tus series temporales son escasas en primer lugar, es decir, si las series temporales representan artículos de bajos volúmenes de ventas. De hecho, como la mayoría de los puntos de datos de las series temporales son cero, el proceso de prueba retrospectiva aprende muy poco al iterar sobre ceros. Desafortunadamente para el comercio, alrededor del 90% de los artículos vendidos o atendidos tienen un historial de demanda que se considera como escaso desde un punto de vista estadístico. Para abordar este problema, el rendimiento del modelo debe evaluarse con un punto de vista de múltiples series temporales. No es el rendimiento del modelo en una sola serie temporal lo que importa, sino su rendimiento en grupos bien definidos de series temporales. Entonces, todo se convierte en un equilibrio entre la precisión empírica local vs global al seleccionar el mejor modelo.

¿Alguna pregunta? No dudes en publicarla como comentarios.

Comentarios de lectores (2)

Shaun, La prueba retrospectiva es una herramienta muy fundamental en estadística. Ha sido utilizada durante décadas en prácticamente todos los ámbitos: finanzas, meteorología, transporte, energía, … La prueba retrospectiva no requiere “confianza”, se trata de la única metodología sólida que conocemos cuando se trata de evaluar la precisión de un proceso predictivo, y hay una gran cantidad de literatura sobre el tema. Para una introducción suave, realmente deberías comenzar a leer “Elementos del aprendizaje estadístico” Joannes Vermorel (hace 4 años)

Joannes, Esto es extremadamente interesante. Sin embargo, me preocupa cómo explicaré esto a los clientes. Entonces, si entiendo bien, uno puede realizar pruebas retrospectivas en Lokad, sin embargo, si la prueba retrospectiva – que al leer es una forma de aprendizaje automático – ¿no representa un desafío significativo al explicar lo que se hizo? Si se convierte en un algoritmo avanzado, ¿no se debe confiar básicamente en que funcione? Obviamente, este es un enfoque principal para Lokad, por lo que todos ustedes han pensado mucho en esto. Sin embargo, creo que hay un público corporativo limitado que entiende los detalles específicos de cómo funciona. Entonces, ¿Lokad se basa en los resultados de la investigación que Lokad ha realizado en empresas anteriores – mostrando el beneficio neto de esta prueba retrospectiva? Entonces, ¿Lokad se basa en los resultados de la investigación que Lokad ha realizado en empresas anteriores – mostrando el beneficio neto de esta prueba retrospectiva? Shaun Snapp (hace 4 años)