Definición de análisis retrospectivo (Pronóstico de demanda)

Definición de análisis retrospectivo (backtesting)


Inicio » Base de conocimientos » Aquí
Por Joannès Vermorel, última revisión: agosto de 2013

En el contexto del pronóstico de las series de tiempo, el concepto de análisis retrospectivo hace referencia al proceso de evaluación de la precisión del método de pronóstico mediante el uso de datos históricos existentes. El proceso es generalmente iterativo y se repite en varias fechas presentes en los datos históricos. El análisis retrospectivo se utiliza para calcular la precisión futura esperada de un método de pronóstico, lo que resulta útil para evaluar qué modelo de pronóstico debería considerarse más preciso.

Cómo funciona el análisis retrospectivo

El proceso de análisis retrospectivo comienza con la selección de una lista de fechas umbral dentro de un período de tiempo cubierto por los datos históricos. En la ilustración a continuación, los umbrales están marcados como T1, T2, T3 y T4.

Image


Para cada umbral

  • se truncan los datos históricos en el umbral,
  • se entrena al modelo de pronóstico y se lo aplica a los datos truncados,
  • se comparan los pronósticos con los datos originales truncados.

Por último, se establece un error de pronóstico promedio para todos los umbrales.

Este error promediado se puede interpretar como una estima del error que se asociará al modelo cuando se elaboren pronósticos verdaderos (sobre el futuro). La elección de un conjunto apropiado de umbrales generalmente exige cierto conocimiento relacionado con el problema específico. Como regla general, el aumento de la cantidad de umbrales con frecuencia mejora la resistencia del proceso contra los problemas de sobreajuste.

A los fines de la optimización del inventario, debido a que generalmente hay cientos de SKU involucradas, solo se necesita un puñado de umbrales para decidir, con mucha confianza, si un método de pronóstico es mejor que otro.

Un error habitual: pronosticar varias veces con un solo entrenamiento

El análisis retrospectivo es generalmente bastante intensivo en términos de recursos informáticos, ya que es preciso entrenar un nuevo modelo de pronóstico para cada umbral. Como consecuencia, a menudo vemos a practicantes que entrenan el modelo de pronóstico solo una vez, generalmente aprovechando todo el rango de datos históricos, y luego pasan a las iteraciones de análisis retrospectivo. El beneficio percibido de este método es generalmente una gran aceleración de los tiempos del análisis.

Sin embargo, este truco es engañoso y trae aparejados problemas de sobreajuste importantes. De hecho, implícitamente, debido a que los datos futuros se envían al modelo de pronóstico, cualquier estima variable que tenga lugar durante la fase de aprendizaje hará que el modelo incluya información sobre este futuro. Como resultado, la precisión medida por los análisis retrospectivos no reflejará las capacidades de generalización del modelo, sino sus capacidades de memorización, es decir, la capacidad del modelo de reproducir situaciones idénticas a las encontradas en el conjunto de datos de entrenamiento.

La solución de Lokad

El análisis retrospectivo se encuentra en el centro de la tecnología de pronóstico de Lokad. Lo utilizamos para cada serie de tiempo para seleccionar qué modelo se utilizará para entregar el pronóstico final. Sin embargo, la simple visión del análisis retrospectivo presentada en este artículo puede no ser adecuada para todas las situaciones halladas en el comercio minorista y en el de fabricación. Por ejemplo, para productos recientemente lanzados al mercado, las series de tiempo podrían ser demasiado breves para poder realizar un análisis retrospectivo significativo. Las promociones y los lanzamientos de producto también requieren abordajes específicos.

Definiciones de la cadena de suministro


Temas de pronóstico


Temas de antipatrones


Temas de fijación de precios