Statistical forecasting es un campo altamente contraintuitivo. Y la mayoría de las suposiciones que podrían parecer intuitivas a primera vista, resultan ser completamente erróneas. En este post, compilamos una lista breve de los peores infractores entre todas las rarezas estadísticas que son el pan de cada día del negocio de Lokad.

1. Los sistemas avanzados de forecast NO aprenden de sus errores

Los sistemas de forecast generalmente actualizan sus forecast a diario o semanalmente. Cada vez que se produce un nuevo lote de forecast, el sistema tiene la oportunidad de comparar sus forecast anteriores con los datos recién adquiridos, y posiblemente aprender de ello. Como resultado, parecería muy razonable esperar que cualquier sistema de forecast aprenda de sus errores, tal como lo haría un experto humano. Sin embargo, este no es el caso. Un sistema avanzado de forecast NO intentará aprender de sus errores. De hecho, existen métodos superiores disponibles, a saber backtesting, que ofrecen un rendimiento estadístico superior. Con backtesting, el sistema se re-retoma contra todo el historial disponible cada vez que se genera un forecast, y no solo contra el último incremento de datos.

2. Los factores estadísticos más importantes son el ruido y la aleatoriedad

Cuando se les pregunta a los profesionales sobre los factores dominantes en su demanda, muchos responden: seasonality, ciclo de vida del producto, presión del mercado, crecimiento del negocio, etc. Sin embargo, la mayoría de las veces, hay un elefante en la habitación: el elefante es el ruido estadístico encontrado en la observación de la demanda.

La mayor parte del tiempo, el desafío del forecast se aborda como si, dado suficiente esfuerzo, los forecast de la demanda pudieran hacerse precisos. Sin embargo, este punto de vista es incorrecto, ya que en la mayoría de las ocasiones los forecast son irreductiblemente inexactos. Abrazar la aleatoriedad presente en la demanda generalmente produce mejores resultados de negocio que intentar eliminar dicha aleatoriedad.

3. Las correcciones de expertos generalmente hacen que los forecast sean menos satisfactorios

Aunque parece razonable ajustar manualmente los forecast estadísticos con conocimientos específicos de la industria, hemos observado, en muchas ocasiones, que esta práctica no produce los resultados deseados. Incluso cuando las correcciones manuales son realizadas por un experto en este campo, tienden a degradar la accuracy general, a menos que los sistemas de forecast subyacentes sean inherentemente deficientes. Solo en ese caso, las correcciones manuales pueden ayudar a mejorar los resultados del forecast.

Esto se debe a que la percepción humana está fuertemente sesgada hacia la detección de “patrones”. Con frecuencia, esto conduce a percepciones erróneas de tendencias, que no son más que fluctuaciones aleatorias del negocio. Interpretar erróneamente la aleatoriedad como un “patrón” tiende a generar errores mucho más significativos que simplemente ignorar el patrón y tratarlo como mero ruido.

4. El error del forecast debe medirse en Dólares

Un forecast más preciso no se traduce necesariamente en mejores resultados de negocio. De hecho, la manera clásica de analizar los forecast consiste en optimizar métricas como el MAPE (error porcentual absoluto medio) que están solo débilmente correlacionadas con los principales intereses del negocio. Dichas métricas son engañosas porque provienen de una idea bastante delirante de que, si los forecast fueran perfectamente precisos, el error MAPE sería cero. Sin embargo, un forecast perfectamente preciso no es un scenario, y el objetivo principal de usar una métrica de rendimiento es alinearla con los intereses de cualquier negocio. En otras palabras, el error del forecast debería expresarse en Dólares, no en porcentajes. Los forecast diarios, semanales y mensuales no son consistentes.

Si se producen forecast tanto a diario como semanalmente, sería muy razonable esperar que, si se suman los forecast diarios para obtener forecast semanales, ambos convergieran al mismo valor, dado que se ha utilizado la misma tecnología y los mismos parámetros para generar ambos conjuntos de forecast.

Desafortunadamente, esto no es cierto, y ambos conjuntos de forecast divergiran; y por muy sólidas razones estadísticas también. En resumen, los forecast diarios (o semanales) se optimizan con una métrica expresada a nivel diario (o semanal); estadísticamente, dado que estas dos métricas son diferentes, las salidas numéricas de la optimización no tienen ninguna razón para coincidir.

5. Los forecast a nivel SKU no coinciden con los forecast a nivel de categoría

Si se utiliza el mismo sistema de forecast para pronosticar la demanda tanto a nivel de SKU como a nivel de categoría, se esperaría que ambos conjuntos de forecast sean consistentes: al sumar todos los forecast asociados a los SKUs que pertenecen a una determinada categoría, no sería irracional imaginar que se obtiene el mismo número que el forecast relativo a la propia categoría. Este será el caso por las mismas razones expuestas en el párrafo anterior.

Más alarmante aún, es muy común observar situaciones bastante extrañas en las que existen patrones completamente divergentes entre los forecast a nivel de SKU y a nivel de categoría. For example, todos los forecast de SKU podrían estar estrictamente decreciendo, mientras que los forecast a nivel de categoría aumentan de manera constante. Otro caso típico es la seasonality, que es muy visible a nivel de categoría, pero apenas perceptible a nivel de SKU. Cuando surge una situación similar, puede ser tentador intentar corregir los forecast a nivel de SKU para alinearlos con los forecast de categoría, pero tal técnica solo degradaría la precisión general del forecast.

6. Cambiar la unidad de medida sí importa

A primera vista, la unidad utilizada para medir la demanda no debería tener ningún impacto. Si la demanda se cuenta en unidades de inventario, y si todos los puntos en el historial se multiplican por 10, se esperaría que todos los forecast se multipliquen por 10 sin consecuencias adicionales. Sin embargo, con tecnologías como las desarrolladas por Lokad, el proceso de forecast no ocurrirá de esta manera, al menos, no exactamente de esta forma.

De hecho, una tecnología avanzada de forecast de la demanda aprovecha muchos trucos utilizando números pequeños. La cantidad de 1 no es cualquier cantidad. Por ejemplo, hemos observado que, en promedio, los recibos de supermercados e hipermercados vienen con más del 75% de sus líneas con una cantidad igual a 1. Esto resulta en que muchos trucos estadísticos estén relacionados con “números pequeños”. Multiplicar cualquier historial de demanda por 10 solo confundirá todas las heurísticas establecidas para cualquier sistema avanzado de forecast en el comercio.

7. Los mejores forecast de promotion se generan frecuentemente cuando se ignoran las promociones

Pronosticar promociones es difícil, realmente difícil. En el comercio minorista, no solo la demand response a una promoción puede ir de nada (sin uplift) a un uplift de 100x, sino que los factores que influyen en las promociones son complejos, diversos y generalmente no se registran de forma precisa en los sistemas informáticos. Combinar comportamientos empresariales complejos con datos inexactos es una receta que probablemente conducirá a un problema de “Garbage In, Garbage Out”.

De hecho, hemos observado rutinariamente que descartar los datos promocionales fue, al menos como un enfoque inicial muy modesto, la manera menos ineficiente de forecast de la demanda promocional. No afirmamos que este método sea altamente satisfactorio u óptimo, sino que solo tratamos de demostrar que un forecast nativo basado en datos históricos correctos pero incompletos suele superar a modelos complejos construidos con datos más extensos pero parcialmente inexactos.

8. Cuanto más errático es el historial, más “plano” es el forecast

Visualmente, si los datos históricos exhiben patrones visuales marcados, se esperaría que un forecast muestre patrones visuales igualmente marcados. Sin embargo, cuando los datos históricos presentan variaciones erráticas, esa expectativa no se cumple, y ocurre lo contrario: cuanto más errático es el historial de la demanda, más suaves son los forecast.

Nuevamente, la causa raíz aquí es que la mente humana está orientada hacia la percepción de patrones. Las fluctuaciones erráticas no son patrones (en el sentido estadístico) sino ruido, y un sistema de forecast, si está diseñado correctamente, se comporta precisamente como un filtro para ese ruido. Una vez eliminado el ruido, a menudo lo único que queda es un forecast “plano”.

9. Los forecast diarios, semanales y mensuales suelen ser innecesarios

Los forecast periódicos están en todas partes - desde las noticias de negocios hasta los boletines meteorológicos; y, sin embargo, rara vez representan una respuesta estadística adecuada a los desafíos empresariales “de la vida real”. El problema con estos forecast periódicos radica en que, en lugar de abordar directamente la decisión de negocio que depende de un futuro incierto, se utilizan típicamente de manera indirecta para construir la decisión posteriormente.

Una estrategia mucho más efectiva consiste en pensar en las decisiones de negocio como si fueran forecast. Al hacerlo, resulta mucho más fácil alinear los forecast con necesidades y prioridades empresariales específicas, por ejemplo, midiendo el error del forecast en Dólares en lugar de porcentajes, como se detalló anteriormente.

10. La mayor parte de la literatura sobre forecast de inventario es de poca utilidad

Cuando se enfrenta a cualquier tema difícil, es razonable comenzar a explorarlo investigando los diferentes materiales revisados por pares disponibles en la literatura científica. Especialmente dado que hay miles de artículos y papers disponibles para el lector, en lo que respecta al forecast de la demanda y la optimización de inventario.

Sin embargo, hemos constatado que la cuasi-totalidad de los métodos analizados en dicha literatura simplemente no funcionan. La corrección matemática no se traduce en sabiduría empresarial. Muchos modelos considerados como clásicos de todos los tiempos son simplemente disfuncionales. Por ejemplo,

  • Safety stocks son falsos, ya que se basan en supuestos de distribución normal,
  • EOQ (economic order quantities) son inexactos, ya que se basan en una tarifa fija por pedido que es completamente irrealista,
  • Holt-Winters, es un modelo de forecast que es bastante inestable numéricamente y requiere demasiada profundidad histórica para ser manejable,
  • ARIMA, que es el arquetipo del enfoque matemáticamente impulsado, es demasiado complicado para resultados demasiado escasos,
  • etc.

Las rarezas en el forecast de la demanda son (probablemente) innumerables. No dudes en publicar tus propias observaciones en la sección de comentarios a continuación.