La aplicabilidad limitada del backtesting
Backtesting es un diseño de experimento en el que se truncan los datos históricos hasta un punto en el pasado y se aplica un algoritmo de aprendizaje o un algoritmo de optimización a este conjunto de datos truncado para evaluar qué tan bien habría funcionado este algoritmo en esas condiciones históricas. El enfoque es simple y elegante, por lo que suele ser muy atractivo para los profesionales de la cadena de suministro. Sin embargo, el backtesting está lejos de ser una solución infalible y, cuando se malinterpretan sus limitaciones, centrarse en el backtesting suele hacer más daño que bien.
En nuestra experiencia en la implementación de iniciativas de Supply Chain Quantitativa, las principales amenazas para el éxito de la iniciativa son:
- Falta de acceso a los datos transaccionales relevantes
- Datos históricos transaccionales incorrectos
- Preprocesamiento incorrecto de los datos transaccionales
- Falta de monitoreo de la integridad de los datos
- Tubería de extracción de datos frágil con fallas intermitentes
- Falta de comprensión de los impulsores económicos
- Modelado estratégico incorrecto de los impulsores económicos
- Desajuste entre las restricciones del mundo real y su modelización
- Procesos o herramientas inadecuadas para consumir decisiones optimizadas
Con enfoques de pronóstico tradicionales, los “pronósticos inexactos” habrían formado parte de esta lista, pero cuando se utilizan pronósticos probabilísticos, es una preocupación mucho menor: no porque los pronósticos probabilísticos sean más precisos - no lo son - sino porque la calidad de las decisiones se degrada de manera mucho más gradual cuando la precisión en sí misma se degrada.
De hecho, en la práctica, un pronóstico probabilístico “inexacto” se caracteriza principalmente por una distribución de probabilidades que se extiende sobre un rango de valores extremadamente amplio. Si bien este comportamiento no es deseable, generalmente no es tan malo como las consecuencias de un pronóstico tradicional (es decir, no probabilístico) inexacto, donde la empresa se enfoca en una única posibilidad futura que resulta no ser la correcta. Los pronósticos probabilísticos inexactos se convierten en decisiones excesivamente conservadoras y cautelosas. Aún se desperdicia dinero, pero considerando que muchas situaciones de la cadena de suministro tienen costos altamente asimétricos, errar por el lado de la precaución está lejos de ser la peor estrategia.
Realizar un backtesting adecuado no es trivial en situaciones del mundo real. Las implementaciones de backtesting ingenuas son fácilmente engañadas por el sobreajuste. Como algunas covariables ocultas pueden explicar la mayor parte del crecimiento del negocio. Proceder con el método de prueba y error en un proceso de backtesting inevitablemente produce un modelo que ha “memorizado” las evoluciones pasadas del mercado, pero que sigue siendo incapaz de anticipar el mercado.
En Lokad, hemos descubierto que la única forma confiable de realizar un backtesting de un modelo estadístico dado es aprovechar conjuntos de datos de docenas de empresas que enfrentan situaciones muy diversas. Si bien este enfoque no elimina el sobreajuste, lo mitiga significativamente.
Para una iniciativa de Supply Chain Quantitativa - asumiendo que las herramientas de pronóstico son adecuadas y no requieren que los profesionales de la cadena de suministro ajusten manualmente los modelos - un enfoque temprano en el backtesting generalmente resulta en una optimización prematura que distrae al equipo encargado de la implementación de la iniciativa de los factores de riesgo que dominan los beneficios que se pueden esperar de un proceso de backtesting.
Algunas herramientas de pronóstico resultan estar diseñadas de manera incorrecta y requieren que sus usuarios finales conjuren parámetros estadísticos para comenzar a funcionar. Por ejemplo, el suavizado exponencial, un modelo de pronóstico simple, requiere que se proporcione un factor de suavizado. Como los usuarios finales no pueden conjurar estos parámetros de la nada, terminan teniendo que recurrir a un proceso de backtesting para hacer que los modelos funcionen en primer lugar. Sin embargo, la deseabilidad del backtesting no debe confundirse con los requisitos impuestos por los errores de diseño accidentales de algunas herramientas de pronóstico.
Como regla general, es apropiado comenzar a considerar el backtesting cuando:
- ejecutar la canalización de datos se ha vuelto aburrido y sin incidentes.
- los impulsores económicos están bien comprendidos y documentados.
- las restricciones - por ejemplo, MOQs - se han revisado y desafiado ampliamente.
- los procesos de la cadena de suministro se han alineado para aprovechar al máximo las decisiones automatizadas.
Cuando se cumplen estas condiciones, el backtesting se puede implementar como un ángulo adicional para mejorar aún más el rendimiento de la iniciativa de Supply Chain Quantitativa.
