La aplicabilidad limitada del backtesting
Backtesting es un tipo de diseño experimental en el que se truncan los datos históricos hasta un punto en el pasado y se aplica un algoritmo de aprendizaje, o un algoritmo de optimización, contra este conjunto de datos truncado para evaluar qué tan bien habría funcionado dicho algoritmo bajo aquellas condiciones históricas. El enfoque es simple y elegante, y por ello resulta bastante atractivo para los profesionales de supply chain. Sin embargo, el backtesting está lejos de ser una bala de plata, y cuando se malinterpretan sus limitaciones, centrarse en el backtesting suele hacer más daño que beneficio.
En nuestra experiencia al ejecutar iniciativas de Supply Chain Quantitativa, las principales amenazas para el éxito de la iniciativa son:
- No acceso a los datos transaccionales relevantes
- Datos históricos transaccionales inservibles
- Preprocesamiento incorrecto de los datos transaccionales
- Falta de monitoreo de la salud de los datos
- Frágil data pipeline con fallos intermitentes
- Falta de comprensión de los impulsores económicos
- Modelización estratégica incorrecta de los impulsores económicos
- Desajuste entre las restricciones del mundo real y su modelización
- Procesos o herramientas inadecuados para consumir decisiones optimizadas
Con los enfoques tradicionales de forecast, forecasts inexactos habrían formado parte de esta lista, pero cuando se utilizan probabilistic forecasts, es una preocupación mucho menor: no porque probabilistic forecasts sean more accurate - no lo son - sino porque la calidad de las decisiones se degrada de forma mucho más gradual cuando la accuracy misma se degrada.
De hecho, en la práctica, un forecast probabilístico “inexacto” se caracteriza principalmente por una distribución de probabilidades que se extiende sobre un rango de valores excesivamente amplio. Aunque este comportamiento es indeseable, generalmente no es tan malo como las consecuencias de un forecast tradicional inexacto (es decir, no probabilístico), en el que la empresa se compromete all-in con un único futuro posible que resulta no ser el correcto. Los forecasts probabilísticos inexactos se traducen en decisiones extremadamente conservadoras y cautelosas. Aún se desperdicia dinero, pero considerando que muchas situaciones de supply chain tienen costos altamente asimétricos, errar por el lado de la precaución está lejos de ser la peor estrategia.
Un backtesting adecuado no es trivial de ejecutar en situaciones reales. Las implementaciones ingenuas de backtesting se dejan engañar fácilmente por el overfitting. Dado que unas pocas covariables ocultas pueden explicar la mayor parte del crecimiento del negocio. Proceder mediante prueba y error con un proceso de backtesting termina invariablemente produciendo un modelo que ha “memorizado” las evoluciones pasadas del mercado, pero que sigue siendo incapaz de anticiparlo.
En Lokad, hemos encontrado que la única forma confiable de realizar backtesting a un modelo estadístico dado es aprovechar conjuntos de datos de docenas de compañías que enfrentan situaciones muy diversas. Aunque este enfoque no elimina el overfitting, sí lo mitiga significativamente.
Para una iniciativa de Supply Chain Quantitativa - asumiendo que las herramientas de forecast son adecuadas y no requieren que los profesionales de supply chain parametricen manualmente los modelos - un enfoque temprano en el backtesting típicamente resulta en una optimización prematura que distrae al equipo encargado de la implementación de la iniciativa de los factores de riesgo que dominan los beneficios que se pueden esperar de un proceso de backtesting.
Algunas herramientas de forecast resultan estar mal diseñadas y requieren que sus usuarios finales inventen parámetros estadísticos para comenzar a funcionar. Por ejemplo, el suavizamiento exponencial, un modelo de forecast simple, requiere que se proporcione un smoothing factor. Dado que los usuarios finales no pueden inventar estos parámetros de la nada, terminan teniendo que recurrir a un proceso de backtesting para que los modelos funcionen en primer lugar. Sin embargo, la conveniencia del backtesting no debe confundirse con los requisitos impuestos por los errores de diseño accidentales de algunas herramientas de forecast.
Como regla general, es apropiado comenzar a considerar el backtesting cuando:
- que la ejecución de la data pipeline se haya vuelto aburrida y sin novedades.
- que los impulsores económicos estén bien entendidos y bien documentados.
- que las restricciones - por ejemplo, MOQs - hayan sido ampliamente revisadas y desafiadas.
- que los procesos de supply chain se hayan alineado para aprovechar al máximo las decisiones automatizadas.
Cuando se cumplen estas condiciones, el backtesting se puede implementar como un ángulo extra para mejorar aún más el rendimiento de la iniciativa de Supply Chain Quantitativa.
