6º clasificado de 909 equipos en la competencia de pronóstico M5
Un equipo de empleados de Lokad, a saber, Rafael de Rezende (líder), Ignacio Marín Eiroa, Katharina Egert y Guilherme Thompson 1, ha quedado en la 6ª posición en la competencia de pronóstico M5 de entre 909 equipos participantes. Es un logro impresionante y estoy orgulloso de lo que este equipo ha logrado. Construir una cultura orientada hacia resultados cuantitativos ha sido un objetivo de larga data para Lokad, y el resultado de esta competencia demuestra hasta qué punto hemos avanzado en este viaje.
Hasta donde tengo conocimiento, esta es la primera vez que una competencia pública de pronóstico de demanda ha involucrado pronósticos de cuantiles, un conocimiento que se relaciona directamente con el trabajo de Lokad en 2012. Si bien la academia ha tardado 8 años en ponerse al día con los cuantiles, esto no hace que este logro sea menos significativo. Los pronósticos “clásicos” sin cuantiles están prácticamente rotos en lo que respecta a la cadena de suministro. Los pronósticos de cuantiles no son el objetivo final, pero funcionan donde los stocks de seguridad no lo hacen. Esto lo veo como un gran paso en la dirección correcta.
En cuanto a los resultados, los equipos clasificados del 1 al 6 están increíblemente cerca. El equipo en primer lugar2 logró superar a los demás por unos pocos puntos porcentuales. Sin embargo, mi propia experiencia indica que, incluso para una red minorista supergrande como Walmart, una reducción del 5% en la pérdida de pinball - una métrica que se puede utilizar para evaluar la precisión de los pronósticos de cuantiles - sería casi imperceptible en términos de dólares de error. De hecho, a este nivel de precisión, los modelos de pronóstico son esencialmente equivalentes, y otros aspectos (que no fueron cubiertos por la competencia M5) dominan, como la capacidad para hacer frente a faltantes de stock, surtidos variables, canibalizaciones, tiempos de entrega erráticos, etc. Estas preocupaciones marcan una diferencia mucho mayor que unos pocos puntos porcentuales de pérdida de pinball.
En cuanto al modelo, el equipo de Lokad utilizó un modelo paramétrico de baja dimensionalidad que incluía las ciclicidades relevantes (día de la semana, día del mes, mes del año) a nivel de tienda/categoría, una línea de base que eliminaba las ciclicidades y el ruido de los faltantes de stock, y un modelo de espacio de estados de 2 parámetros para convertir la línea de base en trayectorias diarias (con contribuciones multiplicativas de las ciclicidades). Además, al igual que el equipo ganador, Lokad no utilizó datos de precios ni ningún dato externo. La mayor dificultad técnica para el equipo de Lokad resultó ser el manejo de los faltantes de stock que debían pronosticarse: fue un ejercicio de pronóstico de ventas, no de pronóstico de demanda. Esto se discutirá con más detalle más adelante cuando revisemos los detalles de este modelo.
En general, si se elige un modelo paramétrico de baja dimensionalidad adecuado, como el que Lokad utilizó en la competencia M5, se puede obtener una precisión dentro de unos pocos puntos porcentuales del método de vanguardia, que resulta ser árboles potenciados por gradientes con aumento de rango. En producción, este modelo está garantizado a comportarse de manera mucho más adecuada en comparación con modelos no paramétricos o hiperparamétricos, y es mucho más fácil de ajustar estructuralmente [^ajuste] cuando sea necesario.
Además, el rendimiento informático del modelo tiende a ser un factor operativo no tan sutil. El equipo que quedó en primer lugar informó que ejecutar su predicción tomó “un par de horas” (sic) en una configuración de estación de trabajo de 10+10 CPU. Esto puede parecer rápido, pero hay que tener en cuenta que el conjunto de datos M5 tenía solo 30k SKUs, que es muy pequeño en comparación con la cantidad de SKUs en la mayoría de las redes minoristas (algunas categorías en algunas tiendas). Estimo que Walmart tiene más de 100M de SKUs para gestionar a nivel mundial, por lo que estamos hablando de decenas de miles de horas de cálculo por predicción [^gastos generales]. Las redes minoristas a las que Lokad sirve típicamente nos brindan una ventana de ~2 horas todos los días para actualizar nuestros pronósticos, por lo que los modelos que elijamos deben ser compatibles con este horario tanto para el entrenamiento como para el pronóstico [^aislamiento]. Desplegar el modelo del equipo que quedó en primer lugar ciertamente es posible a la escala de Walmart, pero solo gestionar el clúster de cálculo requeriría un equipo propio.
La competencia M5 fue una mejora importante en comparación con sus iteraciones anteriores. Sin embargo, el conjunto de datos todavía está lejos de parecerse a una situación real en el comercio minorista. Por ejemplo, la información de precios solo estaba disponible para el pasado. En la práctica, las promociones no ocurren al azar: se planifican. Como tal, si se hubieran proporcionado los datos de precios para el período de tiempo a pronosticar, la competencia se habría dirigido hacia modelos que realmente hicieran uso de esta información en lugar de descartarla de inmediato.
Además de los precios futuros, dos piezas importantes de datos faltaban en la competencia M5: los niveles de stock y las transacciones desagregadas, que casi siempre están disponibles en las cadenas minoristas. Los niveles de stock son importantes porque obviamente sin stock no hay ventas (sesgo de censura). Las transacciones desagregadas son importantes porque, en mi experiencia, es casi imposible evaluar cualquier tipo de canibalización o sustitución sin ellas, mientras que una observación casual de los estantes minoristas indica claramente que desempeñan un papel importante. El modelo que el equipo de Lokad utilizó para clasificarse en sexto lugar no tenía nada al respecto, y el modelo que quedó en primer lugar tampoco lo tenía.
En conclusión, es un resultado fantástico para Lokad. Si bien definitivamente hay progreso por hacer para que las competencias de pronóstico sean más realistas, insto a mis lectores a no tomar estos resultados demasiado literalmente, M5 es una competencia de pronóstico. En el mundo real, las faltas de stock, los lanzamientos de productos, las promociones de productos, los cambios en el surtido, los problemas con los proveedores, los horarios de entrega, todo esto debe tenerse en cuenta. El mayor desafío no es reducir un pequeño porcentaje de error a la izquierda o a la derecha, sino asegurarse de que la receta numérica de principio a fin no tenga puntos ciegos que arruinen toda la iniciativa de optimización de la cadena de suministro.
