Midiendo la precisión del forecast
La mayoría de los ingenieros te dirán que:
No puedes optimizar lo que no mides
Resulta que forecasting no es una excepción. Medir precisión del forecast es una de las pocas piedras angulares de cualquier tecnología de forecast.
Una idea errónea frecuente sobre la medición de precisión es que Lokad debe esperar a que los forecast se conviertan en pasado, para finalmente comparar los forecast con lo que realmente sucedió.
Aunque este enfoque funciona en cierta medida, viene con serias desventajas:
- Es dolorosamente lento: un forecast a 6 meses de anticipación tarda 6 meses en ser validado.
- Es muy sensible a overfitting. El overfitting no debe tomarse a la ligera, y es una de las pocas cosas que es muy probable que cause estragos en tus mediciones de precisión.
Medir la precisión de los forecast entregados es una tarea difícil para nosotros. La medición de la precisión representa aproximadamente la mitad de la complejidad de nuestra tecnología de forecast: cuanto más avanzada sea la tecnología de forecast, mayor será la necesidad de mediciones de precisión robustas.
En particular, Lokad devuelve la precisión del forecast asociada a cada forecast que entregamos (por ejemplo, nuestro Excel-addin informa la precisión del forecast). La métrica utilizada para la medición de precisión es el MAPE (Error Porcentual Absoluto Medio).
Para calcular una precisión estimada, Lokad procede (aproximadamente) mediante cross-validation ajustada para forecast de time-series. La validación cruzada es más simple de lo que parece. Si consideramos un forecast semanal a 10 semanas de anticipación con 3 años (es decir, 150 semanas) de historial, entonces la validación cruzada se ve así:
- Toma la primera semana, haz forecast a 10 semanas de anticipación y compara los resultados con los originales.
- Toma las primeras 2 semanas, haz forecast a 10 semanas de anticipación y compara.
- Toma las primeras 3 semanas, haz forecast a 10 semanas de anticipación y compara.
- …
El proceso es bastante tedioso, ya que terminamos recalculando forecast alrededor de 150 veces para solo 3 años de historial. Obviamente, la validación cruzada clama por automatización, y hay pocas esperanzas de realizar tal proceso sin apoyo computacional. Sin embargo, las computadoras usualmente cuestan menos que los errores de forecast en el negocio, y Lokad se apoya en computación en la nube para llevar a cabo cálculos de alta intensidad.
Los intentos de “simplificar” el proceso descrito muy probablemente terminarán con problemas de overfitting. Sugerimos tener muchísimo cuidado, ya que el overfitting no es un problema que se deba tomar a la ligera. En caso de duda, apuesta por una validación cruzada completa.
Comentarios de los lectores (1)
Quiero calcular la precisión del forecast en comparación con las ventas, donde tengo una columna con cifras de ventas reales y dos columnas adicionales con forecast. Lo que necesito es mostrar la precisión de cada forecast frente a las ventas reales en términos de porcentaje. Quiero calcular la precisión del forecast en comparación con las ventas, donde tengo una columna con cifras de ventas reales y dos columnas adicionales con forecast. Lo que necesito es mostrar la precisión de cada forecast frente a las ventas reales en términos de porcentaje. Simplemente mostrar la diferencia porcentual no es suficiente (puede estar en cualquier valor desde -200% hasta +200% ya que nuestro equipo de ventas es pésimo en forecast), necesito mostrar la precisión como un valor entre 0% y 100%.
acekard 2i (hace 8 años)
