Midiendo la precisión de la previsión
La mayoría de los ingenieros te dirán que:
No puedes optimizar lo que no mides
Resulta que la previsión no es una excepción. Medir la precisión de la previsión es una de las pocas piedras angulares de cualquier tecnología de previsión.
Una idea errónea frecuente sobre la medición de precisión es que Lokad debe esperar a que las previsiones se conviertan en pasado, para finalmente comparar las previsiones con lo que realmente sucedió.
Aunque este enfoque funciona en cierta medida, viene con serias desventajas:
- Es dolorosamente lento: una previsión a 6 meses de anticipación tarda 6 meses en ser validada.
- Es muy sensible a overfitting. El overfitting no debe tomarse a la ligera, y es una de las pocas cosas que es muy probable que cause estragos en tus mediciones de precisión.
Medir la precisión de las previsiones entregadas es una tarea difícil para nosotros. La medición de la precisión representa aproximadamente la mitad de la complejidad de nuestra tecnología de previsión: cuanto más avanzada sea la tecnología de previsión, mayor será la necesidad de mediciones de precisión robustas.
En particular, Lokad devuelve la precisión de la previsión asociada a cada previsión que entregamos (por ejemplo, nuestro Excel-addin informa la precisión de la previsión). La métrica utilizada para la medición de precisión es el MAPE (Error Porcentual Absoluto Medio).
Para calcular una precisión estimada, Lokad procede (aproximadamente) mediante cross-validation ajustada para previsión de series temporales. La validación cruzada es más simple de lo que parece. Si consideramos una previsión semanal a 10 semanas de anticipación con 3 años (es decir, 150 semanas) de historial, entonces la validación cruzada se ve así:
- Toma la primera semana, haz una previsión a 10 semanas de anticipación y compara los resultados con los originales.
- Toma las primeras 2 semanas, haz una previsión a 10 semanas de anticipación y compara.
- Toma las primeras 3 semanas, haz una previsión a 10 semanas de anticipación y compara.
- …
El proceso es bastante tedioso, ya que terminamos recalculando previsiones alrededor de 150 veces para solo 3 años de historial. Obviamente, la validación cruzada clama por automatización, y hay pocas esperanzas de realizar tal proceso sin apoyo computacional. Sin embargo, las computadoras usualmente cuestan menos que los errores de previsión en el negocio, y Lokad se apoya en computación en la nube para llevar a cabo cálculos de alta intensidad.
Los intentos de “simplificar” el proceso descrito muy probablemente terminarán con problemas de overfitting. Sugerimos tener muchísimo cuidado, ya que el overfitting no es un problema que se deba tomar a la ligera. En caso de duda, apuesta por una validación cruzada completa.
Comentarios de los lectores (1)
Quiero calcular la precisión de la previsión en comparación con las ventas, donde tengo una columna con cifras de ventas reales y dos columnas adicionales con previsiones. Lo que necesito es mostrar la precisión de cada previsión frente a las ventas reales en términos de porcentaje. Quiero calcular la precisión de la previsión en comparación con las ventas, donde tengo una columna con cifras de ventas reales y dos columnas adicionales con previsiones. Lo que necesito es mostrar la precisión de cada previsión frente a las ventas reales en términos de porcentaje. Simplemente mostrar la diferencia porcentual no es suficiente (puede estar en cualquier valor desde -200% hasta +200% ya que nuestro equipo de ventas es pésimo en previsión), necesito mostrar la precisión como un valor entre 0% y 100%.
acekard 2i (hace 8 años)
