Medición de la precisión del pronóstico
La mayoría de los ingenieros te dirán que:
No puedes optimizar lo que no mides
Resulta que el pronóstico no es una excepción. Medir la precisión del pronóstico es uno de los pilares fundamentales de cualquier tecnología de pronóstico.
Un concepto erróneo frecuente sobre la medición de la precisión es que Lokad tiene que esperar a que los pronósticos se conviertan en pasado, para finalmente comparar los pronósticos con lo que realmente sucedió.
Sin embargo, este enfoque funciona hasta cierto punto, pero tiene graves inconvenientes:
- Es dolorosamente lento: un pronóstico a 6 meses vista tarda 6 meses en validarse.
- Es muy sensible al sobreajuste. El sobreajuste no debe tomarse a la ligera, y es una de las pocas cosas que es muy probable que cause estragos en tus mediciones de precisión.
Medir la precisión de los pronósticos entregados es una tarea difícil para nosotros. La medición de la precisión representa aproximadamente la mitad de la complejidad de nuestra tecnología de pronóstico: cuanto más avanzada sea la tecnología de pronóstico, mayor será la necesidad de mediciones de precisión sólidas.
En particular, Lokad devuelve la precisión del pronóstico asociada a cada pronóstico que entregamos (por ejemplo, nuestro complemento de Excel informa la precisión del pronóstico). La métrica utilizada para la medición de la precisión es el MAPE (Error Porcentual Absoluto Medio).
Para calcular una precisión estimada, Lokad procede (aproximadamente) a través de validación cruzada ajustada para pronósticos de series de tiempo. La validación cruzada es más simple de lo que parece. Si consideramos un pronóstico semanal a 10 semanas vista con 3 años (es decir, 150 semanas) de historial, entonces la validación cruzada se vería así:
- Tomar la primera semana, pronosticar a 10 semanas vista y comparar los resultados con el original.
- Tomar las 2 primeras semanas, pronosticar a 10 semanas vista y comparar.
- Tomar las 3 primeras semanas, pronosticar a 10 semanas vista y comparar.
- …
El proceso es bastante tedioso, ya que terminamos recalculando los pronósticos aproximadamente 150 veces para solo 3 años de historial. Obviamente, la validación cruzada requiere automatización, y hay pocas esperanzas de llevar a cabo este proceso sin el apoyo de una computadora. Sin embargo, las computadoras suelen costar menos que los errores de pronóstico empresarial, y Lokad se basa en la computación en la nube para realizar estos cálculos intensivos.
Los intentos de “simplificar” el proceso descrito muy probablemente terminarán con problemas de sobreajuste. Sugerimos ser muy cuidadosos, ya que el sobreajuste no es un problema que deba tomarse a la ligera. En caso de duda, opta por una validación cruzada completa.
Comentarios de los lectores (1)
Quiero calcular la precisión del pronóstico en comparación con las ventas, donde tengo una columna con las cifras de ventas reales y otras dos columnas con pronósticos. Lo que necesito hacer es mostrar la precisión de cada pronóstico en comparación con las ventas reales en forma de porcentaje. Simplemente mostrar la diferencia porcentual no es suficiente (puede estar en cualquier lugar desde -200% hasta +200% ya que nuestros vendedores son malos para pronosticar), necesito mostrar la precisión como una cifra del 0% al 100%. hace 8 años | acekard 2i
