La mejor métrica de error de pronóstico
Las métricas disponibles para evaluar el rendimiento de un pronóstico son muchas:
- Error Absoluto Medio (MAE)
- Error Cuadrático Medio (MSE)
- Error Porcentual Absoluto Medio (MAPE)
- Función de Pérdida Pinball
- …
En esta publicación, intentaremos abordar la pregunta de la métrica de pronóstico “mejor”. Resulta ser más simple de lo que la mayoría de los profesionales esperarían.
Entre estas métricas, MAE y MAPE son probablemente las más utilizadas por los profesionales tanto en el comercio minorista como en la fabricación. Comencemos por echar un vistazo a los gráficos de estas dos métricas.
Gráfico del Error Absoluto Medio. X = real (el pronóstico es 1). Y = error.
El comportamiento del MAE es bastante sencillo. El aspecto complicado, desde un punto de vista matemático, es que la función no es diferenciable en todas partes (no para x=1 en el ejemplo anterior).
Gráfico del Error Porcentual Absoluto Medio. X = real (el pronóstico es 1). Y = error.
El MAPE, sin embargo, es mucho más complicado. De hecho, el comportamiento entre pronósticos “sobre” y “bajo” es muy diferente: el error de pronóstico “bajo” está limitado a 1, mientras que el error de pronóstico “sobre” tiende al infinito hacia cero.
Este último aspecto en particular tiende a causar estragos cuando se combina con eventos de falta de stock (OOS). De hecho, la falta de stock genera valores de ventas reales muy bajos, lo que puede resultar en valores de MAPE muy altos.
En la práctica, sugerimos pensarlo dos veces antes de optar por MAPE, ya que interpretar los resultados puede ser un pequeño desafío en sí mismo.
La mejor métrica debería expresarse en Dólares o Euros
Desde una perspectiva matemática, algunas métricas (como L2) se consideran más prácticas para el análisis estadístico (por ser diferenciables, por ejemplo), sin embargo, creemos que este punto de vista es discutible cuando se enfrentan situaciones empresariales reales.
La única unidad que se debe utilizar para evaluar el rendimiento de un pronóstico debería ser el dinero. Los pronósticos siempre están equivocados, y la única forma razonable de cuantificar el error consiste en evaluar cuánto dinero le costó a la empresa la diferencia entre el pronóstico y la realidad.
Modelar los costos empresariales
En la práctica, definir una función de costo ad hoc de este tipo requiere un examen cuidadoso del negocio, lo que genera preguntas como:
- ¿Cuánto cuesta el inventario?
- ¿Cuánta obsolescencia del inventario se debe esperar?
- ¿Cuánto cuesta la falta de stock?
- …
En lo que respecta a las políticas de la empresa, modelar el error de pronóstico como, por ejemplo, un porcentaje, y así ignorar todas esas problemáticas preguntas, tiene la ventaja de ser neutral y dejar al resto de la empresa con la carga de traducir el pronóstico en una acción concreta.
El proceso de establecer una función de costo sensata no es ciencia de cohetes, sin embargo, obliga, dentro de la empresa, a la entidad encargada de los pronósticos a escribir explícitamente todos esos costos. Al hacerlo, se toman decisiones, no beneficiando a todas las divisiones de la empresa, pero claramente beneficiando a la empresa en sí.
