El mejor forecast error metric
Las métricas disponibles para evaluar el rendimiento de un forecast son muchas:
- Error Absoluto Medio (MAE)
- Error Cuadrático Medio (MSE)
- Error Porcentual Absoluto Medio (MAPE)
- Función de pérdida Pinball
- …
En este post, intentaremos abordar la cuestión de la mejor métrica forecast. Resulta ser más sencillo de lo que la mayoría de los practicantes esperarían.
Entre ellas, MAE y MAPE son probablemente las métricas forecast más utilizadas por los practicantes tanto en el retail como en la manufactura. Comencemos echando un vistazo a los gráficos de esas dos métricas.
Gráfico del Error Absoluto Medio. X = real (forecast es 1). Y = error.
El comportamiento del MAE es razonablemente directo. El único aspecto complicado - desde un punto de vista matemático - es que la función no es diferenciable en todas partes (no para x=1 en el ejemplo anterior).
Gráfico del Error Porcentual Absoluto Medio. X = real (forecast es 1). Y = error.
El MAPE, sin embargo, es mucho más complejo. De hecho, el comportamiento entre forecast over y forecast under es muy diferente: el error del forecast under tiene un tope de 1, mientras que el error del forecast over tiende a infinito cuando se acerca a cero.
Este último aspecto en particular tiende a causar estragos cuando se combina con faltante de stock (OOS) eventos. De hecho, los faltantes de stock generan valores de ventas reales muy bajos, de ahí potencialmente valores MAPE muy altos.
En la práctica, sugerimos pensarlo dos veces antes de optar por MAPE, ya que interpretar los resultados probablemente implicará un pequeño desafío en sí mismo.
La mejor métrica debería expresarse en Dólares o Euros
Desde una perspectiva matemática, algunas métricas (como L2) se consideran más prácticas para el análisis estadístico (por ser, por ejemplo, diferenciables), sin embargo, creemos que este punto de vista es discutible cuando se enfrentan situaciones de negocio reales.
La única unidad que se debe utilizar para evaluar el rendimiento de un forecast debería ser el dinero. Los forecast siempre están equivocados, y la única manera razonable de cuantificar el error consiste en evaluar cuánto costó a la empresa la diferencia entre el forecast y la realidad.
Modelando los costos del negocio
En la práctica, definir una función de costo ad-hoc de este tipo requiere un examen cuidadoso del negocio, lo que plantea preguntas como:
- ¿Cuánto cuesta el inventario?
- ¿Cuánta obsolescencia del inventario se debería esperar?
- ¿Cuánto cuesta el faltante de stock?
- …
En lo que respecta a la política de la empresa, modelar el error forecast como, por ejemplo, un porcentaje, dejando de lado todas esas preguntas problemáticas, tiene la única ventaja de ser neutral - dejando al resto de la empresa la carga de traducir efectivamente el forecast en una línea de acción.
El proceso de establecer una función de costo sensata no es ciencia de cohetes, sin embargo, obliga, dentro de la empresa, a la entidad encargada de los forecast, a plasmar explícitamente todos esos costos. Al hacerlo, se toman decisiones, que no benefician a todas las divisiones de la empresa, pero sí benefician claramente a la empresa en sí.
