La mejor forecast error metric
Métricas disponibles para evaluar el desempeño de un forecast son muchas:
- Error Absoluto Medio (MAE)
- Error Cuadrático Medio (MSE)
- Error Porcentual Absoluto Medio (MAPE)
- Función de pérdida pinball
- …
En este post, intentaremos abordar la cuestión de la ‘mejor’ métrica forecast. Resulta ser más simple de lo que la mayoría de los practicantes esperaría.
Entre estas, MAE y MAPE son probablemente las métricas más utilizadas por los practicantes tanto en el comercio minorista como en la manufactura. Empecemos echando un vistazo a los gráficos de esas dos métricas.
Gráfico del Error Absoluto Medio. X = real (forecast es 1). Y = error.
El comportamiento del MAE es razonablemente sencillo. El único aspecto complicado – desde un punto de vista matemático – es que la función no es diferenciable en todas partes (no para x=1 en el ejemplo anterior).
Gráfico del Error Porcentual Absoluto Medio. X = real (forecast es 1). Y = error.
El MAPE, sin embargo, es mucho más enrevesado. De hecho, el comportamiento entre los forecast over y under es muy diferente: el error de forecast under está limitado a 1, mientras que el error de forecast over tiende a infinito conforme se aproxima a cero.
Este último aspecto en particular tiende a causar estragos cuando se combina con eventos de faltante de stock (OOS). De hecho, los eventos de faltante de stock generan valores reales de ventas muy bajos, lo que puede llevar a obtener valores muy altos de MAPE.
En la práctica, sugerimos pensarlo dos veces antes de optar por el MAPE, ya que interpretar los resultados probablemente suponga un pequeño desafío en sí mismo.
La mejor métrica debe expresarse en Dólares o Euros
Desde un punto de vista matemático, algunas métricas (como L2) se consideran más prácticas para el análisis estadístico (por ser diferenciables, por ejemplo), sin embargo, creemos que este punto de vista es irrelevante cuando se enfrentan a situaciones empresariales reales.
La única y exclusiva unidad a utilizar para evaluar el desempeño de un forecast debería ser dinero. Los forecast siempre están equivocados, y la única forma razonable de cuantificar el error consiste en evaluar cuánto le costó a la empresa la diferencia entre el forecast y la realidad.
Modelando los costos empresariales
En la práctica, definir una función de costo ad hoc requiere un examen cuidadoso del negocio, lo que genera preguntas como:
- ¿Cuánto cuesta el inventario?
- ¿Cuánta obsolescencia de inventario se debe esperar?
- ¿Cuánto cuesta el faltante de stock?
- …
En lo que respecta a la política de la empresa, modelar el error forecast como, por ejemplo, un porcentaje, ignorando así todas esas preguntas problemáticas, tiene la única ventaja de ser neutral - dejando al resto de la empresa la carga de traducir efectivamente el forecast en una línea de acción.
El proceso de establecer una función de costo sensata no es ciencia de cohetes, sin embargo, obliga, dentro de la empresa, a la entidad encargada de los forecast, a escribir explícitamente todos esos costos. Al hacerlo, se toman decisiones, que no benefician a cada división de la empresa, pero sí benefician claramente a la empresa en sí misma.
