Exactitud del Forecast de Demanda

En estadística, la exactitud del forecast es el grado de cercanía de la declaración de una cantidad a su valor real (verdadero). El valor real usualmente no puede medirse en el momento en que se realiza el forecast porque la declaración se refiere al futuro. Para la mayoría de las empresas, forecasts más precisos aumentan su efectividad para atender la demanda mientras reducen los costos operativos generales.

Uso de las estimaciones de exactitud

La exactitud, cuando se calcula, proporciona una estimación cuantitativa de la calidad esperada de los forecasts. Para la optimización de inventario, la estimación de la exactitud de los forecasts puede servir para varios propósitos:

• para elegir, entre varios modelos de forecast, el que se debe favorecer para estimar la lead demand.
• para calcular el safety stock, asumiendo típicamente que los errores del forecast siguen una distribución normal.
• para priorizar los ítems que requieren la atención más dedicada, ya que los forecasts estadísticos en crudo no son lo suficientemente confiables.

En otros contextos, como la planificación estratégica, las estimaciones de exactitud se utilizan para respaldar el análisis what-if, considerando distintos escenarios y sus respectivas probabilidades.

Impacto de la agregación en la exactitud

Es una idea equivocada común interpretar la calidad del modelo de forecast como el factor principal que impulsa la exactitud de los forecasts: este no es el caso.

El factor más importante que determina el valor de la exactitud es la volatilidad intrínseca del fenómeno para el que se realiza el forecast. En la práctica, en el comercio o la manufactura, esta volatilidad está altamente correlacionada con el nivel de agregación:

• áreas más grandes, como forecasts nacionales vs forecasts locales, generan mayor exactitud.
• idem para períodos más largos, como forecasts mensuales vs forecasts diarios.

Entonces, una vez que se establece un nivel de agregación, la calidad del modelo de forecast desempeña, de hecho, un papel primario en la exactitud que se puede alcanzar. Finalmente, la exactitud disminuye al mirar más hacia el futuro.

Exactitud empírica vs exactitud real

El término exactitud se utiliza con mayor frecuencia refiriéndose a la calidad de una medición física de algún tipo. Desafortunadamente, esta visión resulta algo engañosa cuando se trata de forecasting estadístico. De hecho, a diferencia del entorno físico donde la medición podría compararse con métodos alternativos, la exactitud real del forecast debería medirse estrictamente contra datos que no tienes.

De hecho, una vez que los datos están disponibles, siempre es posible producir forecasts perfectamente exactos, ya que solo requiere imitar los datos. Esta única cuestión ha tenido a los estadísticos perplejos durante más de un siglo, ya que un punto de vista profundamente satisfactorio solo se encontró a finales del siglo XX con la aparición de la teoría Vapnik–Chervonenkis¹.

La exactitud de los forecasts solo puede medirse prácticamente contra los datos disponibles; sin embargo, cuando los datos están disponibles, esos forecasts ya no son verdaderos forecasts, siendo declaraciones acerca del pasado en lugar de declaraciones sobre el futuro. Por lo tanto, esas mediciones se denominan exactitud empírica, en oposición a la exactitud real.

Overfitting problems can lead to large discrepancies between the empirical accuracy and the real accuracy. En la práctica, un uso cuidadoso del backtesting puede mitigar la mayoría de los problemas de overfitting al forecast de time-series.

Métricas de exactitud populares

Existen muchas métricas para medir la exactitud de los forecasts. Las métricas más utilizadas son:

• MAE (error absoluto medio)
• MAPE (error porcentual absoluto medio)
• MSE (error cuadrático medio)
• sMAPE (error porcentual absoluto medio simétrico)
• Pinball loss (una generalización del MAE para quantile forecasts)
• CRPS (una generalización del MAE para probabilistic forecasts)

En la práctica, se debe favorecer una métrica sobre otra en función de su capacidad para reflejar los costos que la empresa incurre debido a las imprecisiones de los forecasts.

La trampa de Lokad

Es mejor ser aproximadamente correcto que exactamente erróneo. En nuestra experiencia tratando con empresas de comercio o manufactura, observamos de forma rutinaria que se presta muy poca atención a la elección de la métrica de exactitud.

De hecho, la métrica ideal no debería devolver valores expresados como porcentajes, sino que debería devolver Dólares o Euros, reflejando precisamente el costo de las ineficiencias causadas por los forecasts inexactos. En particular, mientras que la mayoría de las métricas populares son simétricas (siendo el pinball loss una excepción notable), los riesgos de overforecasting frente a underforecasting no son simétricos en la práctica. Sugerimos adoptar un punto de vista en el que la métrica se acerque más a una función de costo económico –cuidadosamente modelada para adaptarse a las limitaciones del negocio– en lugar de un indicador estadístico en crudo.

Además, es muy importante no llevar a cabo ninguna planificación asumiendo implícitamente que los forecasts son exactos. La incertidumbre es inevitable en los negocios y debe tenerse en cuenta.

Lecturas adicionales

• Video. Accuracy in sales forecasting, Matthias Steinberg, septiembre 2011
• La mejor métrica de error de forecast, Joannes Vermorel, noviembre 2012
• Impacto financiero de la exactitud en inventario, Joannes Vermorel, febrero 2012

Notas