Precisión de la previsión de demanda

En estadística, la precisión de la previsión es el grado de cercanía de la declaración de una cantidad a su valor real (verdadero). El valor real usualmente no puede medirse en el momento en que se realiza la previsión porque la declaración se refiere al futuro. Para la mayoría de las empresas, previsiones más precisas aumentan su efectividad para atender la demanda mientras reducen los costos operativos generales.

Uso de las estimaciones de exactitud

La precisión, cuando se calcula, proporciona una estimación cuantitativa de la calidad esperada de las previsiones. Para la optimización de inventario, la estimación de la precisión de las previsiones puede servir para varios propósitos:

• para elegir, entre varios modelos de previsión, el que se debe favorecer para estimar la lead demand.
• para calcular el safety stock, asumiendo típicamente que los errores de previsión siguen una distribución normal.
• para priorizar los ítems que requieren la atención más dedicada, ya que las previsiones estadísticas en crudo no son lo suficientemente confiables.

En otros contextos, como la planificación estratégica, las estimaciones de exactitud se utilizan para respaldar el análisis what-if, considerando distintos escenarios y sus respectivas probabilidades.

Impacto de la agregación en la exactitud

Es una idea equivocada común interpretar la calidad del modelo de previsión como el factor principal que impulsa la precisión de las previsiones: este no es el caso.

El factor más importante que determina el valor de la precisión es la volatilidad intrínseca del fenómeno para el que se realiza la previsión. En la práctica, en el comercio o la manufactura, esta volatilidad está altamente correlacionada con el nivel de agregación:

• áreas más grandes, como previsiones nacionales vs previsiones locales, generan mayor precisión.
• idem para períodos más largos, como previsiones mensuales vs previsiones diarias.

Entonces, una vez que se establece un nivel de agregación, la calidad del modelo de previsión desempeña, de hecho, un papel primario en la precisión que se puede alcanzar. Finalmente, la precisión disminuye al mirar más hacia el futuro.

Exactitud empírica vs exactitud real

El término precisión se utiliza con mayor frecuencia refiriéndose a la calidad de una medición física de algún tipo. Desafortunadamente, esta visión resulta algo engañosa cuando se trata de previsión estadística. De hecho, a diferencia del entorno físico donde la medición podría compararse con métodos alternativos, la precisión real de la previsión debería medirse estrictamente contra datos que no tienes.

De hecho, una vez que los datos están disponibles, siempre es posible producir previsiones perfectamente precisas, ya que solo requiere imitar los datos. Esta única cuestión ha tenido a los estadísticos perplejos durante más de un siglo, ya que un punto de vista profundamente satisfactorio solo se encontró a finales del siglo XX con la aparición de la teoría Vapnik–Chervonenkis¹.

La precisión de las previsiones solo puede medirse prácticamente contra los datos disponibles; sin embargo, cuando los datos están disponibles, esas previsiones ya no son verdaderas previsiones, siendo declaraciones acerca del pasado en lugar de declaraciones sobre el futuro. Por lo tanto, esas mediciones se denominan precisión empírica, en oposición a la precisión real.

Los problemas de overfitting pueden provocar grandes discrepancias entre la precisión empírica y la precisión real. En la práctica, un uso cuidadoso del backtesting puede mitigar la mayoría de los problemas de sobreajuste en la previsión de series temporales.

Métricas de exactitud populares

Existen muchas métricas para medir la precisión de las previsiones. Las métricas más utilizadas son:

• MAE (error absoluto medio)
• MAPE (error porcentual absoluto medio)
• MSE (error cuadrático medio)
• sMAPE (error porcentual absoluto medio simétrico)
• Pinball loss (una generalización del MAE para previsiones cuantílicas)
• CRPS (una generalización del MAE para previsiones probabilísticas)

En la práctica, se debe favorecer una métrica sobre otra en función de su capacidad para reflejar los costos que la empresa incurre debido a las imprecisiones de las previsiones.

La trampa de Lokad

Es mejor ser aproximadamente correcto que exactamente erróneo. En nuestra experiencia tratando con empresas de comercio o manufactura, observamos de forma rutinaria que se presta muy poca atención a la elección de la métrica de exactitud.

De hecho, la métrica ideal no debería devolver valores expresados como porcentajes, sino que debería devolver Dólares o Euros, reflejando precisamente el costo de las ineficiencias causadas por las previsiones inexactas. En particular, mientras que la mayoría de las métricas populares son simétricas (siendo el pinball loss una excepción notable), los riesgos de sobreprevisión frente a infraprevisión no son simétricos en la práctica. Sugerimos adoptar un punto de vista en el que la métrica se acerque más a una función de costo económico –cuidadosamente modelada para adaptarse a las limitaciones del negocio– en lugar de un indicador estadístico en crudo.

Además, es muy importante no llevar a cabo ninguna planificación asumiendo implícitamente que las previsiones son exactas. La incertidumbre es inevitable en los negocios y debe tenerse en cuenta.

Lecturas adicionales

• Video. Precisión en la previsión de ventas, Matthias Steinberg, septiembre 2011
• La mejor métrica de error de previsión, Joannes Vermorel, noviembre 2012
• Impacto financiero de la exactitud en inventario, Joannes Vermorel, febrero 2012

Notas