Точность прогнозирования спроса

learn menu
Joannes Vermorel, июнь 2013

В статистике точность прогноза - это степень близости утверждения о количестве к фактическому (истинному) значению этой величины. Фактическое значение обычно не может быть измерено в момент составления прогноза, поскольку утверждение касается будущего. Для большинства бизнесов более точные прогнозы повышают их эффективность в обслуживании спроса и снижают общие операционные затраты.

В этой статье мы принимаем статистическую точку зрения, преимущественно актуальную для коммерции и производства, особенно для областей оптимизации запасов и планирования спроса.

Использование оценок точности

Точность, когда она вычисляется, предоставляет количественную оценку ожидаемого качества прогнозов. Для оптимизации запасов оценка точности прогнозов может служить нескольким целям:

  • выбор из нескольких моделей прогнозирования, которые служат для оценки ведущего спроса, какая модель должна быть предпочтительной.
  • вычисление резервного запаса, обычно предполагая, что ошибки прогнозов следуют нормальному распределению.
  • определение приоритета товаров, которым требуется наибольшее внимание, потому что сырые статистические прогнозы недостаточно надежны.

В других контекстах, таких как стратегическое планирование, оценки точности используются для поддержки анализа “что-бы-если”, рассматривая различные сценарии и их соответствующую вероятность.

Влияние агрегации на точность

Часто ошибочно интерпретируют качество модели прогнозирования как основной фактор, определяющий точность прогнозов: это не так.

Самый важный фактор, определяющий значение точности, - это внутренняя изменчивость прогнозируемого явления. На практике, в коммерции или производстве, эта изменчивость сильно коррелирует с уровнем агрегации:

  • большие территории, такие как национальные прогнозы по сравнению с местными прогнозами, дают большую точность.
  • то же самое для более длительных периодов, таких как месячные прогнозы по сравнению с ежедневными прогнозами.
Анекдотическое доказательство: В Lokad мы регулярно наблюдаем, что нет такого понятия как хорошая точность; это зависит от контекста. Когда прогнозируется национальное потребление электроэнергии на следующий день для большой европейской страны, 0,5% ошибки считалось относительно неточным; в то время как достижение менее 80% ошибки для прогнозов продаж товаров первого дня введения в продажу свежих продуктов на уровне магазина считалось значительным достижением.

Затем, после того как уровень агрегации определен, качество модели прогнозирования действительно играет первостепенную роль в достижении точности. Наконец, точность уменьшается, когда смотрят в дальнейшее будущее.

Эмпирическая точность против реальной точности

Термин точность наиболее часто используется в отношении качества физического измерения какого-либо вида. К сожалению, эта концепция вводит в заблуждение, когда речь идет о статистическом прогнозировании. Действительно, в отличие от физической установки, где измерение можно сравнить с альтернативными методами, реальная точность прогноза должна быть строго измерена по данным, которых у вас нет.

Действительно, как только данные становятся доступными, всегда можно создать абсолютно точные прогнозы, так как это требует только имитации данных. Этот вопрос оставался загадкой для статистиков более столетия, и только в конце 20-го века была найдена удовлетворительная точка зрения с появлением теории Вапника-Червоненкиса1.

Точность прогнозов может быть измерена только на основе доступных данных; однако, когда данные становятся доступными, эти прогнозы больше не являются истинными прогнозами, так как они являются утверждениями о прошлом, а не о будущем. Такие измерения называются эмпирической точностью, в отличие от реальной точности.

Проблемы переобучения могут привести к большим расхождениям между эмпирической точностью и реальной точностью. На практике тщательное использование обратного тестирования может смягчить большинство проблем с переобучением при прогнозировании временных рядов.

Популярные метрики точности

Существует множество метрик для измерения точности прогнозов. Самые широко используемые метрики:

На практике метрика должна быть предпочтительнее другой на основе ее способности отражать затраты, понесенные компанией из-за неточности прогнозов.

Особенность Lokad

Лучше быть приближенно правильным, чем точно неправильным. Из нашего опыта работы с коммерческими или производственными компаниями мы регулярно наблюдаем, что слишком мало внимания уделяется выбору метрики точности.

Действительно, идеальная метрика не должна возвращать значения, выраженные в процентах, а должна возвращать доллары или евро, точно отражающие стоимость неэффективности, вызванной неточными прогнозами. В частности, хотя большинство популярных метрик являются симметричными (потеря пинбола является заметным исключением), риски перепрогнозирования и недопрогнозирования на практике несимметричны. Мы предлагаем принять точку зрения, где метрика ближе к экономической функции стоимости - тщательно моделируется с учетом бизнес-ограничений - а не к сырому статистическому индикатору.

Кроме того, очень важно не проводить планирование, предполагая, что прогнозы являются точными. Неопределенность неизбежна в бизнесе и должна быть учтена.

Дополнительная информация

Примечания

  1. Википедия. Теория Вапника-Червоненкиса ↩︎