Точность прогнозирования спроса

learn menu
Joannes Vermorel, Июнь 2013

В статистике точность прогноза определяется степенью близости заявленного количества к его фактическому (истинному) значению. Фактическое значение обычно невозможно измерить в момент составления прогноза, поскольку утверждение относится к будущему. Для большинства компаний более точные прогнозы повышают их эффективность в удовлетворении спроса, одновременно снижая общие операционные расходы.

В этой статье мы принимаем статистическую точку зрения, в первую очередь актуальную для торговли и производства, особенно в областях оптимизации запасов и планирования спроса.

Использование оценок точности

Вычисленная точность предоставляет количественную оценку ожидаемого качества прогнозов. Для оптимизации запасов оценка точности прогнозов может служить нескольким целям:

  • выбрать среди нескольких моделей прогнозирования, предназначенных для оценки спроса за время поставки, которую следует отдать предпочтение.
  • вычислить резервный запас, как правило, при условии, что ошибки прогноза следуют нормальному распределению.
  • приоритизировать товары, требующие наибольшего внимания, поскольку сырые статистические прогнозы недостаточно надежны.

В других контекстах, таких как стратегическое планирование, оценки точности используются для поддержки анализа «что если», с учетом различных сценариев и их вероятностей.

Влияние агрегирования на точность

Распространённое заблуждение — трактовать качество модели прогнозирования как основной фактор, определяющий точность прогнозов: это не так.

Наиболее важным фактором, влияющим на точность прогнозов, является внутренняя волатильность прогнозируемого явления. На практике, в торговле или производстве, эта волатильность тесно коррелирует с уровнем агрегирования:

  • более крупные области, такие как национальные прогнозы по сравнению с местными, обеспечивают большую точность.
  • то же самое для более длительных периодов, например, месячные прогнозы по сравнению с дневными.
Анекдотические свидетельства: В компании Lokad мы регулярно наблюдаем, что понятия хорошей точности не существует; она определяется специфическими условиями. При прогнозировании потребления электроэнергии на следующий день на национальном уровне для крупной европейской страны ошибка в 0,5% считалась относительно неточной, в то время как достижение менее 80% ошибки для прогнозов на уровне магазина в первый день продаж нововведенных свежих продуктов считалось значительным успехом.

Затем, когда уровень агрегирования определён, качество модели прогнозирования действительно играет основную роль в достижимой точности. Наконец, точность снижается при прогнозировании на более дальние сроки.

Эмпирическая точность против реальной точности

Термин точность чаще всего используется в отношении качества какого-либо физического измерения. К сожалению, такое понимание несколько вводит в заблуждение, когда речь идёт о статистическом прогнозировании. Действительно, в отличие от физических измерений, где результат можно сравнить с альтернативными методами, реальная точность прогноза должна строго измеряться на основании данных, которых у вас нет.

Действительно, как только данные становятся доступны, всегда можно составить абсолютно точные прогнозы, так как для этого достаточно скопировать данные. Этот единственный вопрос озадачил статистиков более века, поскольку удовлетворительная интерпретация была найдена лишь в конце 20-го века с появлением теории Vapnik–Chervonenkis1.

Точность прогнозов может быть практически измерена только по доступным данным; однако, когда данные доступны, эти прогнозы перестают быть настоящими прогнозами, поскольку представляют собой описание прошлого, а не будущее. Таким образом, эти измерения называют эмпирической точностью, в противоположность реальной точности.

Переобучение может привести к большим расхождениям между эмпирической точностью и реальной точностью. На практике правильное использование ретроспективного тестирования может смягчить большинство проблем переобучения при прогнозировании временных рядов.

Популярные метрики точности

Существует множество метрик для измерения точности прогнозов. Наиболее широко используемыми являются:

На практике, одна метрика должна быть предпочтительнее другой, исходя из её способности отражать затраты, которые несёт компания из-за неточностей прогнозов.

Ловушка Lokad

Лучше быть приблизительно правильным, чем точно ошибаться. По нашему опыту работы с торговыми или производственными компаниями, мы регулярно наблюдаем, что слишком мало внимания уделяется выбору метрики точности.

Действительно, идеальная метрика не должна возвращать значения, выраженные в процентах, а должна возвращать сумму в долларах или евро, точно отражая стоимость неэффективности, вызванной неточными прогнозами. В частности, в то время как большинство популярных метрик являются симметричными (значительным исключением является pinball loss), риски переоценки и недооценки прогнозов на практике не симметричны. Мы предлагаем принять точку зрения, при которой метрика ближе к экономической функции затрат – тщательно смоделированной с учётом бизнес-ограничений – а не просто к сырому статистическому индикатору.

Кроме того, крайне важно не проводить планирование, подразумевая, что прогнозы являются точными. Неопределённость неизбежна в бизнесе и должна быть учтена.

Дополнительное чтение

Заметки

  1. Википедия. Теория Vapnik–Chervonenkis ↩︎