Топ 10 странностей в прогнозировании спроса
Статистическое прогнозирование — это чрезвычайно контринтуитивная область. И большинство предположений, которые на первый взгляд кажутся интуитивными, оказываются абсолютно неверными. В этом посте мы составляем краткий список самых вопиющих случаев статистических аномалий, которые составляют основу бизнеса Lokad.
1. Системы предварительного прогнозирования НЕ учатся на своих ошибках
Системы прогнозирования, как правило, обновляют свои прогнозы ежедневно или еженедельно. Каждый раз, когда создается новая партия прогнозов, система получает возможность сравнить старые прогнозы с недавно полученными данными и, возможно, извлечь из этого уроки. В результате кажется вполне логичным ожидать, что любая система прогнозирования будет учиться на своих ошибках, как это делает эксперт-человек. Однако это не так. Система предварительного прогнозирования НЕ пытается учиться на своих ошибках. Действительно, существуют лучшие методы, а именно ретроспективное тестирование, которые обеспечивают более высокую статистическую точность. При использовании ретроспективного тестирования система каждый раз перепроверяет себя на всей имеющейся истории, а не только на последнем приросте данных.
2. Наиболее важными статистическими факторами являются шум и случайность
Когда экспертов спрашивают о доминирующих факторах, влияющих на спрос, многие отвечают: сезонность, жизненный цикл продукта, рыночное давление, рост бизнеса и т.д. Однако зачастую имеется «слон в комнате»: слон — это статистический шум, присутствующий в наблюдениях спроса.
Часто проблему прогнозирования рассматривают так, как будто при достаточных усилиях можно добиться высокой точности прогнозов спроса. Однако такой взгляд неверен, поскольку в большинстве случаев прогнозы неизбежно остаются неточными. Принятие случайности, присущей спросу, обычно приводит к лучшим бизнес-результатам, чем попытки устранить эту случайность.
3. Экспертные корректировки, как правило, ухудшают качество прогнозов
Хотя может показаться разумным вручную корректировать статистические прогнозы с учетом специфики отрасли, мы не раз наблюдали, что такая практика не дает желаемых результатов. Даже когда ручные корректировки выполняет эксперт в этой области, они, как правило, ухудшают общую точность, если только базовые системы прогнозирования не являются по своей природе плохими. Только в этом случае ручные коррекции могут помочь улучшить результаты прогноза.
Это часто связано с тем, что человеческое восприятие сильно склонно к поиску «паттернов». Часто это приводит к ложному видению трендов, которые являются всего лишь случайными колебаниями в бизнесе. Ошибочная интерпретация случайности как «паттерна» обычно порождает гораздо более значительные ошибки, чем простое игнорирование паттерна и трактовка его как просто шума.
4. Ошибку прогнозирования следует измерять в долларах
Более точный прогноз не обязательно приводит к лучшим бизнес-результатам. Действительно, классический подход к оценке прогнозов заключается в оптимизации таких метрик, как MAPE (средняя абсолютная процентная ошибка), которые лишь слабо коррелируют с основными бизнес-интересами. Такие метрики вводят в заблуждение, поскольку они основаны на достаточно иллюзорном предположении, что если прогнозы были бы идеально точными, то ошибка MAPE была бы равна нулю. Однако идеально точный прогноз — это не разумный сценарий, а суть использования метрики эффективности заключается в том, чтобы она соответствовала интересам конкретного бизнеса. Иными словами, ошибка прогнозирования должна выражаться в долларах, а не в процентах. Ежедневные, еженедельные и ежемесячные прогнозы не согласуются между собой.
Если прогнозы создаются как на ежедневной, так и на еженедельной основе, вполне разумно ожидать, что при суммировании ежедневных прогнозов в еженедельные оба прогноза будут сходиться к одним и тем же значениям, учитывая, что для генерации обеих групп прогнозов использовались одна и та же технология и одни и те же настройки.
К сожалению, это не так, и обе группы прогнозов будут расходиться; и то по очень веским статистическим причинам. Короче говоря, ежедневные (соответственно, еженедельные) прогнозы оптимизируются по метрике, выраженной на ежедневном (соответственно, еженедельном) уровне; статистически, поскольку эти две метрики различны, числовые результаты оптимизации просто не обязаны совпадать.
5. Прогнозы на уровне SKU не совпадают с прогнозами на уровне категории
Если одна и та же система прогнозирования используется для прогнозирования спроса как на уровне SKU, так и на уровне категории, можно ожидать, что обе группы прогнозов будут согласованы: при суммировании всех прогнозов для SKU, принадлежащих определенной категории, не будет нелогично получить такое же значение, как и прогноз для самой категории. Это произойдет по тем же причинам, что были описаны в предыдущем абзаце.
Еще более тревожным является тот факт, что достаточно часто можно наблюдать весьма странные ситуации, когда между прогнозами на уровне SKU и прогнозами на уровне категории существуют полностью противоречивые тенденции. Например, все прогнозы для SKU могут неуклонно снижаться, в то время как прогнозы на уровне категории постоянно растут. Еще один типичный случай — сезонность, которая отчетливо видна на уровне категории, но едва заметна на уровне SKU. Когда возникает подобная ситуация, может возникнуть соблазн попытаться скорректировать прогнозы на уровне SKU, чтобы привести их в соответствие с прогнозами для категории, но такая техника только ухудшит общую точность прогноза.
6. Изменение единицы измерения имеет значение
На первый взгляд, единица измерения спроса не должна оказывать никакого влияния. Если спрос считается в единицах инвентаря и все точки истории умножаются на 10, то можно ожидать, что все прогнозы также умножатся на 10 без дополнительных последствий. Однако с технологиями, подобными разработанной Lokad, процесс прогнозирования не происходит именно таким образом, по крайней мере, не совсем так.
Действительно, передовая технология прогнозирования спроса использует множество уловок, связанных с малыми числами. Количество 1 — это не просто любое количество. Например, мы наблюдали, что в среднем более 75% позиций в чеках супермаркетов и гипермаркетов имеют количество, равное 1. Это приводит к тому, что многие статистические приемы связаны с «малыми числами». Умножение любой заданной истории спроса на 10 просто запутало бы все эвристики, используемые в любой продвинутой системе прогнозирования коммерции.
7. Лучшие промо-акций прогнозы часто генерируются, когда акции игнорируются
Прогнозирование акций сложно, действительно сложно. В розничной торговле не только реакция спроса на акцию может изменяться от отсутствия эффекта до 100-кратного увеличения, но и факторы, влияющие на акции, являются сложными, разнообразными и обычно не отслеживаются точно в ИТ-системах. Сочетание сложного бизнес-поведении с неточными данными — рецепт, который, скорее всего, приведет к проблеме «мусор на входе, мусор на выходе».
На самом деле, мы регулярно наблюдали, что исключение данных о акциях являлось, по крайней мере как очень скромный начальный подход, наименее неэффективным способом прогнозирования спроса во время акций. Мы не утверждаем, что этот метод является исключительно удовлетворительным или оптимальным, а лишь пытаемся продемонстрировать, что нативный прогноз, построенный на корректных, но неполных исторических данных, обычно превосходит сложные модели, основанные на более обширных, но частично неточных данных.
8. Чем более хаотична история, тем «плосче» прогноз
Визуально, если исторические данные демонстрируют ярко выраженные закономерности, можно ожидать, что и прогноз будет обладать подобными яркими визуальными паттернами. Однако когда исторические данные демонстрируют хаотические колебания, это ожидание не оправдывается, и происходит обратное: чем хаотичнее история спроса, тем сглаженнее прогнозы.
Снова, основная причина здесь заключается в том, что человеческий мозг настроен на восприятие закономерностей. Хаотичные колебания не являются закономерностями (в статистическом смысле), а представляют собой шум, и система прогнозирования, если она правильно сконструирована, работает как фильтр для этого шума. Как только шум устраняется, обычно остается лишь «плоский» прогноз.
9. Ежедневные, еженедельные и ежемесячные прогнозы обычно не нужны
Периодические прогнозы встречаются повсеместно — от деловых новостей до сводок о погоде; однако они редко предоставляют адекватный статистический ответ на реальные бизнес-задачи. Проблема этих периодических прогнозов заключается в том, что вместо того чтобы напрямую решать бизнес-задачу, зависящую от неопределенного будущего, они обычно используются косвенным образом для формирования последующего решения.
Гораздо более эффективная стратегия заключается в том, чтобы рассматривать бизнес-решения как прогнозы. Таким образом, становится намного проще согласовать прогнозы с конкретными бизнес-потребностями и приоритетами, например, измерять ошибку прогноза в долларах, а не в процентах, как было описано выше.
10. Большая часть литературы по прогнозированию запасов практически бесполезна
При столкновении с любой сложной темой разумно начать изучение, исследуя различные рецензируемые материалы, доступные в научной литературе. Особенно учитывая, что для читателя доступны тысячи работ и статей, касающихся прогнозирования спроса и оптимизации запасов.
Тем не менее, мы обнаружили, что почти все методы, анализируемые в такой литературе, просто не работают. Математическая корректность не превращается в бизнес-мудрость. Многие модели, считающиеся вечными классиками, просто неисправны. Например,
- Страховые запасы ошибочны, поскольку они основаны на предположениях нормального распределения,
- Модель экономичного объема заказа (EOQ) неточны, поскольку основаны на фиксированной плате за заказ, что совершенно нереалистично,
- Модель Хольта-Винтерса — это прогнозная модель, которая весьма нестабильна с числовой точки зрения и требует слишком глубокой истории данных для своей применимости,
- ARIMA, являющаяся архетипом математически обоснованного подхода, слишком сложна для слишком скромных результатов,
- и т.д.
Странности в прогнозировании спроса (вероятно) бесчисленны. Не стесняйтесь оставлять собственные наблюдения в разделе комментариев ниже.
