Топ-10 странностей в прогнозировании спроса
Статистическое прогнозирование - это очень контринтуитивная область. И большинство предположений, которые могут показаться интуитивно понятными на первый взгляд, оказываются просто неправильными. В этом посте мы составили небольшой список наихудших нарушителей среди всех статистических странностей, которые составляют основу бизнеса Lokad.
1. Прогнозные системы НЕ учатся на своих ошибках
Прогнозные системы обычно обновляют свои прогнозы ежедневно или еженедельно. Каждый раз, когда создается новая партия прогнозов, прогнозная система имеет возможность сравнить свои старые прогнозы с новыми полученными данными и, возможно, извлечь из этого уроки. Поэтому кажется вполне разумным ожидать, что любая данная прогнозная система будет учиться на своих ошибках, так же, как это делает человеческий эксперт. Однако это не так. Прогнозная система не будет пытаться учиться на своих ошибках. Действительно, существуют более эффективные методы, такие как обратное тестирование, которые обеспечивают более высокую статистическую производительность. При обратном тестировании система снова проверяет себя на всю доступную историю каждый раз, когда генерируется прогноз, а не только на последний прирост данных.
2. Самые важные статистические факторы - это шум и случайность
Когда специалистов спрашивают о главных факторах в их спросе, многие отвечают: сезонность, жизненный цикл продукта, рыночное давление, рост бизнеса и т. д. Однако большую часть времени есть слон в комнате: слоном является статистический шум, обнаруженный при наблюдении за спросом.
Большую часть времени проблема прогнозирования рассматривается так, будто, при достаточных усилиях, прогнозы спроса могут быть точными. Однако такая точка зрения неверна, поскольку большую часть времени прогнозы невозможно сделать абсолютно точными. Принятие случайности, присутствующей в спросе, обычно приводит к лучшим бизнес-результатам, чем попытка устранить эту случайность.
3. Корректировки экспертов обычно делают прогнозы менее удовлетворительными
Хотя кажется разумным вручную корректировать статистические прогнозы с помощью отраслевых знаний, мы наблюдали, что на практике эта практика не дает желаемых результатов. Даже когда вручную вносятся корректировки экспертом в этой области, они только ухудшают общую точность, если основные прогнозные системы изначально низкого качества. Только в этом случае ручные корректировки могут помочь улучшить результаты прогноза.
Это часто связано с тем, что восприятие человека сильно подвержено предубеждению в отношении “паттернов”. Часто это приводит к ложным представлениям о трендах, которые на самом деле являются всего лишь случайными колебаниями бизнеса. Ошибочное толкование случайности как “паттерна” приводит к гораздо более значительным ошибкам, чем просто игнорирование паттерна с самого начала и рассмотрение его как простого шума.
4. Ошибка прогнозирования должна измеряться в долларах
Более точный прогноз не обязательно приводит к лучшим бизнес-результатам. Фактически, классический способ рассмотрения прогнозов заключается в оптимизации таких метрик, как MAPE (средняя абсолютная процентная ошибка), которые слабо коррелируют с основными бизнес-интересами. Такие метрики вводят в заблуждение, потому что они исходят из довольно иллюзорного мышления, что если прогнозы были бы абсолютно точными, то ошибка MAPE была бы равна нулю. Однако абсолютно точный прогноз не является разумным сценарием, и вся суть использования показателя производительности заключается в его соответствии интересам данного бизнеса. Другими словами, ошибка прогнозирования должна быть выражена в долларах, а не в процентах. Ежедневные, еженедельные и ежемесячные прогнозы несогласованы.
Если прогнозы составляются как ежедневно, так и еженедельно, то вполне разумно ожидать, что если ежедневные прогнозы суммируются в еженедельные прогнозы, то оба прогноза будут сходиться к одним и тем же значениям, при условии использования одной и той же технологии и настроек для генерации двух наборов прогнозов.
К сожалению, это не так, и два набора прогнозов будут расходиться; и по очень веским статистическим причинам. Кратко говоря, ежедневные (соответственно, еженедельные) прогнозы оптимизируются по метрике, выраженной на ежедневном (соответственно, еженедельном) уровне; статистически, поскольку эти две метрики различаются, числовые результаты числовой оптимизации просто не имеют причин совпадать.
5. Прогнозы на уровне SKU не совпадают с прогнозами на уровне категории
Если одна и та же система прогнозирования используется для прогнозирования спроса как на уровне SKU, так и на уровне категории, можно ожидать, что два набора прогнозов будут согласованы: путем суммирования всех прогнозов, связанных с товарами, принадлежащими к определенной категории, не было бы неразумно предположить, что получится тот же самый результат, что и прогноз, относящийся к самой категории. Это будет так по тем же причинам, что и в предыдущем пункте.
Еще более тревожным является то, что довольно часто можно наблюдать совершенно различные ситуации между прогнозами на уровне SKU и на уровне категории. Например, все прогнозы на уровне SKU могут строго убывать, в то время как прогнозы на уровне категории постоянно растут. Еще один типичный случай - сезонность, которая очень заметна на уровне категории, но едва заметна на уровне SKU. Когда возникает подобная ситуация, может быть соблазн попытаться скорректировать прогнозы на уровне SKU, чтобы согласовать их с прогнозами на уровне категории, но такая техника только ухудшит общую точность прогноза.
6. Изменение единицы измерения имеет значение
С первого взгляда, единица измерения спроса не должна оказывать никакого влияния. Если спрос измеряется в единицах запаса, и если все точки в истории умножаются на 10, то можно ожидать, что все прогнозы также будут умножены на 10 без каких-либо дополнительных последствий. Однако, с использованием технологии, разработанной Lokad, процесс прогнозирования не будет происходить таким образом, по крайней мере, не совсем таким образом.
Действительно, передовая технология прогнозирования спроса использует множество трюков с использованием малых чисел. Количество 1 - это не просто любое количество. Например, мы обнаружили, что в среднем в супермаркетах и гипермаркетах более 75% строк в чеках имеют количество, равное 1. Это приводит к множеству статистических трюков, связанных с “малыми числами”. Умножение любой истории спроса на 10 просто запутает все эвристики, используемые в любой передовой системе прогнозирования коммерции.
7. Лучшие прогнозы промоакций часто генерируются, когда промоакции игнорируются
Прогнозирование промоакций сложно, действительно сложно. В рознице не только отклик спроса на промоакцию может варьироваться от нуля (отсутствие увеличения) до увеличения в 100 раз, но и факторы, влияющие на промоакции, являются сложными, разнообразными и обычно не точно отслеживаются в ИТ-системах. Сочетание сложных бизнес-поведений с неточными данными часто приводит к проблеме “мусор на входе, мусор на выходе”.
Фактически, мы регулярно наблюдаем, что отказ от промоакционных данных был, по крайней мере, очень скромным начальным подходом, наименее неэффективным способом прогнозирования спроса на промоакции. Мы не утверждаем, что этот метод является высокоудовлетворительным или оптимальным, но просто пытаемся продемонстрировать, что собственный прогноз, построенный на правильных, но неполных исторических данных, обычно превосходит сложные модели, основанные на более обширных, но частично неточных данных.
8. Чем более неустойчива история, тем “плосче” прогноз
Визуально, если исторические данные проявляют яркие визуальные закономерности, то ожидается, что прогноз также будет иметь схожие яркие визуальные закономерности. Однако, когда исторические данные проявляют неустойчивые вариации, это ожидание не сбывается, и происходит обратное: чем более неустойчива история спроса, тем более гладкими становятся прогнозы.
Опять же, корень проблемы заключается в том, что человеческий разум нацелен на восприятие закономерностей. Неустойчивые колебания не являются закономерностями (в статистическом смысле), а являются шумом, и система прогнозирования, если она разработана правильно, ведет себя точно как фильтр для этого шума. После удаления шума, часто остается только “плоский” прогноз.
9. Ежедневные, еженедельные и ежемесячные прогнозы обычно не нужны
Периодические прогнозы повсюду - от деловых новостей до погодных бюллетеней; и тем не менее, они редко представляют адекватный статистический ответ на “реальные” деловые вызовы. Проблема с этими периодическими прогнозами заключается в том, что вместо прямого решения делового решения, которое зависит от неопределенного будущего, они обычно используются косвенным образом для составления решения позже.
Гораздо более эффективная стратегия состоит в том, чтобы рассматривать деловые решения как прогнозы. Таким образом, гораздо легче согласовывать прогнозы с конкретными деловыми потребностями и приоритетами, например, измерять ошибку прогноза в долларах, а не в процентах, как указано выше.
10. Большая часть литературы по прогнозированию запасов мало полезна
Когда сталкиваешься с какой-либо сложной темой, разумно начать исследование этой темы, изучив различные научные материалы, доступные в научной литературе. Особенно, если речь идет о прогнозировании спроса и оптимизации запасов, то читателю доступны тысячи статей и публикаций.
Однако мы обнаружили, что практически все методы, анализируемые в такой литературе, просто не работают. Математическая корректность не переводится в деловую мудрость. Многие модели, считающиеся вечными классиками, просто не функционируют. Например,
- Резервные запасы являются ложными, так как они основаны на предположениях о нормальном распределении,
- EOQ (экономический объем заказа) неточен, так как он основан на фиксированной плате за заказ, что является полностью нереалистичным,
- Holt-Winters, модель прогнозирования, которая является достаточно численно нестабильной и требует слишком много исторических данных для обработки,
- ARIMA, который является архетипом математического подхода, слишком сложен для получения незначительных результатов,
- и т.д.
Особенности прогнозирования спроса (вероятно) бесчисленны. Не стесняйтесь делиться своими наблюдениями в разделе комментариев ниже.
