Классические временные ряды (2008)
Основы
Какие модели прогнозирования вы используете?
Ответить на этот вопрос сложно по двум причинам: во-первых, наша технология прогнозирования является ключевым интеллектуальным собственностью (ИС), которую мы не хотим раскрывать в подробностях; во-вторых, наша технология сложна и включает в себя множество моделей. Тем не менее, Lokad использует известную теорию, называемую статистическим обучением. Эта теория охватывает большинство современных методов прогнозирования, таких как регрессия с поддержкой векторов, байесовские сети, смешанные или усиливающие методы и метаэвристики, включая нейронные сети или генетические алгоритмы… Тем не менее, мы также не отказываемся от старых классических методов: линейная авторегрессия, скользящее среднее, (двойное, тройное) экспоненциальное сглаживание, Бокса-Дженкинса, Хольта-Винтерса, ARMA, ARIMA. Однако эти классические методы обычно очень слабы, когда речь идет о использовании корреляций между временными рядами.
Насколько точны ваши прогнозы?
Точность прогнозирования крайне зависит от конкретного набора данных, который рассматривается. Мы сталкивались с ситуациями, когда погрешность в 0,5% считалась плохой (например, прогнозы почасового потребления электроэнергии на всю страну за 24 часа вперед), и другими ситуациями, когда погрешность в 80% считалась отличной (например, уникальная промо-акция, проводимая во время запуска продукта). Точность сильно зависит от горизонта - чем дальше в будущее прогнозы, тем менее точными они становятся, - но точность также сильно зависит от уровня агрегации - чем более агрегированные прогнозы, тем более точными они становятся.
Прогнозные соревнования, есть ли у вас академическая проверка вашей технологии?
Каждый год проводится множество соревнований по анализу данных. В Lokad мы обычно следим за этими событиями и регулярно сравниваем нашу технологию прогнозирования с данными соревнований, когда эти данные имеют отношение к Lokad (мы обрабатываем только временные ряды, а не изображения или профили клиентов, например). Однако, на сегодняшний день мы еще не наблюдали ни одного общедоступного соревнования по анализу данных, которое, по нашему мнению, было бы глубоко репрезентативным для тех вызовов, с которыми мы ежедневно сталкиваемся. Во-первых, академические наборы данных обычно являются маленькими - менее нескольких сотен временных рядов - с длинными временными рядами - сотни точек данных на временной ряд. Это почти противоположно тому, что мы обычно наблюдаем в розничной торговле: тысячи, если не миллионы временных рядов, но очень короткие, потому что продукты имеют короткий срок службы. Тем не менее, Lokad обычно хорошо справляется с такими соревнованиями, и очень хорошо, если учесть, что с Lokad результаты получаются сразу, без необходимости обладать экспертизой для их получения.
Оцениваете ли вы точность ваших прогнозов?
Да, мы это делаем. Точные количественные измерения точности прогноза, достигнутой с помощью нашей технологии прогнозирования, составляют около половины нашей основной технологии. Без вдавания в подробности, скажем, что это большой вызов, не только создать модели, которые действительно подходят к вашим данным, но и быть действительно хорошими на данных, которых у вас еще нет, то есть на будущих данных. См. также Переобучение: когда оценка точности идет не так. Типичная ежедневная задача команды разработки Lokad состоит в том, чтобы снова и снова запускать нашу систему прогнозирования на клиентских наборах данных, измерять ошибки прогноза и пытаться их уменьшить. Заметным аспектом нашей технологии является то, что вы получаете не только прогнозы, но и, для каждого прогнозируемого значения, вы получаете ожидаемую точность этого значения, выраженную в виде ошибки MAPE. Таким образом, вам не нужно ждать, чтобы наконец обнаружить, что прогноз был ненадежным, Lokad предоставляет вам информацию заранее, чтобы вы могли соответствующим образом скорректировать свою стратегию.
Сколько исторических данных вам нужно?
Нет нижнего требования к количеству исторических данных. Сказанное, Lokad предоставляет статистическую технологию, поэтому чем больше исторических данных, тем точнее прогнозы. На практике 2 года исторических данных считаются хорошими, а 3 года или более - отличными. Если у вас меньше 1 года исторических данных, то Lokad не сможет уточнить прогнозы с помощью сезонности, которая является важным паттерном для многих бизнесов. Кроме того, для использования сезонности Lokad не требуется больше 1 года на каждом временном ряде (т.е. продажи продукта), нам нужно только иметь несколько временных рядов с более чем 1 годом истории, чтобы установить профили сезонности, существующие в вашем бизнесе. Для стартапов и развивающихся бизнесов Lokad можно использовать с самого начала. Действительно, мы предоставляем не только прогнозы, но и ожидаемую точность прогноза. Таким образом, первые прогнозы обычно имеют очень высокий уровень ошибки и постепенно улучшаются со временем. Lokad предлагает вам способ количественной оценки неопределенности.
Общие шаблоны
Как обрабатываются макротенденции (например, финансовый кризис)?
Мы считаем, что существуют два типичных недоразумения относительно макротенденций. Во-первых, макротенденции могут быть использованы для уточнения прогнозов спроса только в том случае, если сами макротенденции могут быть точно прогнозированы. Если бы банки смогли прогнозировать финансовый кризис, то кризиса вообще не было бы. Прогнозирование макротенденций обычно намного сложнее, чем прогнозирование спроса на ваш продукт, поэтому это часто является довольно неразрешимым вариантом. Во-вторых, рецессия на уровне -3% в год считается большой макротенденцией, но на практике это означает -0,06% влияния на недельном уровне. В сравнении с этим мы регулярно наблюдаем изменение продаж продукта на 20% от недели к неделе. Lokad наиболее подходит для краткосрочных прогнозов, и при прогнозировании на несколько недель вперед макротенденции обычно уступают микроэкономическим факторам, таким как акции, каннибализация, рекламные кампании и т.д. В заключение, Lokad обычно игнорирует большинство макротенденций, но по нашему опыту это единственный разумный вариант для 99% ситуаций.
Как обрабатываются сезонность и тренд?
Мы автоматически обнаруживаем календарные шаблоны. Вам не нужно сообщать Lokad, что продукт сезонный, сезонность - это часто встречающийся шаблон, который нативно учитывается нашей технологией прогнозирования. Фактически, сезонность намного сложнее, чем ожидают большинство людей. В наших глазах нет одной сезонности, а много циклических шаблонов, которые взаимодействуют между собой по разным путям. Есть годовая сезонность, эффект дня недели, эффект выплаты зарплаты на месячном уровне, квазигодовая сезонность, такая как день матери, отмечаемый во второе воскресенье мая в США, … Более того, при рассмотрении прогнозов продаж на уровне точки продажи, циклические шаблоны продуктов сочетаются с циклическими шаблонами самой точки продажи. Каждая точка продажи имеет более или менее уникальную среду, которая создает свои собственные шаблоны спроса. Таким образом, сезонность - это не просто предоставление флага ДА/НЕТ, это довольно сложный набор взаимозависимых шаблонов. Хорошая новость заключается в том, что Lokad управляет этой сложностью за вас.
Пасха, Рамадан, день матери и другие квази-сезонные события?
Некоторые календарные шаблоны, в терминологии Lokad, являются квази-сезонными: шаблоны повторяются из года в год, но они не являются строго ежегодными в смысле григорианского календаря (также известного как западный или христианский календарь). Пасха, Рамадан, Китайский Новый Год, День матери - это примеры квази-сезонных шаблонов. Lokad автоматически обнаруживает квази-сезонные шаблоны, поэтому вам не нужно прикладывать какие-либо усилия для работы с этими шаблонами. Затем, аналогично классической сезонности, Lokad в основном полагается на анализ нескольких временных рядов для обнаружения временных рядов, у которых есть похожие квази-сезонные шаблоны, чтобы уточнить анализ шаблона.
Жизненный цикл продукта и запуск продукта, как они обрабатываются?
Большинство потребительских товаров проходят жизненный цикл. Продукты запускаются, растут, угасают и, наконец, выводятся с рынка. Lokad может прогнозировать продажи при запуске, учитывая, что дата запуска задана. Очевидно, когда продукт готовится к запуску, нет доступных данных о продажах для этого самого продукта, чтобы поддержать прогноз. Однако, в отличие от классических инструментов прогнозирования, Lokad не ограничивается только классическим прогнозированием временных рядов. В частности, продукты могут быть описаны с помощью тегов. Тег может представлять любое свойство продукта: категория, подкатегория, семейство, бренд, цвет, размер, … Чтобы прогнозировать продажи запускаемого продукта, Lokad анализирует исторические запуски аналогичных продуктов, и сходства оцениваются на основе предоставленных тегов для каждого продукта. Тот же принцип применяется и к другим шаблонам жизненного цикла.
Продукты с нерегулярным / низким объемом продаж, как они обрабатываются?
Если у вас есть продукт, который продается один раз в год, то, с точки зрения статистического прогнозирования, мало что можно сделать. На практике это скорее маркетинговый выбор иметь 1 единицу в магазине или ноль. Однако, между этим случаем крайне медленного движения и вашими самыми продаваемыми товарами есть целая серая зона продуктов, которые продаются редко, но достаточно часто, чтобы требовать оптимизации запасов. Большинство классических инструментов прогнозирования плохо работают с нерегулярными продажами. В Lokad мы приложили много усилий для работы с этим шаблоном спроса, потому что многие бизнесы, такие как электронная коммерция, сильно полагаются на длинный хвост для достижения прибыльности. Однако, товары с низкой скоростью продаж, если их не тщательно управлять, могут создавать еще больше запасов, чем самые продаваемые товары. Чтобы справиться с товарами с низкой скоростью продаж, мы предлагаем использовать вероятностное прогнозирование.
Погода, как она обрабатывается?
В некоторых бизнесах, таких как продуктовые магазины, погода является очень важным фактором спроса. На сегодняшний день Lokad не использует прогнозы погоды в качестве входных данных в нашей технологии прогнозирования. Однако этот элемент является частью нашей среднесрочной дорожной карты. Наша цель - не только поддерживать входные данные о погоде, но и сделать процесс полностью автоматизированным, чтобы нашим клиентам практически не требовалось никаких усилий для получения дополнительной точности.
Артефакты спроса
Потерянные продажи, вызванные отсутствием товара, как они обрабатываются?
Продажи не равно спросу. Отсутствие товара - это артефакт, который искажает продажи, отклоняя их от исходного спроса. Действительно, отсутствие товара приводит к снижению продаж, в то время как спрос остается стабильным. В отличие от классических инструментов прогнозирования, с Lokad вам не нужно изменять или настраивать свои исторические данные в попытке выразить продажи, которые могли бы произойти, если бы не было отсутствия товара. Вместо этого, события могут использоваться для указания времени, когда произошло отсутствие товара. Информация об отсутствии товара используется для более точной оценки всех паттернов, которые могли бы быть затронуты (сезонность, тренд и т. д.) в противном случае. Если отсутствие товара не помечено как таковое с помощью событий, Lokad фильтрует эти паттерны как шум. Отслеживание отсутствия товара - это хорошо, но не является обязательным условием для начала работы с Lokad.
Исключительные продажи, как они обрабатываются?
В зависимости от вашей отрасли ваш бизнес может столкнуться с исключительными продажами. Поскольку эти продажи, ну, исключительны по размеру, их также обычно довольно легко обнаружить с помощью чисто статистического подхода. Поэтому мы предлагаем не настраивать ваши исторические данные для очистки этих исключительных продаж. Во-первых, это, вероятно, пустая трата времени, во-вторых, сами исключительные продажи могут нести ценную информацию, которая помогает прогнозированию спроса. Затем, Lokad не может прогнозировать отдельные будущие исключительные продажи - которые могут зависеть, например, от результата переговоров. Если известно о предстоящей исключительной продаже, мы предлагаем вручную переопределить прогнозы Lokad с дополнительной информацией.
Агрегация, сверху вниз или снизу вверх?
Некоторые компании прогнозируют спрос на уровне групп или семей, а затем разбивают эти прогнозы для достижения отдельных продуктов. Это метод прогнозирования сверху вниз для продукта. Та же идея может быть применена к прогнозированию частоты: некоторые компании сначала прогнозируют на недельном уровне, а затем применяют коэффициенты дня недели. В этом случае это метод прогнозирования частоты сверху вниз. Наоборот, недельные прогнозы могут быть получены путем суммирования ежедневных прогнозов. В Lokad мы предлагаем настроить ваши прогнозы наиболее точно соответствующим образом вашим операционным потребностям: если цепочке поставок требуются недельные прогнозы для каждого продукта, то запросите недельные прогнозы для каждого продукта у Lokad. Запрос ежедневных прогнозов, а затем их суммирование не улучшит вашу точность. Следуя той же идее, позволить Lokad прогнозировать продажи на уровне группы продуктов, а затем вручную разбивать прогнозы для каждого SKU - это плохая идея, потому что значительная ошибка прогноза, скорее всего, будет введена при самом разбиении. Внутренне Lokad полагается на множество алгоритмов агрегации/дизагрегации, и мы обычно предпочитаем использовать наиболее детализированные доступные данные. Например, мы используем ежедневные данные о продажах для предоставления месячных прогнозов. Действительно, месяц может содержать 4 или 5 выходных дней, что существенно влияет на большинство розничных бизнесов. Как обычно, вам не нужно беспокоиться о уровне агрегации, Lokad обрабатывает ваши требования.