Классические временные ряды (2008)
Основы
Какие модели прогнозирования вы используете?
Ответить на этот вопрос сложно по двум причинам: во-первых, наша технология прогнозирования является ключевым интеллектуальным активом (ИА), которым мы не желаем подробно делиться; во-вторых, наша технология сложна и включает в себя множество моделей. Тем не менее, Lokad использует известную теорию, называемую теорией статистического обучения. Эта теория охватывает большинство современных методов прогнозирования, таких как регрессия с поддержкой векторов, байесовские сети, смешанные или усиливающие методы и метаэвристики, включая нейронные сети или генетические алгоритмы… Кроме того, мы также не отказываемся от старых классических методов: линейная авторегрессия, скользящее среднее, (двойное, тройное) экспоненциальное сглаживание, Бокса-Дженкинса, Хольта-Винтерса, ARMA, ARIMA. Однако эти классические методы обычно очень слабы, когда речь идет о использовании корреляций между временными рядами.
Насколько точны ваши прогнозы?
Точность прогнозирования крайне зависит от конкретного набора данных, который рассматривается. Мы сталкивались с ситуациями, когда погрешность в 0,5% считалась плохой (например, прогнозы почасового потребления электроэнергии на всю страну за 24 часа вперед), и другими ситуациями, когда погрешность в 80% считалась отличной (например, уникальная промо-акция, проводимая во время запуска продукта). Точность сильно зависит от горизонта - чем дальше в будущее прогнозы, тем менее точными они становятся, - но точность также сильно зависит от уровня агрегации - чем более агрегированные прогнозы, тем более точными они становятся.
Прогнозные соревнования, есть ли у вас академическая проверка вашей технологии?
Каждый год проводится множество соревнований по анализу данных. В Lokad мы обычно следим за этими событиями и регулярно сравниваем нашу технологию прогнозирования с данными соревнований, когда эти данные имеют отношение к Lokad (мы обрабатываем только временные ряды, а не изображения или профили клиентов, например). Однако, на сегодняшний день мы еще не наблюдали ни одного общедоступного соревнования по анализу данных, которое, по нашему мнению, было бы глубоко репрезентативным для тех вызовов, с которыми мы ежедневно сталкиваемся. Во-первых, академические наборы данных обычно являются маленькими - менее нескольких сотен временных рядов - с длинными временными рядами - сотни точек данных на временной ряд. Это почти противоположно тому, что мы обычно наблюдаем в розничной торговле: тысячи, если не миллионы временных рядов, но очень короткие ряды, потому что продукты имеют короткий срок службы. Тем не менее, Lokad обычно хорошо справляется с такими соревнованиями, и очень хорошо, если учесть, что с Lokad результаты получаются сразу, без необходимости обладать экспертизой для их получения.
Оцениваете ли вы точность ваших прогнозов?
Да, мы это делаем. Точные количественные измерения точности прогноза, достигнутой с помощью нашей технологии прогнозирования, составляют около половины нашей основной технологии. Без вдавания в подробности, скажем, что это большой вызов, не только создать модели, которые действительно подходят к вашим данным, но и быть действительно хорошими на данных, которых у вас еще нет, то есть на будущих данных. См. также Переобучение: когда оценка точности не помогает. Типичная ежедневная задача команды разработки Lokad состоит в том, чтобы снова и снова запускать нашу систему прогнозирования на клиентских наборах данных, измерять ошибки прогноза и пытаться их уменьшить. Заметным аспектом нашей технологии является то, что вы получаете не только прогнозы, но и, для каждого прогнозируемого значения, вы получаете ожидаемую точность этого значения, выраженную в виде ошибки MAPE. Таким образом, вам не нужно ждать, чтобы, наконец, обнаружить, что прогноз был ненадежным, Lokad предоставляет вам информацию заранее, чтобы вы могли соответствующим образом скорректировать свою стратегию.
Сколько исторических данных вам нужно?
Нет нижнего требования к количеству исторических данных. Сказанное, Lokad предоставляет статистическую технологию, поэтому чем больше исторических данных, тем точнее прогнозы. На практике 2 года исторических данных считаются хорошими, а 3 года или более считаются отличными. Если у вас меньше 1 года исторических данных, то Lokad не сможет уточнить прогнозы с помощью сезонности, которая является важным паттерном для многих бизнесов. Кроме того, для использования сезонности Lokad не требуется больше 1 года на каждом временном ряде (т.е. продажи продукта), нам нужно только иметь несколько временных рядов с более чем 1 годом истории, чтобы установить профили сезонности, существующие в вашем бизнесе. Для стартапов и развивающихся бизнесов Lokad можно использовать с самого начала. Действительно, мы предоставляем не только прогнозы, но и ожидаемую точность прогноза. Таким образом, первые прогнозы обычно имеют очень высокий уровень ошибки и постепенно улучшаются со временем. Lokad предлагает вам способ количественной оценки неопределенности.
Общие шаблоны
Как обрабатываются макротенденции (например, финансовый кризис)?
Мы считаем, что существуют два типичных недоразумения относительно макротенденций. Во-первых, макротенденции могут быть использованы для уточнения прогнозов спроса только в том случае, если сами макротенденции могут быть точно прогнозированы. Если бы банки смогли прогнозировать финансовый кризис, то кризиса вообще не было бы. Прогнозирование макротенденций обычно намного сложнее, чем прогнозирование спроса на ваш продукт, поэтому это часто является довольно неразрешимым вариантом. Во-вторых, рецессия в размере -3% / год считается большой макротенденцией, но на практике это означает -0,06% влияния на недельном уровне. В сравнении с этим мы регулярно наблюдаем изменение продаж продукта на 20% от недели к неделе. Lokad наиболее подходит для краткосрочных прогнозов, и глядя на несколько недель вперед, макротенденции обычно уступают микроэкономическим факторам, таким как акции, каннибализация, рекламные кампании и т. д. В заключение, Lokad обычно игнорирует большинство макротенденций, но по нашему опыту это единственный разумный вариант для 99% ситуаций.
Как обрабатываются сезонность и тренд?
Мы автоматически обнаруживаем календарные шаблоны. Вам не нужно сообщать Lokad, что продукт сезонный, сезонность - это часто встречающийся шаблон, который нативно учитывается нашей технологией прогнозирования. Фактически, сезонность намного сложнее, чем ожидают большинство людей. В наших глазах нет одной сезонности, а много циклических шаблонов, которые взаимодействуют между собой по разным путям. Есть годовая сезонность, эффект дня недели, эффект выплаты зарплаты на месячном уровне, квазигодовая сезонность, такая как день матери, отмечаемый во второе воскресенье мая в США, … Более того, при рассмотрении прогнозов продаж на уровне точки продажи, циклические шаблоны продуктов сочетаются с циклическими шаблонами самой точки продажи. Каждая точка продажи имеет более или менее уникальную среду, которая создает свои собственные шаблоны спроса. Таким образом, сезонность - это не просто предоставление флага ДА/НЕТ, это довольно сложный набор взаимозависимых шаблонов. Хорошая новость заключается в том, что Lokad управляет этой сложностью за вас.
Пасха, Рамадан, День матери и другие квази-сезонные события?
Некоторые календарные шаблоны, по локадовской терминологии, являются квази-сезонными: шаблоны повторяются из года в год, но они не являются строго ежегодными в смысле григорианского календаря (также известного как западный или христианский календарь). Пасха, Рамадан, Китайский Новый год, День матери - это примеры квази-сезонных шаблонов. Lokad автоматически обнаруживает квази-сезонные шаблоны, поэтому вам не нужно прикладывать какие-либо усилия для работы с этими шаблонами. Затем, аналогично классической сезонности, Lokad в основном полагается на анализ нескольких временных рядов для обнаружения временных рядов, у которых есть похожие квази-сезонные шаблоны, чтобы уточнить анализ шаблона.
Как обрабатываются жизненные циклы продуктов и запуски продуктов?
Большинство потребительских товаров проходят жизненный цикл. Продукты запускаются, растут, увядает и, наконец, выводятся с рынка. Lokad может прогнозировать продажи при запуске, учитывая, что дата запуска задана. Очевидно, когда продукт готовится к запуску, нет доступных данных о продажах для этого самого продукта, чтобы поддержать прогноз. Однако, в отличие от классических инструментов прогнозирования, Lokad не ограничивается только классическим прогнозированием временных рядов. В частности, продукты могут быть описаны с помощью тегов. Тег может представлять любое свойство продукта: категория, подкатегория, семейство, бренд, цвет, размер, … Чтобы прогнозировать продажи запускаемого продукта, Lokad анализирует исторические запуски аналогичных продуктов, и сходства оцениваются на основе предоставленных тегов для каждого продукта. Тот же принцип применяется и к другим шаблонам жизненного цикла.
Как обрабатываются прерывистые / низкотиражные продукты?
Если у вас есть продукт, который продается один раз в год, то, с точки зрения статистического прогнозирования, мало что можно сделать. На практике это скорее маркетинговый выбор иметь 1 единицу на складе или ноль. Однако, между этим случаем крайне медленного движения и вашими самыми продаваемыми товарами есть целая серая зона продуктов, которые продаются редко, но достаточно часто, чтобы требовать оптимизации запасов. Большинство классических инструментов прогнозирования плохо работают с прерывистыми продажами. В Lokad мы приложили много усилий для работы с этим шаблоном спроса, потому что многие бизнесы, такие как электронная коммерция, сильно полагаются на длинный хвост для достижения прибыльности. Однако, товары с медленным оборотом, если их не тщательно управлять, могут создавать еще больше запасов, чем самые продаваемые товары. Чтобы справиться с товарами с медленным оборотом, мы предлагаем использовать вероятностное прогнозирование.
Как обрабатывается погода?
В некоторых бизнесах, таких как продуктовые магазины, погода является очень важным фактором спроса. На сегодняшний день Lokad не использует прогнозы погоды в качестве входных данных в нашей технологии прогнозирования. Однако этот элемент является частью нашей среднесрочной дорожной карты. Наша цель - не только поддерживать входные данные о погоде, но и сделать процесс полностью автоматизированным, чтобы нашим клиентам требовалось минимальное усилие для получения дополнительной точности.
Артефакты спроса
Потерянные продажи из-за нехватки товара, как с ними обращаться?
Продажи не равны спросу. Нехватка товара - это артефакт, который искажает продажи относительно исходного спроса. Действительно, нехватка товара приводит к снижению продаж, в то время как спрос остается стабильным. В отличие от классических инструментов прогнозирования, с Lokad вам не нужно изменять или настраивать свои исторические данные в попытке выразить продажи, которые могли бы произойти, если бы не было нехватки товара. Вместо этого, события могут использоваться для указания времени, когда произошла нехватка товара. Информация о нехватке товара используется для более точной оценки всех паттернов, которые могли бы быть затронуты (сезонность, тренд и т. д.). Если нехватка товара не помечена как таковая с помощью событий, Lokad фильтрует эти паттерны как шум. Отслеживание нехватки товара - это хорошо, но не является обязательным условием для начала работы с Lokad.
Исключительные продажи, как с ними обращаться?
В зависимости от вашей отрасли ваш бизнес может столкнуться с исключительными продажами. Поскольку эти продажи, ну, исключительны по размеру, их также обычно довольно легко обнаружить с помощью чисто статистического подхода. Поэтому мы предлагаем не настраивать ваши исторические данные для очистки этих исключительных продаж. Во-первых, это, вероятно, пустая трата времени, во-вторых, сами исключительные продажи могут нести ценную информацию, которая помогает прогнозированию спроса. Затем, Lokad не может прогнозировать отдельные будущие исключительные продажи - которые могут зависеть, например, от результата переговоров. Если известно о предстоящей исключительной продаже, мы предлагаем вручную переопределить прогнозы Lokad с дополнительной информацией.
Агрегация, сверху вниз или снизу вверх?
Некоторые компании прогнозируют спрос на уровне групп или семей, а затем разбивают эти прогнозы для достижения отдельных продуктов. Это метод прогнозирования сверху вниз для продукта. Та же идея может быть применена к прогнозированию частоты: некоторые компании сначала прогнозируют на недельном уровне, а затем применяют коэффициенты для дней недели. В этом случае это метод прогнозирования сверху вниз для частоты. Наоборот, недельные прогнозы могут быть получены путем суммирования ежедневных прогнозов. В Lokad мы предлагаем настроить ваши прогнозы наиболее точно соответствующим образом вашим операционным потребностям: если цепочке поставок требуются недельные прогнозы для каждого продукта, то запросите недельные прогнозы для каждого продукта у Lokad. Запрос ежедневных прогнозов, а затем их суммирование не улучшит вашу точность. Следуя той же идее, позволить Lokad прогнозировать продажи на уровне группы продуктов, а затем вручную разбивать прогнозы для каждого SKU - это плохая идея, потому что значительная ошибка прогноза, скорее всего, будет введена при самом разбиении. Внутренне Lokad полагается на множество алгоритмов агрегации/дизагрегации, и мы обычно предпочитаем использовать наиболее детализированные доступные данные. Например, мы используем ежедневные данные о продажах для предоставления месячных прогнозов. Действительно, месяц может содержать 4 или 5 выходных дней, что существенно влияет на большинство розничных бизнесов. Как обычно, вам не нужно беспокоиться о уровне агрегации, Lokad обрабатывает ваши требования.