Классические прогнозы временных рядов (2008)
Основы
Какие модели прогнозирования вы используете?
Ответ на этот вопрос сложен по двум причинам: во-первых, наша технология прогнозирования является ключевым интеллектуальным активом (ИП), который мы не готовы подробно раскрывать; во-вторых, наша технология сложна и включает в себя множество моделей. Сказав это, Lokad использует широко известную теорию, названную теорией статистического обучения. Эта теория охватывает большинство современных методов прогнозирования, таких как метод опорных векторов, байесовские сети, смешанные или усиливающие методы и мета-эвристики, включая нейронные сети или генетические алгоритмы… Тем не менее, мы не отрицаем и простые классические методы: линейная авторегрессия, скользящее среднее, (двойное, тройное) экспоненциальное сглаживание, Бокс-Дженкинс, Хольт-Винтерс, ARMA, ARIMA. Однако эти классические методы обычно очень слабы, когда речь идет о использовании корреляций между временными рядами.
Насколько точны ваши прогнозы?
Точность прогнозирования крайне зависит от конкретного набора данных, который рассматривается. Мы сталкивались с ситуациями, когда ошибка в 0,5% считалась плохой (например, прогнозы почасового потребления электроэнергии национального масштаба за 24 часа вперед), и другими ситуациями, когда ошибка в 80% считалась отличной (например, уникальная рекламная операция, проведенная во время запуска продукта). Точность сильно зависит от горизонта - чем дальше прогнозы, тем менее точные они -, но точность также сильно зависит от уровня агрегации - чем более агрегированные прогнозы, тем более точные они.
Прогнозные соревнования, есть ли у вас академическая проверка вашей технологии?
Каждый год проводится множество соревнований по добыче данных. В Lokad мы обычно следим за этими событиями и регулярно сравниваем нашу технологию прогнозирования с данными этих соревнований, когда данные соответствуют Lokad (мы обрабатываем только временные ряды, а не изображения или профили клиентов, например). Однако на сегодняшний день мы еще не наблюдали ни одного общедоступного соревнования по добыче данных, которое, по нашему мнению, было бы глубоко репрезентативным для вызовов, с которыми мы сталкиваемся ежедневно. Во-первых, академические наборы данных обычно малы - менее нескольких сотен временных рядов - с длинными временными рядами - сотни точек данных на временной ряд. Это практически противоположно тому, что мы обычно наблюдаем в розничной торговле: тысячи, если не миллионы временных рядов, но очень короткие ряды, потому что продукты живут недолго. Сказав это, Lokad обычно хорошо справляется на этих соревнованиях, и очень хорошо, если учесть, что с Lokad результаты получаются сразу, не требуется экспертиза для их получения.
Оцениваете ли вы точность ваших прогнозов?
Да, мы делаем это. Точные количественные измерения точности прогнозов, достигнутой с помощью нашей технологии прогнозирования, составляют примерно половину нашей основной технологии. Не вдаваясь в подробности, скажем, что это большое испытание, не только создать модели, которые действительно подходят к вашим данным, но и которые оказываются действительно хорошими на данных, которых у вас еще нет, т.е. будущих данных. См. также Переобучение: когда оценка точности идет не по плану. Типичная ежедневная задача команды исследований и разработки Lokad состоит в том, чтобы снова и снова запускать нашу систему прогнозирования на клиентских наборах данных, измерять ошибки прогнозов и пытаться их уменьшить. Заметным аспектом нашей технологии является то, что вы получаете не только прогнозы, но и, для каждого прогнозируемого значения, вы получаете ожидаемую точность этого значения, выраженную в MAPE ошибке. Таким образом, вам не нужно ждать, чтобы наконец узнать, что прогноз был ненадежным, Lokad предоставляет вам информацию заранее, чтобы вы могли соответствующим образом скорректировать свою стратегию.
Сколько исторических данных вам нужно?
Нет минимального требования к объему исторических данных. Тем не менее, Lokad предоставляет статистическую технологию, поэтому чем больше исторических данных, тем точнее прогнозы. На практике 2 года исторических данных считаются хорошими, а 3 года или более считаются отличными. Если у вас менее 1 года исторических данных, то Lokad не сможет уточнять прогнозы через сезонность, которая является важным паттерном для многих бизнесов. Кроме того, для использования сезонности Lokad не требуется более 1 года на каждом временном ряде (т.е. продажи продуктов), нам просто нужно иметь пару временных рядов с более чем 1 годом истории, чтобы установить профили сезонности, которые существуют в вашем бизнесе. Для стартапов и развивающихся бизнесов Lokad можно использовать с самого начала. Действительно, мы предоставляем не только прогнозы, но и ожидаемую точность прогноза. Таким образом, первые прогнозы обычно имеют очень высокие уровни ошибок и постепенно улучшаются со временем. Lokad предлагает вам способ также количественно оценить неопределенность.
Общие шаблоны
Макротренды (например, финансовый кризис), как они обрабатываются?
Мы считаем, что существуют два типичных недопонимания относительно макротрендов. Во-первых, макротренды могут быть использованы для уточнения прогнозов спроса только в том случае, если сами макротренды могут быть точно прогнозированы. Если бы банки смогли прогнозировать финансовый кризис, то кризиса вообще не было бы. Прогнозирование макротрендов обычно намного сложнее, чем прогнозирование спроса на ваш продукт, поэтому это часто является довольно неразрешимым вариантом. Во-вторых, рецессия на уровне -3% / год считается большим макротрендом, но на практике это означает -0,06% влияния на недельном уровне. В сравнении, мы регулярно наблюдаем изменения продаж продуктов на 20% от недели к неделе. Lokad лучше всего подходит для краткосрочных прогнозов, и глядя на несколько недель вперед, макротренды обычно уступают микроэкономическим факторам, таким как акции, каннибализация, рекламные кампании, … В заключение, Lokad обычно игнорирует большинство макротрендов, но по нашему опыту, это единственный разумный вариант для 99% ситуаций.
Сезонность, тренд, как они обрабатываются?
Мы автоматически обнаруживаем календарные шаблоны. Вам не нужно сообщать Lokad, что продукт сезонный, сезонность - это частый шаблон, который нативно обрабатывается нашей технологией прогнозирования. Фактически, сезонность намного сложнее, чем ожидают большинство людей. В наших глазах нет одной сезонности, а много циклических шаблонов, которые взаимодействуют между собой различными способами. Есть годовая сезонность, эффект дня недели, эффект дня зарплаты на месячном уровне, квазигодовая сезонность, такая как день матери, отмечаемый второе воскресенье мая в США, … Более того, при рассмотрении прогнозов продаж на уровне точки продажи, циклические шаблоны продуктов сочетаются с циклическими шаблонами самой точки продажи. Действительно, каждая точка продажи имеет более или менее уникальное окружение, которое генерирует свои собственные шаблоны спроса. Таким образом, сезонность не сводится к предоставлению флага ДА/НЕТ, это довольно сложный набор взаимозависимых шаблонов. Хорошая новость в том, что Lokad управляет этой сложностью за вас.
Пасха, Рамадан, День матери и другие квази-сезонные события?
Некоторые календарные шаблоны, по терминологии Lokad, являются квази-сезонными: шаблоны повторяются из года в год, но они не являются строго годовыми в смысле григорианского календаря (также известного как западный или христианский календарь). Пасха, Рамадан, Китайский Новый год, День матери - это лишь несколько примеров квази-сезонных шаблонов. Lokad автоматически обнаруживает квази-сезонные шаблоны, поэтому вам не нужно прикладывать какие-либо усилия для обработки этих шаблонов. Затем, аналогично классической сезонности, Lokad в первую очередь полагается на анализ нескольких временных рядов для обнаружения временных рядов, у которых схожие квази-сезонные шаблоны, чтобы уточнить анализ шаблонов.
Жизненные циклы продуктов и запуски продуктов, как они обрабатываются?
Большинство потребительских товаров проходят через жизненный цикл. Продукты запускаются, растут, увядая и, наконец, выводятся с рынка. Lokad может прогнозировать продажи при запуске, учитывая, что дата запуска известна. Очевидно, когда продукт только готовится к запуску, нет доступных данных о продажах для этого конкретного продукта для поддержки прогноза. Тем не менее, в отличие от классических наборов инструментов для прогнозирования, Lokad не ограничивается только классическим прогнозированием временных рядов. В частности, продукты могут быть описаны с помощью тегов. Тег может представлять практически любое свойство продукта: категория, подкатегория, семейство, бренд, цвет, размер, … Для прогнозирования продаж продукта, который запускается, Lokad анализирует исторические запуски аналогичных продуктов, и сходства оцениваются на основе предоставленных тегов для каждого продукта. Тот же принцип применяется и к другим шаблонам жизненного цикла.
Интермиттентные / низкотомные продукты, как они обрабатываются?
Если у вас есть продукт, который продается один раз в год, ну, мало что можно сделать с точки зрения статистического прогнозирования. На практике это скорее выбор маркетинга иметь 1 единицу в магазине или ноль. Однако между этим случаем экстремально медленно продающегося товара и вашими лучшими продавцами есть целая серая зона продуктов, которые продаются редко, но достаточно часто, чтобы требовать оптимизации запасов. Большинство классических наборов инструментов для прогнозирования плохо справляются с прерывистыми продажами. В Lokad мы приложили много усилий на этот шаблон спроса, потому что многие бизнесы, такие как электронная коммерция, сильно полагаются на длинный хвост для достижения прибыльности. Тем не менее, медленно продающиеся товары, если не будут тщательно управляться, могут генерировать даже больше запасов, чем лучшие продавцы. Для работы с медленно продающимися товарами мы предлагаем перейти к вероятностному прогнозированию.
Погода, как она обрабатывается?
В некоторых бизнесах, таких как продуктовые магазины, погода является очень важным фактором спроса. На сегодняшний день Lokad не использует прогнозы погоды в качестве входных данных в нашей технологии прогнозирования. Однако этот элемент входит в нашу среднесрочную дорожную карту. Наша цель - не только поддерживать входные данные о погоде, но и сделать процесс автоматизированным, чтобы наши клиенты практически не тратили усилий на получение дополнительной точности.
Артефакты спроса
Потерянные продажи из-за отсутствия товара, как они обрабатываются?
Продажи не равно спросу. Отсутствие товара - это артефакт, который искажает продажи от исходного спроса. Действительно, отсутствие товара приводит к снижению продаж, в то время как спрос остается стабильным. В отличие от классических инструментов прогнозирования, с Lokad вам не нужно изменять или настраивать свои исторические данные в попытке выразить продажи, которые могли бы произойти, если бы не произошло отсутствие товара. Вместо этого события могут использоваться для указания моментов отсутствия товара. Информация об отсутствии товара используется для более точной оценки всех паттернов, которые могли бы быть затронуты (сезонность, тренд, …) в противном случае. Если отсутствие товара не помечено как таковое событиями, Lokad фильтрует эти паттерны как шум. Отслеживание отсутствия товара - это хорошо, но не является обязательным условием для начала работы с Lokad.
Исключительные продажи, как они обрабатываются?
В зависимости от вашей отрасли ваш бизнес может столкнуться с исключительными продажами. Поскольку эти продажи, ну, исключительно большие, их обычно довольно легко обнаружить с помощью чисто статистического подхода. Поэтому мы предлагаем не настраивать ваши исторические данные для очистки от этих исключительных продаж. Во-первых, это, вероятно, потеря времени, во-вторых, сами исключительные продажи могут нести ценную информацию, которая помогает прогнозировать спрос. Затем Lokad не может прогнозировать отдельные будущие исключительные продажи - которые могут зависеть, например, от результата переговоров. Если известно, что впереди исключительные продажи, мы предлагаем вручную переопределить прогнозы Lokad с дополнительным куском информации.
Агрегация, сверху-вниз или снизу-вверх?
Некоторые компании прогнозируют спрос на уровне групп или семей, а затем разбивают эти прогнозы, чтобы достичь индивидуальных продуктов. Это метод прогнозирования сверху-вниз для продукта. Та же идея может быть применена к прогнозированию частоты: некоторые компании сначала прогнозируют на недельном уровне, а затем применяют коэффициенты дня недели. В этом случае это метод прогнозирования частоты сверху-вниз. Наоборот, недельные прогнозы могут быть получены путем суммирования ежедневных прогнозов. В Lokad мы предлагаем настраивать ваши прогнозы для наилучшего соответствия вашим операционным потребностям: если цепи поставок требуют недельных прогнозов для каждого продукта, то запросите недельные прогнозы для каждого продукта у Lokad. Запрос ежедневных прогнозов, а затем суммирование этих прогнозов не улучшит вашу точность. Следуя той же идее, позволить Lokad прогнозировать продажи на уровне группы продуктов, а затем вручную разбивать прогнозы для каждого SKU - это плохая идея, потому что через само разделение вероятно будет введена значительная ошибка прогноза. Внутренне Lokad полагается на множество алгоритмов агрегации/дизагрегации, и мы обычно предпочитаем использовать наиболее детализированные данные. Например, мы используем ежедневные данные о продажах для предоставления месячных прогнозов. Действительно, месяц может включать 4 или 5 выходных, что значительно влияет на большинство розничных бизнесов. Как обычно, вам не нужно беспокоиться о уровне агрегации, Lokad удовлетворяет ваши требования.