Часто задаваемые вопросы о технологии прогнозов

Вопросы о технологии прогнозирования


Технология прогнозирования » Вопросы

((На данной странице содержатся часто задаваемые вопросы (FAQ) по классической технологии прогнозирования. На практике классические прогнозы гораздо менее эффективны, чем квантильные прогнозы и квантильные схемы. Квантильные схемы, запущенные в марте 2013 года, являются самой совершенной технологией прогнозирования Lokad. При работе с товарными запасами мы рекомендуем использовать квантильные схемы для получения наилучших результатов.)))

   Основные компоненты
      Краткое видео вступление (на английском)
      Какие модели прогнозирования вы используете?
      Насколько точны ваши прогнозы?
      Соревнования прогнозов. Есть ли у вас научная оценка вашей технологии?
      Оцениваете ли вы точность своих прогнозов?
      Какой объем исторических данных вам требуется?
   Общие схемы
      Макро тренды (например: финансовый кризис), как учитываются эти события?
      Как учитываются сезонность и тренд?
      Пасха, Рамадан, День Матери и другие квази-сезонные события?
      Как учитывается жизненный цикл товара и запуск новых товаров?
      Как учитывается нерегулярный/низкий спрос на товары?
      Как учитывается погода?
   Шумы в объеме спроса
      Как учитываются упущенные продажи из-за отсутствия товара?
      Как учитываются исключительные продажи?
      Агрегация, сверху вниз или снизу вверх?


Основные компоненты

Краткое видео вступление (на английском)





Какие модели прогнозирования вы используете?

Ответить на данный вопрос - нетривиальная задача. Во-первых, в связи с тем что технология прогнозирования является ключевой частью нашей интеллектуальной собственности, детали которой мы не готовы раскрывать. Во-вторых, наша технология является довольно сложной, включающей большое количество моделей. Кстати, Lokad использует широкоизвестную теорию Статистического обучения. Эта теория охватывает самые современные методы прогнозирования, такие как Регрессию Опорных Векторов, Байесовские сети, смешанные методы, методы бустинга и мета-эвристики, включая нейронные сети или генетические алгоритмы ... Кроме того, мы не исключаем, старые добрые классические модели, как то: линейную авторегрессию, скользящей средней, экспоненциальное сглаживание (двойное, тройное), Бокса-Дженкинса (Box-Jenkins), Холт-Винтерса (Holt-Winters), ARMA, ARIMA. Но, перечисленные классические модели, как правило, очень слабы когда дело касается корреляции между временными рядами.

Насколько точны ваши прогнозы?

Точность прогнозов во многом зависит от конкретного набора данных. Мы сталкивались с ситуациями, когда отклонение в 0,5% считалось довольно значительным, как, например, прогноз ежечасного потребления электроэнергии в стране на 24 часа вперед, и со случаями, когда отклонение в 80% считалось хорошим результатом в случае запуска единственной рекламной кампании при запуске нового продукта. Точность также зависит от горизонта прогнозирования: чем на более длительный период рассчитывается прогноз, тем он менее точен. Кроме этого, точность зависит и от уровня обобщения: чем более агрегирован прогноз, тем он точнее.

Соревнования прогнозов. Есть ли у вас научная оценка вашей технологии?

Каждый год проводится множество соревнований по обработке данных. В Lokad мы обычно следим за такими мероприятиями, и мы регулярно тестируем нашу технологию на подходящих для нас данных, представленных в подобных соревнованиях (мы обрабатываем только временные ряды, а не, например, графические файлы или профайлы клиентов). Тем не менее, на текущий момент, не существует ни одного общедоступного соревнования по обработке данных, которое бы представляло все сложности, с которыми мы сталкиваемся каждый день. Во-первых, академические наборы данных обычно бывают маленькими - менее нескольких сотен временных рядов - с длинными временными рядами - сотни значений данных в одном временном ряду. Эта ситуация почти противоположна той, с которой мы сталкиваемся в розничной торговле: тысячи, если не миллионы временных рядов, но очень короткие, так как товары имеют довольно короткий жизненный цикл. Учитывая сказанное, обычно Lokad показывает очень хорошие результаты на подобных соревнованиях, и даже очень хорошие, если учесть, что c Lokad результаты довольно легко получить и для получения результата не требуется специальных технических знаний.

Оцениваете ли вы точность своих прогнозов?

Да. Точные количественные измерения точности прогнозов, получаемых по нашей технологии, составляют примерно половину ядра нашей технологии. не вдаваясь в детали, скажем, что это очень сложная задача, не только создать модель, которая подойдет для ваших данных, но также подойдет для данных, которых еще нет, т.е. для данных будущих периодов. Смотрите также Чрезмерно близкая подгонка: когда измерение точности не срабатывает. Типичное ежедневное задание команды разработчиков в Lokad - это бесчисленное количество тестов на данных клиентов для измерения ошибки прогнозов и ее уменьшения. Кроме того, отличительной чертой нашей технологии является то, что вы получаете не только прогнозы, но также и предполагаемую точность значения для каждого значения в прогнозе, выраженную как средняя абсолютная ошибка в процентах. Следовательно, вам не нужно ждать, чтобы понять ненадежность прогноза, а Lokad сразу же дает вам информацию о возможной ошибке, чтобы вы смогли соответственно адаптировать свою стратегию.

Какой объем исторических данных вам требуется?

Мы не устанавливаем минимальных требований по количеству исторических данных. Но, т.к. технологии Lokad работают со статистикой, то чем больше исторических данных, тем выше точность прогнозов. На практике данные за 2 года считаются хорошим объемом, а за 3 или более лет - как отличным. Если у вас есть данные менее чем за год, Lokad не сможет учесть сезонность в прогнозах - важную величину для многих предприятий. Кроме того, для учета сезонности, Lokad требуются данные не более чем за 1 год по каждому одиночному временному ряду (например, по продажам продукта), и нам требуется всего пара временных рядов с данными за более чем 1 год для того, чтобы определить профиль сезонности существующий в вашем бизнесе. Для стартапов и начинающих предприятий, технологии Lokad могут быть применены с самого начала. В самом деле, мы поставляем не только прогнозы, но также и величину ожидаемой точности прогнозов. Таким образом, первые прогнозы обычно имеют очень высокие уровни ошибок и, с течением времени, постепенно улучшаются. Lokad, таким образом, предлагает вам способ подсчета неопределенности.

Общие схемы

Макро тренды (например: финансовый кризис), как учитываются эти события?

По нашему мнению, существуют два типичных недопонимания относительно макро трендов. Во-первых, считается, что действие макро трендов можно максимально учесть только если сами эти макро тренды могут быть точно спрогнозированы. Если бы банки могли спрогнозировать финансовый кризис, никакого кризиса бы и не было. Прогнозирование макро трендов обычно является более сложной задачей, чем прогнозирование спроса на средний продукт, поэтому зачастую это довольно недоступная опция. Во-вторых, экономический спад в 3% в год считается значительным макро трендом, но на практике это означает снижение на 0,06% в неделю. Для сравнения, мы часто наблюдаем различия уровня продаж продукта в 20% от недели к неделе. Lokad наилучшим образом приспособлен для краткосрочных прогнозов, и на несколько недель вперед действие макро трендов обычно сводится на нет за счет таких микроэкономических факторов как кампании по продвижению товара, разукомплектование, рекламные акции, ... В заключение, Lokad обычно игнорирует большинство макро трендов, но по нашему опыту, это единственно разумное решение в 99% случаев.

Как учитываются сезонность и тренд?

Мы автоматически выявляем временные факторы. Вам не нужно сообщать Lokad о сезонности продукта. Сезонность - это часто встречающееся поведение, которое учитывается нашей технологией прогнозов. В действительности, сезонность - это намного более сложный фактор, чем представляется многим. На наш взгляд, не существует единой сезонности, а скорее, есть множество цикличных моделей поведения, взаимодействующих между собой различными способами. Существует ежегодная сезонность, эффект дня недели, эффект дня выплаты заработной платы на уровне месяца, квази-ежегодная сезонность, как, например, День матери, который отмечается в США во второе воскресенье мая и т.д. Кроме того, рассматривая прогнозы объема продаж на уровне пункта продажи, цикличные модели поведения товаров комбинируются с цикличными моделями поведения самой торговой точки. На самом деле, каждая точка продажи имеет свою уникальную среду, которая генерирует свои модели спроса. таким образом, сезонность - это не только отметка ДА/НЕТ, это довольно сложный набор взаимозависимых моделей поведения. Хорошие новости в том, что Lokad справляется со всеми этими сложностями за вас.

Пасха, Рамадан, День Матери и другие квази-сезонные события?

Некоторые временны́е модели поведения являются, на жаргоне Lokad квази-сезонными: повторяющиеся из года в год, они, тем не менее, происходят не в один и тот же день года по григорианскому календарю (известному так же как западному и христианскому). Пасха, Рамадан, Китайский Новый Год, День Матери - некоторые из многочисленных примеров таких квази-сезонных моделей. Lokad автоматически выявляет такие модели поведения, так что вам не придется прилагать дополнительных усилий для их обработки. В то же время, так же как и в случае классической сезонности, Lokad, в целях уточнения анализа моделей поведения, в первую очередь полагается на анализ множественных временных рядов, выявляя ряды, имеющие похожие квази-сезонные модели.

Как учитывается жизненный цикл товара и запуск новых товаров?

Большинство потребительских товаров имеют жизненный цикл. Продукты запускаются на рынке, из продажи растут, затем идут на спад и, наконец, товары уходят с рынка. Lokad может предоставить прогноз объема продаж при запуске товара, если предоставлена дата выпуска товара на рынок. Очевидно, что при запуске товара, для составления прогноза отсутствуют данные об объеме продаж этого конкретного товара. Тем не менее, в отличие от классических подходов к прогнозированию, Lokad - это не только прогнозирование временных рядов. В частности, продукты можно описать с помощью тегов. Тег может представлять почти любое качество продукта: категория, подкатегория, группа товаров, бренд, цвет, размер, ... Для построения прогноза запускаемого продукта Lokad анализирует запуски подобных продуктов в прошлом, а схожие черты оцениваются на основании тегов, приписанных к каждому продукту. Мы применяем такой же принцип к другим товарам с жизненным циклом.

Как учитывается нерегулярный/низкий спрос на товары?

Если у вас есть товар, который продается один раз в год, с точки зрения статистического прогнозирования мало что можно сделать. На практике, решение о наличии в магазине одной единицы товара или полном его отсутствии является в большей степени маркетинговым ходом. Тем не менее, между вашими наиболее и наименее часто продаваемыми товарами находится целая серая область товаров, продаваемых не так часто, но достаточно часто, чтобы была необходима оптимизация товарных запасов. Большинство классических подходов к прогнозированию демонстрируют довольно плохие результаты в отношении нерегулярных продаж. В Lokad мы уделили большое внимание такой модели спроса, как так многие компании, например, сайты электронной торговли, для достижения прибыльности во многом зависят от продаж подобных продуктов. Тем не менее, при отсутствии правильного управления, товары, пользующиеся низким спросом, могут создать даже большие товарные запасы, чем часто продаваемые. Для обработки данных по таким товарам мы ркомендуем обратиться к квантильной технологии прогнозирования.

Как учитывается погода?

В некоторых видах деятельности, например, торговля продуктами питания, погода является очень важным фактором, влияющим на спрос. На сегодняшний день, Lokad не использует данные прогноза погоды как входные данные в своей технологии прогнозов. Тем не менее, этот пункт является нашей целью в средне-срочной перспективе. Нашей целью является не только возможность поддержки обработки данных о погоде, но также возможность автоматизации этого процесса, чтобы он требовал почти нулевых затрат от наших клиентов, но в то же время позволил значительно увеличить точность прогнозов.

Шумы в объеме спроса

Как учитываются упущенные продажи из-за отсутствия товара?

Объем продаж не равен объему спроса. Дефицит товара является шумом, который искажает объем продаж, делая его отличным от изначального объема спроса. Очевидно, что во время дефицита объем продаж товара снижается, в то время как спрос остается на том же уровне. В отличие от классических подходов к прогнозированию, c Lokad вам не нужно изменять или подгонять данные прошлых периодов, чтобы отразить объем продаж, который бы имел место, если бы не сложилась ситуация дефицита. Вместо этого, для определения моментов наличия дефицита товара можно воспользоваться событиями. Информация о дефиците используется для более точного выявления всех моделей поведения спроса, которые могли бы измениться под этим влиянием (сезонность, тренд и т.д.). Если моменты дефицита не помечены как события, Lokad отфильтровывает эти модели как шум. Хорошо, если имеются данные об имевшем месте дефиците в прошлом, но это не является обязательным условием для начала работы с Lokad.

Как учитываются исключительные продажи?

В зависимости от типа вашего бизнеса, у вас могут быть случаи исключительных продаж. Так как эти продажи в объеме превышают средний уровень, обычно их легко выявить, используя чисто статистический подход. Поэтому, мы не советуем изменять данные ваших прошлых периодов, чтобы избавиться от данных об исключительных продажах. Во-первых, обычно это просто пустая трата времени. Во-вторых, сами исключительные продажи могут нести в себе ценную информацию, которая поможет в прогнозировании спроса. Кроме этого, Lokad не может прогнозировать единичные случаи исключительных продаж в будущем, которые могут зависеть, например, от результатов переговоров. Если в будущем предстоит случай исключительного объема продаж, мы рекомендуем дополнить прогноз Lokad подобной информацией вручную.

Агрегация, сверху вниз или снизу вверх?

Некоторые компании прогнозируют спрос на уровне групп товаров, а затем делят эти прогнозы доходя до отдельных продуктов. Это метод прогнозирования продукт, сверху вниз. Та же идея может быть применена к частоте прогнозирования: некоторые компании сначала прогнозируют на уровне недели, а затем применяют к результатам коэффициенты соответствующие дню недели. В этом случае мы имеем дело с методом прогнозирования частота, сверху вниз. И наоборот, недельные прогнозы могут быть получены путем суммирования прогнозов дневных. В Lokad, мы рекомендуем настроить прогнозы для максимального соответствия вашим операционным потребностям: если цепочка поставок требует еженедельных прогнозов по каждому продукту, то запрашивайте еженедельные прогнозы для каждого продукта от Lokad. Ежедневный запрос прогнозов и последующее суммирование этих прогнозов не улучшит вашу точность. Следуя той же идее, позволяя Lokad прогнозировать продажи на уровне группы продуктов, с последующим ручным делением полученных прогнозов на весь асортимент является плохой идеей, т.к. само по себе деление с большой вероятностью внесет в прогноз значительную погрешность. Внутри, Lokad полагается на многочисленные алгоритмы объединения / деления, и мы как правило используем самые детализированные данные из имеющихся. Например, мы используем данные о ежедневных продажах для формирования месячных прогнозов. Действительно, в месяце может быть 4 или 5 пар выходных, а это существенно влияет на большинство предприятий розницы. Как обычно, вам не нужно беспокоиться об уровне агрегации, Lokad позаботится о ваших потребностях.