Вероятностные прогнозы (2016)

Вероятностное прогнозирование - это парадигма, которую в настоящее время использует Lokad. Однако, с тех пор, как она была внедрена в 2016 году, технология, поддерживающая эту парадигму, продолжает развиваться. См. также наше введение в вероятностное прогнозирование.
probabilistic-forecasting-graph
Вероятностные прогнозы представляют собой значительное улучшение по сравнению с предыдущим поколением технологии прогнозирования Lokad, основанной на сетках квантилей. По сравнению с классическими методами прогнозирования, вероятностные прогнозы являются прорывом, который обеспечивает гораздо большую точность и, в свою очередь, приводит к операционным выгодам в сфере цепей поставок, запасов или производства. Многие компании разочарованы прогнозами, которые постоянно подводят их. Lokad потребовалось много лет, чтобы полностью понять корень проблемы: традиционные подходы к прогнозированию ожидают получения правильных цифр. Естественно, будущее неопределенно, и когда данное инструмент или решение не доставляет ожидаемых правильных цифр, выгоды также не реализуются. Вместо того, чтобы учитывать только одно возможное будущее, вероятностные прогнозы присваивают вероятность каждому из нескольких различных результатов.
probabilistic-forecasting-graph
В этом эпизоде LokadTV мы понимаем, как вероятностные прогнозы могут быть использованы для улучшения работы цепей поставок. Мы обсуждаем точность и ограничения, а также обсуждаем, почему отрасль все еще настолько привержена более традиционным методам и каким может быть будущее прогнозирования.

Принятие неопределенности

На нашем опыте никакое количество тонкой настройки существующих моделей прогнозирования и никакое количество НИОКР для разработки лучших моделей в традиционном смысле не могут решить эту проблему. Методы, такие как анализ запасов безопасности, предполагают обработку неопределенности, но на практике анализ запасов безопасности является всего лишь послесловием. В управлении цепями поставок затраты обусловлены экстремальными событиями: это неожиданно высокий спрос, который вызывает нехватку товара и разочарование клиентов, и неожиданно низкий спрос, который вызывает мертвый товар и, следовательно, дорогостоящую списание товара. Как все руководители знают, бизнесы должны надеяться на лучшее, но готовиться к худшему. Когда спрос точно соответствует ожиданиям, все идет гладко. Однако, основная проблема бизнеса в области прогнозирования не заключается в том, чтобы хорошо справляться с простыми случаями, где все будет идти хорошо, даже если учесть грубое скользящее среднее. Основная проблема заключается в обработке сложных случаев; тех, которые нарушают вашу цепь поставок и сводят всех с ума.

power-clouds Lokad разработала радикально новый подход к прогнозам, а именно вероятностные прогнозы. Просто говоря, вероятностный прогноз спроса не только дает оценку спроса, но и оценивает вероятности каждого отдельного будущего. Оценивается вероятность спроса в 0 (ноль) единиц, оценивается вероятность спроса в 1 единицу, в 2 единицы спроса и так далее... Каждому уровню спроса присваивается его оцененная вероятность, пока вероятности не станут настолько маленькими, что их можно безопасно игнорировать.

Эти вероятностные прогнозы предоставляют совершенно новый способ взгляда на будущее. Вместо того чтобы застрять в позиции мечтательного мышления, где ожидается, что прогнозные цифры станут реальностью, вероятностные прогнозы напоминают вам, что все всегда возможно, просто не совсем одинаково вероятно. Таким образом, когда речь идет о подготовке к худшему, вероятностные прогнозы предоставляют мощный способ количественного балансирования рисков (в то время как традиционные прогнозы остаются слепыми к последним).

В то время как анализ рисков обычно является послесловием в традиционных подходах к прогнозированию, Lokad выдвигает этот случай на первый план с помощью вероятностных прогнозов.

С точки зрения практика

Вероятностные прогнозы могут показаться очень пугающими и техническими. Однако, вероятно, если вы являетесь практикующим в сфере цепей поставок, вы уже много лет делаете “интуитивные” вероятностные прогнозы: подумайте о всех ситуациях, когда ваши базовые прогнозы приходилось пересматривать вверх или вниз, потому что риски были слишком велики… Вот в чем суть вероятностных прогнозов: правильное балансирование решений в реальном мире при неопределенном будущем. В то время как анализ рисков обычно является послесловием в традиционных подходах к прогнозированию, Lokad выдвигает этот случай на первый план с помощью вероятностных прогнозов.

Выходные данные вероятностного прогнозного движка представляют собой распределения вероятностей. С практической точки зрения, хотя эта информация является чрезвычайно полезной (ведь это взгляд на множество возможных будущих событий!), она также довольно неудобна для использования в своем исходном виде. В результате Lokad предоставляет полную платформу, все необходимые инструменты и командную поддержку, чтобы позволить вашей компании превратить эти вероятности в деловые решения, такие как заказные количества.

reorder_quantities

Веб-приложение Lokad обладает возможностями обработки больших данных и позволяет создавать необходимую бизнес-логику, которая превращает эти прогнозы в решения, специально адаптированные к вашему бизнесу. Эти решения могут быть настроены под ваши конкретные ограничения цепи поставок, такие как минимальные заказные количества (MOQ), ваши экономические факторы, такие как риски, связанные с истечением срока годности, и ваши процессы, такие как ежедневные заказы на закупку, которые необходимо сделать до 8 утра каждый день.

Роботизация с помощью машинного обучения

Управление цепями поставок часто включает множество продуктов, перемещаемых по множеству мест. Традиционные прогнозные решения обычно полагаются на достаточно ручные настройки, когда включены сложные статистические закономерности, такие как новые продукты или эффекты жизненного цикла продукта. Однако наш опыт в Lokad показывает, что если прогнозное решение требует настройки, то этому нет конца: несмотря на то, сколько недель или месяцев труда было затрачено на создание работающего решения, всегда есть постоянная необходимость в дополнительной настройке, потому что продуктов слишком много, мест слишком много, и бизнес постоянно меняется.

Поэтому в Lokad мы решили выбрать полную роботизацию процесса прогнозирования. Это означает, что

  • для получения прогнозов не требуется никаких статистических знаний
  • для настройки прогнозов не требуется никакой дополнительной настройки
  • для поддержания соответствия прогнозов вашему бизнесу не требуется никакого обслуживания
Robotization-through-machine-learning
Эта роботизация достигается с помощью машинного обучения. Интуитивно, при рассмотрении продуктов по отдельности, количество доступной информации для каждого продукта обычно слишком незначительно для проведения точного статистического анализа. Однако, рассматривая корреляции между всеми продуктами, когда-либо проданными, становится возможным автоматически настраивать модели прогнозирования, а также вычислять гораздо более точные прогнозы, которые используют не только данные конкретного продукта, но и данные всех продуктов, рассматриваемых с точки зрения прогнозирования как похожие на него. Алгоритмы, способные решать этот тип высокоразмерной статистической проблемы, обычно называются алгоритмами машинного обучения или статистического обучения. Lokad использует именно эти алгоритмы - многие из них, чтобы предоставить свои прогнозы.

Как небольшой недостаток, эти алгоритмы потребляют гораздо больше вычислительной мощности, чем их традиционные аналоги. Однако, эту проблему решает облачные вычисления, которые позволяют прогнозирующему движку работать плавно, независимо от объема данных.

Происхождение наших вероятностных прогнозов

Lokad не изобрел вероятностное прогнозирование, это сделали другие математики, в основном, используя концепцию для решения совершенно другого набора проблем, таких как прогнозирование цен на товары или прогнозирование погоды. Кроме того, Lokad не использовало вероятностное прогнозирование с самого начала; мы прошли через классическое прогнозирование (2008 год), квантильное прогнозирование (2012 год) и квантильные сетки (2015 год)

graph-work-in-progress

до этого. В результате, вероятностные прогнозы на самом деле являются 4-м поколением нашей технологии прогнозирования. Из опыта, полученного на предыдущих итерациях этой технологии, мы получили значительное количество ноу-хау, когда дело доходит до разработки прогнозирующего движка, подходящего для широкого спектра бизнес-ситуаций.

Сама идея оценивать вероятности, а не среднее значение, возникла в наши первые годы, когда мы все еще пытались заставить классический подход работать. Нам потребовалось несколько неудач, чтобы понять, что классический подход внутренне неправильный, и что никакое количество исследований и разработок не может исправить сломанную статистическую модель. Сама статистическая модель должна быть исправлена в первую очередь, чтобы заставить прогнозную модель работать.

Кроме того, каждая итерация нашего прогнозирующего движка была обобщением - с математической точки зрения - предыдущей версии, и каждое новое поколение нашего прогнозирующего движка способно обрабатывать больше ситуаций, чем предыдущее. Действительно, лучше быть приблизительно правильным, чем точно неправильным. Самые сложные ситуации возникают, когда прогнозирующий движок не может генерировать прогнозы, которые были бы наиболее подходящими для данной бизнес-ситуации, потому что движку не хватает выразительности. Или когда прогнозирующий движок не может обрабатывать входные данные, которые были бы действительно значимыми для получения статистических исследований в любой данной ситуации, потому что, снова же, движку не хватает выразительности. В Lokad прогнозирование - это работа в процессе. Хотя мы гордимся тем, что мы создали с помощью нашего вероятностного прогнозного движка, это не конец наших усилий. В отличие от решений, установленных на месте, где обновление до нового инструмента является отдельной проблемой, клиенты Lokad получают преимущества от нашего прогнозного движка следующего поколения, как только он становится доступным.

Наши прогнозы - Часто задаваемые вопросы

Какие модели прогнозирования вы используете?

Мы используем множество моделей прогнозирования. Большинство моделей, которые мы используем в настоящее время, можно считать алгоритмами машинного обучения. Эти модели были разработаны Lokad и обычно не имеют именных аналогов в научной литературе. Когда мы начали в 2008 году, мы реализовали все классические модели (Box-Jenkins, ARIMA, Holt-Winters, экспоненциальное сглаживание и т. д.), но эти модели вышли из употребления, так как они просто не могут конкурировать с нашими самыми последними моделями.

Как вы выбираете модель(и) для использования?

Выбор правильной модели или правильной комбинации моделей - это половина битвы, когда дело доходит до создания хорошего прогноза. Статистически говоря, система, способная всегда выбирать “лучшую” модель, строго эквивалентна системе, которая всегда выбирает “идеальные” прогнозы. На практике наша система прогнозирования в значительной степени полагается на обратное тестирование, чтобы выбрать лучший набор моделей.

Обрабатывает ли ваша система прогнозирования сезонность, тренды, дни недели?

Да, система прогнозирования обрабатывает все общие цикличности. Наши модели также интенсивно используют подход с множеством временных рядов для использования наблюдаемых цикличностей в других продуктах с целью повышения точности прогнозирования любого из них. Естественно, два продукта могут иметь одну и ту же сезонность, но не одну и ту же недельную схему. У нас также есть модели для обработки этого.

Какие данные вам нужны?

Для прогнозирования спроса системе прогнозирования необходимо предоставить - по крайней мере - ежедневный исторический спрос, и предоставление детализированной истории заказов еще лучше. Что касается длины истории, чем длиннее она, тем лучше. Хотя сезонность нельзя обнаружить при менее чем 2 годах истории, мы считаем, что 3 года истории хороши, а 5 лет - отлично. Для прогнозирования сроков поставки системе обычно требуется, чтобы заказы на закупку содержали как даты заказа, так и даты поставки. Указание атрибутов вашего продукта или SKU также помогает значительно уточнить прогнозы. Кроме того, предоставление информации о вашем уровне запасов также очень полезно для нас, чтобы предоставить вам первый значимый анализ запасов.

Можете ли вы прогнозировать мою таблицу Excel?

Как правило, если все ваши данные помещаются в одну таблицу Excel, то мы обычно не можем сделать многое для вас; и честно говоря, никто не может. Данные в электронных таблицах, скорее всего, агрегируются по неделям или месяцам, и большая часть исторической информации теряется при такой агрегации. Кроме того, в этом случае ваша таблица также не будет содержать много информации о категориях и иерархиях, применяемых к вашим продуктам. Наша система прогнозирования использует все ваши данные, и тестирование на небольшой выборке не даст удовлетворительных результатов.

Что насчет отсутствия товара на складе и акций?

Как отсутствие товара на складе, так и акции представляют собой смещение в исторических продажах. Поскольку цель состоит в прогнозировании спроса, а не продаж, это смещение должно быть учтено. Одним из часто встречающихся, но неправильных способов работы с такими событиями является переписывание истории, чтобы заполнить пробелы и усечь пики. Однако нам не нравится этот подход, потому что он заключается в подаче прогнозов на вход системе прогнозирования, что может привести к серьезным проблемам с переобучением. Вместо этого наша система поддерживает “флаги”, которые указывают, где спрос был цензурирован или завышен.

Прогнозируете ли вы новые продукты?

Да, мы делаем это. Однако для прогнозирования новых продуктов системе требуются даты запуска для других “старых” продуктов, а также их исторический спрос на момент запуска. Кроме того, рекомендуется указать некоторые из ваших категорий продуктов и/или иерархию продуктов. Система действительно прогнозирует новые продукты, автоматически обнаруживая “старые” продукты, которые можно считать сравнимыми с новыми. Однако, поскольку для новых товаров еще не наблюдался спрос, прогнозы полностью зависят от атрибутов, связанных с ними.

Возможно ли корректировать прогнозы?

Почти десять лет опыта в статистическом прогнозировании научили нас многократно, что корректировка прогнозов никогда не является хорошей идеей. Если прогнозы нужно корректировать, то, вероятно, в движке прогнозирования есть ошибка, которую нужно исправить. Если ошибки нет и прогнозы выполняются так, как ожидается с точки зрения статистики, то корректировка, скорее всего, является неправильным ответом на проблему. Обычно, необходимость корректировки прогнозов отражает необходимость учета экономического фактора, который влияет на анализ рисков “сверху” прогноза, но не на сам прогноз.

У вас есть опыт в моей отрасли?

У нас есть опыт во многих отраслях: мода, свежие продукты, потребительские товары, электроника, запчасти, авиакосмическая промышленность, легкая промышленность, тяжелая промышленность и т. д. Мы также работаем с различными типами игроков на рынке: интернет-магазины, оптовики, импортеры, производители, дистрибьюторы, розничные сети и т. д. Самый простой способ убедиться, что у нас есть опыт в вашей отрасли - связаться с нами напрямую.

Используете ли вы внешние данные для уточнения прогнозов?

Нет. Ваши прогнозы получают пользу от всего опыта и настройки системы, которые мы получили, работая с другими клиентами, но ваши прогнозы не содержат никаких данных, полученных из внешних источников, ни от других клиентов Lokad, ни из общедоступных наборов данных. Аналогично, ваши данные используются только для целей, явно связанных с вашей учетной записью компании, и ни для чего другого.