Вероятностные прогнозы (2016)

Вероятностное прогнозирование - это парадигма, которая в настоящее время используется в Lokad. Однако, с тех пор, как она была внедрена в 2016 году, технология, поддерживающая эту парадигму, продолжает развиваться. См. также наше введение в вероятностное прогнозирование.
probabilistic-forecasting-graph
Вероятностные прогнозы представляют собой значительное улучшение по сравнению с предыдущим поколением технологии прогнозирования Lokad, основанной на квантильных сетках. По сравнению с классическими методами прогнозирования, вероятностные прогнозы представляют собой прорыв, который обеспечивает гораздо более высокую точность и, в свою очередь, приводит к операционным выгодам в области цепочки поставок, инвентаризации или производства. Многие компании разочарованы прогнозами, которые постоянно подводят их. Lokadу потребовалось много лет, чтобы полностью понять корень проблемы: традиционные методы прогнозирования должны давать правильные цифры. Естественно, будущее неопределенно, и когда данный инструмент или решение не удовлетворяет ожидания правильных цифр, выгоды также не реализуются. Вместо того чтобы учитывать только одно возможное будущее, вероятностные прогнозы присваивают вероятность каждому из нескольких различных результатов.
probabilistic-forecasting-graph
В этом эпизоде LokadTV мы понимаем, как вероятностные прогнозы могут быть использованы для улучшения работы цепочек поставок. Мы обсуждаем точность и ограничения, и обсуждаем, почему отрасль все еще настолько привержена более традиционным методикам и каким может быть будущее прогнозирования.

Принятие неопределенности

По нашему опыту, никакое тонкое настройка существующих моделей прогнозирования и никакое количество НИОКР для разработки лучших моделей - в традиционном понимании - не могут решить эту проблему. Методы, такие как анализ запасов безопасности, предполагается, что справляются с неопределенностью, но на практике анализ запасов безопасности является лишь послесловием. В управлении цепочками поставок затраты обусловлены экстремальными событиями: это удивительно высокий спрос, который вызывает дефицит товара и разочарование клиентов, и удивительно низкий спрос, который вызывает мертвый инвентарь и, следовательно, дорогостоящую списание инвентаря. Как знают все руководители, бизнесы должны надеяться на лучшее, но готовиться к худшему. Когда спрос точно соответствует ожиданиям, все идет гладко. Однако основная бизнес-задача в области прогнозирования заключается не в том, чтобы хорошо справляться с легкими случаями, где все будет хорошо даже при грубом скользящем среднем. Основная задача - справляться с трудными случаями; теми, которые нарушают вашу цепочку поставок и сводят всех с ума.

power-clouds Lokad разработал радикально новый способ решения проблем с прогнозами, а именно вероятностные прогнозы. Просто говоря, вероятностный прогноз спроса не просто дает оценку спроса, но оценивает вероятности каждого отдельного будущего. Оценивается вероятность 0 (нулевых) единиц спроса, оценивается вероятность 1 единицы спроса, 2 единиц спроса и так далее... Каждому уровню спроса присваивается оцененная вероятность, пока вероятности не становятся настолько маленькими, что их можно безопасно игнорировать.

Эти вероятностные прогнозы предоставляют совершенно новый способ взглянуть на будущее. Вместо того, чтобы застрять в перспективе желательного мышления, где прогнозируемые цифры ожидаются материализоваться, вероятностные прогнозы напоминают вам, что все всегда возможно, просто не совсем одинаково вероятно. Таким образом, когда речь идет о подготовке к худшему, вероятностные прогнозы предоставляют мощный способ количественного балансирования рисков (в то время как традиционные прогнозы остаются слепыми к последним).

В то время как анализ рисков обычно остается послесловием в традиционных подходах к прогнозированию, Lokad выдвигает дело на передний план с вероятностными прогнозами.

С точки зрения практика

Вероятностные прогнозы могут показаться очень пугающими и техническими. Тем не менее, вероятно, если вы практикующий в области цепочки поставок, вы уже много лет занимаетесь “интуитивным” вероятностным прогнозированием: подумайте обо всех ситуациях, когда ваши базовые прогнозы приходилось пересматривать вверх или вниз, потому что риски были просто слишком велики… Вот в чем суть вероятностных прогнозов: правильное балансирование решений в реальном мире при столкновении с неопределенным будущим. В то время как анализ рисков обычно остается послесловием в традиционных подходах к прогнозированию, Lokad выдвигает дело на передний план с вероятностными прогнозами.

Выходные данные вероятностного прогностического движка - это распределения вероятностей. С практической точки зрения, хотя эта информация очень богата (в конце концов, это взгляд на множество возможных будущих событий!), она также довольно непрактична для использования в своей чистой форме. В результате Lokad предоставляет целую платформу, все необходимые инструменты и поддержку команды, чтобы позволить вашей компании превратить эти вероятности в бизнес-решения, такие как объемы перезаказа.

reorder_quantities

Веб-приложение Lokad обладает возможностями обработки больших данных и позволяет создавать необходимую бизнес-логику, которая превращает эти прогнозы в решения, специально адаптированные к вашему бизнесу. Эти решения могут быть адаптированы под ваши конкретные ограничения цепочки поставок, такие как МРМ (минимальные партии заказа), ваши экономические драйверы, такие как риски, связанные с истечением срока годности, и ваши процессы, такие как ежедневные заказы на закупку, которые необходимо сделать до 8 утра каждый день.

Роботизация через машинное обучение

Управление цепочкой поставок часто включает в себя множество продуктов, перемещаемых по множеству мест. Традиционные решения в области прогнозирования обычно полагаются на довольно ручные настройки, когда включены сложные статистические закономерности, такие как новые продукты или эффекты жизненного цикла продукта. Однако в Lokad наш опыт показывает, что если решение в области прогнозирования требует доводки, то этому просто нет конца: не важно, сколько недель или месяцев труда посвящено тому, чтобы решение заработало, всегда есть постоянная необходимость в дополнительной доводке, просто потому что слишком много продуктов, слишком много мест и бизнес постоянно меняется.

Поэтому в Lokad мы решили выбрать полную роботизацию процесса прогнозирования. Это означает, что

  • не требуется никаких статистических знаний для получения прогнозов
  • не ожидается никакой доводки для корректировки прогнозов
  • не требуется никакого обслуживания для поддержания соответствия прогнозов вашему бизнесу
Robotization-through-machine-learning
Эта роботизация достигается с помощью машинного обучения. Интуитивно, когда рассматриваются продукты по отдельности, количество доступной информации по каждому продукту обычно слишком незначительно для проведения точного статистического анализа. Однако, изучая корреляции между всеми продуктами, когда-либо проданными, становится возможным автоматически настраивать модели прогнозирования, а также вычислять гораздо лучшие прогнозы, которые используют не только данные конкретного продукта, но и данные всех продуктов, рассматриваемых как похожие на него с точки зрения прогнозирования. Алгоритмы, способные решать этот тип высокоразмерной статистической проблемы, обычно называют алгоритмами машинного обучения или статистического обучения. Lokad использует именно эти алгоритмы - многие из них на самом деле - чтобы предоставлять свои прогнозы.

Как небольшой недостаток, эти алгоритмы потребляют гораздо больше вычислительной мощности, чем их традиционные аналоги. Однако этот вызов решается с помощью облачных вычислений, которые обеспечивают бесперебойную работу прогностического движка, независимо от объема данных.

Происхождение наших вероятностных прогнозов

Lokad не изобрел вероятностное прогнозирование, другие математики сделали это, в основном используя концепцию для решения совершенно другого набора проблем, таких как прогнозирование цен на товары или прогнозирование погоды. Кроме того, Lokad не использовало вероятностное прогнозирование с самого начала; мы прошли через классическое прогнозирование (2008 год), квантильное прогнозирование (2012 год) и квантильные сетки (2015 год)

graph-work-in-progress

до этого. В результате вероятностные прогнозы на самом деле являются 4-м поколением нашей технологии прогнозирования. Из опыта, полученного на предыдущих итерациях этой технологии, мы приобрели значительное количество ноу-хау по созданию прогностического движка, подходящего для охвата широкого спектра бизнес-ситуаций.

Сама идея оценки вероятностей, а не среднего значения, возникла в наши первые годы, когда мы все еще пытались заставить классический подход работать. Нам потребовалось немало неудач, чтобы понять, что классический подход внутренне недостаточен, и что никакое количество НИОКР не может исправить сломанную статистическую основу. Сама статистическая основа должна быть исправлена в первую очередь, чтобы заставить модель прогнозирования работать.

Кроме того, каждая итерация нашего прогностического движка была обобщением - с математической точки зрения - предыдущей версии, причем каждое новое поколение нашего прогностического движка способно обрабатывать больше ситуаций, чем предыдущее. Действительно, лучше быть приблизительно правым, чем абсолютно неправым. Самые сложные ситуации возникают, когда прогностический движок не может генерировать прогнозы, которые были бы наиболее подходящими для определенной бизнес-ситуации, потому что движок не достаточно выразителен. Или когда прогностический движок не может обрабатывать входные данные, которые были бы действительно релевантны для получения статистических выводов по любой данной ситуации, потому что, снова же, движку не хватает выразительности. В Lokad прогнозирование - это работа в процессе. Хотя мы гордимся тем, что мы создали с нашим вероятностным прогностическим движком, это не конец наших усилий. В отличие от решений на месте, где обновление до нового инструмента само по себе вызов, клиенты Lokad получают преимущества от нашего прогностического двигателя следующего поколения, как только он становится доступен.

Наши часто задаваемые вопросы о прогнозировании

Какие модели прогнозирования вы используете?

Мы используем множество моделей прогнозирования. Большинство моделей, которые мы используем в настоящее время, могут быть рассмотрены как алгоритмы машинного обучения. Эти модели были разработаны Lokad и обычно не имеют именованных аналогов в научной литературе. Когда мы начали в 2008 году, мы переосмыслили все классические модели (Box-Jenkins, ARIMA, Holt-Winters, экспоненциальное сглаживание и т. д.), но эти модели вышли из употребления, так как просто не могут конкурировать с нашими самыми последними моделями.

Как вы выбираете модель(и) для использования?

Выбор правильной модели или правильной смеси моделей - это полбитвы, когда дело доходит до создания хорошего прогноза в первую очередь. Статистически говоря, система, способная всегда выбирать “лучшую” модель, строго эквивалентна системе, которая всегда выбирает “идеальные” прогнозы. На практике наша система прогнозирования тесно опирается на ретроспективное тестирование, чтобы выбрать лучший набор моделей.

Обрабатывает ли ваша система прогнозирования сезонность, тренды, дни недели?

Да, система прогнозирования обрабатывает все общие цикличности. Наши модели также интенсивно используют подход с множественными временными рядами для использования наблюдаемых цикличностей в других продуктах с целью улучшения точности прогнозирования любого конкретного продукта. Естественно, два продукта могут иметь одинаковую сезонность, но не одинаковую недельную динамику. У нас также есть модели для обработки этого.

Какие данные вам нужны?

Для прогнозирования спроса системе прогнозирования необходимо предоставить - как минимум - ежедневную историю спроса, и предоставление детализированной истории заказов еще лучше. Что касается длины истории - чем длиннее она, тем лучше. Хотя сезонность нельзя обнаружить с менее чем 2 годами истории, мы считаем, что 3 года истории хороши, а 5 лет - отлично. Для прогнозирования сроков поставки система обычно требует, чтобы заказы содержали как даты заказов, так и даты поставки. Указание атрибутов вашего продукта или SKU также помогает значительно уточнить прогнозы. Кроме того, предоставление информации о вашем уровне запасов также очень полезно для нас для проведения первичного анализа запасов.

Можете ли вы прогнозировать мой файл Excel?

Как правило, если все ваши данные помещаются в один файл Excel, то мы обычно не можем сделать много для вас; и честно говоря, никто не может. Данные таблицы обычно агрегируются по неделям или месяцам, и большая часть исторической информации теряется из-за такой агрегации. Кроме того, в этом случае ваша таблица также не будет содержать много информации о категориях и иерархиях, которые применяются к вашим продуктам. Наша система прогнозирования использует все ваши данные, и тестирование на небольшой выборке не приведет к удовлетворительным результатам.

Что насчет нехватки товара и акций?

Как нехватка товара, так и акции представляют собой смещение в исторических продажах. Поскольку цель - прогнозировать спрос, а не продажи, это смещение должно быть учтено. Один из частых - но неправильных - способов обработки этих событий заключается в переписывании истории, чтобы заполнить пробелы и уменьшить пики. Однако мы не одобряем этот подход, потому что он заключается в подаче прогнозов в систему прогнозирования, что может привести к серьезным проблемам с переобучением. Вместо этого наша система поддерживает “флаги”, которые указывают, где спрос был цензурирован или завышен.

Прогнозируете ли вы новые продукты?

Да, мы это делаем. Однако для прогнозирования новых продуктов системе требуются даты запуска других “старых” продуктов, а также их исторический спрос на момент запуска. Кроме того, рекомендуется указать некоторые из категорий ваших продуктов и/или иерархию продуктов. Система действительно прогнозирует новые продукты, автоматически обнаруживая “старые” продукты, которые можно считать сравнимыми с новыми. Однако поскольку спрос на новые товары еще не наблюдался, прогнозы полностью зависят от атрибутов, связанных с ними.

Можно ли корректировать прогнозы?

Почти десять лет опыта в статистическом прогнозировании научили нас, что корректировка прогнозов никогда не является хорошей идеей. Если прогнозы нужно корректировать, то, вероятно, в движке прогнозирования есть ошибка, которую необходимо исправить. Если нет ошибки, которую нужно исправить, и прогнозы выполняются так, как ожидается с точки зрения статистики, то их корректировка, вероятно, неправильный ответ на проблему. Обычно необходимость корректировки прогнозов отражает необходимость учитывать экономический фактор какого-то рода; который влияет на анализ рисков “поверх” прогноза, но не на сам прогноз.

У вас есть опыт в моей отрасли?

У нас есть опыт во многих отраслях: мода, свежие продукты, потребительские товары, электроника, запчасти, аэрокосмическая промышленность, легкая промышленность, тяжелая промышленность и т. д. Мы также работаем с различными типами игроков на рынке: интернет-магазины, оптовики, импортеры, производители, дистрибьюторы, розничные сети и т. д. Самый простой способ убедиться, что у нас есть опыт в вашей отрасли, - связаться с нами напрямую.

Используете ли вы внешние данные для уточнения прогнозов?

Нет. Хотя ваши прогнозы получают выгоду от всего опыта и общей настройки системы, которые мы приобрели, работая с другими клиентами, ваши прогнозы не содержат никаких данных, полученных из внешних источников данных, ни от других клиентов Lokad, ни из общедоступных наборов данных. Точно так же ваши данные используются исключительно для целей, явно связанных с вашей учетной записью компании, и ни для чего другого.