Глубокое обучение для более точного прогнозирования в цепях поставок

Прогнозирование с помощью глубокого обучения

Главная » Прогнозирование » Здесь

Прогнозирование с помощью глубокого обучения или просто глубокое прогнозирование представляет собой большой шаг вперед по сравнению с предыдущим поколением технологий прогнозирования Lokad. В сравнении с классическими методами глубокое прогнозирование обеспечивает не только непревзойденную статистическую точность, но и позволяет создавать вероятностные прогнозы, которые крайне важны при работе с запасами и цепями поставок.

Image

Учет неопределенности

Многие компании недовольны тем, что составляемые для них прогнозы не сбываются. Традиционные прогнозы должны выдавать правильные показатели, чего на практике не случается. Будущее по природе своей неопределенно, и если ваша система не может создать прогноз, который сбудется, то и выгода от ее использования сходит на нет. Никакие настройки и подгонки существующих моделей прогнозирования, никакие попытки разработать более качественные (но традиционные) модели прогнозирования не решают указанную проблему. Такие методы как анализ резервного запаса должны учитывать неопределенность, но на практике это всего лишь попытка выйти из положения. Вероятностные прогнозы — это абсолютно новый способ оценки ситуации в будущем В цепях поставок расходы определяются крайними случаями: чрезвычайно высокий спрос приводит к дефициту товара и недовольству клиентов, а чрезвычайно низкий — к появлению неликвидных запасов и увеличению расходов на их содержание. Всем известно, что в бизнесе нужно надеяться на лучшее, но готовиться к худшему. Если спрос оказывается на ожидаемом уровне, то все будет хорошо. Тем не менее от коммерческих систем прогнозирования требуется не просто хорошо выполнять свои функции в простых случаях, когда все получается даже при использовании примерных плавающих средних значений. Намного важнее эффективно обрабатывать сложные ситуации, когда нарушается работа цепей поставки и никто не знает, что нужно делать.

В 2016 году компания Lokad разработала новый способ создания прогнозов — вероятностное прогнозирование. Не так давно система прогнозирования получила еще одно крупное обновление на базе глубокого обучения. Проще говоря, вероятностный прогноз спроса — это не просто оценка будущего спроса, а оценка вероятности каждого возможного значения спроса в будущем. Сначала оценивается вероятность спроса в 0 (ноль) единиц, затем — в 1, 2 единицы и т. д. Вероятность возникновения каждого уровня спроса оценивается до тех пор, пока значения не становятся настолько ничтожными, что их можно спокойно проигнорировать.

Вероятностные прогнозы — это абсолютно новый способ оценки ситуации в будущем. Верить, что обычный прогноз сбудется — самообман. Вероятностные прогнозы показывают, что возможно все, просто вероятность возникновения событий разная. Если говорить о подготовке к худшему, вероятностные прогнозы — отличный способ количественной балансировки рисков (при традиционном прогнозировании последние не учитываются).
В обычных прогнозах анализ рисков выполняется уже после прогнозирования,
тогда как в вероятностных прогнозах Lokad этому вопросу уделяется особое внимание.
section class="section col3">

С точки зрения пользователя

Термины «глубокое обучение» и «вероятностное прогнозирование» звучат страшно и сложно. Тем не менее, если вы занимаетесь цепями поставки, то, наверняка, уже составляли вероятностные прогнозы "на интуитивном уровне": вспомните все ситуации, когда базовые прогнозы приходилось "подправлять", из-за того что риски были слишком велики. В этом и заключается особенность вероятностных прогнозов: принятие сбалансированных продуманных решений с учетом неопределенности развития ситуации в будущем. В обычных прогнозах анализ рисков выполняется уже после прогнозирования, тогда как в вероятностных прогнозах Lokad этому вопросу уделяется особое внимание.

При вероятностном прогнозировании система выдает распределение вероятности. Это довольно-таки большой объем информации (ведь система представляет множество возможных вариантов развития событий!), поэтому в необработанной форме от таких прогнозов мало толку. Именно поэтому компания Lokad создала целую платформу со всеми необходимыми инструментами и командой поддержки, чтобы ваша компания могла использовать вероятностные прогнозы для принятия решений, например, об объеме заказов.

Веб-приложение Lokad имеет функцию обработки больших объемов данных, и оно позволяет создавать необходимые алгоритмы, которые преобразуют прогнозы в решения, адаптированные именно под вашу компанию. Эти решения можно настраивать с учетом ограничений ваших цепей поставки: минимального объема заказа, экономических факторов, таких как риски, связанные со сроком годности продукции, производственных процессов, например, если необходимо размещать заказ на закупку товаров до 8 утра каждый день. Image Неважно, сколько недель или месяцев будет потрачено на то, чтобы «ручная» система заработала,
она будет постоянно требовать дальнейшей настройки
section class="section col3">

Автоматизация посредством искусственного интеллекта (ИИ)

Управление цепями поставок зачастую подразумевает перемещение большого числа товаров во многих местах. Обычные системы прогнозирования часто требуют ручной подстройки параметров при наличии сложных статистических схем, например эффектов нового товара или проведения промоакций.

Тем не менее опыт Lokad показывает, что если системе требуется тонкая настройка, то эта процедура будет отнимать огромное количество времени и сил: неважно, сколько недель или месяцев будет потрачено на то, чтобы система заработала, она будет постоянно требовать дальнейшей настройки, просто потому что в прогнозировании учитывается очень много товаров, очень много мест и развитие компании не стоит на месте.

Именно поэтому процедуры прогнозирования в Lokad полностью автоматизированы:

  • для составления прогнозов не требуются навыки статистической обработки информации
  • не требуется тонкая настройка прогнозов
  • не требуются дополнительные действия для подгонки прогнозов под деятельность вашей компании

Для такой автоматизации требуются возможности так называемого ИИ. В Lokad такие возможности доступны посредством технологии прогнозирования на базе глубокого обучения. Если рассматривать товары по одному, то количество информации по каждому из них обычно слишком мало, чтобы выполнить точный статистический анализ. Однако если рассматривать взаимозависимость всех продаваемых товаров, можно автоматически подстраивать модели прогнозирования и создавать гораздо более точные прогнозы, в которых будут учтены не только данные по отдельному товару, но и данные по всем товарам, которые считаются подобными с точки зрения прогнозирования.

В отличие от старых подходов, система глубокого прогнозирования запоминает (самостоятельно) необычные элементы в массиве данных. Например, если сегодня была продана 1 единица товара, это, как правило, говорит о том, что в ближайшем будущем спрос увеличится (не упадет до нуля). Однако иногда, например, в сфере техобслуживания, продажа 1 единицы товара подразумевает, что в ближайшее время продаж данного товара не будет.

В более сложных отраслях, таких как модная промышленность, наша система глубокого обучения позволяет максимально подробно зафиксировать данные о товаре, чтобы учесть все факторы, которые могут повлиять на его успешный выход на рынок. В Lokad система прогнозирования постоянно совершенствуется. section class="section col3">

История прогнозов на базе глубокого обучения

Специалисты Lokad не изобретали ни глубокое обучение, ни вероятностное прогнозирование. Тем не менее мы первые начали использовать эти статистические теории в своих услугах в соответствии с потребностями цепей поставок. Прогнозы на базе глубокого обучения — это пятое поколение нашей системы прогнозирования.

Система прогнозирования 5.0 использует сеть GPU (графических процессоров) вместо CPU (центральных процессоров). Использование GPU открывает доступ к доселе невиданным вычислительным мощностям, которые позволяют создавать высококачественные прогнозы.

Благодаря опыту, полученному на предыдущих стадиях, мы знаем, как подстраивать систему прогнозирования под определенные бизнес-ситуации. Image

Сама идея оценки вероятности, а не среднего значения появилась в самом начале нашей работы, когда мы еще пытались использовать классический подход к прогнозированию. Мы претерпели несколько неудачных опытов, прежде чем осознали, что классический подход по природе своей неудачен, и что никакие исследования не помогут скорректировать его недостатки. В первую очередь необходимо было выбрать правильную стратегию статистического прогнозирования, чтобы модели прогнозирования могли работать.

Кроме того, все поколения нашей системы прогнозирования представляли собой обобщение (с математической точки зрения) предыдущих версий. Каждое новое поколение справлялось с большим количеством ситуаций, чем предыдущее. Лучше примерно правильные значения, чем точно неверные. Самый сложный случай — это когда система прогнозирования не может создавать прогнозы, которые подходили бы для конкретной ситуации из-за ограниченных возможностей самой системы. Недостаток возможностей системы также приводил к тому, что она не могла обрабатывать данные, которые могли бы быть очень важны для статистического описания конкретной ситуации.

В Lokad система прогнозирования постоянно совершенствуется. Мы гордимся вероятностной системой прогнозирования, которую мы создали, но и это еще не конец. При использовании локального ПО переход на новую систему сам по себе может стать большим испытанием, однако клиенты Lokad могут начать пользоваться системой прогнозирования нового поколения сразу же, как только она появится.

Часто задаваемые вопросы


Какие модели прогнозирования вы используете?

В нашей система глубокого прогнозирования используется единая модель, основанная на принципах глубокого обучения. В отличие от классических статистических моделей, в ней применяются десятки миллионов изучаемых параметров, что примерно в 1000 раз больше, чем в предыдущей самой сложной модели, основанной на алгоритмах неглубокого машинного самообучения. Глубокое обучение намного превосходит старые методы машинного самообучения («случайный лес», «деревья с градиентным добавлением»). Однако необходимо отметить, что данные подходы уже показывали лучшие результаты по сравнению с любым классическим методом на основе временных рядов (метод Бокса-Дженкинса, ARIMA, Холта-Винтерса, экспоненциальное сглаживание и т. д.)

Изучаете ли вы ошибки своей системы прогнозирования?

Да. Процесс статистического обучения (который и лежит в основе модели глубокого обучения) учитывает все фактические данные, которые доступны в Lokad. Фактические данные обрабатываются с помощью процесса, который называется ретроспективное тестирование. Таким образом, чем больше фактических данных доступно, тем больше у системы возможностей учиться на собственных ошибках.

Учитывает ли ваша система прогнозирования сезонность, тренды, дни недели?

Да, система прогнозирования поддерживает все привычные циклы и даже квази-циклы, важность которых часто недооценивают. В целях повышения точности прогнозирования по отдельно взятому товару наша система глубокого обучения активно использует различные временные ряды для обработки цикличности различных товаров. К примеру, спрос на два разных товара может одинаково изменяться в зависимости от сезона, но еженедельные изменения спроса для них будут разными. Наша модель может отразить данную закономерность. Кроме того, большим плюсом машинного обучения является возможность надлежащего отражения изменчивости сезонности как таковой. Сезон может начаться раньше или позже в зависимости от внешних факторов, таких как погода; и эти изменения обнаруживаются и учитываются в наших прогнозах.

Какие данные вам требуются?

Для прогнозирования спроса системе требуется (как минимум) история спроса (продаж) за каждый день, причем негруппированная история заказов даже лучше. Как правило, чем длиннее история, тем лучше. Сезонные изменения невозможно отследить, если история не превышает 2 лет, поэтому хорошо иметь 3-летнюю историю, а в идеале — 5-летнюю. Для прогнозирования времени выполнения заказов системе требуются данные о заказах на закупку товаров с датами размещения и доставки. Дополнительные атрибуты товара или SKU помогают значительно повысить качество прогнозов. Кроме того, если вы предоставите данные об уровне ваших запасов, нам будет проще составить для вас первый анализ товарных запасов.

Можете ли вы выполнить прогнозирование по моим записям в файле Excel?

Как правило, если все ваши данные помещаются на одном листе Excel, мы не сможем вам помочь, и, если честно, вряд ли это сможет сделать кто-то другой. Данные в таблицах обычно объединяются по неделям или месяцам, и в итоге большая часть информации из-за этого теряется. Кроме того, в таких файлах вряд ли будет достаточно информации по категориям и иерархии ваших товаров. Наша система настроена на работу со всеми имеющимися данными, и выполнение теста на небольшом образце не даст сколько-нибудь стоящих результатов.

Как вы работаете со случаями дефицита товаров и промоакциями?

Случаи дефицита товаров и промоакции вводят погрешность в историю продаж. Наша цель — прогнозирование спроса, а не продаж, поэтому указанную погрешность необходимо учитывать. Очень часто (но неправильно) данная проблема решается переписыванием истории продаж: в пустые места вписываются данные, а резкое повышение показателей занижается. Мы не используем этот подход, потому что он подразумевает ввод прогнозов в систему прогнозирования, что может привести к большим проблемам с переподгонкой. Наша система поддерживает “флаги”, которыми отмечаются места, где спрос был урезан или завышен.

Выполняете ли вы прогнозирование для новых товаров?

Да. Тем не менее, для этого системе необходимо знать даты запуска других, “старых” товаров, а также спрос на них на момент запуска. Кроме того, рекомендуется использовать некоторые категории и/или иерархию товаров. Система выполняет прогнозирование для новых товаров, автоматически обнаруживая “старые” товары, которые можно сопоставить с новыми. Тем не менее из-за того что фактический спрос на новые товары еще не был зафиксирован, прогнозы полностью зависят от атрибутов, связанных с ними.

Можно ли подстраивать прогнозы?

Наш десятилетний опыт статистического прогнозирования говорит, что подстройка прогноза ни к чему хорошему не приводит. Если прогнозы необходимо подстраивать, то, скорее всего, в систему закралась ошибка, и ее необходимо устранить. Если ошибки в системе нет, а прогнозы, со статистической точки зрения, составляются так, должным образом, то подстройка не решит проблему. Обычно потребность в подстройке прогноза вызывается необходимостью учета того или иного экономического фактора, который влияет на анализ рисков на основе “уже готового” прогноза, но не на сам прогноз.

Есть ли у вас опыт работы с предприятиями моей сферы деятельности?

Мы работали с представителями самых разных отраслей: мода, свежие продукты питания, потребительские товары, электроника, запчасти, авиатехника, легкая промышленность, тяжелая промышленность и т. д. Мы также работаем с самыми разными компаниями: интернет-магазинами, оптовиками, импортерами, производителями, дистрибьюторами, розничными сетями и т. д. Свяжитесь с нами, чтобы узнать, есть ли у нас опыт работы в вашей сфере деятельности.

Используете ли вы внешние данные для корректировки прогнозов?

Мы можем, например, использовать конкурентные расценки, которые получаем от сторонних организаций, специализирующихся на анализе содержания веб-страниц. Данные об интернет-трафике также могут собираться и использоваться для расширения фактических данных с целью повышения статистической точности прогнозов. На практике самый сложным моментом в использовании внешних источников данных является не система прогнозирования Lokad, которая обладает достаточно широкими возможностями, а настройка и поддержание качественного потока данных из указанных внешних ресурсов.