Прогнозирование с помощью глубокого обучения (2018)

Какие модели прогнозирования вы используете?

Наша глубокая прогностическая система использует одну модель, построенную на принципах глубокого обучения. В отличие от классических статистических моделей, это модель, которая содержит десятки миллионов обучаемых параметров, что примерно в 1000 раз больше параметров, чем у нашей предыдущей, самой сложной, не глубокой модели машинного обучения. Глубокое обучение значительно превосходит старые подходы машинного обучения (случайные леса, градиентное бустинговые деревья). Тем не менее, стоит отметить, что эти старые подходы машинного обучения уже превосходили все классические модели временных рядов (Бокса-Дженкинса, ARIMA, Холта-Уинтерса, экспоненциального сглаживания и т. д.).

Вы учитесь на своих ошибках в прогнозировании?

Да. Статистический процесс обучения - который в конечном итоге порождает модель глубокого обучения - использует всю доступную историческую информацию, которая доступна Lokad. Историческая информация используется через процесс, известный как обратное тестирование. Таким образом, чем больше исторических данных доступно модели, тем больше возможностей у модели учиться на своих ошибках.

Справляется ли ваша прогностическая система с сезонностью, трендами, днями недели?

Да, прогностическая система справляется со всеми общими цикличностями, а также с квазицикличностями, чье значение часто недооценивается. Что касается кода, глубокая модель обучения интенсивно использует многовариантный подход к временным рядам, чтобы использовать наблюдаемые цикличности в других продуктах, чтобы улучшить точность прогнозирования любого данного продукта. Естественно, два продукта могут иметь одинаковую сезонность, но не одинаковую недельную динамику. Модель способна улавливать этот шаблон. Кроме того, одним из основных плюсов глубокого обучения является способность правильно улавливать изменчивость самой сезонности. Действительно, сезон может начаться раньше или позже в зависимости от внешних переменных, таких как погода, и эти изменения обнаруживаются и отражаются в наших прогнозах.

Какие данные вам нужны?

Как и в случае с нашим предыдущим поколением технологии прогнозирования, для прогнозирования спроса прогностической системе необходимо предоставить - по крайней мере - ежедневный исторический спрос, и предоставление детализированной истории заказов еще лучше. Что касается длины истории, чем длиннее она, тем лучше. Хотя сезонность нельзя обнаружить с менее чем 2 годами истории, мы считаем, что 3 года истории - это хорошо, а 5 лет - отлично. Для прогнозирования сроков поставки система обычно требует, чтобы заказы содержали как даты заказов, так и даты поставки. Указание атрибутов вашего продукта или SKU также помогает значительно уточнить прогнозы. Кроме того, предоставление информации о вашем уровне запасов также очень полезно для нас, чтобы предоставить вам первичный анализ запасов.

Можете ли вы прогнозировать мой Excel-лист?

Как правило, если все ваши данные помещаются в один лист Excel, то мы обычно не можем сделать для вас многое, и честно говоря, никто не может. Данные таблицы обычно агрегируются по неделям или месяцам, и большая часть исторической информации теряется из-за такой агрегации. Кроме того, в этом случае ваша таблица также не будет содержать много информации о категориях и иерархиях, которые применяются к вашим продуктам. Наша прогностическая система использует все ваши данные, и тестирование на небольшой выборке не даст удовлетворительных результатов.

Что насчет нехватки товара и акций?

Как нехватка товара, так и акции представляют собой смещение в исторических продажах. Поскольку цель - прогнозировать спрос, а не продажи, это смещение должно быть учтено. Один из частых - но неправильных - способов обработки этих событий заключается в переписывании истории, чтобы заполнить пробелы и уменьшить пики. Однако мы не приемлем такой подход, потому что он заключается в подаче прогнозов в прогностическую систему, что может привести к серьезным проблемам с переобучением. Вместо этого наша система поддерживает “флаги”, которые указывают, где спрос был цензурирован или завышен.

Прогнозируете ли вы новые продукты?

Да, мы делаем. Однако, для прогнозирования новых продуктов движку требуются даты запуска других “старых” продуктов, а также их исторический спрос на момент запуска. Кроме того, рекомендуется указать некоторые из ваших категорий продуктов и/или иерархию продуктов. Движок действительно прогнозирует новые продукты, автоматически обнаруживая “старые” продукты, которые можно считать сравнимыми с новыми. Однако, поскольку спрос на новые товары еще не наблюдался, прогнозы полностью зависят от атрибутов, связанных с ними.

Используете ли вы внешние данные для улучшения прогнозов?

Мы можем использовать данные о конкурентоспособных ценах, обычно получаемые через компании-партнеры, специализирующиеся, например, на парсинге веб-сайтов. Также можно использовать данные о посещаемости веб-сайтов и, возможно, получить их, чтобы обогатить исторические данные и дополнительно повысить статистическую точность. На практике, самым большим узким местом при использовании внешних источников данных не является движок прогнозирования Lokad - который довольно способен - а настройка и поддержание высококачественного конвейера данных, подключенного к этим внешним источникам данных.