Прогнозирование с помощью глубокого обучения (2018)

Какие модели прогнозирования вы используете?

Наш глубокий прогнозный движок использует единственную модель, созданную на основе принципов глубокого обучения. В отличие от классических статистических моделей, это модель, которая содержит десятки миллионов обучаемых параметров, что примерно в 1000 раз больше параметров, чем у нашей предыдущей, самой сложной, не-глубокой модели машинного обучения. Глубокое обучение значительно превосходит старые подходы машинного обучения (случайные леса, градиентный бустинг). Однако стоит отметить, что эти старые подходы машинного обучения уже превосходили все классические модели временных рядов (Box-Jenkins, ARIMA, Holt-Winters, экспоненциальное сглаживание и т. д.).

Вы извлекаете уроки из своих прогнозных ошибок?

Да. Статистический процесс обучения - который в конечном итоге порождает модель глубокого обучения - использует всю доступную историческую информацию, которая доступна Lokad. Историческая информация используется через процесс, известный как обратное тестирование. Таким образом, чем больше исторических данных доступно модели, тем больше возможностей у модели научиться на своих собственных ошибках.

Обрабатывает ли ваш прогнозный движок сезонность, тренды, дни недели?

Да, прогнозный движок обрабатывает все обычные цикличности, а также квазицикличности, значение которых часто недооценивается. Что касается кода, глубокая модель обучения интенсивно использует подход с множественными временными рядами для использования наблюдаемых цикличностей в других продуктах с целью повышения точности прогнозирования любого из них. Естественно, два продукта могут иметь одну и ту же сезонность, но не одну и ту же недельную динамику. Модель способна улавливать этот шаблон. Кроме того, одним из основных преимуществ глубокого обучения является способность правильно учитывать изменчивость самой сезонности. Действительно, сезон может начинаться раньше или позже в зависимости от внешних переменных, таких как погода, и эти изменения обнаруживаются и отражаются в наших прогнозах.

Какие данные вам нужны?

Как и в случае с нашей предыдущей технологией прогнозирования, для прогнозирования спроса движку прогнозирования необходимо предоставить - по крайней мере - ежедневный исторический спрос, а предоставление детализированной истории заказов еще лучше. Что касается длины истории, то чем длиннее она, тем лучше. Хотя сезонность нельзя обнаружить при менее чем 2 годах истории, мы считаем, что 3 года истории хороши, а 5 лет - отлично. Для прогнозирования времени выполнения заказов движку обычно требуется, чтобы заказы содержали как даты заказов, так и даты доставки. Указание атрибутов вашего продукта или SKU также помогает значительно уточнить прогнозы. Кроме того, предоставление информации о вашем уровне запасов также очень полезно для нас, чтобы предоставить вам первый значимый анализ запасов.

Можете ли вы прогнозировать мою таблицу Excel?

Как правило, если все ваши данные помещаются в одну таблицу Excel, то мы обычно не можем сделать многое для вас, и честно говоря, никто не может. Данные в электронных таблицах, скорее всего, агрегируются по неделям или месяцам, и большая часть исторической информации теряется при такой агрегации. Кроме того, в этом случае ваша таблица также не будет содержать много информации о категориях и иерархиях, применяемых к вашим продуктам. Наш движок прогнозирования использует все ваши данные, и тестирование на небольшой выборке не даст удовлетворительных результатов.

Что насчет отсутствия товара на складе и акций?

Как отсутствие товара на складе, так и акции представляют собой смещение в исторических продажах. Поскольку цель состоит в прогнозировании спроса, а не продаж, это смещение должно быть учтено. Одним из часто встречающихся, но неправильных способов работы с такими событиями является переписывание истории, чтобы заполнить пробелы и усечь пики. Однако нам не нравится такой подход, потому что он заключается в подаче прогнозов движку прогнозирования, что может привести к серьезным проблемам с переобучением. Вместо этого наш движок поддерживает «флаги», которые указывают, где спрос был цензурирован или завышен.

Прогнозируете ли вы новые продукты?

Да, мы делаем это. Однако для прогнозирования новых продуктов движку требуются даты запуска других «старых» продуктов, а также их исторический спрос на момент запуска. Кроме того, рекомендуется указать некоторые категории ваших продуктов и/или иерархию продуктов. Движок действительно прогнозирует новые продукты, автоматически обнаруживая «старые» продукты, которые можно считать сравнимыми с новыми. Однако, поскольку для новых товаров еще не наблюдался спрос, прогнозы полностью зависят от атрибутов, связанных с ними.

Используете ли вы внешние данные для уточнения прогнозов?

Мы можем использовать данные о конкурентных ценах, обычно получаемые через сторонние компании, специализирующиеся, например, на парсинге веб-сайтов. Также можно использовать данные о посещаемости веб-сайта и, возможно, получить их, чтобы обогатить исторические данные и дополнительно повысить статистическую точность. На практике наибольшим узким местом при использовании внешних источников данных является не движок прогнозирования Lokad - который довольно способен - а настройка и поддержка высококачественного конвейера данных, привязанного к этим внешним источникам данных.