Прогнозирование с квантильными сетками (2015)

Квантильные сетки представляют собой радикальное улучшение по сравнению с классическими методами прогнозирования, особенно когда речь идет о запасах. Они также превосходят квантильные прогнозы, потому что предоставляют гораздо больше информации о будущем. Традиционные методы прогнозирования работают плохо, особенно для коммерции. Корень проблемы прост: будущее неопределено. Классические прогнозы пытаются предсказать одно правильное значение будущего спроса, и, ну, они не справляются с этим. Отчаянные попытки исправить классические прогнозы в надежде, что будет предсказан “правильный” будущий спрос, являются иллюзорными. Квантильные сетки занимают совершенно иное положение по этому вопросу.

С помощью квантильных сеток Lokad предсказывает не одно будущее значение спроса на данный продукт, а целое распределение вероятностей для спроса; то есть вероятность иметь спрос нулевых единиц, затем одной единицы, затем двух единиц и т. д. Эта информация намного богаче и может использоваться способами, которые являются значительно более прибыльными, чем классические прогнозы.

Введение для нестатистика

Когда вы читаете эти строки, если вы не статистик, вам может прийтись задуматься, есть ли у вашего бизнеса хоть какие-то шансы на успех в использовании этих так называемых “квантильных сеток”. Это больше похоже на хороший заголовок для диссертации по современной статистике, чем на практический способ прогнозирования. Ну, если вы считаете, что этот термин пугающий, просто замените в уме квантильные сетки на прогнозы, которые действительно работают, и это сработает. Большинство компаний, которые используют Lokad, не имеют никаких навыков в области статистики. Фильтр спама, связанный с вашим почтовым ящиком, также использует продвинутую статистику, и для его использования не требуется докторская степень.

Lokad делает примерно то же самое для коммерции. Мы используем передовое машинное обучение, чтобы сделать вашу компанию более прибыльной, и технология за этим столь продвинута, что вам на самом деле уже не нужно очень много об этом беспокоиться.

Ниже мы описываем, что происходит за кулисами в Lokad, но будьте уверены, что вы можете использовать Lokad даже если у вас нет полного понимания того, что входит в нашу систему прогнозирования - точно так же, как вы можете использовать фильтр спама, не зная байесовского вероятностного вывода.

Переосмысление прогнозирования для коммерции

Многие поставщики хвалятся использованием “продвинутых” методов прогнозирования, таких как ARIMA, Box-Jenkins и Holt-Winters, которые на самом деле близки к полувековому возрасту; все они были разработаны в то время, когда самые мощные корпоративные компьютеры имели меньшую вычислительную мощность, чем у большинства холодильников сегодня. Люди, придумавшие эти методы, были исключительно умными, но им пришлось обходиться вычислительными ресурсами своего времени и поэтому отдавать предпочтение моделям, которые можно было вычислить с минимальным количеством вычислений. В настоящее время мы можем использовать огромные объемы вычислительной мощности для наших задач прогнозирования по очень низкой стоимости.

Имейте в виду, что 1000 часов вычислительной мощности стоят менее 50 долларов при использовании облачной вычислительной платформы. Очевидно, это открывает радикально новые перспективы для прогнозирования, и именно эти перспективы Lokad исследовала весьма интенсивно. Квантильные сетки представляют собой третью версию технологии прогнозирования Lokad, но давайте вернемся на несколько лет назад, чтобы получить полное представление. Мы начали с классических прогнозов в 2008 году как первой версии нашей технологии прогнозирования, и несмотря на три года огромных исследовательских работ со стороны команды Lokad, классический подход оказался тупиковым. Мы так и не смогли добиться удовлетворения клиентов классическими прогнозами. Когда мы узнали больше о опыте наших клиентов с другими поставщиками прогнозов, оказалось, что не было ни одной компании, которая была бы довольна приобретенной ими технологией прогнозирования. Эта проблема не была специфичной для Lokad, и мы поняли, что вся отрасль прогнозирования была дисфункциональной; и мы решили что-то с этим сделать.

В 2012 году Lokad выпустила вторую версию своей технологии прогнозирования под кодовым названием Квантильные прогнозы. Просто говоря, квантильные прогнозы решают главную проблему, которая преследует классические прогнозы: классические прогнозы просто не смотрят на правильную проблему.

Действительно, задача компаний заключается в том, чтобы избежать двух крайностей: неожиданно высокого спроса, который вызывает нехватку товара, и неожиданно низкого спроса, который вызывает мертвый инвентарь. Что происходит посередине, когда будущий спрос примерно “как ожидалось”, с точки зрения бизнеса имеет мало значения.

Однако классические прогнозы, средние или медианные прогнозы, полностью игнорируют эти “крайние” ситуации и сосредотачиваются исключительно на среднем случае. Неудивительно, что классические прогнозы не справляются с предотвращением как нехватки товара, так и мертвого инвентаря. Квантильные прогнозы принимают проблему на рога и прямо смотрят на интересующий сценарий, скажем, избегая нехватки товара, и стремятся предоставить точный ответ на эту самую проблему. Внезапно в 2012 году у нас стало все больше и больше довольных клиентов. Впервые в истории Lokad, более чем через 3 года после запуска компании, у нас появилось что-то, что работало.

В 2015 году Lokad выпустил третью версию своей технологии прогнозирования, квантильные сетки. Хотя квантильные прогнозы уже были радикальным улучшением по сравнению с классическими прогнозами, у них все еще были свои слабые места. По мере того, как мы набирали все больше опыта с десятками внедрений нашей технологии квантильного прогнозирования, мы поняли, что хотя идея составления прогноза только для “одного” бизнес-сценария была звучной, она не была полностью завершенной. Почему только этот один сценарий? Почему не второй сценарий или третий? Ручное управление несколькими сценариями оказалось утомительным, и мы поняли, что все сценарии должны прогнозироваться одновременно. С точки зрения вычислений это было значительно более затратно: для каждого продукта мы вычисляли соответствующие вероятности (почти) каждого уровня спроса. Однако, хотя количество вовлеченных вычислений кажется ошеломляющим, цены на вычислительные ресурсы также стремительно падали с годами. И то, что мы считали слишком дорогим 5 лет назад, теперь было вполне доступным. В 2015 году Lokad выпустил третью версию своей технологии прогнозирования, квантильные сетки. Будучи чрезвычайно ресурсоемкими с вычислительной точки зрения, квантильные сетки теперь доступны благодаря стремительному падению цен на облачные вычислительные ресурсы.

Взятие всего распределения вероятности спроса

Будущий спрос неопределен. Любая попытка представить будущий спрос только одним значением в какой-то степени наивна, потому что, как бы хорошим это значение ни было, оно никогда не сможет рассказать всю историю. Хотелось бы иметь “волшебную” систему, способную предсказывать точный уровень будущего спроса, но это тоже довольно иллюзорно. Когда люди пытаются справиться с неправильным прогнозом, очень соблазнительно попытаться “исправить” этот прогноз. К сожалению, статистическое прогнозирование в значительной степени противоречит интуиции, и реальность заключается в том, что часто нет ничего, что нужно исправлять: прогнозируемое значение является одним из абсолютно допустимых и возможных результатов для будущего спроса.

Систему можно потенциально немного настроить, чтобы получить немного более вероятные значения для будущего спроса, но вот и все. Ваша компания в конечном итоге получает только немного более вероятные значения для будущего спроса, что не приводит к увеличению бизнес-активности, которое ожидалось изначально.

Квантильные сетки идут совершенно другим путем: для каждого продукта Lokad вычисляет соответствующие вероятности каждого уровня будущего спроса. Вместо того чтобы пытаться поддерживать иллюзию того, что будущий спрос известен, квантильные сетки прямо выражают вероятности, связанные с множеством возможных будущих сценариев.

Например, если мы рассмотрим продукт, который редко продается с лид-таймом 2 недели, распределение спроса на следующие 2 недели (обычно горизонт прогнозирования должен соответствовать лид-тайму) для этого продукта может быть представлено следующим образом:

Мыслить о будущем с полностью вероятностной перспективы может показаться сложным, но на самом деле это представляет то, что каждый бизнес-руководитель уже делает, хотя и менее формально: взвешивание вероятностей определенных результатов и оценка рисков в отношении своего бизнеса, чтобы быть готовым к наиболее значимым сценариям. С точки зрения прогностического движка, поскольку мы заранее не знаем, какие сценарии будут наиболее значимыми, логическое решение, хотя и в некоторой степени грубое, состоит в обработке всех возможных сценариев. Однако, предполагая, что у бизнеса тысяча продуктов для прогнозирования (и у некоторых наших клиентов миллионы SKU для работы), и что Lokad вычисляет вероятности, связанные с 100 сценариями для каждого продукта, квантильные сетки будут производить огромный список из 100 000 записей, что не кажется практичным для обработки. Мы подходим к этому в следующем разделе.

Приоритизация решений в цепочке поставок

Для каждого решения о покупке мы можем составить простой расчет на скорую руку, формулу “результата”, которая зависит от будущего спроса по сравнению с текущим решением о покупке. Затем каждое решение можно оценить, исходя из вероятности каждого уровня будущего спроса.

Прогнозы спроса наиболее часто используются для принятия решений в цепочке поставок, таких как оформление заказов на товары или запуск производственной партии в промышленной среде. Как только у нас есть все вероятности, связанные со всеми будущими результатами, можно построить полный список приоритетов всех решений о покупке. Действительно, для каждого решения о покупке мы можем составить простой расчет на скорую руку, формулу “результата”: предполагая, что спрос составит D единиц, и предполагая, что мы закупаем P единиц, тогда финансовый результат будет X. Само собой разумеется, Lokad здесь, чтобы помочь вам составить эту краткую формулу, которая для большинства бизнесов сводится к валовой прибыли минус затраты на инвентарь и минус затраты на нехватку товара. Следовательно, после того, как у нас есть эта формула, для каждого решения в цепочке поставок, например, “закупить 1 единицу продукта Z”, результаты можно сравнить с вероятностями каждого возможного будущего. Таким образом, мы вычисляем “оценку” каждого возможного решения.

После того как каждое решение было оценено, можно составить рейтинг всех этих решений, расположив наиболее прибыльные варианты вверху списка. Мы называем этот список основным списком приоритетов закупок. Это список, где каждый продукт появляется на множестве строк. Действительно, в то время как закупка 1 единицы продукта Z может быть решением с наивысшим приоритетом (т.е. наиболее срочной закупкой), покупка следующей 1 единицы продукта Z может быть лишь 20-м по приоритету решением о покупке, с множеством других единиц других продуктов, которые необходимо приобрести между ними.

Основной список отвечает на очень простой вопрос: если у компании есть лишний доллар для траты на свой инвентарь, куда этот доллар следует потратить первым? Ну, этот доллар должен быть потрачен на товар, который приносит вашей компании максимальную отдачу. Затем, после того как этот конкретный товар приобретен, можно задать тот же вопрос. Однако на этот раз, после того как этот один лишний товар приобретен, следующий наиболее прибыльный товар для покупки, вероятно, будет другим, поскольку накопление большого количества одного и того же товара в вашем запасе приводит к сильному уменьшению отдачи. Действительно, чем больше у вас инвентаря, тем меньше он вращается, и тем выше вероятность застрять с мертвым инвентарем. Эти проблемы естественным образом отражены в формуле “результата” и в результирующей приоритизации списка.

Лучше, чем настройка уровней обслуживания

Определение “оптимальных” уровней обслуживания, то есть желаемых вероятностей избежать нехватки товара, является очень сложным упражнением. Это сложная проблема, потому что уровни обслуживания косвенно связаны с финансовым результатом компании. Фактически, для некоторых продуктов получение одного дополнительного процента уровня обслуживания может оказаться крайне дорогостоящим, и, следовательно, если ресурсы доступны, их следует скорее направить на другие продукты, где тот же уровень инвестиций принес бы не 1%, а дополнительные 10% уровня обслуживания.

С использованием сеток квантилей в качестве основного списка приоритетов закупок, не нужно беспокоиться о уровнях обслуживания, поскольку они отражены непосредственно в самой приоритизации.

Если уровень обслуживания продукта с высокой маржой можно дешево увеличить, этот продукт естественным образом поднимается на верх списка. Напротив, если продукт страдает от чрезмерно нестабильных продаж, что делает все попытки увеличить уровень обслуживания чрезвычайно дорогими, то этот продукт поднимется на верх списка только тогда, когда запасы начнут исчерпываться и когда компания почти гарантированно не столкнется с мертвыми запасами несмотря на очень нестабильные паттерны спроса. Список приоритетов также решает проблему ограничений по денежным средствам. Независимо от того, насколько ограничены денежные средства вашей компании, список приоритетов дает вам управляемый вариант. Если у вас очень мало денег, ваша компания покупает только то, что находится в самом верху списка, поддерживая уровни запасов только тех продуктов, которые отчаянно нуждаются в пополнении. Если у вас есть дополнительные деньги, ваша компания может увеличить свой инвентарь, сосредотачиваясь на тех позициях, которые будут приносить наибольший рост, сохраняя при этом контроль над рисками инвентаризации.

Внедрение ограничений в цепочку поставок

Компании часто сталкиваются с ограничениями по поставкам, такими как минимальные объемы заказов на уровне SKU или на уровне заказа. Иногда единицы должны быть собраны в больших партиях, таких как контейнеры. Такие ограничения могут быть естественным образом интегрированы в рабочие процессы через основной список приоритетов закупок, описанный выше; это не только предоставляет приоритетные предложения по закупкам, но и рекомендации, совместимые с ограничениями по заказам.

Точный процесс зависит от фактического типа ограничений, с которыми может столкнуться бизнес. Рассмотрим, например, отправки контейнеров. Lokad может вычислить накопленные объемы поставок от поставщика, предполагая, что строки заказов обрабатываются в порядке списка и предполагая, что каждый поставщик отправляет независимо от других. Исходя из этих накопленных объемов, процесс движения по списку до достижения целевой вместимости контейнера очень прост. Аналогично, если существует ограничение на минимальное количество заказа для определенного SKU, в этом случае также легко удалить из списка все строки, которые идут до выполнения ограничения, и сообщить количество непосредственно первой строке, как только ограничение будет выполнено.

Принудительное установление закупки на минимальное количество N единиц приводит к снижению конкурентоспособности SKU, т.е. SKU сначала появляется в списке на более низком ранге, что и является целью, поскольку риски инвентаризации увеличиваются с минимальными объемами заказов. В частности, этот подход полностью решает давние проблемы, которые имели негативные последствия как для классических, так и для квантильных прогнозов: что делать, если предложенные объемы перезаказа выше или ниже ограничений по заказам? Если некоторые единицы нужно удалить, какие продукты должны уйти первыми? Если нужно добавить единицы, какие продукты следует закупать в больших количествах? Старые методы прогнозирования не давали удовлетворительных ответов на эти вопросы. С приоритетным списком закупок нужно просто следовать порядку списка.