Прогнозирование с квантильными сетками (2015)

Квантильные сетки представляют собой радикальное улучшение по сравнению с классическими методами прогнозирования, когда дело касается запасов. Они также превосходят квантильные прогнозы, поскольку предоставляют гораздо больше информации о будущем. Традиционные методы прогнозирования работают плохо, особенно в сфере торговли. Корневая причина этой проблемы проста: будущее неопределенно. Классические прогнозы пытаются предсказать единственное корректное значение будущего спроса, и, что уж говорить, они в этом терпят неудачу. Отчаянные попытки исправить классические прогнозы в надежде предсказать «правильный» будущий спрос являются иллюзией. Квантильные сетки занимают совершенно иную позицию в этом вопросе.

С помощью квантильных сеток Lokad прогнозирует не одно значение будущего спроса для данного продукта, а полное распределение вероятностей спроса; то есть вероятность того, что спрос составит 0 единиц, затем 1 единицу, затем 2 единицы и т.д. Эта информация значительно богаче и может быть использована способами, приносящими намного большую прибыль, чем классические прогнозы.

Введение для неспециалиста по статистике

Читая эти строки, если вы не специалист по статистике, вы можете задаться вопросом, имеет ли ваш бизнес хоть какие-то шансы на успешное применение так называемых «квантильных сеток». Это скорее название для докторской диссертации по современной статистике, нежели практический метод прогнозирования. Если же вам этот термин кажется пугающим, просто мысленно замените квантильные сетки на прогнозы, которые действительно работают, и всё станет на свои места. Подавляющее большинство компаний, использующих Lokad, не обладают никакими статистическими навыками. Даже спам-фильтр вашего почтового ящика использует продвинутую статистику, и для работы с ним не нужна докторская степень.

Lokad делает примерно то же самое для торговли. Мы используем современные методы машинного обучения, чтобы сделать ваш бизнес более прибыльным, и технология, лежащая в их основе, настолько продвинута, что вам фактически больше не о чем заботиться.

Ниже мы описываем, что происходит за кулисами в Lokad, но будьте уверены: вы можете использовать Lokad, даже если не до конца понимаете, как работает наш прогнозный механизм – так же, как можно пользоваться спам-фильтром, не вдаваясь в детали баесовского вероятностного вывода.

Переосмысление прогнозирования для коммерции

Многие поставщики хвастаются использованием «продвинутых» методов прогнозирования, таких как ARIMA, Box-Jenkins и Holt-Winters, которым на самом деле уже почти полвека; все они были разработаны в то время, когда самые мощные корпоративные компьютеры имели меньше вычислительной мощности, чем современные холодильники. Люди, создавшие эти методы, были исключительно умны, но им приходилось довольствоваться вычислительными ресурсами своего времени, поэтому они отдавали предпочтение моделям, которые можно было расчитать с минимальными затратами. Сегодня мы можем использовать огромные вычислительные мощности для решения задач прогнозирования за очень небольшую стоимость.

Помните, что 1000 часов вычислительной мощности обходятся дешевле, чем $50 при использовании облачной вычислительной платформы. Очевидно, это открывает радикально новые перспективы для прогнозирования, и именно эти перспективы Lokad активно исследует. Квантильные сетки представляют третью версию технологии прогнозирования компании Lokad, но давайте на несколько лет вернемся назад, чтобы получить полную картину. Мы начали с классических прогнозов в 2008 году в качестве первой версии нашей технологии прогнозирования, и, несмотря на три года огромных усилий в области исследований и разработок со стороны команды Lokad, классический подход оказался тупиковым. Нам так и не удалось добиться глубокой удовлетворенности ни одного клиента классическими прогнозами. Узнав больше о опыте наших клиентов с другими поставщиками прогнозирования, мы поняли, что ни одна компания даже близко не была удовлетворена приобретенной технологией прогнозирования. Эта проблема была не специфична для Lokad, и мы решили что-то с этим сделать.

В 2012 году Lokad выпустила вторую версию своей технологии прогнозирования, кодовое название которой — Квантильные прогнозы. Проще говоря, квантильные прогнозы решают главную проблему, мучающую классические прогнозы: классические прогнозы просто не рассматривают правильную проблему.

Действительно, задача компаний — избегать двух крайностей: неожиданно высокого спроса, приводящего к дефициту товара, и неожиданно низкого спроса, приводящего к избыточным запасам. То, что происходит посредине, когда будущий спрос примерно соответствует ожиданиям, имеет мало значения с точки зрения бизнеса.

Тем не менее, классические прогнозы, будь то средние или медианные, полностью игнорируют эти «крайние» ситуации и сосредотачиваются исключительно на среднем случае. Неудивительно, что классические прогнозы не справляются с предотвращением как дефицита товара, так и избыточных запасов. Квантильные прогнозы решают задачу напрямую, рассматривая, например, сценарий предотвращения дефицита, и стремятся дать точный ответ на эту проблему. Внезапно, в 2012 году, мы начали получать всё больше удовлетворенных клиентов. Впервые в истории Lokad, более чем через 3 года после запуска компании, у нас появилось нечто, что действительно работало.

В 2015 году Lokad выпустила третью версию своей технологии прогнозирования — квантильные сетки. Хотя квантильные прогнозы уже представляли собой радикальное улучшение по сравнению с классическими прогнозами, у них все еще были свои недостатки. Набирая опыт с десятками внедрений нашей технологии квантильного прогнозирования, мы поняли, что идея создания прогноза для всего лишь одного бизнес-сценария была обоснованной, но не полностью исчерпывающей. Почему только этот один сценарий? Почему не второй или третий? Ручное управление несколькими сценариями оказалось утомительным, и мы поняли, что все сценарии следует прогнозировать одновременно. С вычислительной точки зрения это было значительно дороже: для каждого продукта нам приходилось вычислять соответствующие вероятности для (почти) каждого отдельного уровня спроса. Однако, хотя объем вычислений кажется ошеломляющим, цены на вычислительные ресурсы за последние годы резко снизились. То, что ещё 5 лет назад казалось чрезмерно затратным, теперь стало вполне доступным. В 2015 году Lokad выпустила третью версию своей технологии прогнозирования — квантильные сетки. Несмотря на чрезвычайно высокую вычислительную сложность, квантильные сетки теперь доступны благодаря резкому снижению стоимости облачных вычислительных ресурсов.

Учет полного распределения вероятностей спроса

Будущий спрос неопределен. Любая попытка представить будущий спрос одним значением несколько наивна, поскольку, как бы хорошим это значение ни было, оно никогда не сможет отразить всю картину. Хотя было бы здорово иметь «волшебную» систему, способную точно предсказать уровень будущего спроса, это тоже довольно иллюзорно. Когда люди пытаются справиться с неверным прогнозом, очень заманчиво попытаться его «исправить». К сожалению, статистическое прогнозирование в корне противоречит интуиции, и реальность такова, что зачастую нечего исправлять: прогнозируемое значение является одним из вполне допустимых и возможных исходов будущего спроса.

Систему, возможно, можно немного настроить для получения чуть более вероятных значений будущего спроса, но на этом всё. В итоге ваша компания получает лишь немного более вероятные значения будущего спроса, что не приводит к ожидаемому росту деловой активности.

Квантильные сетки используют совершенно иной подход: для каждого продукта Lokad вычисляет соответствующие вероятности для каждого отдельного уровня будущего спроса. Вместо того чтобы поддерживать иллюзию, что будущий спрос известен, квантильные сетки непосредственно выражают вероятности, связанные с множеством возможных сценариев.

Например, если рассмотреть редко продаваемый продукт со сроком поставки 2 недели, распределение спроса на следующие 2 недели (обычно горизонт прогнозирования должен соответствовать сроку поставки) для этого продукта можно представить следующим образом:

Размышления о будущем с полностью вероятностной точки зрения могут показаться сложными, но на самом деле это то, что уже делает каждый руководитель бизнеса, пусть и в менее формализованной форме: оценка вероятностей определенных исходов и распределение рисков в своем бизнесе, чтобы быть готовым к самым актуальным сценариям. С точки зрения прогнозного механизма, поскольку мы заранее не знаем, какие сценарии будут «наиболее актуальными», логическим решением, пусть и несколько жестоким, является обработка всех возможных сценариев. Однако, если предположить, что у бизнеса есть тысяча продуктов для прогнозирования (а у некоторых наших клиентов миллионы артикулов), и Lokad вычисляет вероятности для 100 сценариев для каждого продукта, квантильные сетки сгенерируют огромный список из 100 000 записей, что выглядит непрактичным для обработки. Мы подробно рассмотрим этот вопрос в следующем разделе.

Приоритизация решений в цепочке поставок

Для каждого решения о покупке мы можем записать простую расчетную формулу, «формулу результата», которая зависит от будущего спроса и текущего решения о покупке. Затем каждое решение может быть оценено на основе соответствующей вероятности каждого уровня будущего спроса.

Прогнозы спроса наиболее часто используются для управления решениями в цепочке поставок, такими как оформление заказов для торговли или запуск производственной партии в промышленном производстве. Как только у нас появляются все вероятности будущих исходов, становится возможным составить полный список приоритетных закупок. Действительно, для каждого решения о покупке мы можем записать простую расчетную формулу, «формулу результата»: предположим, что спрос составит D единиц, а мы закупим P единиц, тогда финансовый результат будет равен X. Несомненно, Lokad поможет вам составить эту короткую формулу, которая для большинства бизнесов сводится к валовой прибыли минус стоимость запасов и минус стоимость дефицита. Таким образом, имея эту формулу для каждого решения в цепочке поставок, например, «закупить 1 единицу продукта Z», результаты можно сопоставить с вероятностями каждого возможного будущего. Таким образом, мы вычисляем «оценку» каждого возможного решения.

После того как каждое решение получило оценку, становится возможным их ранжировать, выводя на верх списка самые прибыльные варианты. Мы называем этот список основным списком приоритетных закупок. Это список, в котором каждый продукт появляется на нескольких позициях. Действительно, если закупка 1 единицы продукта Z может оказаться самым приоритетным решением (то есть самым насущным), то покупка следующей 1 единицы продукта Z может быть лишь 20‑м по приоритету, на фоне множества других закупок различных продуктов.

Основной список отвечает на очень простой вопрос: если у компании есть лишний доллар для пополнения запасов, куда его следует вложить в первую очередь? Этот доллар должен быть направлен на товар, который приносит максимальную прибыль. Затем, после приобретения этого товара, можно задать тот же вопрос. Однако на этот раз, после покупки дополнительной единицы, наиболее прибыльным товаром для закупки, вероятно, окажется другой, так как накопление одного и того же товара сопровождается выраженным эффектом убывающей отдачи. Действительно, чем больше у вас запасов, тем медленнее их оборачиваемость и тем выше вероятность застревания с залежавшимися товарами. Эти моменты естественно отражаются в «формуле результата» и итоговой приоритизации списка.

Лучше, чем настройка уровней сервиса

Определение «оптимальных» уровней сервиса, то есть желаемых вероятностей отсутствия дефицита, является крайне сложной задачей. Этот вопрос сложен, поскольку уровни сервиса только косвенно связаны с финансовой эффективностью компании. На самом деле для некоторых товаров достижение дополнительного процента уровня сервиса может оказаться чрезвычайно дорогим, и поэтому, если ресурсы доступны, их следует направлять на другие товары, где тот же уровень инвестиций принесёт не 1%, а дополнительные 10% уровня сервиса.

Используя квантильные сетки в качестве основного списка приоритетных закупок, вам даже не нужно заботиться об уровнях сервиса, так как они естественным образом отражаются в самой приоритизации.

Если можно недорого повысить уровень обслуживания продукта с высокой маржей, этот продукт естественно поднимается в верхнюю часть списка. И наоборот, если продукт страдает от крайне непредсказуемых продаж, что делает все попытки повышения уровня обслуживания чрезвычайно дорогими, то такой продукт окажется в верхней части списка только тогда, когда запасы опасно низкие и когда практически гарантировано, что компания не окажется с невыгодными остатками, несмотря на крайне непредсказуемые модели спроса. Приоритетный список также решает проблему денежных ограничений. Независимо от того, в каком состоянии находится ваша компания с точки зрения наличных средств, приоритетный список предоставляет вам выполнимый вариант. Если у вас имеется очень мало наличных, ваша компания покупает только то, что находится на самом верху списка, поддерживая запасы исключительно тех продуктов, которые отчаянно нуждаются в пополнении. Если же у вас есть дополнительные средства, ваша компания получает возможность увеличить запасы, сосредоточив внимание на товарах, которые обеспечат наибольший рост, при этом контролируя риски, связанные с запасами.

Внедрение ограничений цепочки поставок

Компании часто сталкиваются с ограничениями поставок, такими как минимальные объемы заказа как на уровне отдельного SKU, так и на уровне заказа в целом. Иногда единицы товара необходимо собирать большими партиями, например, в контейнерах. Такие ограничения можно естественным образом интегрировать в рабочие процессы посредством основного приоритетного списка закупок, описанного выше; это не только предоставляет приоритетные рекомендации по закупкам, но и предлагает рекомендации, совместимые с ограничениями заказов.

Конкретный процесс зависит от типа ограничений, с которыми может столкнуться бизнес. Рассмотрим, например, контейнерные поставки. Lokad может вычислить суммарные объемы для каждого поставщика, при условии что строки закупок обрабатываются в порядке списка и каждый поставщик отгружает товары независимо от других. Исходя из этих суммарных объемов, процесс прохождения списка до достижения целевой вместимости контейнера оказывается весьма простым. Аналогичным образом, если для данного SKU существует ограничение по минимальному объему заказа, то достаточно просто исключить из списка все строки, предшествующие тому, как только ограничение будет выполнено, и сообщить объем прямо в первую строку, как только требование будет удовлетворено.

Принудительное установление минимального объема покупки равного N единицам снижает конкурентоспособность SKU, то есть SKU впервые появляется в списке на более низкой позиции, что и является ожидаемым поведением, поскольку риски, связанные с запасами, увеличиваются при наличии минимальных объемов заказа. В частности, данный подход полностью решает давние проблемы, которые негативно сказывались как на классических, так и на квантильных прогнозах: что следует делать, если предложенные объемы повторного заказа превышают или не дотягивают до ограничений заказа? Если необходимо убрать некоторые единицы, какие продукты следует исключить в первую очередь? Если единицы следует добавить, какие товары нужно приобрести в больших объемах? Более ранние методы прогнозирования не давали удовлетворительных ответов на эти вопросы. С приоритетным списком закупок достаточно просто следовать порядку списка.