Прогнозирование квантилей (2012)

Самый известный вид прогноза — это средний прогноз, при котором веса переоценки и недооценки строго сбалансированы. Типичный пример — прогноз температуры на следующий день. Квантильные прогнозы устроены иначе: смещение вводится намеренно, чтобы изменить вероятности переоценки и недооценки. Квантили представляют собой радикальное улучшение по сравнению с классическими прогнозами для таких отраслей, как ритейл, оптовая торговля и производство. В марте 2012 года Lokad стала первым поставщиком ПО, предложившим квантильные прогнозы промышленного уровня. Эта страница объясняет, почему квантильные прогнозы важны и чем они отличаются от классических.

Предисловие

Термин квантильный прогноз может показаться сложным, и, скорее всего, если вы не глубоко погружены в статистику, вы никогда не слышали этого термина. Однако квантильные прогнозы — хоть и не называются так напрямую — регулярно используются в ритейле и производстве. Например, определение точки повторного заказа для ваших запасов эквивалентно построению квантильного прогноза спроса. Несмотря на радикальное значение квантильных прогнозов для розничной торговли и производства, квантили до сих пор получали мало внимания на рынке. Самое простое объяснение заключается в том, что поддержка квантильных прогнозов в программном обеспечении была практически нулевой. Тем не менее, с Lokad нет причин больше упускать из виду этот критически важный элемент технологии.

Для чего необходимы прогнозы спроса?

Чтобы понять, чем могут быть полезны квантильные прогнозы для розничного продавца или производителя, необходимо вернуться к причинам, по которым вообще требуются прогнозы. Прогнозы спроса имеют решающее значение для обеспечения наличия необходимых ресурсов — таких как запасы, персонал или денежные средства — в нужное время.Однако удовлетворение спроса с оптимальным уровнем ресурсов представляет собой, как правило, крайне асимметричную задачу: затраты на избыточное обеспечение ресурсами (то есть завышенные прогнозы) могут значительно отличаться от затрат на недостаточное обеспечение (то есть заниженные прогнозы).

Например:

Продуктовые ритейлеры обычно стремятся обеспечить очень высокий уровень сервиса — 95% и выше (то есть крайне редкие случаи отсутствия товара). В этом контексте считается, что предельные затраты дефицита значительно превышают дополнительные затраты на одну дополнительную единицу запаса.
Автопроизводители сталкиваются с возрастающим давлением по снижению производственных затрат. В результате некоторые производители выбирают стратегию нулевых запасов — и, соответственно, нулевую немедленную доступность, когда автомобили сначала покупают, а затем производят. При такой стратегии считается, что предельные затраты на избыток запаса превышают стоимость его недоступности. Таким образом, для компаний обычно невыгодно распределять ресурсы на основе простых средних прогнозов спроса, так как недораспределение ресурсов в 50% случаев является неэффективным компромиссом, не отражающим реальное положение дел. Таким образом, компании намеренно вводят смещение в распределении ресурсов, чтобы учесть специфическую для бизнеса асимметрию. Способность лучше справляться с этой асимметрией и есть суть квантильных прогнозов.

Квантильный прогноз (τ, λ), где τ (тау) — целевая вероятность, а λ (лямбда) — горизонт, выраженный в днях, представляет собой прогноз спроса на ближайшие λ дней с вероятностью τ того, что прогноз окажется выше будущего спроса (и, соответственно, с вероятностью 1-τ ниже будущего спроса).

Экстраполированные квантили и когда они не работают

Квантильные прогнозы известны уже десятилетиями, однако реализация нативной модели квантильного прогнозирования зачастую, и справедливо, считается намного более сложной, чем реализация модели средних прогнозов. В результате подавляющее большинство поставщиков программного обеспечения для прогнозирования предлагает только средние прогнозы.

(*) Насколько нам известно, в марте 2012 года Lokad стала первым поставщиком, предложившим нативную, промышленного уровня универсальную технологию квантильного прогнозирования. Однако в академических кругах прототипы для исследований квантильной регрессии существуют уже десятилетиями.

Тем не менее, поскольку компании действительно нуждаются в квантильных прогнозах, они обычно прибегают к методу экстраполяции для их получения. Практически этот подход заключается в предположении, что спрос соответствует нормальному распределению, с добавлением корректирующего фактора безопасности. Классическая методика расчета страхового запаса работает по аналогичному принципу, например.

Экстраполированные квантили — это классические (средние) прогнозы, преобразованные в квантильные прогнозы с помощью метода экстраполяции. Этот термин противопоставляется нативным квантулям, где статистическая модель напрямую генерирует квантиль. Экстраполяция не опирается на входные данные, а основывается на распределении, заданном априори. Это распределение, как правило, является слабым звеном в процессе экстраполяции, поскольку оно отличается от реальности

К сожалению, у метода экстраполяции есть серьезные недостатки в трех распространенных случаях:

Высокие квантили (то есть высокий уровень сервиса)
Прерывистый спрос
Пиковый спрос (оптовые заказы)

В таких ситуациях мы обнаружили, что нативные квантильные прогнозы, как правило, превосходят по точности экстраполированные квантили от лучших моделей на 20% и более; сравнение проводилось с использованием соответствующих технологий квантильного и классического прогнозирования от Lokad, которые уже опережают конкурентов.

Высокие квантили (то есть высокий уровень сервиса)

Предположение о том, что ошибки прогнозов распределены нормально, как правило, верно для квантилей, близких к среднему или медиане. Однако точность аппроксимации ухудшается с увеличением целевого процента. Для высоких целевых процентов, как правило, свыше 90%, мы обнаружили, что сам метод экстраполяции часто становится слабым звеном прогноза. В таких случаях следует отдавать предпочтение нативным квантулям.

Прерывистый спрос

Метод экстраполяции пытается подогнать гладкую кривую под будущий спрос, чтобы отразить неопределенность. Однако, когда спрос прерывист или скуден, в нем нет ничего гладкого: за каждый период (неделя, месяц) количество проданных единиц, то есть наблюдаемый спрос, является целым числом, колеблющимся, например, между 0 и 5. Исторически многие модели среднего прогнозирования были разработаны для лучшего учета скудного спроса; однако с точки зрения квантильного подхода становится очевидным, что основная проблема заключается в том, что никакой средний прогноз не может быть точно экстраполирован в квантиль в условиях скудного спроса. В отличие от этого, нативные квантили могут полностью учитывать маленькими целыми числами шаблоны спроса.

Пиковый спрос (оптовые заказы)

Когда имеются оптовые заказы, кривая исторического спроса, как правило, имеет достаточно резкую форму. Такая форма отражает тот факт, что несколько заказов составляют значительную часть общего спроса. Однако, в отличие от случая прерывистого спроса, спрос постоянно присутствует и не равен нулю. Основная проблема здесь не в том, что спрос принимает целочисленные значения, а в том, что средние прогнозы не способны адекватно предсказывать эти пики в будущем. Упрощенно, существует два подхода к обработке пиков:

Отбросить их, если компания решает, что нет смысла заранее распределять ресурсы для их учета.
Корректировать заранее распределенные ресурсы, чтобы учесть их, или, по крайней мере, справляться с определенной долей пиков.

В обоих случаях средние прогнозы работают плохо: экстраполированные квантили оказываются слишком низкими, чтобы уловить пики, в то время как, с другой стороны, они переоценивают ресурсы для учета обычного спроса. Нативные квантильные прогнозы решают проблему пиков более прямым и точным способом.

Нативные квантильные прогнозы от Lokad

Это устаревшая статья. Наше новейшее поколение прогностического движка больше не использует квантильные прогнозы. Ознакомьтесь с нашими последними страницами о технологиях для получения дополнительной информации.

Lokad предоставляет полностью автоматизированный онлайн-сервис, который принимает временные ряды в качестве входных данных и возвращает нативные квантильные прогнозы, где каждый квантиль соответствует своему горизонту и целевому проценту (соответственно, времени выполнения заказа и уровню сервиса в случае оптимизации запасов). Экстраполяция не требуется. Процесс квантильного прогнозирования не требует специальных статистических знаний. На практике большинство компаний воспользуются нашим веб-приложением для получения оптимизированных точек повторного заказа; точка повторного заказа представляет собой квантильный прогноз, специфичный для запасов. Для каждого временного ряда квантильный прогноз представляет собой всего лишь одну точку данных. В отличие от средних прогнозов, квантильные прогнозы, как правило, не представляются в виде кривой, которая развивается со временем и продолжает историческую тенденцию в будущее. Статистически квантильные прогнозы ведут себя иначе, однако фундаментальные паттерны спроса остаются прежними: тренд, сезонность, жизненный цикл продукта, акции… Все паттерны, поддерживаемые нашей классической технологией прогнозирования, также поддерживаются нашей технологией квантильного прогнозирования.

Классические (средние) и квантильные прогнозы

С математической точки зрения, квантильные прогнозы представляют собой обобщение традиционного понятия прогноза. С практической точки зрения, квантильные прогнозы, как правило, превосходят (точнее) классические для большинства бизнес-ситуаций, где риски, связанные с пере- и недооценкой спроса, не симметричны. Однако квантильные прогнозы также менее наглядны и интуитивны. Поэтому классические прогнозы остаются основным инструментом для менеджеров, позволяющим лучше понять динамику их бизнеса. Мы ни в коем случае не планируем отказаться от классических прогнозов. Фактически, большинство наших усилий по исследованиям и разработкам в области прогнозирования приносит пользу обоим типам прогнозов. Квантильное прогнозирование предоставляет нам возможность углубить понимание статистического поведения спроса. Наш главный приоритет — предоставлять более точные прогнозы.

Смещение прогноза из-за отсутствия запасов

Отсутствие запасов не только негативно сказывается на бизнесе из-за потери лояльности клиентов, которым не удается обслужить их, но и вносит смещение в наблюдения за историческим спросом. Из-за отсутствия запасов нулевые продажи не обязательно означают нулевой спрос. Salescast не застрахован от этой проблемы; однако при правильном использовании он может быть чрезвычайно устойчивым к ней.

Влияние отсутствия запасов на классические прогнозы

Прогноз в классическом (медианном) смысле представляет собой предположение о будущем, при котором вероятность того, что он окажется выше или ниже будущего спроса, составляет 50%. При наблюдении отсутствия запасов в исторических данных появляется смещение вниз, поскольку неудовлетворенный спрос обычно не учитывается.

Как следствие, прогнозы, построенные на основе исторических данных, также содержат смещение вниз, что приводит к дальнейшему отсутствию запасов.

В самом крайнем случае, если не установлен минимальный уровень запасов, процесс пополнения может привести к замороженному состоянию запасов, при котором дальнейшие продажи отсутствуют – потому что запасы отсутствуют – и дополнительные заказы не формируются. Более того, в этой ситуации прогнозы оказываются на 100% точными: прогноз равен нулю, как и продажи.

Недостатки интеграции данных об отсутствии запасов

Чтобы скорректировать смещение, вызванное отсутствием запасов, необходимо учитывать случаи отсутствия запасов. Это можно сделать путем сбора подробных исторических данных обо всех прошлых (и текущих) случаях отсутствия запасов. Хотя эта идея выглядит привлекательно, на практике мы замечаем, что такой подход требует значительных усилий.

Большинство компаний не ведут точный учет отсутствия запасов. Недостаточно иметь какие-то данные об отсутствии запасов — данные должны быть полными и точными, чтобы была возможность улучшить прогнозы спроса.
Нехватка запасов (надеемся) встречается относительно редко, обычно происходит менее чем в 10% случаев в большинстве предприятий. В результате требуется значительный объём бизнеса, чтобы собрать достаточно данных для проведения надёжного статистического анализа нехватки запасов.
Влияние нехватки запасов сложно. Нехватка запасов вызывает каннибализацию (на недоступные товары) при наличии заменителей. Она также заставляет некоторых клиентов откладывать свои заказы, что иногда приводит к «скачку» спроса, когда товары снова становятся доступными.

Квантили как прогнозы, устойчивые к смещению

Вместо этого квантильные прогнозы представляют собой гораздо более эффективную и простую альтернативу для смягчения основного смещения, вызванного нехваткой запасов. Короче говоря, квантили используются для вычисления точек переупорядочивания в виде изначально смещённых прогнозов. Например, точка переупорядочивания, вычисленная с уровнем обслуживания 95%, представляет собой оценку, рассчитанную так, чтобы в 95% случаев быть чуть выше спроса (и сталкиваться с нехваткой запасов только в 5% случаев).

Квантильные прогнозы, когда они ассоциированы с высокими уровнями обслуживания — то есть фактически более чем 90%, ведут себя совсем иначе, чем классические прогнозы. Интуитивно, для вычисления квантильного прогноза на уровне 95% анализ сосредоточен на 5% самых экстремальных колебаний спроса. Хотя возможно, что нехватка запасов была настолько преобладающей в истории, что даже верхние 5% продаж представляют собой лишь малую часть «обычного» спроса, на практике это обычно не так. Даже при значительной нехватке запасов максимальный уровень спроса в истории, как правило, выше среднего спроса.

В результате квантильные прогнозы почти никогда не попадают в порочный круг, когда нехватка запасов вносит настолько сильное смещение, что затем смещённые прогнозы ещё больше усугубляют проблему нехватки запасов. Мы наблюдаем, что для подавляющего большинства наших клиентов квантильные прогнозы приводят к благоприятному кругу, в котором квантили, будучи более устойчивыми к смещению, немедленно уменьшают частоту нехватки запасов, возвращая уровень обслуживания под контроль. Затем, спустя некоторое время, частота нехватки запасов сходится к заданным целевым уровням обслуживания.

Выбор уровней обслуживания

При использовании квантильных прогнозов точка переупорядочивания рассчитывается как функция ожидаемого спроса, времени выполнения заказа и уровня обслуживания. Количество заказа определяется как разница между точкой переупорядочивания, имеющимися запасами и запасами, находящимися в заказе. Уровень обслуживания представляет собой желаемую вероятность отсутствия нехватки запасов. Следующая статья даёт краткое введение в тему и рекомендации по установлению соответствующих уровней обслуживания.

Неявное предположение в этом утверждении таково: всегда обслуживать заказ за счёт имеющихся запасов экономически нецелесообразно. Определение правильного уровня обслуживания для конкретного продукта сводится к балансу затрат на инвентарь и затрат от нехватки запасов. Таким образом, уровень обслуживания является важной переменной при расчёте соответствующего страхового запаса; чем выше желаемый уровень обслуживания, тем больше должен быть запас безопасности.

К сожалению, функции затрат, описывающие проблему, чрезвычайно специфичны для конкретного бизнеса. В то время как затраты на инвентарь можно рассчитать довольно просто, затраты, связанные с нехваткой запасов, значительно сложнее определить. Клиент, не найдя товар в магазине, может либо выбрать альтернативу, которая имеется в наличии, либо отложить покупку на более поздний срок, либо обратиться к конкуренту. Например, в розничной торговле продуктами нехватка определённых обязательных товаров известна тем, что заставляет клиентов покидать магазин и переходить к конкуренту.

Как показывает этот пример, соответствующие функции затрат специфичны не только для бизнеса, но и для конкретного продукта. Учитывая, что большинство производителей и розничных торговцев имеют дело с сотнями, а то и с сотнями тысяч товаров, становится очевидно, что чрезмерно научный подход не является ни целесообразным, ни осуществимым.

Хорошая новость заключается в том, что на практике оказывается вполне достаточно работать с простой методикой, которую можно со временем оптимизировать.

Как начать

Многие розничные торговцы рассматривают уровни обслуживания как часть своей уникальной интеллектуальной собственности и строго их охраняют. Тем не менее, некоторые приблизительные показатели могут служить хорошей отправной точкой: типичный уровень обслуживания в розничной торговле составляет 90%, а для товаров с высоким приоритетом — 95%. Мы наблюдали, как некоторые клиенты успешно применяли очень прагматичный подход, устанавливая универсальный начальный уровень обслуживания в 90%, а затем улучшая и адаптируя его под свои нужды.

Важно понять взаимосвязь между уровнем обслуживания и страховым запасом. График 1 иллюстрирует эту взаимосвязь. Деление расстояния до 100% на 2 приводит к удвоению страхового запаса. Например, повышение уровня обслуживания с 95% до 97,5% удваивает необходимый страховой запас. Уровни обслуживания, приближающиеся к 100%, очень быстро становятся чрезвычайно дорогими, а уровень обслуживания в 100% математически эквивалентен бесконечному страховочному запасу.

service-level-graph График 1: Взаимосвязь между страховым запасом и уровнем обслуживания

Выбор категорий

По нашему опыту вполне достаточно различать 3–5 категорий уровней обслуживания, которые охватывают ассортимент от обязательных товаров до товаров наименее приоритетных. Например, мы выбрали систему из трёх значений:

Высокий: 95%
Средний: 90%
Низкий: 85%

Категоризация продуктов

Ранжирование продуктов предоставляет структурированный и разумный способ распределения товаров по ранее определённым категориям. При этом могут использоваться показатели, такие как оборот, рентабельность, количество заказов, себестоимость проданных товаров (COGS — cost of goods sold), как по отдельности, так и в комбинации.

Пример ранжирования продуктов по обороту

Верхние 80% оборота: высокий уровень обслуживания
Следующие 15% оборота: средний уровень обслуживания
Последние 5% оборота: низкий уровень обслуживания

Пример ранжирования продуктов по вкладу валовой прибыли

Верхние 80% валовой прибыли: высокий уровень обслуживания
Следующие 15% валовой прибыли: средний уровень обслуживания
Последние 5% валовой прибыли: низкий уровень обслуживания

Как только категории определены и уровни обслуживания назначены, Lokad определяет точку переупорядочивания (включая уровни страхового запаса) как функцию этих значений. Мы часто наблюдаем, что значительный потенциал для сокращения запасов достигается не только за счёт точности наших прогнозов, но и благодаря более продвинутому методу и частому обновлению уровня обслуживания.

Тем, кто продолжает испытывать неуверенность в выборе корректного уровня обслуживания для внесения в Lokad, следует помнить, что иметь идеально настроенные уровни обслуживания с самого начала не только не важно, но и довольно нереалистично. Важно то, что новое внимание к этому понятию в сочетании с прогнозами Lokad и анализом точки переупорядочивания улучшит существующее положение дел с высокой вероятностью.