Прогнозирование квантилей (2012)

Самый известный тип прогноза - это средний прогноз, где соответствующие веса пере- и недопрогнозов строго сбалансированы. Прогнозируемые температуры на следующий день - типичный пример среднего прогноза. Прогнозы квантилей отличаются: умышленно вводится смещение, чтобы изменить вероятности пере- и недопрогнозов. Квантили представляют собой радикальное улучшение по сравнению с классическими прогнозами для многих отраслей, таких как розничная торговля, оптовая торговля и производство. В марте 2012 года Lokad стала первым поставщиком программного обеспечения, предоставляющим промышленные прогнозы квантилей. На этой странице подробно описано, почему прогнозы квантилей важны и в чем их отличие от классических прогнозов.

Белая книга

Управление запасами запасных частей с использованием квантилей

В мире, где большинство производителей оборудования и розничных торговцев работают в жесткой конкурентной среде, обеспечение высокого уровня обслуживания существующей клиентской базе является стратегическим приоритетом для многих компаний. Однако эффективное управление запасами запасных частей по-прежнему представляет собой огромное вызов из-за объема и непостоянства спроса. В этой белой книге обсуждаются проблемы и текущее состояние технологии планирования запасов запасных частей, а также представляется прогнозирование квантилей как деструктивный новый подход к решению проблемы.

Получить историю (pdf)

Предисловие

Термин квантильный прогноз может показаться сложным, и вероятно, если вы не глубоко разбираетесь в статистике, вы никогда не слышали этот термин раньше. Однако квантильные прогнозы - хотя и не называются таким образом - регулярно используются в розничной торговле и производственных предприятиях. Например, определение точки повторного заказа для вашего инвентаря строго эквивалентно созданию квантильного прогноза по спросу. Несмотря на радикальные последствия квантильных прогнозов для розничной торговли и производства, квантили до сих пор получили мало внимания на рынке. Простым объяснением является то, что поддержка квантильных прогнозов была практически отсутствующей в программной индустрии. Однако с Lokad нет причин больше игнорировать такой важный технологический аспект.

Для чего необходимы прогнозы спроса?

Чтобы понять, зачем квантильные прогнозы полезны для розничного торговца или производителя, нам нужно вернуться к тому, зачем вообще необходимы прогнозы. Прогнозы спроса критичны для того, чтобы обеспечить наличие правильного уровня ресурсов - таких как инвентарь, персонал или денежные средства - в нужное время. Однако удовлетворение спроса правильным уровнем ресурсов обычно является очень асимметричной проблемой: стоимость перераспределения ресурсов (также известная как перепрогнозирование) может значительно отличаться от стоимости недостаточного распределения ресурсов (также известного как недопрогнозирование).

Например:

• Продавцы продуктов питания обычно стремятся к очень высоким уровням обслуживания на уровне 95% или более (т.е. очень редкие исчерпания запасов). В этом контексте оценивается, что предельные затраты на исчерпание запасов значительно превышают предельные затраты на дополнительную единицу товара.
• Производители автомобилей подвергаются увеличивающемуся давлению на снижение производственных затрат. В результате некоторые производители выбирают стратегию нулевого запаса - и, следовательно, нулевую немедленную доступность - где автомобили могут быть приобретены только для последующего производства. В этой ситуации оценивается, что предельные затраты на избыток запасов превышают стоимость немедленной доступности. Таким образом, для компаний typично не выгодно распределять свои ресурсы на основе сырых средних прогнозов спроса, поскольку распределение слишком недостаточного количества ресурсов 50% времени является плохим компромиссом, который не отражает реальности бизнеса. Поэтому компании намеренно вводят предвзятость в свои распределения ресурсов, чтобы отразить существующую в их торговле асимметрию. Способность лучше справляться с этой асимметрией - вот в чем суть квантильных прогнозов.

Квантильный прогноз (τ, λ), где τ (тау) - целевая вероятность, а λ (лямбда) - горизонт, выраженный в днях, представляет собой прогноз спроса на следующие λ дней с вероятностью τ быть выше будущего спроса (следовательно, вероятность 1-τ быть ниже будущего спроса).

Экстраполированные квантили и когда они не работают

Квантильные прогнозы известны уже десятилетиями, однако реализация нативной модели квантильного прогнозирования часто, и справедливо, считается намного сложнее, чем реализация модели прогнозирования среднего значения. В результате подавляющее большинство поставщиков программного обеспечения для прогнозирования (*) предоставляют только средние прогнозы.

(*) Насколько нам известно, Lokad стал в марте 2012 года первым поставщиком, который предоставил нативную промышленную общую технологию квантильного прогнозирования. Однако в академических кругах исследовательские прототипы для квантильной регрессии существуют уже десятилетия.

Однако, поскольку компании требуют квантильные прогнозы, они обычно используют обходной путь экстраполяции для создания своих квантильных прогнозов. Практически это означает предположение, что спрос следует нормальному распределению, и добавление корректирующего безопасного члена. Например, классический подход к резервному запасу следует этому шаблону.

Экстраполированные квантили - это классические (средние) прогнозы, преобразованные в квантильные прогнозы с помощью метода экстраполяции. Термин противопоставлен нативным квантилям, где статистическая модель напрямую производит квантиль. Экстраполяция не зависит от входных данных, а скорее от распределения, определенного заранее. Это распределение, обычно нормальное, обычно является самым слабым звеном процесса экстраполяции, поскольку оно отличается от реальности.

К сожалению, экстраполяция страдает от серьезных недостатков в 3 часто встречающихся контекстах:

• Высокие квантили (т.е. высокий уровень обслуживания)
• Прерывистый спрос
• Переменчивый спрос (оптовые заказы)

В этих ситуациях мы обнаружили, что нативные квантильные прогнозы обычно превосходят на 20% или более лучшие экстраполированные квантильные прогнозы; сравнение проводится с использованием соответствующих квантильных и классических технологий прогнозирования Lokad - учитывая, что они уже имеют тенденцию превосходить конкурентов.

Высокие квантили (т.е. высокий уровень обслуживания)

Предположение, что ошибки, связанные с прогнозами, обычно распределены нормально, обычно хорошо подходит для квантильных целей, близких к среднему или медиане. Однако качество приближения ухудшается по мере увеличения целевого процента. Для высоких целевых процентов, обычно все значения выше 90%, мы обнаружили, что сама экстраполяция часто становится самым слабым звеном прогноза. В таких ситуациях следует отдавать предпочтение нативным квантилям.

Прерывистый спрос

Экстраполяция пытается подогнать гладкую кривую над будущим спросом, чтобы отразить неопределенность. Однако, когда спрос прерывистый или разреженный, нет ничего гладкого в спросе: для каждого периода (неделя, месяц) количество продаваемых единиц, т.е. наблюдаемый спрос, является целым числом, варьирующимся от 0 до 5, например. Исторически многие модели среднего прогнозирования были разработаны для лучшего понимания разреженного спроса; однако с точки зрения квантиля становится ясно, что более фундаментальной проблемой является то, что ни один средний прогноз не может быть правильно экстраполирован в точный квантиль в случае разреженного спроса. В отличие от этого, нативные квантили могут полностью соответствовать малочисленным образцам спроса.

Переменчивый спрос (оптовые заказы)

Когда присутствуют оптовые заказы, историческая кривая спроса обычно имеет довольно колючую форму. Эта форма отражает то, что несколько заказов составляют значительный процент общего спроса. Однако, в отличие от случая прерывистого спроса, ненулевой спрос существует все время. Основная проблема здесь не в том, что спрос проходит через целые значения; проблема в том, что средние прогнозы не могут правильно прогнозировать эти пики в будущем. Упрощенно говоря, существуют два подхода к работе с пиками:

• Отбросить их, если компания решает, что они не стоят того, чтобы выделять ресурсы заранее.
• Изменить заранее выделенные ресурсы для работы с ними, или хотя бы обработать определенную долю пиков.

В обоих случаях средние прогнозы ведут себя плохо: экстраполированные квантили остаются слишком низкими, чтобы уловить пики, в то время как они переоценивают ресурсы для обработки не-пикового спроса. Нативные прогнозы квантилей более прямым и точным образом решают проблему пиков.

Нативные прогнозы квантилей от Lokad

Lokad предоставляет полностью автоматизированное онлайн-сервис, который принимает временные ряды на вход и возвращает нативные прогнозы квантилей, каждый квантиль соответствует своему горизонту и целевому проценту (соответственно времени выполнения и уровню обслуживания в случае оптимизации запасов). Никакой экстраполяции не требуется. Процесс прогнозирования квантилей не требует никаких статистических знаний. На практике большинство компаний будут использовать наше веб-приложение для получения оптимизированных точек повторного заказа; точка повторного заказа является прогнозом квантиля, специфичным для запасов. Для каждого временного ряда прогноз квантиля - это всего лишь одна точка данных. В отличие от средних прогнозов, прогнозы квантилей обычно не представлены в виде кривой, которая развивается со временем и продолжает историческую кривую в будущее. Прогнозы квантилей ведут себя по-разному с точки зрения статистики, однако фундаментальные основные паттерны спроса остаются теми же: тренд, сезонность, жизненный цикл продукта, акции … Все паттерны, поддерживаемые нашей классической технологией прогнозирования, также поддерживаются нашей квантильной технологией прогнозирования.

Классические (средние) против прогнозов квантилей

С математической точки зрения прогнозы квантилей представляют собой обобщение классического понятия прогнозов. С практической точки зрения прогнозы квантилей обычно превосходят (более точные) для большинства бизнес-ситуаций, где риски, связанные с недооценкой и переоценкой спроса, не симметричны. Однако прогнозы квантилей также менее читаемы и менее интуитивны. Поэтому классические прогнозы остаются фундаментальным инструментом для менеджеров, чтобы более интуитивно понимать эволюцию своего бизнеса. У нас нет никаких планов по отмене классических прогнозов. Фактически, большинство наших усилий в области НИР направлены на нашу технологию прогнозирования и приносят пользу обоим типам прогнозов. Прогнозирование квантилей - это шанс для нас улучшить наше понимание статистического поведения спроса. Нашим главным приоритетом остается предоставление более точных прогнозов.

Смещение дефицита на прогнозах квантилей

Дефициты не только вредят бизнесу из-за потери лояльности, которую они создают среди клиентов, которых невозможно обслужить, но и дефициты также вносят смещение в наблюдениях исторического спроса. Из-за дефицитов нулевые продажи не обязательно равны нулевому спросу. Прогноз продаж не защищен от этой проблемы; однако, при правильном использовании, его можно сделать чрезвычайно устойчивым к ней.

Влияние дефицитов на классические прогнозы

Прогноз в классическом (медианный) смысле представляет собой предвидение будущего, которое имеет 50% шанс быть выше или ниже будущего спроса. Когда наблюдаются дефициты, в исторические записи вносится смещение вниз, потому что невыполненный спрос обычно не учитывается.

В результате прогнозы, построенные на основе исторических данных, также имеют смещение вниз, что приводит к дальнейшим дефицитам.

В самом экстремальном случае, если не определен минимальный уровень запасов, процесс пополнения запасов может сходиться к статусу замороженного инвентаря, где дальнейшие продажи не регистрируются - потому что нет запасов - и где дальнейшее пополнение запасов не происходит. Хуже того, в этой ситуации прогнозы на 100% точны: прогноз равен нулю, и продажи также равны нулю.

Подводные камни интеграции данных о дефиците

Для исправления смещения, внесенного дефицитами, дефициты должны быть учтены. Это можно сделать, собрав подробные исторические записи о всех прошлых (и текущих) дефицитах. Хотя эта идея привлекательна, мы видим, что этот подход требует значительных усилий на практике.

• Большинство компаний не точно отслеживают дефициты. Недостаточно иметь некоторые данные о дефиците, данные о дефиците должны быть обширными и точными, чтобы хоть как-то надеяться на улучшение прогнозов спроса.
• Дефициты (надеемся) относительно редки, обычно возникают менее чем в 10% случаев в большинстве бизнесов. В результате для сбора достаточного количества данных для поддержки надежного статистического анализа дефицитов требуется значительный объем бизнеса.
• Влияние дефицитов сложно. Дефициты вызывают каннибализацию (на недоступные товары), когда есть замены. Они также заставляют некоторых клиентов откладывать свой спрос, иногда приводя к “всплеску” спроса, когда товары снова становятся доступными.

Квантили как устойчивые к смещению прогнозы

Вместо этого квантильные прогнозы представляют собой гораздо более эффективную и компактную альтернативу для смягчения основной части смещения, внесенного дефицитами. Квантили используются для вычисления точек пополнения запасов как прогнозов, которые изначально смещены. Например, точка пополнения, рассчитанная с уровнем обслуживания 95%, является оценкой, построенной так, чтобы 95% времени быть чуть выше спроса (сталкиваясь с дефицитом только 5% времени).

Квантильные прогнозы, когда ассоциированы с высокими уровнями обслуживания - т.е. выше 90% на практике - ведут себя совершенно иначе, чем классические прогнозы. Интуитивно, для вычисления 95% квантильного прогноза анализ фокусируется на 5% самых экстремальных колебаний спроса. Хотя возможно, что дефициты были настолько преобладающими в истории, что даже топ 5% продаж, когда-либо наблюдаемых, составляют лишь долю “обычного” спроса, на практике это обычно не так. Даже при значительных дефицитах самая высокая точка спроса в истории обычно выше среднего спроса.

В результате квантильные прогнозы практически никогда не попадают в порочный круг, где дефициты вносят настолько много смещения, что, в свою очередь, смещенные прогнозы еще больше усугубляют проблему дефицитов. Мы видим, что для подавляющего большинства наших клиентов квантильные прогнозы приводят к благоприятному кругу, где квантили, будучи более устойчивыми к смещению, немедленно снижают частоту дефицитов, возвращая уровни обслуживания под контроль. Затем, через некоторое время, частота дефицитов сходится к определенным целевым уровням обслуживания.

Выбор ваших уровней обслуживания

При использовании квантильных прогнозов точка перезаказа вычисляется как функция ожидаемого спроса, времени поставки и уровня обслуживания. Количество перезаказа вычисляется как точка перезаказа минус имеющийся запас и минус запас на заказ. Уровень обслуживания представляет собой желаемую вероятность избежать исчерпания запасов. В следующей статье дается краткое введение в тему и рекомендации по установлению соответствующих уровней обслуживания.

Неявное предположение в этом утверждении: не всегда экономически целесообразно всегда обслуживать заказ из имеющегося запаса. Принятие правильного уровня обслуживания для определенного продукта в основном сводится к балансировке затрат на инвентарь и стоимости исчерпания запасов. Уровень обслуживания является важной переменной для расчета соответствующего резервного запаса; чем выше желаемый уровень обслуживания, тем больше резервного запаса необходимо держать.

К сожалению, функции затрат, описывающие проблему, являются крайне специфичными для бизнеса. В то время как затраты на инвентарь часто можно определить довольно легко, стоимость исчерпания запасов гораздо сложнее определить. Клиент, не найдя продукт в магазине, может либо выбрать альтернативу, которая есть в наличии, отложить покупку на более позднюю дату, либо купить у конкурента. Например, в продовольственной рознице ситуации с отсутствием на полке определенных необходимых продуктов известны тем, что вынуждают клиентов покинуть магазин, перейдя к конкуренту.

Как показывает этот пример, связанные с этим функции затрат не только бизнес-специфичны, но и продукт-специфичны. Учитывая, что большинство производителей и розничных торговцев имеют дело с сотнями тысяч продуктов, становится очевидным, что излишне научный подход не рекомендуется и неосуществим.

Хорошая новость заключается в том, что на практике в большинстве случаев оказывается полностью достаточно работать с простой структурой, которую можно довести до совершенства со временем.

Как начать

Многие розничные торговцы считают уровни обслуживания частью своей основной интеллектуальной собственности и тщательно охраняют их. Тем не менее, некоторые ориентировочные цифры должны дать хорошую отправную точку: типичный уровень обслуживания в рознице составляет 90%, а для товаров с высоким приоритетом достигает 95%. Мы видели, как некоторые клиенты успешно выбирали очень прагматичный подход, устанавливая уровень обслуживания на равные 90% начальной точки, а затем улучшали и корректировали их в соответствии с потребностями.

Важно понимать взаимосвязь между уровнем обслуживания и резервным запасом. График 1 иллюстрирует эту взаимосвязь. Разделение расстояния до 100% пополам удваивает резервный запас. Например, увеличение уровня обслуживания с 95% до 97,5% удвоит необходимый резервный запас. Уровни обслуживания, приближающиеся к 100%, становятся крайне дорогими очень быстро, и уровень обслуживания 100% является математическим эквивалентом бесконечного резервного запаса.

График 1: Взаимосвязь резервного запаса и уровня обслуживания

Выбор категорий

По нашему опыту вполне достаточно различать 3-5 категорий уровней обслуживания, охватывающих портфель продуктов от необходимых товаров до товаров с наименьшим приоритетом. В качестве примера мы выбрали трехзначную систему:

• Высокий: 95%
• Средний: 90%
• Низкий: 85%

Категоризация продуктов

Ранжирование продуктов позволяет структурированным и разумным образом распределить продукты по ранее определенным категориям. Ранжирование, которое часто используется самостоятельно или в комбинации, включает оборот, прибыльность, количество заказов, себестоимость проданных товаров (COGS).

Пример ранжирования продуктов по обороту

• Топ 80% оборота: Высокий уровень обслуживания
• Следующие 15% оборота: Средний уровень обслуживания
• Следующие 5% оборота: Низкий уровень обслуживания

Пример ранжирования продуктов по валовому вкладу в маржу

• Топ 80% валовой маржи: Высокий уровень обслуживания
• Следующие 15% валовой маржи: Средний уровень обслуживания
• Следующие 5% валовой маржи: Низкий уровень обслуживания

Once the categories have been defined and service levels have been assigned, Lokad will determine the reorder point (including safety stock levels) as a function of these values. We often see that a lot of potential for inventory reduction is not only leveraged by the accuracy of our forecast, but also by the more sophisticated method and frequent update of the service level.

Кто до сих пор чувствует себя довольно неуверенно относительно правильного уровня обслуживания, который следует ввести в Lokad, должен помнить, что важно не иметь идеально настроенные уровни обслуживания сразу же. Важно то, что новое внимание к этому понятию, в сочетании с прогнозами Lokad и анализом точки перезаказа, улучшит текущее положение с высокой степенью уверенности.