Прогнозируемая добавленная стоимость

Скачать “Критическая оценка предположений прогнозируемой добавленной стоимости”. Опубликовано в Foresight: The International Journal of Applied Forecasting, Международный институт прогнозистов, выпуск 73, страницы 13-23, Q2, 2024.

Прогнозируемая добавленная стоимость¹ (FVA) — это простой инструмент для оценки эффективности каждого этапа (и участника) процесса прогнозирования спроса. Его конечная цель — исключить потери в процессе прогнозирования, устранив человеческие вмешательства (корректировки), которые не повышают точность прогноза. FVA основана на предположении, что достижение более высокой точности прогноза стоит усилий и что выявление корректировок, способствующих её увеличению, а также устранение тех, что этому не способствуют, является желательным. Несмотря на благие намерения, FVA демонстрирует ограниченную разовую полезность, а при постоянном применении имеет множество недостатков, включая ошибочные математические предпосылки, заблуждения относительно внутренней ценности повышения точности прогноза и отсутствие надёжной финансовой перспективы.

Обзор прогнозируемой добавленной стоимости

Прогнозируемая добавленная стоимость нацелена на устранение потерь и повышение точности прогнозирования спроса за счёт стимулирования и оценки вклада различных отделов (включая подразделения, не занимающиеся планированием спроса, такие как Продажи, Маркетинг, Финансы, Операции и т.д.). Путём оценки значимости каждого человеческого вмешательства в процессе прогноза, FVA предоставляет компаниям практические данные о корректировках, ухудшающих прогноз, что даёт возможность выявить и исключить усилия и ресурсы, не способствующие улучшению точности прогноза.

Майкл Гиллиланд, чья книга The Business Forecasting Deal привлекла широкое внимание к данной практике, утверждает²

“FVA помогает гарантировать, что любые ресурсы, вложенные в процесс прогнозирования — от компьютерного оборудования и программного обеспечения до времени и усилий аналитиков и руководства — способствуют улучшению прогноза. Если эти ресурсы не помогают при прогнозировании, их можно смело перенаправить на более значимые задачи".

Определение того, какие действия и ресурсы приносят пользу, осуществляется посредством многоступенчатого процесса прогнозирования, в рамках которого с использованием существующего программного обеспечения компании создаётся статистический прогноз. Этот статистический прогноз затем подвергается ручным корректировкам (изменениям) каждым из выбранных отделов. Полученный корректированный прогноз сравнивается с наивным, эталонным прогнозом (без изменений, выступающим в роли плацебо) и с фактическим спросом.

Если изменения, внесённые отделами, сделали статистический прогноз более точным (по сравнению с неизменённым статистическим прогнозом), они добавляют положительную ценность. Если же точность снизилась, вклад считается отрицательным. Аналогично, если статистический прогноз точнее, чем плацебо, он добавляет положительную ценность (и наоборот, если точность ниже — отрицательную).

FVA, таким образом, является „[мерой] изменения метрики эффективности прогнозирования, которое можно отнести к определённому этапу или участнику процесса прогнозирования“².

Сторонники прогнозируемой добавленной стоимости утверждают, что это необходимый инструмент в современном управлении цепями поставок. Выявляя, какие части процесса прогнозирования приносят пользу, а какие — нет, организации могут оптимизировать точность своих прогнозов. Общая идея заключается в том, что улучшенное прогнозирование приводит к лучшему управлению запасами, более слаженному планированию производства и более эффективному распределению ресурсов.

Это, в свою очередь, должно снижать расходы, минимизировать дефицит товара и сокращать избыточные запасы, одновременно повышая удовлетворённость клиентов и формируя более инклюзивную культуру прогнозирования и корпоративную этику. Процесс оказался чрезвычайно популярным, и FVA применяется в нескольких известных компаниях в очень конкурентных отраслях, включая Intel, Yokohama Tire и Nestle³.

Проведение анализа прогнозируемой добавленной стоимости

Проведение анализа прогнозируемой добавленной стоимости включает несколько интуитивных этапов, обычно близких к следующим:

• Определить процесс путём выявления отдельных этапов или компонентов, то есть списка отделов, которые будут опрошены, порядка проведения консультаций и конкретных параметров, которые каждый участник будет использовать для корректировки исходного прогноза.

• Сгенерировать эталонный прогноз. Этот эталон обычно представляет собой наивный прогноз. Также создаётся статистический прогноз в соответствии с обычным процессом прогнозирования в компании, с использованием того же набора данных, что и для формирования эталона. Этот статистический прогноз служит основой для всех последующих корректировок.

• Собрать информацию от назначенных участников, строго следуя параметрам, определённым на первом этапе. Это может включать анализ рыночных тенденций, рекламные планы, оперативные ограничения и т.д.

• Рассчитать FVA для каждого участника путём сравнения точности статистического прогноза до и после внесения его корректировки. В свою очередь, точность статистического прогноза сравнивается с точностью простого эталонного прогноза. Вклады, повышающие точность прогноза, получают положительное FVA, а те, что уменьшают точность, — отрицательное FVA.

• Оптимизировать путём улучшения или устранения вкладов с отрицательным FVA, при этом сохраняя или усиливая вклады с положительным FVA.

Эти шаги формируют непрерывный процесс, который итеративно совершенствуется в стремлении к большей точности прогноза. Процесс FVA и его отличие от традиционного подхода к прогнозированию иллюстрируются ниже.

Рисунок 2 основан на процессах, описанных Гиллиландом^{2 3} и Чибальски⁴. В отличие от Рисунка 1 здесь присутствует несколько уровней вмешательства человека (EO1, EO2 и CF). Процессы FVA могут включать ещё больше этапов человеческого вмешательства, включая финальную стадию корректировки со стороны высшего руководства².

В Таблице 1⁵ в качестве оценочной метрики используется MAPE (средняя абсолютная процентная ошибка). Этот пример демонстрирует, что Статистический прогноз улучшил точность прогнозирования (добавив ценность за счёт сокращения ошибки прогноза на 5%) по сравнению с Наивным прогнозом. Более того, вмешательство человека оказалось неэффективным, так как на стадии Экспертной корректировки 2 наблюдалось значительное увеличение ошибки прогноза.

Представьте продавца яблок. Пол (Планирование спроса) сообщает руководству, что компания продавала по 8 яблок в каждом из последних 3 месяцев. Наивный прогноз утверждает, что в следующем месяце будет снова продано 8 яблок, но у Пола есть современное статистическое программное обеспечение, которое предсказывает продажу 10 яблок (статистический прогноз). Джон (Маркетинг) вмешивается и заявляет, что планирует выпустить модный новый слоган в этом месяце⁶, и благодаря его острому уму продажи, вероятно, вырастут. Джордж (Продажи) намерен формировать комплексные расценки на яблоки, немного снизить цены, что дополнительно стимулирует продажи и увеличит спрос. Ричард (Операции) сначала растерялся, но затем пересмотрел прогнозируемый спрос с учётом предстоящего простоя ключевого оборудования для сортировки яблок, который, по его мнению, негативно повлияет на способность компании удовлетворять спрос. Таким образом, статистический прогноз был вручную скорректирован три раза. Далее отделы собираются для устного согласования единого прогноза.

Через месяц компания проводит бэктест, чтобы определить, насколько велико отклонение⁷ на каждом этапе этого процесса прогнозирования, то есть, насколько неточен был вклад каждого отдела. Это несложно, так как теперь у них есть фактические данные о продажах за предыдущий месяц, и Пол может шаг за шагом определить, сколько ошибки внесли Джон, Джордж и Ричард, а также этап согласования прогноза⁸.

Математическая перспектива на прогнозируемую добавленную стоимость

В основе прогнозируемой добавленной стоимости лежит удивительно простой и преднамеренно незамысловатый процесс. В отличие от подходов к прогнозированию, требующих глубоких знаний математики и статистического анализа, FVA «является здравым подходом, который легко понять. Он выражает результаты действий по сравнению с бездействием»³.

Выражение результатов действий по сравнению с бездействием, однако, всё же требует математического вмешательства, которое обычно представлено в виде простого временного ряда — основы традиционных методов прогнозирования с формулами в Excel. Основная цель анализа временных рядов — наглядно и интуитивно представить будущий спрос в виде единого, практически применимого показателя. В контексте FVA базовый временной ряд служит плацебо или контрольной группой, с которой сравниваются все корректировки аналитиков (подробно описанные в предыдущем разделе). Базовый временной ряд можно создать различными методами, чаще всего включая различные формы наивного прогнозирования. Обычно их оценивают с использованием таких метрик, как MAPE, MAD и MFE.

Выбор эталонного прогноза

Выбор базового прогноза будет зависеть от целей или ограничений конкретной компании.

• Наивный прогноз и сезонные наивные прогнозы часто выбирают за их простоту. Их легко рассчитывать и понимать, так как они основаны на предположении, что предыдущие данные будут повторяться в будущем. Они предоставляют разумный базовый уровень во многих случаях, особенно когда данные относительно стабильны или демонстрируют явную закономерность (тренд, сезонность) и т.д.

• Случайное блуждание и сезонное случайное блуждание обычно используются, когда данные демонстрируют значительную случайность или изменчивость, или когда наблюдается выраженная сезонная закономерность, подверженная случайным колебаниям. Эти модели добавляют элемент непредсказуемости в концепцию наивного прогноза, пытаясь отразить присущую неопределённость прогнозирования будущего спроса.

Оценка результатов прогнозируемой добавленной стоимости

• MFE (средняя ошибка прогноза) можно использовать для оценки того, склонен ли прогноз переоценивать или недооценивать фактические результаты. Это может быть полезной метрикой в ситуации, когда излишне высокий прогноз обходится дороже, чем заниженный, или наоборот.

• MAD (среднее абсолютное отклонение) и MAPE (средняя абсолютная процентная ошибка) предоставляют показатели точности прогнозирования, учитывающие как завышение, так и занижение спроса. Они могут использоваться как мерило точности, когда важно минимизировать общую величину ошибок прогноза, независимо от того, связано ли это с переоценкой или недооценкой.

Хотя MAPE часто используется в источниках, связанных с FVA, мнения расходятся относительно того, какую конфигурацию метрик прогноза следует применять в анализе FVA^{2 4 9}.

Ограничения FVA

Прогнозируемая добавленная стоимость, несмотря на свой комплексный подход, благородные цели и низкий порог входа, безусловно, подвержена множеству ограничений и ложных предпосылок. Эти недостатки охватывают широкий спектр областей, включая математику, современную теорию прогнозирования и экономику.

Прогнозирование не является коллективным

FVA основывается на предположении, что совместное прогнозирование полезно, поскольку многочисленные (а иногда и согласованные) корректировки, внесённые людьми, могут добавить положительную ценность. FVA также предполагает, что эта положительная ценность прогноза распределяется по всей компании, поскольку сотрудники различных отделов могут обладать ценными знаниями о будущем спросе на рынке.

Таким образом, проблема, как её видит FVA, заключается в том, что этот коллективный подход сопровождается мелкими неэффективностями, такими как отдельные человеческие вмешательства, вносящие отрицательную ценность. Поэтому FVA стремится отсеять неэффективных участников прогноза в поисках действительно полезных.

К сожалению, идея о том, что совместное, межотраслевое прогнозирование лучше, противоречит тому, что демонстрирует современное статистическое прогнозирование, в том числе в розничной торговле.

Обширный обзор пятого конкурса прогнозирования Makridakis¹⁰ показал, что «все 50 лучших методов основывались на машинном обучении (ML). Таким образом, M5 — это первый конкурс M-, в котором все лучшие методы были как методами машинного обучения, так и превосходили все остальные статистические эталоны и их комбинации» (Makridakis et al., 2022)¹¹. Конкурс точности M5 проводился на основе прогнозирования продаж с использованием исторических данных крупнейшей в мире по выручке розничной компании (Walmart).

На самом деле, согласно Makridakis et al. (2022), «победная модель [в M5] была разработана студентом с небольшими знаниями в области прогнозирования и ограниченным опытом в построении моделей прогнозирования продаж»¹¹, что ставит под сомнение, насколько действительно важны рыночные инсайты различных отделов в контексте прогнозирования.

Это не означает, что более сложные модели прогнозирования по своей природе желательны. Скорее, изощренные модели часто превосходят упрощённые, и коллективное прогнозирование FVA представляет собой упрощённый подход к сложной проблеме.

Игнорирует неопределённость будущего

FVA, как и многие инструменты и методы, связанные с прогнозированием, предполагает, что знание о будущем (в данном случае о спросе) может быть представлено в виде временного ряда. Он использует наивный прогноз в качестве эталона (обычно копируя предыдущие продажи) и позволяет участникам вручную округлять значения статистического прогноза вверх или вниз. Это имеет два недостатка.

Во-первых, будущее, как в общем, так и с точки зрения прогнозирования, по своей сути является неопределённым. Таким образом, представление его в виде единственного значения — по своей природе ошибочный подход (даже если дополняется формулой расчёта резервного запаса). Столкнувшись с неустранимой неопределённостью будущего, наиболее разумным подходом является определение диапазона вероятных будущих значений, оцененных с учётом потенциальной финансовой отдачи. Это превосходит, с точки зрения управления рисками, попытку определить единственное значение согласно традиционному временному ряду — подход, который полностью игнорирует проблему неопределённости будущего.

Во-вторых, инсайты участников (как бы полезными они ни казались) обычно не так просто (если вообще возможно) перевести в формат временного ряда. Представьте ситуацию, когда компания заранее знает, что конкурент вот-вот войдет на рынок. Или представьте мир, в котором конкурентная информация указывает, что самый сильный конкурент планирует выпустить впечатляющую новую линейку летней одежды. Предположение, что такие инсайты могут быть совместно сведены неспециалистами к единственному значению, выраженному во временном ряду, выглядит нереалистично.

По сути, любые сходства с реальными будущими продажами (положительное добавленное значение) будут абсолютно случайными, поскольку человеческие корректировки (будь то округление спроса вверх или вниз) являются равнозначными выражениями одного и того же ошибочного ввода. Таким образом, человек, вносящий отрицательное значение, с логической точки зрения не является ни более «правильным», ни более «неправильным», чем тот, кто вносит положительное значение.

По своей сути, FVA пытается навязать трёхмерные свойства (человеческие инсайты) двумерной плоскости (временного ряда). Это может выглядеть правильно с определённого ракурса, но это не означает, что это правильно. В результате FVA приобретает довольно вводящий в заблуждение вид статистической строгости.

Даже если компания использует традиционный процесс прогнозирования с минимальным участием человека (см. Рисунок 1), если анализируемый FVA базовый статистический прогноз является временным рядом, сам анализ представляет собой упражнение в растрате ресурсов.

Иронически расточительный

В качестве единичной демонстрации чрезмерной уверенности и предвзятого принятия решений, FVA имеет свою полезность. Нобелевские премии присуждались за глубину, широту и устойчивость когнитивных предубеждений в человеческом принятии решений^{12 13}, однако вполне возможно, что некоторые команды не осознают, насколько ошибочными обычно являются человеческие корректировки, пока им это наглядно не продемонстрируют.

Однако, будучи инструментом для постоянного управления, FVA по своей сути несовершенен и, можно сказать, противоречив. Если статистические прогнозы уступают наивному прогнозу и коллективным правкам, стоит действительно задумаяться над следующим вопросом:

Почему статистические модели не работают?

К сожалению, FVA не дает ответа на этот вопрос, поскольку он изначально не предназначен для этого. Он не предоставляет понимания того, почему статистические модели могут работать хуже, а лишь показывает, что они работают хуже. Таким образом, FVA не столько диагностический инструмент, сколько увеличительное стекло.

Хотя увеличительное стекло может быть полезным, оно не предоставляет практических рекомендаций относительно того, в чем заключаются основные проблемы статистического программного обеспечения для прогнозирования. Понимание почему статистические прогнозы работают хуже имеет гораздо большую прямую и косвенную ценность и является тем, что FVA не помогает выявить с большей ясностью.

Кроме того, что программное обеспечение FVA не предоставляет этого важного понимания, оно формализует растраты и иными способами. Gilliland (2010) приводит теоретическую ситуацию, в которой консенсусный прогноз уступает в 11 из 13 недель (85%-ный уровень ошибок), в среднем с отклонением в 13.8 процентных пункта. Вместо того чтобы немедленно прекратить его использование, рекомендуется

«Представьте эти выводы своему руководству и попытайтесь понять, почему процесс достижения консенсуса оказывает такое воздействие. Вы можете начать исследовать динамику заседаний по консенсусу и политические планы участников. В конечном итоге, руководство должно решить, можно ли исправить процесс достижения консенсуса для повышения точности прогноза или его следует отменить».²

В данном сценарии программное обеспечение FVA не только не диагностирует основную проблему работы статистического прогноза, но и слой инструментов FVA лишь увеличивает бюрократию и распределение ресурсов, анализируя виды деятельности, которые явно не приносят ценности.

Таким образом, установка слоя программного обеспечения FVA гарантирует, что вы продолжите получать схожие изображения низкого разрешения текущей проблемы и направлять ценные ресурсы на выявление ошибочных входных данных, которые можно было бы игнорировать с самого начала.

Это, можно сказать, не является самым разумным распределением ресурсов компании, имеющих альтернативные применения.

Переоценивает ценность точности

По сути, FVA исходит из предположения, что повышение точности прогноза стоит того, чтобы его осуществлять изолированно, и действует так, как если бы это было само собой разумеющимся. Идея о том, что повышение точности прогноза желательна, понятна и привлекательна, но с бизнес-перспективы подразумевает, что большая точность приводит к большей прибыльности. Это явно не так.

Это не означает, что точный прогноз не имеет своей ценности. Скорее, точный прогноз должен быть неразрывно связан с чистой финансовой перспективой. Прогноз может быть на 40% точнее, но сопутствующие затраты приводят к тому, что общая прибыль компании снижается на 75%. Прогноз, хотя и заметно точнее (положительное добавленное значение), не уменьшил сумму ошибки в денежном выражении. Это нарушает основополагающий принцип бизнеса: зарабатывать больше денег или, по крайней мере, не тратить их впустую.

Что касается FVA, вполне возможно, что положительное добавленное значение одного отдела является чистым убытком для компании, тогда как отрицательное добавленное значение другого отдела остается незаметным. Хотя Gilliland признает, что некоторые виды деятельности могут повышать точность без добавления финансовой ценности, этот аспект не доводится до логического завершения: чисто финансовая перспектива. Gilliland приводит пример, когда аналитик повышает точность прогноза всего на один процентный пункт:

«Тот факт, что какая-либо процессная деятельность имеет положительный FVA, не означает автоматически, что её следует сохранять в процессе. Необходимо сравнить совокупные выгоды от улучшения с затратами на эту деятельность. Повышает ли дополнительная точность доход, снижает ли затраты или делает ли клиентов счастливее? В данном примере вмешательство аналитика действительно сократило ошибку на один процентный пункт. Однако привлечение аналитика для проверки каждого прогноза может оказаться дорогостоящим, и если улучшение составляет всего один процентный пункт, действительно ли оно того стоит?»²

Другими словами, увеличение точности на 1% может не оправдать усилий, но большее повышение точности прогноза могло бы иметь смысл. Это подразумевает, что финансовая ценность связана с повышением точности прогноза, что не обязательно соответствует действительности.

Таким образом, в прогнозировании существует неотвратимое финансовое измерение, которое в FVA в лучшем случае недооценивается (а в худшем — едва замечается). Эта чисто финансовая перспектива действительно должна служить основой для инструмента, нацеленного на снижение растрат.

Уязвимость к манипуляциям

FVA также предоставляет очевидную возможность для игр и манипуляций с прогнозами, особенно если точность прогноза используется в качестве показателя эффективности работы отдела. Это соответствует духу закона Гудхарта, который гласит, что как только показатель становится основной мерой успеха (случайно или преднамеренно), он перестаёт быть полезным. Это явление часто приводит к неправильной интерпретации и/или манипуляциям.

Предположим, что отдел продаж получает задание внести краткосрочные корректировки в прогноз спроса на основе их взаимодействия с клиентами. Отдел продаж может расценить это как возможность подчеркнуть свою ценность и начать изменять прогноз, даже если это не требуется, пытаясь продемонстрировать положительный FVA. Они могут завысить спрос, чтобы создать впечатление, что они генерируют ценность, или, наоборот, пересчитать спрос вниз, пытаясь исправить излишне оптимистичный прогноз предыдущего отдела. В любом случае, отдел продаж может показаться более ценным для компании. В результате маркетинговый отдел может почувствовать давление, чтобы тоже казаться создающим ценность, и команда начнет вносить аналогичные произвольные поправки в прогноз (и так далее).

В этом сценарии показатель FVA, изначально предназначенный для повышения точности прогноза, превращается всего лишь в политический механизм, с помощью которого отделы демонстрируют ценность, а не реально её создают — критика, которую даже сторонники FVA признают⁹. Эти примеры демонстрируют потенциальные опасности закона Гудхарта в отношении FVA¹⁴.

Сторонники FVA могут утверждать, что эти психологические критики и являются сути FVA, а именно выявлением ценных по сравнению с бесполезными входными данными. Однако, учитывая, что предвзятость, связанная с человеческими корректировками в прогнозировании, настолько хорошо понятна в наши дни, ресурсы, затраченные на анализ этих предвзятых входов, лучше направить на те процессы, которые по возможности изначально избегают таких входных данных.

Локальное решение системной проблемы

Подразумевается, что попытка оптимизировать прогнозирование спроса в изоляции предполагает, что проблема прогнозирования спроса отделена от других проблем цепочки поставок. На самом деле, прогнозирование спроса является сложным вследствие взаимодействия множества системных причин в цепочке поставок, включая влияние различной продолжительности сроков поставки, неожиданных сбоев в цепочке поставок, решений по распределению запасов, ценовых стратегий и т.д.

Попытка оптимизировать прогнозирование спроса в изоляции (так называемая локальная оптимизация) является ошибочным подходом, поскольку проблемы на системном уровне — истинные коренные причины — не понимаются и не решаются должным образом.

Проблемы цепочки поставок — одной из которых, безусловно, является прогнозирование спроса — подобны людям, стоящим на батуте: перемещение одного человека вызывает нарушение равновесия для всех остальных¹⁵. По этой причине целостная, сквозная оптимизация предпочтительнее, чем попытки лечить симптомы в изоляции.

Мнение Lokad

Forecast Value Added превращает плохую идею (коллективное прогнозирование) в нечто изощрённое, облачая её в слои ненужного программного обеспечения и растрачивая ресурсы, которые могли бы быть использованы с большей пользой.

Более изощрённой стратегией было бы выйти за рамки всей концепции точности прогноза и выбрать политику управления рисками, которая уменьшает сумму ошибок в денежном выражении. В сочетании с вероятностным подходом к прогнозированию, такое мышление отходит от произвольных КПЭ — таких как повышение точности прогноза — и учитывает совокупность экономических двигателей, ограничений и потенциальных шоков в цепочке поставок при принятии решений по запасам. Такие векторы риска (и растрат) невозможно эффективно количественно оценить (и устранить) с помощью инструмента, который опирается на коллективную перспективу временных рядов, как это делает Forecast Value Added.

Кроме того, разделяя прогнозирование спроса от общей оптимизации цепочки поставок, FVA (возможно непреднамеренно) увеличивает случайную сложность процесса прогнозирования спроса. Случайная сложность является искусственной и возникает в результате постепенного накопления ненужного шума — как правило, человеческого — в процессе. Добавление избыточных этапов и программного обеспечения в процесс прогнозирования, как это делает FVA, является наглядным примером случайной сложности и может значительно усложнить решаемую проблему.

Прогнозирование спроса — это намеренно сложная задача, то есть по своей природе она является загадочной и ресурсоёмкой. Эта сложность — неизменная черта проблемы и представляет собой гораздо более тревожный класс вызовов, чем случайные проблемы сложности. По этой причине лучше избегать попыток решений, которые чрезмерно упрощают и фундаментально искажают суть проблемы¹⁶. Если воспользоваться медицинской риторикой литературы по FVA, это разница между лечением основного заболевания и постоянным устранением симптомов по мере их появления¹⁷.

Короче говоря, FVA занимает промежуточное положение между передовой теорией цепочек поставок и общественным осознанием этой темы. Рекомендуется углублённое изучение основных причин неопределённости спроса — и её корней в развивающейся дисциплине цепочки поставок.

Примечания