Покажи мне деньги: размышления о ISF 2024

Алексей Тихонов и Конор Доэрти

“Чтобы улучшить свою игру, вы должны изучить эндшпиль прежде всего; ведь эндшпили можно изучать и освоить самостоятельно, а миддлшпиль и открытие должны изучаться в связи с эндшпилем.” Источник: Последние шахматные лекции Капабланки (1966), стр. 23

Несколько недель назад я выступил на панели на 44-м Международном симпозиуме по прогнозированию в Дижоне, Франция. Тема панели была Планирование спроса и роль суждения в новом мире искусственного интеллекта и машинного обучения.

Как представитель Lokad, вы можете представить себе, какова была моя точка зрения:

• прогнозирование и принятие решений должны быть полностью автоматизированы;

• качество прогноза должно оцениваться с точки зрения лучших решений;

• человеческое суждение должно использоваться для улучшения автоматизации (не для корректировки прогнозов или решений).

Интересно, что моя позиция относительно автоматизации не вызвала столько несогласия, как вы могли бы подумать. Председатель (руководитель отдела коммуникации Lokad, Конор Доэрти) и другие участники панели (Свен Крон из iqast и Николас Вандепут из SupChains) почти единогласно согласились, что это будущее прогнозирования. Единственное разногласие заключалось в скорости, с которой мы можем достичь этого состояния (примечание: я считаю, что мы уже там).

То, что вызвало довольно много разногласий и, возможно, даже путаницы, это мой аргумент о том, что точность прогноза не настолько важна, как принятие лучших решений. Это разногласие не ограничивалось только другими участниками панели, но и членами аудитории. Я думаю, что есть две основные причины этого:

1. Когда я выступал на сцене, у меня не было визуальной поддержки этой точки зрения. В объяснении есть несколько подвижных частей, поэтому визуальное изображение определенно помогло бы людям понять.

2. Идея о том, что точность прогноза менее важна, чем решения, противоречит образованию, обучению и опыту большинства специалистов.

К концу этого эссе я надеюсь ответить на оба перечисленных выше вопроса. Что касается первого вопроса, я включил краткое, но систематическое объяснение и интуитивное визуальное изображение. Что касается второго вопроса, я могу только попросить читателя сохранять открытый ум в течение следующих 5-10 минут и попытаться подойти к этим словам так, как если бы у вас не было никакого предыдущего обучения в прогнозировании цепей поставок.

Ориентирующие вопросы

По моему мнению, есть пять основных вопросов, на которые нужно ответить, чтобы прояснить мою позицию. В этом разделе я постараюсь дать краткие ответы на каждый из них - “суть дела”, так сказать. Будьте уверены, у Lokad есть множество дополнительных ресурсов, объясняющих технические аспекты, на которые я дам ссылки в конце эссе.

Вопрос 1: Что означает “добавлять ценность” для прогноза?

Я сразу приведу пример. Предположим, что в компании есть механизм по умолчанию для принятия решений (например, автоматизированный статистический прогноз + автоматизированная политика запасов).

Чтобы измененный прогноз добавил ценность, он должен изменить решение по умолчанию (сгенерированное с использованием стандартного процесса компании) таким образом, чтобы непосредственно и положительно влиять на финансовые результаты компании (т.е. доход в долларах, фунтах или евро).

Если прогноз более точен (в терминах предсказания фактического спроса), но не приводит к принятию другого и лучшего решения, то он не добавляет ценности.

Многие компании все еще используют модели прогнозирования временных рядов, тогда как Lokad предпочитает вероятностные прогнозы для помощи в принятии решений, учитывающих риск. Однако, тот же самый стандарт применим к обоим парадигмам прогнозирования. Чтобы прогноз добавил ценность, он должен изменить решение по умолчанию таким образом, чтобы непосредственно и положительно влиять на финансовые результаты компании.

Например, новое (“измененное”) решение может непосредственно устранить будущий дефицит товара, который был бы присутствовал в решении по умолчанию.

“Непосредственно” здесь критично. Прогноз добавляет ценность только в том случае, если вы можете указать на точное изменение решения, которое повлияло на дополнительные финансовые результаты или предотвратило финансовые потери (по сравнению с решением по умолчанию).

Думайте о причинно-следственной связи, а не о корреляции.

Вопрос 2: Добавляет ли более точный прогноз всегда ценность?

Технически, нет. Более точный прогноз по себе не обязательно “добавляет ценность”. Это потому, что, как уже упоминалось ранее, для того, чтобы что-то (в данном случае прогноз) добавило ценность, оно должно непосредственно и положительно влиять на финансовые результаты компании через лучшее решение.

В отличие от прогнозов, решения в цепи поставок имеют ограничения выполнимости (например, MOQ, множители партий, размеры партий и т. д.) и финансовые стимулы (например, скидки на цену, условия оплаты и т. д.). Прогнозов может быть гораздо больше, чем возможных решений.

Это означает, что решения в цепи поставок иногда могут быть (и очень часто являются) нечувствительными к изменениям точности прогноза. Это верно как для прогнозов временных рядов, так и для вероятностных прогнозов.

Причина этой нечувствительности заключается в ограничениях принятия решений (например, MOQ). Вполне возможно, что более точный прогноз (например, на 10% более точный) приводит к точно такому же решению, как и менее точный прогноз. Ниже приведена диаграмма, иллюстрирующая этот момент.

В приведенном выше примере предположим, что консенсусный прогноз составлял 55 единиц, а автоматический прогноз - 50 единиц. С финансовой точки зрения повышенная точность не привела к принятию другого решения (из-за наличия MOQ). Таким образом, более точный прогноз не добавил ценности.

Фактически, есть убедительный аргумент в пользу того, что более точный консенсусный прогноз привел к отрицательной добавленной стоимости. Это связано с тем, что дополнительные этапы проверки (в соответствии с процессом добавленной стоимости прогноза) стоят деньги (дополнительное время и усилия) для компании, но не приводят к лучшему решению. С финансовой точки зрения эти ручные этапы проверки были чистым отрицательным результатом.

Давайте также рассмотрим случай, когда нет ограничения MOQ.

Представьте себе ту же общую ситуацию, но вместо MOQ есть множитель лота. Возможные решения - это увеличения на 50 единиц (например, 50 единиц в коробке или на поддоне). В этой ситуации нам придется купить либо 50, либо 100 единиц (1 или 2 коробки или поддоны).

На практике может оказаться менее прибыльным купить 100 единиц (покрывающих предложение консенсусного прогноза в 55 единиц) по сравнению с покупкой 50 единиц (немного меньше, чем предлагает “более точный” прогноз). Можно попытаться удовлетворить оставшийся спрос с помощью предзаказов или просто потерять продажи (например, если продается переменный товар, такой как свежая пища).

С экономической точки зрения наилучшим финансовым решением может быть не следование “более точному” прогнозу. В этом сценарии как автоматический (50 единиц спроса), так и консенсусный прогноз (55 единиц спроса) приводят к одному и тому же решению (заказ 50 единиц). Таким образом, “более точный” прогноз не привел к увеличению финансовой стоимости.

Признаю, что не все ситуации одинаково строги, когда речь идет о ограничениях, однако в цепи поставок полно таких сценариев. Конечно, я признаю, что разные прогнозы приведут к разным решениям, но вопрос стоимости остается открытым. Всегда следует учитывать, превышает ли ожидаемый дополнительный доход от покупки дополнительных единиц дополнительные ресурсы, затраченные на повышение точности прогноза.

Возможно, в некоторых ситуациях дополнительная точность стоит того. Однако прогнозисты и практики в сфере цепей поставок кажется рефлексивно предполагают, что это абсолютно верно, несмотря на то, что есть очевидные сценарии, в которых это не так.

Если у вас возникла мысль о сценарии, который не идеально соответствует описанным здесь примерам, это нормально. Помните, что сегодняшняя цель - продемонстрировать общий принцип (что есть ситуации, когда дополнительная точность прогноза не стоит преследования), а не анализировать в глубину каждый возможный сценарий принятия решений в цепи поставок.

В3: Как мы можем обеспечить, чтобы полученная стоимость оправдала затраты на субъективное вмешательство?

Одним из основных элементов панельной дискуссии в Дижоне была стоимость (или отсутствие таковой) субъективного вмешательства (или “человеческих корректировок”) в процесс прогнозирования. Чтобы перефразировать другую сторону, “нам нужно, чтобы люди вмешивались, чтобы исправить то, что автоматический прогноз пропустил”.

Это очень интересная точка зрения для меня, так как она предполагает, что человеческое вмешательство добавляет стоимость - в противном случае, зачем бы кто-то это делал?

Для этого раздела я не буду обсуждать, могут ли люди (иногда или даже часто) превзойти автоматический прогноз (с точки зрения точности). Фактически, я готов признать, что на любом изолированном SKU, человек может работать так же хорошо или даже лучше, чем автоматический прогноз с точки зрения точности.

Примечание: Я не считаю, что это верно, если мы рассматриваем прогнозирование десятков тысяч SKU для сотен магазинов, каждый день, как в случае с крупной поставочной цепочкой¹. В последнем сценарии автоматический прогноз значительно превосходит целые команды невероятно опытных прогнозистов и других функциональных экспертов просто потому, что подавляющее большинство SKU невозможно проверить вручную из-за ограничений времени.

Я делаю это уступку, что субъективное решение иногда может соответствовать или превосходить автоматическому прогнозу по двум причинам:

1. По моему мнению, это делает эссе более интересным, и;

2. Сила моего аргумента не зависит от обсуждения “точности”.

Моя позиция, как вы, вероятно, уже догадались, заключается в том, что субъективные корректировки добавляют стоимость только в том случае, если они…добавляют финансовую стоимость - стоимость, которая длится дольше, чем один переупорядочение. Это полностью независимо от любых преимуществ точности.

Эту стоимость можно понимать как “производит непосредственно лучшие решения, чем изначально сгенерированные - учитывая дополнительную прибыль от лучшего решения и вычитая стоимость корректировки”.

Простыми словами, субъективные вмешательства (человеческие корректировки) стоят дорого, поэтому компания должна стремиться к значительному возврату инвестиций. Поэтому я утверждаю, что точность прогноза - это произвольная метрика (когда она оценивается изолированно от решений), и компании должны сосредоточиться на действиях, которые увеличивают финансовую отдачу.

Субъективное решение может, безусловно, повысить точность прогноза (опять же, я делаю это уступку ради обсуждения), однако это не обязательно повышает финансовую отдачу. Это действительно не должно быть радикальным предложением, так же, как кто-то может быть самым высоким человеком в одной комнате и самым низким человеком в другой.

Обратите внимание, что ответственность не лежит на мне предоставить доказательства того, что повышение точности не приводит к увеличению прибыли. Это, по определению, ответственность людей, утверждающих, что повышение точности по себе является прибыльным, которые должны предоставить конкретные, прямые и неоспоримые доказательства этого утверждения.

Опять же, это не должна быть радикальная или контрарианская позиция. Это, по моему мнению, должна быть стандартной позицией для любого, кто “имеет свою кожу в игре”.

Имейте в виду, чтобы субъективные корректировки были прибыльными, мы должны учесть все корректировки в целом. Это означает, что нужно оценить финансовую стоимость, созданную всеми “попаданиями”, и вычесть все финансовые потери, нанесенные “промахами”.

Этот эксперимент также должен быть проведен в масштабе, для огромной сети магазинов (корпоративных клиентов в случае B2B) и для всего их каталога SKU, каждый день, в течение значительного времени.

“Как долго должен продолжаться этот эксперимент, Алексей?” В этом я безразличен. Давайте скажем, год, но я очень открыт для обсуждения этого вопроса. Это зависит от многих факторов, включая количество циклов принятия решений в год, а также сроки поставки, естественно.

Тем не менее, вся эта дискуссия поднимает вопрос о том, какой допустимый порог ошибки субъективного решения.

• Если попадания немного превышают промахи, это приемлемо?
• А что насчет стоимости субъективных решений самих по себе?
• Как мы должны учесть эти прямые и косвенные затраты в расчетах?

Кстати, это не тривиальные вопросы. Это те вопросы, которые задает студент первого курса в любом вводном курсе в области STEM (или смежной с ним).

До тех пор, пока кто-то не предоставит окончательное доказательство того, что субъективное решение, применяемое в масштабах, является финансово целесообразным, наиболее экономически разумной позицией является предположение, что это не так, и продолжать полагаться на автоматизированные прогнозы и автоматизированное принятие решений.

В4: Как мы определяем, когда более точный прогноз должен заменить текущий прогноз для принятия решений?

Короче говоря, самый простой способ узнать - задать себе следующий вопрос: приводит ли новый прогноз к лучшим решениям? Оценочным показателем в этом случае должен быть финансовый возврат инвестиций (ROI).

Чтобы стать более детальным, замена должна основываться на общей сравнительной полезности новой модели (например, ROI, применимость, поддерживаемость и т. д.), а не только на ее текущем приросте точности. ROI - это то, что направляет компанию к успеху. Применимость, как я покажу ниже, разработана с учетом ROI. Помните: точность, если преследуется в изоляции, является произвольным KPI.

Например, представьте себе, что у нас есть две модели: одна, которая может работать с историей исчерпания запасов, и другая, которая игнорирует исчерпание запасов (используя некоторые трюки предварительной обработки данных). Может быть так, что исчерпание запасов происходило не так часто, и с точки зрения принятия решений обе модели практически одинаково хороши. Однако все же было бы более разумно отдать предпочтение модели, которая может работать с исчерпанием запасов. Это связано с тем, что если исчерпание запасов начнет происходить чаще, эта модель будет более надежной.

Это демонстрирует еще один аспект философии Lokad: правильность на уровне проектирования. Это означает, что на уровне проектирования мы стремимся создать модель, которая прогнозирует - и способна реагировать на - как вероятные, так и невероятные события. Это крайне важно, потому что самые большие финансовые штрафы часто возникают в крайних случаях - событиях, которые маловероятны.

В5: Как мы переходим от одной модели прогнозирования к другой в производстве?

Важно помнить, что прогнозирование - это только одна часть общей системы принятия решений. Поэтому обновление некоторых частей может иметь незначительное или значительное влияние на общую производительность системы. Переход от старой модели к новой может быть проблематичным, даже если новая модель в конечном итоге приведет к лучшим решениям (и, следовательно, принесет больше прибыли).

Это связано с тем, что улучшенные решения в теории могут столкнуться с непредвиденными ограничениями в реальности, если их внедрять слишком быстро.

Например, новая модель прогнозирования может помочь создать гораздо более точные заказы на закупку, но пространство, необходимое для хранения дополнительного инвентаря, может еще не существовать, или поставщики не могут сразу же приспособить свои поставочные цепи для удовлетворения увеличенного спроса. Спешка в выполнении заказов сейчас в поисках мгновенной прибыли может привести к убыткам в других областях, таких как повреждение товара или его быстрое порча из-за отсутствия достаточного пространства в складе (или ограничений рабочей силы).

В таком сценарии мудро было бы постепенно переходить между моделями. На практике это может включать размещение нескольких немного больших последовательных заказов на закупку для постепенной корректировки запасов, а не немедленное размещение одного огромного заказа.

Люди, имеющие практический опыт борьбы с эффектом кнута в цепи поставок (включая сторонников DDMRP), немедленно поймут, почему это мудрая тактика.

Заключительная мысль

Если вы дочитали до этого места, я ценю ваше внимание. Если вы не согласны со мной, я еще больше ценю ваше внимание.

Для тех, кто не согласен, позвольте мне последний раз сказать: ценность означает больше денег, а больше денег приходит от лучших решений. Что касается меня, ничто не может заменить хорошие (или лучшие) решения. Ни более точный прогноз. Ни более эффективный процесс S&OP.

Если мы все еще не согласны, ладно, но по крайней мере мы знаем, где мы оба стоим.

Спасибо за чтение.

Прежде чем уйти

Вот еще несколько ресурсов, которые могут быть вам полезны (особенно если вы не согласны со мной):

• О том, как Lokad фактически прогнозирует все источники неопределенности (например, спрос, сроки поставки, возвраты и т. д.), смотрите наши видеолекции о вероятностных прогнозах и прогнозировании срока поставки.

• О том, как Lokad фактически принимает решения с учетом рисков, ознакомьтесь с нашим образовательным руководством по оптимизации закупок и видеолекцией о распределении запасов в розничной торговле.

• О том, как Lokad инженерит спрос и оптимизирует стратегии ценообразования, смотрите нашу видеолекцию о ценовой оптимизации.

Примечания