Покажи мне деньги: Размышления об ISF 2024

Alexey Tikhonov and Conor Doherty

“Чтобы улучшить свою игру, вы должны изучить эндшпиль прежде всего; поскольку окончания можно изучать и осваивать сами по себе, а миттельшпиль и дебют следует изучать в отношении эндшпиля.” Источник: Последние шахматные лекции Капабланки (1966), стр. 23

A few weeks ago, I spoke on a panel at the 44th International Symposium on Forecasting in Dijon, France. The topic of the panel was Планирование спроса и роль суждения в новом мире ИИ/МЛ.

As an ambassador for Lokad, you can imagine what my perspective was:

• прогнозирование и принятие решений должно быть полностью автоматизировано;

• качество прогноза следует оценивать с точки зрения лучших решений;

• человеческое суждение должно использоваться для улучшения автоматизации (а не корректировки прогнозов или решений).

Oddly enough, my position on automation did not provoke as much disagreement as you might think. The chair (Lokad’s Head of Communication, Conor Doherty) and the other panelists (Sven Crone of iqast and Nicolas Vandeput of SupChains) were almost unanimously in agreement that this was the future of forecasting. The only disagreement was how quickly we might reach this state (note: I believe we are already there).

What did cause quite a bit of disagreement, and perhaps even confusion, was my argument that точность прогноза is not nearly as important as принятие лучших решений. This disagreement was not confined to the other panelists, but members of the audience, too. I think there are two major reasons for this:

1. Когда я выступал на сцене, у меня не было наглядного материала, чтобы поддержать эту мысль. Объяснение включает несколько взаимосвязанных деталей, поэтому наглядное пособие определенно помогло бы людям понять.

2. Идея о том, что точность прогноза менее важна, чем решения, противоречит образованию, подготовке и опыту большинства специалистов.

К концу этого эссе я надеюсь рассмотреть оба вышеупомянутых вопроса. Что касается первого пункта, я включил краткое, но систематическое объяснение и интуитивно понятное наглядное пособие. Что касается второго пункта, я могу лишь попросить читателя сохранять открытость ума в течение следующих 5–10 минут и воспринимать эти слова так, как будто у вас нет никакой предварительной подготовки в области прогнозирования цепочки поставок.

Направляющие вопросы

По моему мнению, существует пять фундаментальных вопросов, на которые необходимо ответить, чтобы прояснить мою позицию. В этом разделе я постараюсь дать достаточно краткие ответы на каждый из них — по сути, самое важное. Будьте уверены, у Lokad имеется огромное количество дополнительных ресурсов для объяснения тонкостей, на которые я дам ссылки в конце эссе.

Q1: Что значит, что прогноз «приносит ценность»?

Я сразу начну с примера. Предположим, что в компании существует стандартный механизм принятия решений (например, автоматизированный статистический прогноз + автоматизированная политика управления запасами).

Чтобы модифицированный прогноз приносил ценность, он должен изменять стандартное решение (сгенерированное с помощью стандартного процесса компании) таким образом, чтобы напрямую и положительно влиять на финансовые результаты компании (то есть на доход в долларах, фунтах или евро).

Если прогноз является более точным (с точки зрения предсказания фактического спроса), но не приводит к принятию иного и лучшего решения, тогда он не приносит ценности.

Многие компании по-прежнему используют модели прогнозирования на основе временных рядов, в то время как Lokad предпочитает вероятностное прогнозирование для формирования решений с учетом рисков. Однако один и тот же стандарт применяется к обеим парадигмам прогнозирования. Чтобы любой тип прогноза приносил ценность, он должен изменять стандартное решение таким образом, чтобы напрямую и положительно влиять на финансовые результаты компании.

Например, новое («измененное») решение может непосредственно устранить будущий дефицит товара, который мог бы возникнуть по стандартному решению.

“Непосредственно” — это ключевой момент. Проще говоря, прогноз приносит ценность только в том случае, если можно указать на конкретное изменение решения, которое привело к дополнительным финансовым доходам или предотвратило финансовые потери (по сравнению со стандартным решением).

Думайте о причинно-следственной связи, а не о корреляции.

Q2: Всегда ли более точный прогноз приносит ценность?

Технически, нет. Более точный прогноз, сам по себе, не обязательно «приносит ценность». Это связано с тем, что, как упоминалось ранее, чтобы что-либо (в данном случае прогноз) приносило ценность, оно должно напрямую и положительно влиять на финансовые результаты компании за счет принятия лучшего решения.

В отличие от прогнозов, решения в цепочке поставок ограничены исполнимостью (например, минимальный объем заказа, коэффициенты партии, размеры партий и т.д.) и финансовыми стимулами (например, скидками, условиями оплаты и т.д.). Прогнозов может быть гораздо больше, чем реальных решений.

Это означает, что решения в цепочке поставок иногда могут быть (а зачастую и являются) невосприимчивыми к изменениям точности прогнозов. Это верно как для моделей на основе временных рядов, так и для вероятностных прогнозов.

Причина этой невосприимчивости заключается в ограничениях процесса принятия решений (например, MOQ). Совершенно возможно, что более точный прогноз (например, на 10% точнее) приведет к тому же решению, что и менее точный прогноз. Ниже представлена схема, иллюстрирующая этот момент.

В приведенном выше примере, допустим, консенсус-прогноз в 55 единиц был точнее, чем автоматизированный прогноз в 50 единиц. С финансовой точки зрения повышение точности не привело к иному решению (из-за наличия MOQ). Таким образом, более точный прогноз не принес ценности.

Фактически, существует весомый аргумент в том, что более точный консенсус-прогноз привел к отрицательной добавленной стоимости. Это связано с тем, что дополнительные этапы проверки (согласно стандартному процессу определения добавленной стоимости прогноза) требуют затрат (дополнительного времени и усилий) со стороны компании, но не приводят к лучшему решению. С чисто финансовой точки зрения, эти ручные этапы проверки оказались чистым минусом.

Рассмотрим также случай, когда ограничение MOQ отсутствует.

Представьте себе ту же ситуацию, но вместо MOQ действует множитель партии. Возможные решения выражаются в кратных увеличениях по 50 единиц (например, 50 единиц в коробке или на поддоне). В этом случае нам пришлось бы покупать либо 50, либо 100 единиц (1 или 2 коробки/поддона).

На самом деле, может оказаться менее выгодным купить 100 единиц (соответствующих предложению консенсус-прогноза в 55 единиц), чем 50 единиц (немного меньше, чем предлагает «более точный» прогноз). Можно попытаться покрыть оставшийся спрос с помощью предзаказов или просто потерять продажи (например, при продаже скоропортящихся товаров, таких как свежие продукты).

С экономической точки зрения, лучшим финансовым решением может быть не следование «более точному» прогнозу. В этом сценарии и автоматизированный прогноз (50 единиц спроса), и консенсус-прогноз (55 единиц спроса) приводят к тому же решению (заказать 50 единиц). Таким образом, «более точный» прогноз не привел к увеличению финансовой ценности.

Безусловно, не все ситуации так же строго ограничены, однако цепочка поставок полна подобных сценариев. Конечно, я признаю, что разные прогнозы могут приводить к принятию разных решений, но вопрос ценности остается открытым. Всегда следует оценивать, превышает ли ожидаемая дополнительная выгода от покупки дополнительных единиц затраты дополнительных ресурсов на повышение точности прогноза.

Возможно, дополнительная точность оправдана в некоторых ситуациях. Однако специалисты по прогнозированию и специалисты цепочки поставок, по-видимому, рефлексивно предполагают, что это так в абсолютном выражении, несмотря на то, что существуют очевидные сценарии, в которых это не так.

Если вы придумали сценарий, который не идеально соответствует описанным здесь примерам, это нормально. Помните, что цель сегодняшнего обсуждения — демонстрация общей идеи (что существуют ситуации, когда дополнительная точность прогноза не оправдывает усилий), а не детальный анализ каждого возможного сценария принятия решений в цепочке поставок.

Q3: Как мы можем убедиться, что полученная ценность оправдывает затраты на вмешательство суждения?

Ключевым элементом панельной дискуссии в Дижоне была ценность (или её отсутствие) вмешательства суждения (или «человеческих корректировок») в процессе прогнозирования. Чтобы перефразировать позицию другой стороны: “нам нужны люди, чтобы исправлять ошибки, когда автоматизированный прогноз что-то упустил”.

Эта точка зрения мне очень интересна, поскольку она подразумевает, что человеческая корректировка приносит ценность - иначе зачем кому-либо заниматься этим?

В этом разделе я намерен проигнорировать дискуссию о том, могут ли люди (иногда или даже часто) превзойти автоматизированный прогноз (с точки зрения точности). Фактически, я готов признать, что для отдельных SKU человек может работать так же хорошо, а может быть, и лучше, чем автоматизированный прогноз в плане точности.

Примечание: Я не считаю это верным, если рассматривать прогнозирование десятков тысяч SKU для сотен магазинов каждый день, как это происходит в крупной цепочке поставок¹. В последнем случае автоматизированный прогноз значительно превосходит команды высококвалифицированных специалистов по прогнозированию и других функциональных экспертов, просто потому что подавляющее большинство SKU не могут быть просмотрены вручную из-за ограничений по времени.

Я делаю это уступкой, признавая, что человеческое суждение иногда может соответствовать или превосходить автоматизированное прогнозирование по двум причинам:

1. По моему мнению, это делает эссе более интересным, и;

2. Сила моего аргумента не основана на обсуждении «точности».

Моя позиция, как вы уже, наверное, поняли, заключается в том, что человеческие корректировки «приносят ценность» только если они…приносят финансовую выгоду — выгоду, которая сохраняется дольше одного цикла пополнения запасов. Это совершенно независимо от любых выгод, связанных с точностью.

Эту ценность можно понимать как “непосредственное получение лучших решений, чем те, которые были приняты изначально — с учетом дополнительных прибылей от лучшего решения и вычитанием затрат на корректировку”.

Проще говоря, вмешательство суждения (человеческие корректировки) дорогостоящи, поэтому компания должна стремиться к значительной окупаемости инвестиций. Таким образом, я утверждаю, что точность прогноза является произвольной метрикой (при оценке отдельно от решений), и компаниям следует сосредоточиться на действиях, которые увеличивают финансовую отдачу.

Человеческая корректировка вполне может повысить точность прогноза (снова же, я делаю это уступкой ради обсуждения), однако это не обязательно приводит к увеличению финансовой отдачи. Это на самом деле не должно быть радикальным утверждением, так же как человек может быть самым высоким в одной комнате и самым низким в другой.

Обратите внимание, что обязанность предоставлять доказательства того, что повышение точности не приводит к увеличению прибыли, лежит не на мне. По определению, обязанность тех, кто утверждает, что повышение точности само по себе выгодно, заключается в предоставлении конкретных, прямых и неопровержимых доказательств этого утверждения.

Снова же, это не должно быть радикальным или контрарным мнением. По моему мнению, это должно быть стандартной позицией для всех, кто вовлечен в процесс.

Имейте в виду, чтобы человеческие корректировки были выгодными, нам необходимо учитывать совокупность всех корректировок. То есть оценивать финансовую ценность, полученную от всех «попаданий», и вычитать все финансовые потери, вызванные «ошибками».

Этот эксперимент также необходимо проводить в масштабах, охватывающих огромную сеть магазинов (для корпоративных клиентов в случае B2B) и весь их каталог SKU, каждый день, в течение значительного времени.

“Как долго должен длиться этот эксперимент, Алексей?” — По этому вопросу у меня двойственное мнение. Скажем, год, но я открыт для обсуждения этой точки. Это зависит от множества факторов, включая количество циклов принятия решений в году, а также, естественно, от сроков поставки.

Тем не менее, вся эта дискуссия поднимает вопрос о том, каков допустимый порог ошибок для человеческой корректировки.

• Если попаданий немного больше, чем ошибок, приемлемо ли это?
• Что насчет стоимости самих человеческих корректировок?
• Как мы должны учитывать эти прямые и косвенные затраты в расчете?

Кстати, это не простые вопросы. Это те вопросы, которые задавал бы первокурсник на любом вводном курсе в области STEM (или смежной с STEM).

Пока кто-либо не предоставит окончательных доказательств того, что человеческая корректировка, применяемая в масштабах, финансово оправдана, наиболее экономически разумной позицией является предположение, что она не приносит пользы, и продолжение использования автоматизированных прогнозов и принятия решений.

Q4: Как определить, когда более точный прогноз должен заменить текущий прогноз для целей принятия решений?

Короче говоря, самый простой способ понять это — рассмотреть следующий вопрос: приводит ли новый прогноз к принятию лучших решений? В данном случае оценочным показателем должна быть финансовая окупаемость инвестиций (ROI).

Чтобы быть более детализированными, замена должна осуществляться на основе общей сравнительной полезности новой модели (например, ROI, применимость, обслуживаемость и т.д.), а не только исходя из текущего прироста точности. ROI — это то, что направляет компанию к успеху. Применимость, как я продемонстрирую ниже, разрабатывается с акцентом на ROI. Помните: точность, если ее преследовать изолированно, является произвольным KPI.

Например, представьте, что у нас есть две модели: одна, которая явно учитывает историю отсутствия запасов, и другая, которая игнорирует отсутствие запасов (используя некоторые приемы предварительной обработки данных). Может оказаться, что отсутствие запасов происходило не так часто, и с точки зрения принятия решений обе модели работают практически одинаково. Однако все же разумнее отдать предпочтение модели, способной учитывать отсутствие запасов. Это связано с тем, что если отсутствие запасов станет происходить чаще, эта модель будет более надежной.

Это демонстрирует еще один аспект философии Lokad: правильность по замыслу. Это означает, что на уровне проектирования мы стремимся создать модель, которая проактивно учитывает — и способна реагировать на — как вероятные, так и невероятные события. Это имеет первостепенное значение, поскольку самые большие финансовые потери зачастую пришлись на крайности — другими словами, на невероятные события.

В5: Как осуществить переход от одной модели прогнозирования к другой в производственной среде?

Важно помнить, что прогнозирование — это лишь одна часть общего механизма принятия решений. Соответственно, обновление некоторых компонентов может оказать незначительное или значительное влияние на общую производительность системы. Переход от старой модели к новой может вызвать проблемы, даже если новая модель в конечном итоге приведет к принятию лучших решений (а значит, принесет больше прибыли).

Это связано с тем, что улучшенные решения в теории могут столкнуться с беспрецедентными ограничениями в реальности, если их внедрить слишком быстро.

Например, новая модель прогнозирования может способствовать созданию значительно более качественных заказов на поставку, но необходимого пространства для хранения дополнительного инвентаря может еще не существовать, или поставщики не смогут немедленно адаптировать свои цепочки поставок для удовлетворения возросшего спроса. Поспешное оформление заказов в поисках немедленной прибыли может привести к убыткам в других сферах, например, к повреждению или более быстрому порче запасов из-за нехватки подходящего склада (или из-за ограничений по мощности рабочей силы).

В такой ситуации было бы разумно постепенно переходить между моделями. На практике это может включать оформление нескольких немного больших последовательных заказов на поставку для постепенной корректировки запасов, а не оформление сразу одного гигантского заказа.

Люди с практическим опытом борьбы с эффектом кнута (включая сторонников DDMRP) сразу поймут, почему эта тактика является разумной.

Заключительная мысль

Если вы дочитали до этого момента, я ценю ваше внимание. Если же вы не соглашались с изложенным, я ценю ваше внимание еще больше.

Для тех, кто не согласен, позвольте мне сделать одну последнюю попытку: ценность означает больше денег, а больше денег приходит благодаря лучшим решениям. Что касается меня, ничто не может заменить хорошие (а тем более лучшие) решения. Ни более точный прогноз. Ни более эффективный процесс S&OP.

Если мы все еще не придем к согласию, ничего страшного, но, по крайней мере, мы знаем, где мы стоим.

Спасибо за чтение.

Прежде чем уйти

Вот еще несколько ресурсов, которые могут оказаться полезными (особенно, если вы не согласны со мной):

• Что касается того, как Lokad на самом деле прогнозирует все источники неопределенности (например, спрос, сроки поставки, коэффициенты возврата и т.д.), посмотрите наши видео-лекции о вероятностном прогнозировании и прогнозировании сроков поставки.

• Что касается того, как Lokad принимает решения с учетом риска, ознакомьтесь с нашим обучающим уроком по оптимизации закупок и видео-лекцией по распределению товарных запасов в розничной торговле.

• Что касается того, как Lokad анализирует спрос и оптимизирует ценовые стратегии, посмотрите нашу видео-лекцию по оптимизации цен.

Примечания