00:00:00 Запуск панели, дискуссия о KPI по инициативе аудитории
00:04:00 Цепочка поставок — это экономика: распределяйте ограниченные ресурсы
00:08:00 Ценность информации связывает прогнозы с финансами
00:12:00 Маленькие игрушки Beanie Babies выявляют заблуждение точности
00:16:00 Уровни сервиса скрывают асимметрию и стимулы
00:20:00 Ставки на запасы, похожие на покер; прогнозирование дефицита имеет значение
00:24:00 Опциональность: ценообразование, скидки, перемещения переопределяют результаты
00:28:00 Неопределенность сроков поставки и корреляции разрушают простые метрики
00:32:00 Фиолетовые лебеди: хвосты распределения выявляют будущие дефициты
00:36:00 Спрос в аэрокосмической отрасли: модернизации и фиктивные заказы
00:40:00 Симуляции от принятия решения до поступления денежных средств заменяют погоню за KPI
00:44:00 Две панели: для руководства и контроля качества данных
00:48:00 Странности качества данных: отрицательные значения, возвраты, отсутствие мощности
00:52:00 Ручное вмешательство указывает на недостатки модели
00:56:00 Бонусы за KPI создают конфликты и возможности для манипуляций
01:00:00 Закон Гудхарта: цели утрачивают свою значимость со временем
01:04:00 Избавьтесь от избыточных метрик; оставьте пять основных
01:08:00 Заключительные выводы и завершение
Итоги
Цепочка поставок — это прикладная экономика: распределение ограниченных ресурсов для максимальной отдачи. Процентные KPI, такие как forecast accuracy и service levels, выглядят «научными», но часто игнорируют реальные асимметрии — дефицит товара может уничтожить маржу, в то время как избыток товара обычно приводит лишь к затратам или риску уценки. Альтернативой является end-to-end, оценка решений в евро: probabilistic forecasts, метод Монте-Карло и сравнение ожидаемых и фактических финансовых результатов. Руководство должно отслеживать сигналы сбоев модели (особенно ручное вмешательство) и корректность данных, избегая схем стимулирования, способствующих манипуляциям с KPI.
Расширенное резюме
Дискуссия начинается с признания того, что цепочка поставок – это прикладная экономика в условиях дефицита. Каждый выбор — покупка запасов, расход материалов, перемещение товара — тратит ограниченные ресурсы, которые нельзя использовать повторно. Таким образом, основной целью является не максимизация «красивых» процентов, а максимизация отдачи от задействованных ресурсов.
Исходя из этого, участники панели разбивают общепризнанные идолы: точность прогнозов и уровни сервиса. Эти метрики легко вычислить и поклоняться им просто, именно потому, что они оторваны от бизнес-реальности. Процент может казаться научным — значение 97.17% звучит обнадеживающе — но мало что говорит о прибыли, денежном потоке или рисках. Более того, стандартные метрики точности наказывают как завышенные, так и заниженные прогнозы одинаково, хотя экономика в реальности асимметрична: дефицит товара может уничтожить маржу и испортить лояльность клиентов, в то время как избыток товаров зачастую приводит «только» к затратам на хранение или риску уценки.
Альтернатива заключается в том, чтобы связать решения с финансовыми результатами от начала до конца. Патрик называет это «ценностью информации»: использование вероятностных прогнозов (полных распределений, а не точечных оценок), моделирование решений с помощью метода Монте-Карло, передача неопределенности через KPI в финансовые отчеты с последующим сравнением ожидаемых и фактических результатов. Жоан добавляет, что техническая дискуссия — моделирование с помощью симуляций против плотностного моделирования — является второстепенной; главное, чтобы итоговая цепочка завершалась в евро или долларах, а не абстрактными метриками.
Разговор также критикует мышление на основе «статического прогноза». В розничной торговле спрос зависит от ценовых решений и возможностей ликвидации, а прогнозирование единственного будущего без учета опциональности превращает планирование в преждевременное обязательство. Реальные операции динамичны: перемещения между магазинами, скидки и другие рычаги изменяют результаты после первоначального решения.
Что касается неопределенности, важны сроки поставки и редкие события. Распределения могут быть двухвершинными с длинными хвостами, корреляции проявляются при больших заказах, а крайние случаи доминируют в убытках. «Точность» часто игнорирует дорогостоящие 1% — сбой, приводящий к неразумным заказам, скоропортящийся товар сезонного характера, или аэрокосмичную деталь, которая становится срочной из-за модернизаций или окон технического обслуживания. Это не статистические любопытства; здесь сгорают деньги.
Наконец, управление: Жоан утверждает, что самым важным нефинансовым сигналом является ручное вмешательство в автоматизированные решения, поскольку оно выявляет незнание модели или сбой данных. Оба участника подчеркивают необходимость проверки корректности данных и предупреждают, что стимулирующие схемы, привязанные к KPI, способствуют манипуляциям. Если сделать метрику целью, она утрачивает свою ценность; лучше оставить несколько финансово обоснованных метрик и полагаться на управленческое суждение, а не на бюрократическую отчетность.
Полный транскрипт
Conor Doherty: Это Supply Chain Breakdown, и сегодняшняя панель разберет KPI, которые имеют наибольшее значение для эффективности вашей цепочки поставок. Вы знаете, кто я. Я — Конор, директор по коммуникациям здесь, в Lokad.
Слева от меня, как всегда, Жоан Верморель, основатель Lokad. Наш сегодняшний специальный гость, присоединившийся удаленно, — Патрик МакДональд. Он является исполнительным советником в Evolution Analytics и приносит на сегодняшнюю панель около 30 лет крайне релевантного опыта.
Итак, Патрик, прежде всего, большое спасибо, что присоединились к нам.
Patrick McDonald: Огромное спасибо, Конор. Очень рад быть здесь.
Conor Doherty: Отлично. Рад вас видеть.
Прежде чем начать, напоминаю, что это живой чат. Эта панель проводится по просьбе нашей аудитории. Так что, если у вас есть вопросы или комментарии, пишите их. Считаете ли вы, что точность прогноза — важный KPI для вашей цепочки поставок? Почему? А как насчет уровней сервиса? Не начинайте нас с этого.
Но продолжим. Патрик, как гость, сначала слово уделим вам. Прежде чем углубляться в разбор KPI, мы все логичны, поэтому, думаю, первый вопрос: какова, на ваш взгляд, цель принятия решений в цепочке поставок? А потом мы сможем поговорить о KPI для оценки эффективности этих решений, верно?
Patrick McDonald: И я думаю, что это действительно важный вопрос. Как я уже говорил, у меня за плечами 30 лет работы в управленческом консалтинге и науке о данных. Правильный ответ на этот вопрос зачастую оказывается намного сложнее, чем кажется.
Мы приходим и задаем вопрос: «В чем же конкретно заключается наша задача?» И, как правило, ответ таков: мы пытаемся принять решение о том, как распределить ресурс.
Часто речь идет о том, где разместить запасы. В других случаях это может быть вопрос, куда направить усилия, как распределить рабочее время персонала и т.д.
Но с точки зрения цепочки поставок, дело сводится к тому, как распределить запасы. И это основное решение, которое нам нужно принять. Считаю, что необходимо рассматривать принимаемые решения именно в этом контексте, чтобы действительно сосредоточиться и добиться наилучших результатов.
Это то, чему я старался следовать на протяжении всей своей карьеры, и о чем мы поговорим сегодня. С нетерпением жду этого.
Conor Doherty: Ну, спасибо, Патрик. И Йоаннес, я знаю, что ты предпочитаешь сосредоточиться на оптимизации уровней обслуживания в отрыве от прочего, верно? Правильно ли я перефразирую?
Joannes Vermorel: Не совсем. Я действительно ценю подход Патрика, который заключается в сосредоточении на принятии решений.
Конкретнее говоря, мой взгляд таков: цепочка поставок – это прикладная отрасль экономики. Иными словами, у нас есть ряд выборов, связанных с распределением ограниченных ресурсов.
Запасы: сначала у вас есть деньги, которые вы должны потратить на покупку чего-либо. Как только вы тратите доллар на что-то, вы не можете его потратить на что-то другое. Затем, если у вас есть сырье и вы его используете для производства чего-либо, как только оно расходуется, оно исчезает.
Если вы перемещаете часть запасов готовой продукции с места A на место B, как только перемещение совершено, этот запас больше не доступен на месте A. У вас есть эти ограниченные ресурсы, которые должны использоваться максимально эффективно для компании.
Когда мы говорим о том, как лучше всего использовать эти ограниченные ресурсы, краткий ответ звучит так: максимизировать норму доходности.
Вы хотите, по сути, чтобы на каждый доллар или его эквивалент, вложенный в любое дело, вы получали максимальное количество долларов в ответ. То есть, по существу, вы хотите максимизировать норму доходности.
Conor Doherty: Благодарю. Патрик, возвращаюсь к тебе. Согласен ли ты с тем, что цепочка поставок по сути является прикладной отраслью экономики?
Patrick McDonald: Думаю, безусловно. Подход, который я использовал в последние несколько лет, основан на концепции из этой области, которая, возможно, недостаточно широко опубликована. Это называется ценностью информации.
Работа, которой я занимаюсь, помогает ответить на вопрос: с точки зрения науки о данных мы можем использовать прогноз как источник инсайтов, верно? И на основе этого мы принимаем решение о том, как разместить запасы.
Таким образом, мы это делаем, а затем можем сделать предсказание на основе нашей модели: если мы разместим запасы там, каковы, вероятно, будут продажи? Если я знаю, какими могут быть продажи, то я также могу сказать: какой, вероятно, будет уровень моих запасов?
Если я это знаю, то могу рассчитать, какими, вероятно, будут ключевые показатели эффективности. Зная их, я смогу вычислить предполагаемые финансовые показатели.
В течение последних нескольких лет я рассматривал всю эту цепочку. Обычно я провожу анализ Монте-Карло на основе уровня неопределенности, присутствующего в прогнозе.
Это один из ключевых моментов, верно? Люди гонятся за точностью, которую я вовсе не считаю особенно важной. Меня гораздо больше интересует фактическая функция вероятностного распределения, или плотность, вокруг самого прогноза.
Так что я использую этот метод. Я провожу анализ Монте-Карло и прослеживаю эту цепочку от инсайта через решение, через ключевые показатели эффективности до финансовой отчетности. Это позволяет мне по-настоящему понять, что происходит, проводить симуляции и анализировать возможные исходы с пониманием вероятности их наступления.
Возможность провести анализ вплоть до составления финансовой отчетности, которую потом можно представить в совете директоров с заявлением: «Хорошо, если вы будете принимать такие решения, вот какого рода результаты можно ожидать», имеет большое значение.
Затем мы можем вернуться и фактически сравнить фактические показатели с ожидаемыми, что приносит реальную ценность. Я обнаружил, что этот подход намного лучше того, что делают большинство компаний – от простых таблиц с линейной регрессией, пытающихся провести прямую, до более сложных методов прогнозирования, гонящихся за точностью каждого отдельного прогноза.
Это понятно?
Conor Doherty: Ну, Йоаннес, понятно?
Joannes Vermorel: Да, понятно. Это очень, очень согласуется с тем, как Lokad подходит к вопросам цепочек поставок.
Действительно, существует даже двойственность между любым симулятором – техниками Монте-Карло – и вероятностным прогнозированием с прямым моделированием плотности. Если у вас есть средство, способное генерировать множество вариантов будущего, вы можете восстановить функции распределения вероятностей.
А если у вас есть функции распределения, то вы можете генерировать варианты, отражающие их. Таким образом, можно переходить от одного подхода к другому. Иногда один метод оказывается более практичным, чем другой, но это скорее технический аспект, чем вопрос стратегического мышления.
Цель в обоих случаях одна и та же. Да, идея заключается в том, чтобы связать процесс от начала до конца с финансовым результатом.
У вас может быть множество шагов, но по сути все они – это лишь числовые артефакты, служащие средством для достижения цели. А конечная цель – это финансовый результат, который вы хотите максимизировать для компании.
Conor Doherty: Ну, хорошо. Я услышал много математических терминов. Прекрасно. Я их понимаю.
Но я также хочу сохранить эту дискуссию в более приземленном русле. Так что, если вернуться к вопросу, Патрик, нам кажется, что мы полностью согласны – полное единодушие – в том, что экономический эффект является тем, на что нужно обращать внимание. Итак, цепочка поставок – это прикладная экономика.
Хорошо, для кого-то, кто скажет: «Подождите, Патрик. Если мы будем стремиться к всё более высоким уровням точности прогнозов и обслуживания, разве это не максимизирует экономическую отдачу нашей цепочки поставок?» Как так может быть, что лучшие показатели – более точный прогноз и более высокий уровень обслуживания – не приводят к лучшей экономической эффективности?
Patrick McDonald: Верно. Я знаю, что это противоречит интуиции, но это просто не так.
Существует математический принцип – прошу прощения, позвольте немного углубиться в математику – называемый неравенством Йенсена, который помогает нам понять, почему это не так.
Есть несколько ключевых моментов. Во-первых, если вы рассматриваете традиционные показатели точности, они взвешиваются одинаково, будь то завышенные или заниженные значения.
Но это не то, что происходит с запасами. Модель ценности информации говорит: если я теряю продажу, то теряю всю свою маржу. Если у меня избыточные запасы, то я несу лишь издержки на их хранение. Таким образом, здесь уже присутствует асимметрия, которую необходимо учитывать.
Обычно я всё равно оцениваю показатели точности именно таким образом.
Еще один момент, который мы упускаем, заключается в том, что мы знаем: в прогнозе заложена неопределенность – неопределенность будущего результата – и эта неопределенность в основном выражается через функцию плотности.
Теперь вы можете справляться с этим различными способами. Самый простой, который мы использовали годами, – это понимать стандартное отклонение, применять его и устанавливать определённые границы.
В те времена, когда возможности вычислений были действительно ограниченными, это было неплохо. Но теперь я могу на своём личном MacBook выполнять задачи, которые ещё в колледже потребовали бы суперкомпьютер Cray.
Таким образом, сегодня наши вычислительные возможности настолько превосходят прошлые, что мы можем делать гораздо больше. Нам нужно рассматривать как функцию ценности информации, так и форму функции плотности вероятности.
Вот где, на мой взгляд, вступают в силу некоторые ключевые метрики.
Если вы позволите, я расскажу небольшую историю о том, как я впервые занялся этим, где я впервые начал это изучать и почему это стало для меня таким важным на протяжении моей карьеры.
Я только начинал, и мы строили склад данных для McDonald’s. Я был консультантом в Proco, и это было в 1997 году, что говорит о том, какой я был тогда молодой.
Это был первый год проведения акции с Teeny Beanie Baby. Не знаю, помните ли вы их, но это было грандиозно. Попало в новости. Люди покупали Happy Meals, выбрасывали еду, чтобы получить игрушку.
Был один курьер, которого избили, потому что кто-то попытался украсть Teeny Beanie Babies. Это попало в национальные новости. Это было очень, очень серьёзно.
Мы пришли, фактически, в понедельник утром в первую неделю акции, и бизнес-руководители требовали от нас отчет о дате исчерпания запасов в магазине, правильно?
Потому что они быстро расходовали Teeny Beanie Babies. Это их рекламный товар. Он должен быть дешевым. Он стимулирует покупку целого набора товаров, верно?
Он должен быть недорогим. Их заказывают из Китая, поэтому заказ делается за год заранее. Количество фиксировано. Нет возможности для пополнения запасов.
Если акция длится ровно столько, сколько, когда заканчиваются Teeny Beanie Babies, акция заканчивается. Продажи падают, верно?
Мы составили для них отчет. И действительно, запасы закончились примерно за полторы недели.
Так была ли это хорошая акция или нет? Я думаю, что да, потенциально, но подумайте: ваши продажи были в четыре раза выше, чем вы ожидали в течение полутора недель, а затем обрушились до уровня ниже нормального, потому что в оставшиеся три недели месяца акции не было.
Затем они вернулись к нам и спросили: «Ну, сколько нам заказывать в следующем году?» И мы ответили: «Ну, знаете, в четыре раза больше». А их решение было: «Нет, это слишком много. Закажем вдвое больше».
В следующем году запасы закончились за две с половиной недели.
Такие события заставили меня понять всю суть проблемы. Одна из проблем заключалась в том, что они не могли получать хорошие прогнозы.
Поэтому мы создали так называемую промежуточную систему прогнозирования для них, и она работала 18 лет. Она должна была служить временным решением до появления чего-то лучшего, и на протяжении 18 лет она вычисляла количество игрушек для Happy Meal и котлет для бургеров McDonald’s.
Что действительно меня раздражало, так это то, что поставщики систем прогнозирования приходили и говорили: «Я могу обеспечить вам большую точность, и если я это сделаю, вы получите лучшие бизнес-результаты».
Для меня это было похоже на мультфильм Гэри Ларсона из Far Side, где мужчина стоит перед доской с множеством уравнений, указывает на необъясненное место посередине и говорит: «А потом случается чудо».
Я так и не мог соединить точки из этих рассуждений, пока не понял, как построить цепочку создания ценности — от аналитики или ценности информации до полноценного моделирования.
Таков был путь моей карьеры, и одна из вещей, над которыми я работал в течение этих 30 лет в области науки о данных.
Conor Doherty: Спасибо. Joannes, это очень созвучно с вашей точкой зрения.
В вашей книге, на столе, я знаю — и цитирую термины — вы называете точность и уровень обслуживания отвлекающими факторами, плохими показателями и одним из ваших любимых терминов: числовыми артефактами.
Просто говоря, почему вы так думаете? И я предполагаю, что это какая-то версия того, что только что сказал Patrick.
Joannes Vermorel: По сути, если вы посмотрите на уровень обслуживания, то это, прежде всего, математическая конструкция, поскольку в основе лежит процент. Он не отражает никакой экономической ценности для бизнеса.
Первое, что следует отметить: когда мы имеем дело с показателями, выраженными в процентах, нужно быть осторожными, потому что не совсем ясно, что это значение основано на чему-либо реальном для бизнеса.
Вот в чем подвох: это может звучать очень научно из-за измерений и тому подобного, но так ли это на самом деле?
Я действительно ценю замечание Patrick: «а потом случается чудо». У вас есть процент, но как он соотносится с прибыльностью? «А потом случается чудо». Возможно, но может и не случиться.
Опасность заключается в том, что когда вы имеете такие проценты, существует риск сциентизма. Это выглядит как наука. Есть число, есть метрика, можно даже получить очень точный процент — 97.17 — что придает ему вид особой рациональности.
Но это не так. Это всего лишь процент, и неясно, что он вообще связан с долгосрочными интересами компании.
Теперь, если вернуться к уровню обслуживания, у нас есть описательный аспект и нормативный аспект.
Описательный аспект заключается в том, что я смотрю назад. Проблема в том, что если я анализирую конкретный SKU и обычно у меня относительно высокий уровень обслуживания, то многие SKU могут иметь 100%. А это мало что говорит.
Потому что, что если, например, эта игрушка Beanie Baby до начала акции всегда имела 100% или неопределенное значение? В описательном плане это было бы не очень полезно.
А затем, когда продажи опускаются до нуля — потому что товара больше нет — уровень обслуживания не различает, недостает ли вам одной единицы или миллиона.
Таким образом, если увидеть такое, это ещё одна проблема: сообщение «у меня закончились запасы» означает, да, но это не то же самое — закончились запасы, если я продал 100 и недостает одной единицы, по сравнению с ситуацией, когда я продал одну и недостало ста.
Таким образом, с описательной точки зрения, это не передает полной картины.
А если мы рассматриваем нормативный аспект — с точки зрения предписаний — например, что мне следует учитывать в уровне обслуживания, то это именно то, что вы описали: экономические асимметрии не принимаются во внимание.
Если у меня есть нечто, что, как у McDonald’s, может оказывать двузначное процентное влияние на рост продаж — то есть я могу существенно увеличить объем продаж — и при этом стоимость этой игрушки из Китая для одного блюда составляет всего несколько центов, то это крайне асимметрично.
Это означает, что при ограниченных инвестициях я могу добиться огромного роста.
В такой ситуации вы скажете: знаете что, эти пластиковые игрушки не портятся, они очень дешевы, потенциал роста крайне высок, возможно, мне стоит рискнуть с избыточными запасами.
Если что-то пойдет не так, я просто буду постепенно их ликвидировать. Клиенты не будут… например, в McDonald’s в худшем случае покупатели получат две игрушки с их блюдом в течение месяца.
Возможно, даже если вторая игрушка не так хороша, она вряд ли сильно разочарует покупателей, если в Happy Meal будет вторая игрушка.
Таким образом, я вижу, что риск, связанный с избытком запасов, не так велик, если стоимость на блюдо находится под контролем.
Patrick McDonald: Точно. Мне нравится, как вы сначала говорите о точности как о математическом артефакте.
Я думаю, что я смотрю на это немного иначе. Я называю это одной из «соблазнительных шестерок». У меня есть шесть предположений, которые делают специалисты по данным, и которые мы не должны принимать вслепую.
Одно из них — это локальный против глобального оптимума. Так что если вы говорите: это числовой артефакт — если я сосредотачиваюсь на точности — я нацелен на локальный математически искусственный оптимум, вместо того чтобы сосредоточиться на том, как можно максимизировать денежный поток или прибыль.
Это и есть локальный против глобального.
Другое, что приходит на ум, когда мы об этом говорим, это: какое решение вы на самом деле пытаетесь принять?
Я думаю о решениях по управлению запасами как о игре в покер, верно? Вы ставите фишки на стол, делая ставку на основе неопределенной информации.
Вы хотите иметь как можно больше информации, и в этом присутствует элемент риска.
Мой текущий клиент находится в Нидерландах. Это компания, предоставляющая программное обеспечение как услугу, которая для розницы занимается прогнозированием и помогает малым ритейлерам оптимизировать запасы.
Одно из наблюдений, сделанных в их системах прогнозирования, заключалось в том, что они сначала стремились к точности, и оказалось, что для их конкретных ритейлеров это не самое важное.
Самое важное — это умение предсказывать, столкнутся ли они с дефицитом, потому что ритейлеры будут отгружать товар.
Если у вас есть предмет одежды, то, как правило, он бывает в одном варианте стиля, цвета и размера — может быть, в паре вариантов, но не больше. Отгрузка происходит один раз в неделю.
Нужно пополнять запасы или нет, верно? Он находится на складе, стоит там. Разницы в операционных расходах не так много, если он находится на складе или в магазине, но на торговом этаже не должно быть слишком много товара.
Но при этом нужно иметь достаточно. Поэтому их система прогнозирования действительно нацелена на понимание: хорошо, продам ли я эту единицу и не столкнусь ли с дефицитом?
Так они отвечают на вопрос: стоит ли переводить запасы с распределительного центра в торговую точку?
Это очень хороший подход, потому что они отвечают на другой вопрос, а не пытаются определить: сколько я продам и смогу ли я точно достичь этого числа.
Суть в том, что нужно принять решение: отгружать или нет.
Глубокое понимание этого помогает определить, на какой вопрос вы пытаетесь ответить, а значит, какую метрику следует использовать.
Таким образом, они уделяют больше внимания таким показателям, как полнота и точность в контексте категориального решения — столкнусь ли я с дефицитом или нет, — что гораздо важнее, чем численный показатель: сколько я продам.
Это еще один тип метрики, который, по моему мнению, иногда следует рассматривать с точки зрения прогнозирования, так как он дает нам лучшую информацию о типах решений, которые нам предстоит принимать.
Это имеет смысл?
Conor Doherty: Абсолютно. Абсолютно имеет смысл.
Joannes Vermorel: Есть ещё один плюс, если вы начинаете смотреть на всё с точки зрения принятия решения. Например, прогноз спроса: проблема в том, что в зависимости от того, как вы работаете, может не быть даже хорошего — точного — ответа.
Пример: у вас есть сеть магазинов модной одежды. В конце коллекции, в конце сезона, у них появляется возможность сделать скидки, чтобы распродать текущую коллекцию.
Так что если вы говорите: «Я прогнозирую такой уровень спроса», вопрос в том, по какой цене вы делаете прогноз?
Есть текущая цена, но также есть возможность проведения скидки. Теперь вам нужно рассмотреть различные стратегии.
Если я оставлю единицу на складе до конца сезона, мне придётся куда-то её переместить и провести скидку.
Если я переведу её в магазин, у меня может появиться возможность продать её до конца сезона, до того как придётся делать скидку.
Но, возможно, этот конкретный магазин, с точки зрения рыночной силы при проведении скидок — возможно, местная клиентура ограничена и не реагирует на скидки так, как в других магазинах.
Видите, это затрагивает не только аспект локального против глобального, но и то, что я хотел подчеркнуть: если вы воспринимаете будущее как нечто статичное, вы лишаете себя возможности влиять на него по мере его развития.
Я говорю о том, что проблема подхода «сначала прогноз» заключается в том, что он лишает компанию всей возможностей для манёвра, ведь по сути вы заявляете: это план, это обязательство, и вот что мы будем делать.
Вместо того чтобы думать: «Это правильное решение, и я оставляю себе множество вариантов для его поддержки»,…
Мне не нужно брать на себя обязательства сверх принятого решения. Единственное обязательство — это само решение. Всё остальное остаётся открытым.
Вот в чем проблема прогнозирования: оно склонно закреплять компанию на определённом курсе, полностью игнорируя всю возможность для альтернатив.
А что, если позже вы захотите перевести товар между магазинами? Возможно, это вариант, а может и нет. Но если вы мыслите с точки зрения принятия решения, это приходит очень естественно.
Если вы мыслите в терминах прогнозирования — особенно прогноза временных рядов — это почти невозможно выразить.
Patrick McDonald: Мой текущий клиент на самом деле занимается этим. У них есть модуль трансфера, поэтому они анализируют: хорошо, перевести ли этот конкретный вариант из одного магазина в другой, так как там он, вероятно, будет продаваться лучше?
Мы также проводили анализ цен. Мы сделали базовый анализ ценовой эластичности, рассматривая его и задавая вопрос: если я установлю скидку, получу ли я больший объем или просто потеряю маржу?
Мы начинаем получать ответы на этот вопрос.
Мне нравится, что вы затрагиваете вопрос, является ли это динамичным или статичным. Это четвёртый из моих «святых шестерок», о которых мы постоянно думаем: мы рассматриваем всё как проблему статического равновесия, тогда как большинство вещей являются динамичными.
Так что, безусловно, я считаю, что это критически важные решения, и мы должны учитывать эту опциональность.
Я думаю, что другая область, о которой мы недостаточно задумываемся — и даже я ещё не дошёл до неё, потому что проблема довольно сложна, и я знаю, что над ней работали другие — заключается в том, что существует множество неопределённостей, касающихся сроков доставки.
Ваши поставщики, особенно если вы занимаетесь производством и у вас есть целая ведомость материалов, на которую вы ждёте поставок: товар поступает, и вам приходится его ожидать.
Иногда они доставляют вовремя, а иногда — нет. Там присутствует неопределённость, которую нужно моделировать.
Я знаю, что есть люди, которые довольно хорошо справляются с этим, но я считаю, что с точки зрения вычислений у нас сейчас есть больше возможностей, чтобы рассмотреть это более глубоко.
Так что, я думаю, есть возможности даже на стороне поставок в плане понимания того, как это выглядит и куда движется.
Joannes Vermorel: Да. Кстати, у меня даже есть лекции на YouTube по моделированию вероятностных сроков поставки.
Мы уже несколько лет разрабатываем технологии для объединения множества источников неопределенности, и именно поэтому классическая точность обычно терпит неудачу.
Это очень сложно из-за этих асимметричных факторов. Вы объединяете множество неопределенностей, каждая из которых имеет свою асимметрию, которая может быть довольно противоинтуитивной.
Они могут комбинироваться. Например, сроки поставки, как правило, имеют… большинство распределений сроков поставки являются бимодальными. Есть мода, пик, соответствующий обычной ожидаемой дате, когда всё идет гладко, а затем есть хвост, который становится очень длинным, когда всё идёт не по плану.
Часто это распределение даже не имеет среднего, потому что некоторые товары никогда не доставляются. Так что, математически, даже среднего нет. Это немного странно.
Кроме того, случаются ситуации, когда сроки доставки совершенно выходят из-под контроля, когда вы делаете большой заказ, что неудивительно. Вы делаете большой, необычный заказ, и затем ваш поставщик испытывает трудности.
Таким образом, возникают корреляции.
Я говорю о том, что если мы придерживаемся классической парадигмы цепочки поставок, которая мыслит в терминах точности с процентами повсюду, то при объединении всех этих эффектов вы понимаете, что то, что может обойтись вам в деньги, совершенно неочевидно с процентной точки зрения.
В итоге вы можете столкнуться с действительно нелепыми ситуациями. Например, если у вас есть продукт, который является свежим и скоропортящимся, и вы собираетесь продавать его на Рождество — скажем, устрицы — он чрезвычайно чувствителен ко времени.
Если вы пропустите Рождество и Новый год, вы будете в проломе. Вам придется продавать то, что осталось, с 80%-ной скидкой, и это может быть даже лучшим сценарием.
Не всё вызвано выравниванием планет, чтобы навредить вам, но очень часто у вас бывает множество пограничных случаев. У каждого продукта свои особенности, их можно сравнить с целым лесом крайних примеров.
Вот почему я изначально говорил, что нам нужно привязать всё в конечном итоге к доллару — или к евро.
Потому что когда вы объединяете эти неопределенности, вы понимаете, что слабости вашей прогностической модели могут быть чрезвычайно противоинтуитивными. Это могут быть вещи, которые на первый взгляд статистик сказал бы: «О, выглядит достаточно точно и хорошо откалибровано», но вы понимаете, что в итоге сталкиваетесь с проблемами.
Пример: если вы ежедневно запускаете свой алгоритм, чтобы определить, стоит ли отправлять заказ, скажем, из Китая, и в один из 100 дней — вероятность 1% — значение подскакивает из-за числовой нестабильности, это означает, что вы будете отправлять своему поставщику в Китае примерно три заказа в год исключительно из-за числовой нестабильности модели.
Сегодня оно подскочило, и потом вы будто преследуете призрак. Это числовой артефакт, вызванный нестабильностью вашей модели в тот день.
Что касается точности, если такие проблемы происходят только один раз — 1% времени — они даже не влияют на вашу среднюю точность, так как полностью затмеваются другими данными.
Вот что я имею в виду: слабости вашей прогностической модели нужно оценивать в долларах. Иначе у вас будут вещи, которые кажутся незначительными по большинству процентных метрик, но если посмотреть на них в денежном выражении, вы поймете: «О, черт, то, что казалось мелким, на самом деле не мелкое, а большое», например, из-за эффекта зубца, который я упустил, на заказах, сделанных у этого поставщика в Китае.
Patrick McDonald: Мы уже начали об этом задумываться. Талеб первым затронул эту тему в своей книге Черный лебедь. Уверен, вы с ней знакомы, верно?
Сейчас у нас есть серые лебеди и черные лебеди. А у меня есть то, что я называю фиолетовыми лебедями — действительно странные распределения, которые возникают из-за определённых уникальных обстоятельств. Это те самые пограничные случаи.
Они не вписываются в стандартное распределение. Их невозможно описать численно. Мне приходится использовать настоящую функцию плотности вероятности и представлять её в виде массива значений, чтобы описать это.
Первый пример такого случая был следующий: мы разрабатывали решение для прогнозирования в рамках концепции для аэрокосмической компании, и меня попросили рассчитать резервный запас. Это было то, чего я раньше не делал.
Я подошёл к этому немного иначе. Я опирался на работу Сэма Саважа из Стэнфорда по управлению вероятностями, и у него есть небольшая утилита в Excel, которая позволяет проводить расчёты с функциями плотности вероятности.
Так что я сделал нечто действительно простое. Я взял прогнозный интервал для прогноза и использовал базовый вариант — просто нормальное распределение.
Это был первый случай, когда я полностью провёл мэппинг модели ценности информации и сказал: «Ладно, исходя из этого, как мне установить резервные запасы?»
Я начал изучать это. Я смотрел на отдельный временной ряд, и было: нормальное распределение, нормальное распределение, нормальное распределение. И вдруг я увидел одно, чего никогда раньше не встречал, и оно выглядело вот так — бац.
Что, черт возьми, это такое?
Я разобрался. Я использовал функцию, которая говорила: мои продажи — это минимум между уровнем запасов и спросом, верно?
Спрос имел нормальное распределение. Уровень запасов был задан здесь. И если спрос превышал уровень запасов, то распределение — хвост — выскакивало. В общем, это и есть риск отсутствия товара.
Я смог предвидеть это за 11 месяцев, наблюдая за распределением вероятностей.
Так что это пример, своего рода, фиолетового лебедя.
Что касается вашего замечания, когда мы гоняемся за точностью, многие из нас берут метрику точности в отрыве. Мы рассчитываем прогнозный интервал, но затем выбрасываем его и не используем.
Использование этого показателя и включение его в моделирование — вот где вы начинаете действительно видеть проявление пограничных случаев и получаете лучшее понимание.
Joannes Vermorel: Да, абсолютно. Для аэрокосмической отрасли это особенно интересно, потому что мы добились в ней многого.
Несколько примеров: точность фиксирует вас в рамках временного ряда, что в данном случае особенно неверно.
Одним из наших первых открытий в аэрокосмической отрасли было понимание концепции модернизации. Запчасти требуются для ремонта, их нужно поставлять.
Но затем вы понимаете, что существуют модернизации — запчасти, когда производитель говорит: вам нужно установить эти новые запчасти в самолёт вместо старых, так как старые больше не заслуживают доверия.
Таким образом, в вашем временном ряду фактически смешиваются два типа единиц: те, что требуются для ремонта, и те, что вводятся для модернизации.
Но на этом не заканчивается.
Еще один момент: когда мы рассматриваем спрос в аэрокосмической отрасли, зачастую самолёту необходимо завершить ремонт в течение, скажем, восьми часов для небольшого обслуживания.
В результате экипаж закажет намного больше запчастей, чем им действительно нужно, так как у них будет всего восемь часов на ремонт.
Поэтому они скажут: «Нам нужно 100 таких запчастей», а на следующий день вы получите огромное количество возвращённых, но не использованных запчастей.
Таким образом, вам нужно понимать сигнал спроса.
Эти вещи не являются сверхсложными, но их необходимо учитывать, и нужно обладать аэрокосмическим взглядом, чтобы действительно понять: что они пытаются сделать?
Они пытаются отремонтировать самолёт. Их волнует время выполнения работ. Поэтому им нужно заказать чуть больше, а потом вернуть излишки.
Некоторые запчасти действительно требуются экипажем, а некоторые предписываются производителем.
Таким образом, здесь есть нюансы, которые нужно учитывать, и так далее.
Вот почему все эти идеи — в отличие от процентов — основываются на понимании того, как вообще отремонтировать самолёт. Это совершенно иная область знаний.
Моё послание, когда речь заходит об этих индикаторах, таково: как правило, нужно быть крайне подозрительным к любым индикаторам, полученным непосредственно из мира математики — чистой математики, — в отличие от того, что действительно основано на очень точном понимании того, чего вы пытаетесь достичь на практике.
К сожалению, большинство КПЭ, которые я вижу, основаны на математике, обычно потому, что их намного проще определить.
Если вернуться к аэрокосмической отрасли, это своего рода ужасная ситуация: экипаж говорит «Мне нужно 100», у вас есть только 80, а в итоге они возвращают 30.
Удовлетворили ли вы спрос? Да, нет, да?
Экипаж был очень напряжён, потому что думал, что может не хватить, но в конце концов дефицита не оказалось.
Вот такие вещи внезапно погружают нас в суть понимания ситуации, а не просто в сравнение среднеквадратичной ошибки, MAPE, абсолютной ошибки и так далее — всех теоретических критериев.
Conor Doherty: Ну что ж, господа, на эту ноту, я думаю, мы тщательно разоблачили то, что вы оба считали массовым подходом к отслеживанию эффективности.
Но что остаётся несколько неясным, так это то, что мы предлагаем в качестве альтернативы.
Так что, например, возвращаясь к Патрику: вы снова сказали, что стремление к точности прогноза в отрыве — дело глупцов. Давайте примем это в качестве отправной точки для обсуждения.
Ладно, но тогда что нам следует отслеживать? Говорить «давайте просто отслеживать деньги» — это немного неясно для людей.
Так в чем же фактическая теза, которую мы предлагаем — или которую вы предлагаете — для замены традиционных КПЭ?
Patrick McDonald: Верно. Я склонен применять то, что я называю анализом ценности информации.
Я хочу смоделировать денежный поток с точки зрения решений, которые мы действительно рассматриваем, и способов их принятия.
Чтобы это сделать, вам действительно нужно чётко понимать модель ценности информации.
Какова стоимость упущенной продажи, если у нас закончится запас? Каковы затраты на хранение, связанные с этим?
Как выглядит эта неопределённость, будь то прогноз или свёртка со сроками поставки или что-то ещё в вашей симуляции, чтобы её смоделировать?
Попробуйте отслеживать это следующим образом: вот моё понимание, вот решение, которое я приму, вот рычаг, который я введу в бизнес, вот где я определю своё позиционирование, вот куда направлю усилия.
Каковы ожидаемые результаты?
Проведите эту симуляцию — выполните анализ Монте-Карло — и посмотрите, какими будут распределения вероятностей результатов.
Затем сравните фактические результаты с прогнозными с этой точки зрения.
Вот подход, который я использую. Он, как правило, работает достаточно хорошо. Хотя это требует от руководителей бизнеса некоторой дополнительной изощренности.
Руководители бизнеса обычно предпочитают думать о вещах очень линейно и довольно упрощённо. Это ещё одна из шести вещей, которые меня тревожат.
Но это тот подход, который я использую, и то, что я действительно рекомендую: задумайтесь о модели ценности информации и о том, как вы её применяете.
Теперь, традиционные метрики прогнозирования — всё ещё полезны с точки зрения статистики? Да, могут быть.
Я, как правило, пытаюсь их взвешивать. Я смотрю, например, на взвешенную точность, взвешенный отзыв, взвешенную пинбольную метрику, которую я считаю намного полезнее простой метрики точности.
Пинбол позволяет оценить точность по всему профилю спроса — по всей функции плотности.
Если правильно его расположить, добавить асимметрию ценности информации и корректно взвесить, это может дать вам представление о том анализе ценности, который вы проводите.
Это те вещи, которые я действительно только сейчас внедряю. Я учусь на практике, занимаясь этим.
За более чем 30 лет работы, как я и говорю, каждый день, когда я захожу в офис, я узнаю что-то новое.
Вот где я нахожусь. Это подход, который я сейчас применяю, и, похоже, он оказывает реальное влияние на некоторых из моих клиентов.
Conor Doherty: Спасибо, Патрик.
Йоаннес, тот же вопрос. Предполагаю, вы тоже подходите к этому с очень конкретной финансовой точки зрения.
Joannes Vermorel: Я бы сказал, что существует два широких набора индикаторов, которые мы обычно разрабатываем и отслеживаем для совершенно разных целей и для разной аудитории.
Первая аудитория — это управление цепочкой поставок, руководители цепочки поставок. Для них в основном это будут экономические драйверы.
Мы говорим: мы хотим максимизировать рентабельность инвестиций, то есть норму доходности каждого решения. Но нам нужно разложить это на ряд воздействий: стоимость запасов, ожидаемая маржа, ожидаемые затраты на списание запасов, штраф за дефицит.
Так мы и проводим это разложение.
В этой области у нас есть индикаторы, которые ориентированы в будущее — зависят от прогностической модели — и те, что являются чисто описательными: они просто отражают то, что происходит.
Здесь речь идёт, возможно, о десятке индикаторов максимум. Некоторые из них чисто описательные — описательная статистика, — а некоторые условно встраиваемые, зависят от правильности прогностической модели.
Например, если я говорю, что этот запас несёт риск списания запасов на определённую сумму долларов, то на самом деле списание еще не произошло. Это число я вычисляю благодаря той или иной прогностической модели.
Это для аудитории руководителей и практиков.
Затем у нас есть второй набор индикаторов, которые, как правило, довольно обширны. Для специалистов по данным это могут быть сотни чисел.
Здесь мы, как правило, обращаем внимание на намёк, что что-то может пойти не так во всей цепочке обработки, потому что мы получаем данные. Обычно это случайный процесс, где у нас десятки-десетки таблиц, извлечённых из ERP-систем — возможно, даже из нескольких — WMS, CRM.
Итак, мы консолидируем множество данных из прикладного ландшафта компании, и существует так много вещей, которые могут пойти не так.
Например: что, если вдруг, с одного дня на другой, у вас появится изменение с дополнительными 5% поставщиков? Значительно ли это или нет? Кто-то ввёл дубликаты или нет?
А как насчёт 20% дополнительных поставщиков? Ладно, 20% — скорее всего, это дубликат или, возможно, ошибка.
Таким образом, вам приходится отслеживать множество факторов, которые могут подкрасться в процессе обработки данных.
Практически всё: вы будете мониторить количество SKU, количество поставщиков.
Иногда вы пытаетесь выявить те показатели, которые почти неизменны и которые можно использовать для обнаружения ошибки в вашем конвейере извлечения данных.
Например, наш интернет-магазин, продающий автозапчасти. Мы заметили много лет назад, что там было чрезвычайно стабильное соотношение «две с половиной детали на корзину».
Это было невероятно стабильно — летом, зимой, на Рождество — всё было супер, супер стабильно: две с половиной детали на корзину.
Это означает, что у нас есть нечто чрезвычайно стабильное. Бизнес может сильно колебаться, но эта величина остаётся очень стабильной.
Это означает, что если наблюдается отклонение, это, вероятно, сигнализирует о том, что в конвейере есть ошибка: например, строки заказа были утрачены, и у нас осталась только первая строка каждого заказа или что-то нелепое в этом роде.
Таким образом, специалист по цепочке поставок составит дашборд, но он нисколько не ориентирован на ценность. С нашей точки зрения, это то, что мы называем управляемым безумием.
Вы хотите следить за всем, что может буквально разрушить ваши вычисления и полностью подорвать ваши модели. Это может быть масса глупостей.
Это может быть, например, соотношение букв и цифр в описаниях товаров. Если ваши метки вдруг состоят только из цифр, скорее всего, у вас больше нет корректных описаний.
Это множество эвристик, призванных просто удостовериться, что данные, которые вы обрабатываете автоматически в большом масштабе, остаются разумными.
Это интересно только тому, кого мы называем специалистом по цепочкам поставок, ведь он хочет быть уверен, что каждый день решения, принимаемые в большом масштабе, не содержат ни малейшей доли безумия.
Я определяю безумие как состояние, когда любой, взглянув на эти решения, скажет: «Безумное решение — о, нет, это сумасшедше, так не следует поступать». Что-то пошло не так в каком-то звене обработки данных.
Для нас крайне важно, чтобы количество безумных решений было равно нулю.
Мы не можем добиться абсолютной точности, но можем устранить грубую, вопиющую безумность.
Conor Doherty: Патрик, есть что добавить, прежде чем мы продолжим?
Patrick McDonald: Хочу быстро сказать: за время моей карьеры в области науки о данных, точность и качество данных всегда были проблемой.
Я видел странные вещи — отрицательные уровни запасов. Как может быть отрицательный уровень запасов? Это не имеет смысла.
У одного клиента — крупного FAANG — директор дата-центров заходил в совершенно новый дата-центр, открывал отчет по мощности, и тот показывал, что энергия не потребляется.
Он оглядывался, и, конечно, все машины работали, огни мигали, поэтому он понимал, что отчет ошибочен. Что же произошло?
Так что да, с точки зрения обработки данных может произойти многое.
Я думаю, что статистический контроль процессов может помочь с этим. Похоже, вы, ребята, именно это и используете, и это правильный подход.
Если у вас нет хороших данных, то принцип «бред на входе — бред на выходе» всё ещё применяется. В случае больших данных это означает, что у вас будет много мусора. С этим нужно уметь справляться.
Joannes Vermorel: Да, абсолютно.
Иногда самое положительное то, что данные на самом деле корректны — просто в очень-очень странном виде. Например, 30 лет назад SAP решил, что возвраты будут учитываться как отрицательные продажи.
Это означает, что бывают дни, когда продажи оказываются отрицательными. Это просто означает, что возвращено было больше товаров, чем продано.
Если вы занимаетесь электронной коммерцией в Германии, где около 40% отправленных товаров возвращаются, у вас будет масса отрицательных продаж.
Но это очень важная информация — за исключением того, что это не отрицательная продажа, а возврат.
Вот такие вот дела.
Но я согласен: данные крайне запутаны, и очень важно следить за их контролем.
Conor Doherty: Отлично.
Итак, господа, у меня есть завершающий вопрос, но я отложу его до конца и вместо этого сосредоточусь на вопросах из зала.
Эти вопросы взяты из прямых сообщений в этой теме, а также один интересный вопрос с прошлой недели, который, как мне кажется, сегодня весьма актуален.
Итак, начну с вопроса от Мигеля Лара. Этот вопрос для панели. Патрик, начну с вас.
Есть ли какие-либо KPI — или есть ли KPI, — которые не обязательно влияют на финансовые результаты, но вы всё же считаете их высокоэффективными или полезными?
Patrick McDonald: Да.
Я думаю, что многие стандартные метрики, на которые мы обращаем внимание, всё ещё важны.
MAPE — важный показатель, когда пытаешься понять, насколько хорошо будет работать модель прогнозирования.
Ваши MAE или MASE — также те показатели, на которые я обращаю внимание и которые использую.
Дело не в том, что эти метрики не важны или что мы о них не думаем, но они не являются самыми главными и не те, за которыми стоит гоняться.
Думаю, это именно та точка зрения, которую я придерживаюсь.
Поймите, что говорят метрики, и используйте их по назначению.
Не стройте предположения типа «а потом произойдёт чудо» и не применяйте эти метрики, ожидая финансовой выгоды в тех сферах, для которых они не предназначены.
Так что, думаю, это мой ответ. Соответствие назначению — вот что я всегда имею в виду во всём, что делаю, и что рекомендую для многих из этих метрик.
Conor Doherty: Спасибо.
Йоаннес, тот же вопрос. Надо повторить?
Joannes Vermorel: Я считаю, что для Lokad самая важная нефинансовая метрика — это количество ручных вмешательств в автоматизированные решения за день. Это первостепенно.
То есть, это не финансовый показатель, но для нас всё, что превышает ноль, является проблемой, и мы рассматриваем это как дефект.
Проблема в том, что когда у нас есть дефект, это означает, что наша модель в чём-то неверна. Если она неверна, то мы не можем полагаться на нашу экономическую модель.
По определению, если люди делают такие вмешательства, это значит, что они замечают то, чего мы не видим.
Таким образом, все наши экономические показатели могут оказаться полностью подорваны этим доказательством некорректности.
Для нас это на первом месте: эти ручные вмешательства, потому что каждый раз, когда они происходят, это означает, что что-то не так с самой моделью, и, следовательно, потенциально может подорвать весь экономический анализ от начала до конца.
Именно поэтому мы должны уделять этому много внимания. Мы рассматриваем это как ошибку. Если мы не понимаем природу этой ошибки, мы не знаем, насколько глубока кроличья нора.
Patrick McDonald: Я тоже так считаю.
Думаю, вопрос, который у меня возникает: всегда ли так происходит? Когда вы обнаружили, что почти все эти вмешательства неправильны?
Или бывают случаи, когда кто-то вмешивается, и, да, в модели была проблема, которую мы обнаружили и исправили?
Joannes Vermorel: Во-первых, на старте проекта очень часто большинство вмешательств — к сожалению для нас — являются обоснованными. Есть моменты, которые мы упустили. Есть то, чего мы не понимали.
Таким образом, в начале большинство этих вмешательств обычно отражают то, о чем мы не знали.
Например, когда мы начинали авиацию, примерно полтора десятилетия назад, я не понимал, что такое модернизация — и насколько она важна.
Много людей подгоняли цифры, и в какой-то момент я спросил: «Что происходит?» Нам ответили, что это модернизация. И я сказал: «Что?».
Затем мы вернулись к анализу. Человек, занимавшийся моделированием, был крайне неосведомлён в чём-то очень важном.
Но со временем это может быть что угодно. Это может быть новый сотрудник, который вмешивается без видимой причины, просто потому что в своей предыдущей компании привык вмешиваться, приходит сюда и говорит: «О, мне нужно вмешаться». Хотя на самом деле это не имеет никакого смысла.
Я считаю, что процент критических случаев значительно снижается.
Но это немного похоже на ситуацию в софтверной компании: у вас есть отчёты об ошибках от пользователей. Много отказов. Люди будут говорить: «О, программа с ошибками», но на самом деле вы просто неправильно реализовали функцию — это действительно заложенное поведение.
Тем не менее, мы тщательно их отслеживаем, потому что, согласно Насиму Талебу, редкие случаи, когда они оказываются верными, могут иметь огромное значение.
Так что даже если 99% случаев указывают на то, что «пользователь ошибается», может оказаться, что эти 1% имели значительное влияние.
Именно поэтому мы внимательно следим за этим.
Для зрелого проекта подавляющее большинство случаев — по сути, шум, но несколько из них действительно важны, и именно они нас особенно беспокоят.
Conor Doherty: Хорошо. Спасибо.
Следующий вопрос был задан — надеюсь, я правильно произношу — Лючио Зона. Он касался обсуждения страховых запасов на прошлой неделе, но он очень актуален.
Итак, мне нужно его прочитать, а затем последуют два вопроса.
Немного контекста: Лючио отметил, что бонусы большинства менеджеров по цепочкам поставок привязаны к KPI. Например, к пунктуальности и полноте. В результате, никого не увольняют за избыточные запасы, а только за плохие показатели по пунктуальности и полноте.
Это естественным образом толкает — или, возможно, стимулирует — людей к завышению запасов.
Теоретически, мы могли бы рассчитывать страховые запасы, исходя из реальных экономических затрат за нехватку единицы товара, за каждое событие отсутствия товара, но эти цифры расплывчатые. Поэтому компании по умолчанию используют простые KPI.
Теперь два вопроса: кому на самом деле важны KPI и как следует разрабатывать системы стимулов так, чтобы эти метрики или KPI по сути не вознаграждали манипулирование системой?
Патрик, начну с вас.
Patrick McDonald: Это сложный вопрос. Знаю. Нет, это не так. Это простой вопрос, который меня бесит до предела.
Количество противоречивых стимулов в крупных организациях, в которых я работал, сводит с ума.
Это одна из самых больших проблем, с которыми я сталкиваюсь.
Это совсем другая тема.
У меня есть совершенно иной набор общих метрик, на которые, по моему мнению, организации должны обратить внимание в управлении своим бизнесом.
Метрики, противоречащие друг другу, особенно те, которые стимулируют противоречивые поведения, создают проблемы.
Это отчасти причина, по которой у нас есть планирование продаж и операций. Операции и цепочки поставок имеют свои проблемы по многим причинам.
Не в последнюю очередь из-за того, что у каждого есть так называемый прогноз, и в каждой организации их как минимум семь.
Один — поставочный план, другой — план спроса, третий — статистический прогноз, затем цели продаж, маркетинговый план и финансовый план. Все они называются «прогнозом». Они не согласуются между собой.
Потом организация удивляется, почему всё так не согласовано.
Частично это связано с тем, что вы возвращаетесь к отдельным метрикам, на основе которых рассчитываются бонусы сотрудников и которые стимулируют их поведение.
Так что да, это огромная проблема. Её решение — не простая задача. Это серьёзная управленческая проблема, которую необходимо решать.
С этим можно справиться, но для этого потребуется настоящее лидерство внутри организации.
Так что, это покрывает первую часть вопроса? А вторая часть? Я что-то упустил?
Conor Doherty: KPI важны для кого — или для кого на самом деле важны KPI? И затем, как стимулировать людей не играть с системой?
Patrick McDonald: Вы должны убедиться, что ваши метрики согласованы и не противоречат друг другу. Вот как это делается.
Conor Doherty: Хорошо. Спасибо.
Йоаннес, те же вопросы.
Joannes Vermorel: Мой подход будет несколько иным.
Существует корпоративное правило, которое гласит: любая хорошая метрика, установленная как целевой показатель, перестаёт быть хорошей метрикой.
На мой взгляд, идея о том, что можно стимулировать сотрудников с помощью метрик, является infantilизацией вашей рабочей силы. Это всегда обернётся неудачей.
Люди всегда будут манипулировать метриками. Это просто катастрофа, которая ждёт своего часа.
Это идея, которая выглядит неплохо, но со временем неизбежно приводит к катастрофическим последствиям.
Неважно, какая это метрика. Люди думают: «О, если мы выберем правильную метрику, в этот раз её нельзя будет манипулировать. В этот раз она будет хорошей, в этот раз она будет соответствовать долгосрочным интересам компании».
Оказывается: нет, так не бывает.
Я не знаю как, но дайте вашим сотрудникам пару месяцев, и они найдут способ превратить вашу жизнь в ад и сделать вашу компанию менее прибыльной, манипулируя этой метрикой.
Снова повторюсь, это одна из величайших черт человека. Люди изобретательны. И это хорошо — они изобретательны. Так что вещам суждено происходить. Вещам случается, и они пойдут не так.
Моя рекомендация такова: откажитесь от этого наивного рационализма. Для меня наивно думать: «Всё, что мне нужно, — это иметь очень чёткую метрику, и тогда люди будут её максимизировать, она будет соответствовать долгосрочным интересам, и проблема решена».
“Мне не нужно управлять людьми, мне просто нужно позволить стимулу делать работу за меня как менеджеру.” То есть, по моему мнению, это очень инфантильное представление о человеческой природе. Это не работает так.
Стимулы очень мощные, но стимулы — кстати, о которых Талеб много говорит в своих книгах, не только в Черном лебеде, но и в Антихрупкости — люди созданы для того, чтобы думать о последствиях второго порядка, третьего порядка, четвертого порядка.
Люди что-то делают, потому что думают, что их следующий работодатель оценит их лучше, и тому подобное.
Таким образом, они могут действовать согласно долгосрочному плану, который полностью превосходит ваши ожидания.
Подходить к своему персоналу через призму метрик — это рассуждение первого порядка. Вы не учитываете второй, третий и последующие порядки.
Вывод: если у вашей компании есть такие стимулы, первоочередная задача — полностью их убрать — все их.
Единственное, что допускается, — это, например, опционы на акции. Вы берете опционы, распределяете их в течение пяти лет. Отлично. Это достаточно близко к долгосрочным интересам компании, и всё.
Делайте всё максимально просто и неопределённо.
Затем нужно понять, что когда вы начинаете оптимизацию — экономическую оптимизацию — период полураспада вашей целевой функции составляет примерно одну неделю.
Ваша целевая функция — это нечто, что вы возвышаете на пьедестал и говорите: «Вот оно». Эта функция будет существенно эволюционировать.
Например, когда администрация Трампа решила, что тарифы можно менять, скажем, пять раз в день, игра внезапно изменилась.
С тех пор в США было, что, 400 обновлений тарифов… Мы все сейчас действуем крайне антихрупко. Мы вынуждены так делать.
Вот что происходит: новые правила, и целевая функция движется.
Теперь нам пришлось бы ввести вероятностный прогноз распределения тарифов для предвидения, потому что никто не может действительно заглянуть в голову президента.
Таким образом, всё, что можно получить — это вероятностный прогноз того, где окажется тариф, и, по всей видимости, он будет в диапазоне от 0% до 200%.
Моя точка зрения такова: поймите, что, поскольку экономическая функция развивается стремительно — не всегда так быстро, как тарифы в США, но всё же быстро — проблема в том, что метрика, которой вы оцениваете свои команды, будет пересматриваться раз в год, каждые два года.
Вы сведёте всех с ума, если будете менять способ, по которому они зарабатывают деньги, каждый месяц. Это просто безумие.
Реальность такова: для психологической безопасности людям необходимо иметь некую перспективу минимум на 12 месяцев, в течение которой они думают: «Вот что я зарабатываю».
Но управление цепочками поставок требует иногда мыслить в разрезе дней и быть крайне оперативным. Эти подходы несовместимы.
Вот почему я говорю: уберите эти стимулы. На практике это обернется негативно, если не потому, что вам придется обновлять экономические функции намного быстрее, чем вы сможете пересматривать пакеты, которые предлагаете своим сотрудникам, даже руководителям.
Conor Doherty: Круто. Спасибо.
Два момента. Во-первых, кажется, я сказал «Закон Гудвина». Закон Годвина — это совсем другое. Я имел в виду Закон Гудхарта. Это два совершенно разных явления.
На самом деле, просто несколько комментариев, по сути соглашения. Мигель Лара отмечает: если вы создаете KPI, который не оказывает никакого влияния, это по сути дополнительная работа и не имеет реальной ценности в конечном итоге.
Joannes Vermorel: И, кстати, никто не считает, что крупные корпорации мыслят исключительно с позиции прибавок — никогда с позиции вычитания.
Так что когда появляется какой-либо индикатор, будь то ключевой показатель или показатель эффективности или что-то еще, он просто добавляется в копилку.
Спустя десятилетие у вас появляется то, что я называю стеной метрик — 100 чисел, которые никто не читает.
И всё же это приводит к зависанию инструмента бизнес-аналитики каждое первое число месяца, потому что приходится обрабатывать так много показателей эффективности.
У них примерно 100 показателей, и вся система BI зависает на целый день.
Я даже видел компании, где в первый день месяца им буквально приходилось останавливать некоторые операции, потому что ERP наполовину зависало.
Так что они приостанавливают работу завода, чтобы дать системе ERP возможность выполнить отчётность.
Conor Doherty: Итак, господа, мы уже чуть больше часа в эфире. Думаю, Патрик, вы упоминали это как возможный выход.
Однако, подводя итоги: Мигель высказался — я приведу это как резюме, а вы просто поделитесь своими итоговыми мыслями по этому поводу.
Тот факт, что KPI много, не означает, что их следует отслеживать все одновременно. Нужно выбрать только те KPI, которые действительно имеют значение, в зависимости от вашего подхода и текущего фокуса.
В обратном порядке, ваши итоговые мысли по этому поводу. Жоаннес?
Joannes Vermorel: Я бы сказал и да, и нет.
Проблема в том, что это общее мнение современных компаний. Если принять его за чистую монету, давайте посмотрим, куда оно нас завело.
В большинстве компаний имеется стена метрик. У вас буквально десятки, если не сотни, показателей, о которых никого не волнует.
Они совершенно непонятны. Никто их даже не понимает.
Обычно берешь типичного специалиста по цепочкам поставок: у него на экране 15 чисел, и он не может даже объяснить, что означает половина из них.
Он скажет: «О, это, наверное, вычисляет средний уровень запасов за последние 30 дней. Может быть. Я не уверен», или что-то в этом роде.
Так что я бы сказал: это общее мнение, но мой подход был бы гораздо более агрессивным.
Мы знаем, что большие организации склонны накапливать бюрократию и кучу ерунды намного легче, чем избавляться от них.
Нужно удвоить усилия по очищению — быть безжалостным — и избавляться от всех тех чисел, которые не являются критичными.
Для типичных руководителей по цепочкам поставок мы считаем, что существует квота, скажем, в 10 чисел. Если хотите добавить новое число, вы должны убрать одно из уже существующих.
Это необходимо поддерживать.
А если говорить о стороне специалистов по данным, то я говорю, что можно иметь сотни чисел, но тогда это числовой рецепт учёного по данным — специалиста по цепочкам поставок, который занимается своими делами.
Остальная часть организации к этому не подключается. Это нормально, потому что это не налог, который должна платить вся организация. Это лишь нагрузка, которая затрагивает самого учёного, а не всю компанию.
Так что это общее мнение: да, кажется разумным, но, опять же, будьте осторожны.
Спустя десятилетие, по моему опыту, вы обычно оказываетесь в очень плохом положении, следуя этому общему мнению.
Conor Doherty: Патрик, ваши итоговые мысли. Как вы относитесь к этому?
Patrick McDonald: Если их больше пяти, значит, их слишком много.
Я гораздо строже. У меня их ровно пять, на которые я обращаю внимание, и все они связаны с финансовой отчетностью.
Первый — это показатель доли рынка. Я называю его брендовой стоимостью.
Если ваши продажи растут, но рынок растёт быстрее, вы всё равно теряете свою долю. Поэтому не отслеживайте только продажи, отслеживайте, где вы находитесь на рынке.
Я хочу убедиться, что мы стабильно удовлетворяем спрос клиентов, верно? Поэтому имеется показатель надежности.
Я хочу быть уверен, что мы эффективно распределяем наши ресурсы. Поэтому имеется показатель эффективности.
Мне не нравится говорить об эффективности, потому что эффективность всегда оказывается локальным оптимумом. Поэтому я говорю о производительности.
А последний — это то, над чем я всё еще работаю. У меня пока нет действительно хорошего показателя для этого, но это — гибкость: как быстро вы можете реагировать на стремительные изменения, которые мы наблюдаем на рынке ежедневно.
Если охватить эти пять, я думаю, это покрывает большую часть того, что вы хотите понять с точки зрения бизнеса.
Конечно, существуют различные способы их интерпретации, но это, своего рода, мои пять. Они не сильно пересекаются и охватывают ключевые аспекты, влияющие на финансовые показатели.
Conor Doherty: Ладно.
Итак, господа, большое спасибо. У меня больше нет вопросов. Мы обсудили всё в чате, и, думаю, время почти истекло.
Жоаннес, как всегда, большое спасибо за участие.
Патрик, искренне благодарю за то, что присоединились к нам дистанционно и уделили своё время. Ваши замечания были действительно отличными.
Patrick McDonald: Приятно. Надеюсь, мы сможем повторить это снова в будущем. Спасибо.
Conor Doherty: И всем, кто смотрел, большое спасибо за участие — за ваши личные сообщения, ваши комментарии.
Если вы хотите продолжить обсуждение, как я всегда говорю, свяжитесь с Жоаннесом, со мной или с Патриком. Мы всегда рады пообщаться с новыми людьми.
Ну, вот и всё. Большое спасибо. Увидимся на следующей неделе и возвращайтесь к работе.
