Точность прогнозирования в долларах вместо процентов

00:00:08 Введение в тему повышения точности прогнозов в промышленности цепочки поставок.
00:01:22 Объяснение того, что означает более точный прогноз и использование метрик прогнозирования.
00:03:21 Обсуждение ограничений использования математических метрик для измерения производительности цепочек поставок.
00:05:30 Акцент на измерении точности прогнозирования в долларах вместо процентов.
00:08:42 Объяснение того, как максимизация точности в процентах может вводить в заблуждение в отношении производительности цепочки поставок.
00:09:04 Обсуждение ограничений использования простой метрики для прогнозирования продаж.
00:10:20 Объяснение того, как использование модели, прогнозирующей нулевые продажи, приводит к катастрофическим последствиям для компании.
00:11:23 Объяснение проблемы с симметричными метриками в контексте управления цепочками поставок.
00:13:02 Объяснение того, что прогнозы - это просто образованные мнения о будущем и их влияние на цепочку поставок.
00:16:32 Обсуждение опасностей создания подразделений, посвященных повышению точности прогнозов.
00:18:09 Обсуждение того, как прогнозирование будет улучшаться со временем.
00:19:01 Объяснение того, что лучшие метрики прогнозирования не всегда приводят к улучшению производительности цепочки поставок.
00:21:41 Понимание того, что рост и прибыль компании не обязательно означают улучшение цепей поставок клиентов.
00:22:04 Объяснение разницы между ежемесячной подпиской и многолетними планами.
00:25:53 Объяснение того, как продукт эволюционировал от простого прогноза до инструмента, который помогает открывать метрики точности.
00:26:56 Обсуждение метрик, используемых в управлении цепочками поставок.
00:27:20 Преимущества использования вероятностного прогнозирования и конкретных метрик, таких как перекрестная энтропия и непрерывный ранговый вероятностной балл.
00:27:54 Смена перспективы с улучшения точности прогнозирования на максимизацию производительности цепочки поставок.
00:29:51 Важность наличия одного ответственного человека за всю цепочку поставок.
00:32:23 Важность наличия монолитного процесса оптимизации в управлении цепочками поставок.

Резюме

Основатель компании Lokad, Жоанн Верморель, рассказал ведущей Николь Зинт о ограничениях использования метрик точности для улучшения производительности цепочки поставок. Верморель утверждал, что компании часто слишком сильно фокусируются на улучшении точности прогнозирования, не учитывая влияние на финансовые показатели. Он предложил измерять точность прогнозирования в долларах ошибки, а не в процентах, чтобы лучше оценить, движется ли компания в правильном направлении. Верморель также подчеркнул важность поиска ключевых решений цепочки поставок, которые максимизируют прибыль или производительность, а не только улучшение точности прогнозирования. Он предостерег от опасности введения в заблуждение метрик, которые могут привести к нелепым решениям, наносящим вред компании.

Расширенное резюме

Тема интервью - точность прогнозов в индустрии управления цепями поставок. Ведущая, Николь Зинт, отмечает, что несмотря на десятилетия усилий по улучшению точности прогнозов, более точные прогнозы не привели к лучшей производительности цепей поставок. Она задается вопросом, смотрит ли отрасль на проблему неправильным образом или вообще сосредоточена на неправильной проблеме. Жоанн Верморель, основатель компании Lokad, объясняет, что более точный прогноз означает, что одна модель прогнозирования точнее другой согласно прогнозной метрике. Существует разнообразие прогнозных метрик, но все они являются математическими объектами, которые могут быть несущественными для индустрии управления цепями поставок. Верморель отмечает, что ожидание того, что можно просто выбрать математическую метрику из учебника, чтобы решить проблему, является ошибочным. Он добавляет, что максимизация точности в процентах может вводить в заблуждение в отношении производительности цепей поставок. Он также отмечает, что уменьшение ошибки прогноза путем оптимизации математических метрик не приводит к дополнительной производительности цепей поставок. Однако увеличение ошибки прогноза также не обязательно улучшает производительность цепей поставок. Верморель считает, что цепь поставок - это не одномерная проблема и что существует ложное противопоставление между точностью и производительностью.

Верморель объясняет, что для улучшения производительности цепей поставок крайне важно сокращение ошибок прогнозирования. Однако это не всегда так просто, как просто сокращение ошибок, так как цепи поставок являются многомерными. Ключ к улучшению производительности заключается в связи качества прогноза с производительностью цепи поставок путем внедрения экономического фактора. Верморель предлагает измерять точность прогнозирования в долларах ошибки, а не в процентах, чтобы оценить, движется ли компания в правильном направлении. Он отмечает, что ошибка прогноза, выраженная в процентах, не всегда совпадает с точностью прогнозирования в долларах, что является сутью проблемы.

Зинт спрашивает Вермореля, как измерить производительность цепи поставок, на что Верморель отвечает, что используемые метрики могут быть сложно определить. Проблема заключается в поиске хорошего прогноза, который зависит от ситуации. Верморель предлагает рассмотреть конкретный пример, такой как супермаркет, чтобы понять, как оптимизировать прогнозирование. Он объясняет, что на уровне магазина подавляющее большинство товаров имеют средний спрос, значительно ниже одной единицы в неделю, что означает, что наиболее вероятным результатом для подавляющего большинства товаров в любой день является отсутствие продаж. Если компании оптимизируются по метрике, которая максимизирует точность прогнозирования в процентах, они получат модель, которая просто прогнозирует ноль каждый день, что будет катастрофично для компании. Еще хуже, если модель прогнозирует ноль, магазин будет пополнять ноль, что приведет к потере дохода и клиентов.

В целом Верморель утверждает, что ключ к улучшению производительности цепей поставок заключается в связи качества прогноза с производительностью цепи поставок путем внедрения экономического фактора. Он предлагает измерять точность прогнозирования в долларах ошибки и учитывать затраты, связанные с недостаточным запасом, а не только оптимизировать по метрике, которая максимизирует точность прогнозирования в процентах. Таким образом, компании могут избежать оптимизации своего прогноза для неправильного результата, такого как ноль продаж каждый день, и вместо этого достичь лучшего баланса между предложением и спросом.

Верморель обсуждает проблему точности прогнозирования в управлении цепями поставок, подчеркивая проблему использования симметричной метрики точности прогнозирования, которая одинаково учитывает перепрогнозирование и переизбыток запасов. Верморель утверждает, что это проблема, поскольку переизбыток запасов является значительной проблемой с асимметричными последствиями. Он утверждает, что хотя точность прогнозирования важна, она должна быть связана с конечным результатом, который заключается в принятии правильного решения в правильное время для каждого отдельного продукта каждый день.

Vermorel утверждает, что введение числовых артефактов, таких как резервные запасы, ABC-классы и уровни обслуживания, может создать искушение создать подгруппу специалистов внутри компании, которые являются экспертами в работе с этими числовыми артефактами. Однако, Vermorel утверждает, что эти артефакты не являются реальными и что создание команды специалистов, которые работают только над улучшением качества прогноза, является корневой причиной проблемы. Он считает, что такая команда работает в своей собственной среде, создавая прогнозы в соответствии со своей собственной целью и метрикой, не учитывая конечные результаты.

По мнению Vermorel, крупные компании сталкиваются с проблемой распределения рабочей нагрузки, и введение числового артефакта не обязательно означает, что должна быть создана команда для его оптимизации. Вместо этого Vermorel утверждает, что менеджеры цепей поставок должны сосредоточиться на конечных результатах и принимать правильные решения в нужное время для каждого отдельного продукта каждый день. Хотя точность прогнозирования важна, она должна быть связана с конечным результатом, и менеджеры цепей поставок должны быть осторожны, чтобы не сосредоточиться исключительно на улучшении точности прогнозирования, не учитывая последствия своих решений.

Они обсудили ограничения использования метрик точности для улучшения производительности цепей поставок. Vermorel считает, что компании слишком сосредоточены на улучшении точности прогнозирования, не учитывая влияние на финансовые показатели. Сравнивая с культами грузов на Тихоокеанских островах во время Второй мировой войны, Vermorel отмечает, что команды прогнозирования оптимизируют метрики, не учитывая глубокое влияние на цепь поставок. Сосредотачиваясь на глубоком влиянии своих методов прогнозирования, Vermorel считает, что Lokad может помочь клиентам достичь более эффективной цепи поставок через ежемесячную подписку, которая приоритезирует положительные результаты.

Vermorel обсуждает, как обратная связь в оптимизации цепей поставок становится более жесткой, что означает, что компания должна быть более отзывчивой к изменениям на рынке. Он также отмечает, что недостаточно оптимизировать согласно заданной метрике, так как это может создавать множество проблем. Вместо этого компании должны найти метрики точности, специфичные для их бизнеса, что может быть сложно из-за множества частных случаев и факторов, уникальных для каждой отрасли.

Vermorel подчеркивает важность поиска ключевых решений в цепи поставок, которые максимизируют прибыль или производительность, а не сосредотачиваться исключительно на улучшении точности прогнозирования. Он утверждает, что компании должны иметь ответственного за принятие решений от начала до конца, и что фрагментация может привести к бессмысленным решениям, которые наносят вред компании. Vermorel предупреждает о опасности введения обманчивых метрик, которые звучат рационально, но на самом деле являются глубоко иррациональными, например, сосредоточение исключительно на выживании одной шахматной фигуры, а не на победе в игре. Он заключает, советуя компаниям иметь монолитный процесс оптимизации, а не раздробленный процесс, который является неправильным по своей природе и контрпродуктивным.

Полный текст

Nicole Zint: В течение десятилетий вся отрасль цепей поставок пытается улучшить точность своего прогноза. У каждой крупной компании даже есть свое собственное подразделение, посвященное только этой проблеме. Но, тем не менее, результаты этого усилия, возможно, противоречивы, показывая, что более точный прогноз не приводит к более эффективным цепям поставок. Может быть, мы смотрим на проблему неправильным образом или, возможно, на неправильную проблему вообще? И что изменится, если мы измерим точность в долларах, а не в процентах? Это тема сегодняшнего эпизода, так что давайте начнем с Йонаса. Что означает, что прогноз более точен?

Joannes Vermorel: Более точный прогноз означает, что согласно определенной метрике прогнозирования у вас есть модель, которая более точна, чем другая. Так что, более конкретно, когда мы говорим, что у нас есть более точный прогноз, это некоторое злоупотребление языком. Фактически, мы говорим, что у нас есть модель прогнозирования, которая более точна, чем другая модель прогнозирования, и согласно чему? Согласно определенной метрике прогнозирования, которая является всего лишь метрикой, всего лишь измерением, которое количественно оценивает ошибку прогнозирования, которая у вас есть на двух моделях прогнозирования. Так что, фактически, точность прогнозирования напрямую зависит от метрики, которую вы используете, абсолютно. И в литературе известно множество метрик прогнозирования. Скорее всего, самые распространенные из них - это среднеквадратичная ошибка, абсолютная ошибка, обобщенный средний абсолютный процент, взвешенное отображение, у вас есть целый мир функций, которые позволяют измерять ошибку прогнозирования. И все эти метрики прогнозирования имеют общую черту: если у вас есть идеальные результаты, они просто говорят вам, что ваша ошибка равна нулю. Так что у нас есть огромный набор различных метрик для использования. Какая из них лучшая? Как вы это узнаете?

Nicole Zint: Что касается цепей поставок, это очень сложный вопрос, потому что реальность заключается в том, что все метрики, которые я перечислил, на самом деле являются математическими объектами. Вы найдете их в учебниках, потому что они дают вам множество, я бы сказал, интересных математических свойств. Но это не означает, что то, что математически интересно, вероятно, будет иметь отношение к предметной области. Вы знаете, у вас есть множество вещей, которые могут быть очень интересными с математической точки зрения, и это не означает, что они будут иметь какое-либо значение с точки зрения цепей поставок. И я считаю, что здесь кроется суть проблемы. Люди ожидают, и это, на мой взгляд, неправильное ожидание, что они могут просто обратиться к математическому учебнику, ознакомиться с десятками метрик и просто выбрать одну и сказать: “эта подходит для первого”. Это просто не работает так. Так что, фактически, если мы рассмотрим проблему максимизации нашей точности в процентах, это может быть весьма вводящим в заблуждение для производительности цепей поставок.

Joannes Vermorel: Да, я имею в виду, наш вывод не заключается в том, что мы должны максимизировать ошибку прогнозирования. Я не обсуждаю это. Вы видите, вывод был более загадочным. Вывод заключался в том, что если вы просто уменьшаете ошибку прогнозирования путем оптимизации математических метрик, это не приводит к дополнительной производительности цепей поставок. Но обратное не так просто. Это не просто потому, что вы увеличиваете ошибку прогнозирования, что вы действительно улучшаете производительность цепей поставок. Вы видите, здесь возникает очень загадочная ситуация, потому что есть этакая ложная двойственность, где вы говорите, ну, это одно или другое. Да, это было бы так, если бы цепи поставок были одномерной проблемой, где если вы, знаете…

Nicole Zint: Таким образом, уменьшите ошибку прогнозирования, улучшите производительность цепей поставок, и если вы просто пойдете в другую сторону, вы ухудшите производительность цепей поставок. Если бы мы жили в одномерном мире, да, это было бы так, но цепи поставок имеют множество измерений, поэтому это совсем не работает. И вот где, я бы сказал, базовая интуиция может очень сильно ошибаться. Так что позвольте мне задать вам вопрос. Вы упомянули производительность цепей поставок. Как вы измеряете производительность цепей поставок?

Joannes Vermorel: Вот в чем и заключается суть проблемы, то есть, эти метрики цепей поставок, людям очень трудно понять, что такое хороший прогноз. Поэтому они выбирают метрику из учебника и говорят: “Вот она”, но очень быстро понимают, что это не так, потому что она была найдена в учебнике, и не потому, что она была в математическом учебнике, она имеет какое-либо отношение к вашей проблеме цепи поставок. И поэтому, если вы хотите что-то получить, вопрос в том, что еще. Вы знаете, это похоже на очень открытый вопрос, и на самом деле, это очень быстрый вопрос, и практика, которую мы разработали, заключается в том, чтобы думать в терминах, по сути, долларовой ошибки. Что вы пытаетесь оптимизировать? Итак, чтобы связать качество и производительность вашего прогноза с производительностью вашей цепи поставок, вам нужно внести дозу экономического фактора, довольно большую дозу, и вот тогда вы начинаете измерять вещи в долларах ошибки. Затем вы можете начать оценивать, действительно ли вы двигаете иглу в том направлении, которое имеет смысл для вашей цепи поставок. Таким образом, на самом деле, чем лучше производительность цепи поставок, тем больше денег генерирует компания, тем больше мы сокращаем затраты в нашей цепи поставок, и, следовательно, увеличивается наш доход. Так что это довольно интересно, потому что это означает, что если мы смотрим на точность прогнозирования в процентах, это не обязательно совпадает с точностью прогнозирования в долларах, что является основой этой проблемы, о которой мы сейчас говорим.

Nicole Zint: Да, и это очень концентрировано. Опять же, я думаю, что это будет спорное утверждение, но уменьшение ошибки прогнозирования, выраженной в процентах ошибки, не улучшает производительность цепи поставок. Иногда это даже может привести к противоположному результату. Так что, если мы рассмотрим пример, скажем, супермаркет. Супермаркет - довольно интересная проблема, потому что человеческое поведение может быть довольно непредсказуемым. Итак, если я управляю супермаркетом и хочу знать, буду ли я продавать сегодня ноль бутылок шампуня или пять, и у меня есть прогноз, и Жоанн, какова разница в точности этого прогноза в моем сценарии прямо сейчас, если я смотрю на это в процентах по сравнению с долларами?

Joannes Vermorel: Итак, давайте сначала проясним одну вещь. Факт наличия мысли о неопределенности или очень малой неопределенности просто определит порядок величины ошибки прогнозирования, которую вы будете наблюдать. Так что это нормально. Видите ли, это полностью зависит от ситуации. Если вы смотрите, скажем, на национальное потребление электроэнергии, вариация от одного дня к другому очень мала. Есть, конечно, дневной паттерн, но в остальном потребление очень стабильно, поэтому вы будете наблюдать очень маленькие вариации. И если вы смотрите на что-то, что является крайне детализированным, например, на бутылки шампуня в одном супермаркете, вы будете наблюдать гораздо большую вариацию в процентах. Это

Nicole Zint: Давайте рассмотрим этот конкретный пример супермаркета. Это анекдот, который я уже рассказывала в другой серии. Годы назад мы провели сравнительный анализ прогнозирования в этой ситуации, и что мы поняли, так это то, что подавляющее большинство товаров, когда вы работаете на уровне магазина, имеют средний спрос, гораздо ниже единицы. Вы знаете, вы продаете одну, вам нужно в неделю в среднем на один товар, или иногда даже меньше. Вероятнее всего, продать ноль, чем одну единицу этого товара. Абсолютно, так что наиболее вероятным результатом для подавляющего большинства товаров в любой день является продажа нуля. Как прогноз, который стремится максимизировать точность в процентах?

Joannes Vermorel: Если вы возьмете метрику, скажем, абсолютное значение вашего прогноза минус реальность, а затем разделите на годовые продажи или что-то в этом роде и нормализуйте это. То, что вы получите, это метрика, которую, если вы попытаетесь оптимизировать с помощью этой метрики, то есть, если вы попытаетесь найти модель прогнозирования, которая даст вам лучшие результаты согласно этой метрике, вы получите модель, которая просто прогнозирует ноль каждый день. И почему? Потому что ноль продаж - это самый вероятный исход в любой день. Модель, которая будет наиболее точной согласно этой очень простой и прямолинейной метрике, которую я вам дал, хотя это абсолютное значение реальности минус прогноз, если вы просто оптимизируете это, у вас будет прогноз, который будет равен нулю. И еще более странно и еще более вредно для цепочки поставок, это то, что если у вас есть модель, которая прогнозирует ноль, то вы будете заказывать ноль, и очень быстро ваш магазин не будет иметь ничего на полке, и, таким образом, очень быстро ваш прогноз будет на 100% точным, потому что вы прогнозируете ноль, вы продаете ноль. Все хорошо, кроме того, что это катастрофа для компании.

Nicole Zint: Да, это довольно интересно. Даже когда мы получаем 100% точность наших прогнозов, мы получаем ноль дохода. И еще хуже, чем это, у нас все еще нет дохода, но у нас есть все расходы. Мы все еще ведем магазин. Мы должны платить за людей, платить за здание, все. Так что, видите ли, это еще хуже. И потом мы теряем клиентов, потому что они не находят то, что ищут, и не возвращаются.

Joannes Vermorel: Именно. И здесь мы видим, что это своего рода абсурдность. Это не так очевидно, когда мы смотрим на более агрегированные временные ряды, но проблема здесь в этом примере гипермаркета точно такая же. В основе проблемы здесь в этом примере гипермаркета лежат массовые асимметрии. Стоимость недостачи одной единицы абсолютно не сравнима со стоимостью наличия одной единицы, которая не продается в течение одного дополнительного дня. Это очень, очень асимметрично. И вот, видите ли, проблема с метрикой точности прогнозирования, которую я только что изложил, абсолютное значение прогноза минус реальность, заключается в том, что она полностью симметрична. Таким образом, она ставит практически одинаковый вес на перепрогнозирование и наличие излишков. И здесь мы видим, что это очень простая проблема, где у нас есть массовая асимметрия, и метрика прогнозирования даже не учитывает это. И почему бы это не было с математической точки зрения или метрик, которые вы рассматриваете, обычно симметричны? Это с математической точки зрения. Зачем вам нужна сильно асимметричная метрика? Это обычно не имеет значения…

Nicole Zint: Итак, я хочу немного поговорить о точности прогнозирования и ее роли в оптимизации цепи поставок. С математической точки зрения это очень интересно, и это только верхушка айсберга. Мы только рассматриваем одну маленькую проблему, но эта маленькая проблема уже достаточно большая, чтобы полностью уничтожить все предполагаемые преимущества, которые могли бы получиться от процесса, который бы оптимизировал прогнозы согласно симметричной метрике. Так что, мне кажется, что мы, возможно, смотрим на эту проблему неправильно, и, возможно, даже смотрим на неправильную проблему вообще. Мы так сосредоточены на том, чтобы угадать, каким будет спрос, что мы не думаем о стоимости излишков или недостачи. И мы отводим внимание от реальной прибыли, которую мы можем получить, и смотрим только на угадывание точного спроса.

Joannes Vermorel: Да, я имею в виду, что прогноз - это всего лишь мнение. В идеале, это образованное мнение о будущем, которое в какой-то степени верно. Однако, в конечном счете, прогноз - это всего лишь образованное мнение о будущем. Он ничего не делает для вашей поставочной цепи. Единственное, что делает что-то для вашей поставочной цепи, - это то, что вы фактически делаете. Решения, которые вы принимаете, стоит ли добавить одну дополнительную единицу в этот гипермаркет или нет, для любого данного продукта в любой день, - это решения. Таким образом, вопрос заключается в том, как улучшение вашей модели прогнозирования способствует достижению вашей конечной цели, которая заключается в принятии правильного решения в нужное время для каждого отдельного продукта каждый день. Вот что отсутствует, и это обычно полностью отсутствует в этих метриках точности. И вот почему, когда я вижу обсуждения в сообществах поставочной цепи, где люди говорят: “Знаете что? Есть 20 разных метрик, которые мы можем использовать для поставочной цепи. В этой ситуации вы можете использовать это. В этой ситуации вы можете использовать то”, и так далее, обычно все эти обсуждения полностью упускают суть. Они даже не начинают связывать эти прогнозы, которые, как я уже сказал, являются всего лишь мнением, с результатами конечной игры, которые являются решениями, принимаемыми на основе этих прогнозов. Таким образом, мы отводим свое внимание от последствий каждого из этих решений.

Nicole Zint: Абсолютно. Но у этих крупных компаний все равно есть отделы, посвященные улучшению точности этих прогнозов. Должен ли такой отдел существовать вообще?

Joannes Vermorel: Это тема, которую мы кратко затронули в одной из предыдущих серий цепочки, которая была посвящена силосам и подразделениям внутри крупных компаний. Видите ли, проблема заключается в том, что когда вы начинаете вводить числовые артефакты, и числовые артефакты могут быть любыми, это могут быть классы ABC, это могут быть запасы безопасности, это могут быть прогнозы, я снова говорю, все это числовые артефакты. Нет такой вещи, как запас безопасности на вашем складе. У вас нет двух запасов, рабочего запаса и запаса безопасности. Теперь есть только один запас. То, что у вас есть, и когда вы вводите эти числовые артефакты, появляется искушение создать подгруппу специалистов внутри компании, которые будут экспертами в работе с этим числовым артефактом. Проблема в том, что это не реально. Просто потому, что вы это делаете, или половина отрасли это делает, вы можете быть введены в заблуждение и подумать, что это как-то реально, но это не так, буквально. И есть масса вещей, которые просто не являются реальными. Запасы безопасности не являются реальными, уровни обслуживания не являются реальными, прогнозы, какими бы они ни были

Nicole Zint: Итак, Джоаннес, когда мы говорим о числовых артефактах, что именно мы имеем в виду?

Joannes Vermorel: Ну, они не реальны; это числовые артефакты, которые вы создаете для достижения определенного типа операции и принятия определенного типа решений. Итак, если мы вернемся к этим крупным компаниям, они всегда борются с тем, как распределить рабочую нагрузку. Просто потому, что вы ввели числовой артефакт, не означает, что вы должны вводить команду. Это, напротив, является одной из основных причин тех, я бы сказал, зловещих явлений, которые действительно подрывают производительность поставочной цепи в первую очередь.

Nicole Zint: И почему так происходит?

Joannes Vermorel: Ну, если вы начинаете создавать команду специалистов, которые будут работать только над улучшением качества прогноза, что произойдет? Реальность в том, что они выберут метрику. Почему? Потому что, если у них нет метрики, они не смогут работать. Итак, они выберут метрику. Нам нужно что-то измерять, да. И потому что у них есть метрика, это выглядит очень рационально, вы знаете. Да, мы оптимизируем прогноз, абсолютное значение прогноза минус реальность. Очевидно, если бы мы могли создать абсолютно точный прогноз, наша ошибка прогноза была бы нулевой. И так, все соглашаются. Да, звучит разумно, звучит рационально. Однако, как мы видели на примере гипермаркета, это совершенно не реально и не рационально. Вы можете делать с этим совершенно безумные вещи. Тем не менее, если вы крупная компания, вы, возможно, не поймете этого. Дьявол кроется в деталях, и, вероятно, люди даже не поймут, что это совершенно бессмысленно и абсолютно нелепо. Тем не менее, у вас есть команда, и затем команда, которая отвечает за прогнозирование, работает в своей собственной пузырьковой среде, вы знаете. Таким образом, они не принимают реальные решения, которые приводят их к успеху; они только производят прогнозы.

Nicole Zint: И почему это проблема?

Joannes Vermorel: Согласно их цели и метрике, они улучшаются. Они будут создавать серию моделей, и со временем они станут лучше в этом. Они учтут сезонность; они учтут религиозные праздники. Они учтут множество факторов, и они станут лучше. И таким образом, согласно метрике, прогноз станет лучше. И, возможно, они привлекут лучшее программное обеспечение, все возможные вещи со временем. Это станет лучше согласно метрике, которая не совпадает с интересами компании, выраженными в долларах. Таким образом, производительность цепи поставок не улучшается с улучшенным прогнозом. Да, и снова люди скажут: “Но почему? У нас лучшие прогнозы, почему же это должно улучшиться?” Эти люди ничего не делают, чтобы действительно улучшиться согласно долларовой ошибке, которую они стремятся достичь в метриках точности. Вы видите, в этом и заключается хитрость. Не потому, что вы делаете что-то, что похоже на что-то другое, вы получите результат, который вы получили бы, если бы делали что-то другое. Вы знаете, это буквально, была очень, я немного отклоняюсь, но есть анекдот о культе груза, и они могут найти его в Википедии, вы знаете, что это было во время Второй мировой войны, когда над островами в Тихом океане летали американские самолеты и сбрасывали грузы - еду, боеприпасы, различные товары - чтобы солдаты, которые только что прибыли на острова, уже имели

Nicole Zint: Когда люди действительно поняли, что они стали свидетелями рождения новых религий, где люди пытались вызвать появление самолета, который доставит больше груза. Как видите, это происходит, когда вы просто пытаетесь поверхностно имитировать то, что было полезно для вас, потому что это произошло в прошлом, но нет основы, и это те культы груза, которые возникли, пытаясь буквально восстановить доставку груза на острове, просто воспроизводя какие-то вещи, которые случались. Я считаю, что это происходит с большинством команд прогнозирования, которые пытаются создать лучшую производительность цепи поставок, просто оптимизируя эти метрики. Знаете, у этого есть своя логика, но если вы смотрите на картину в целом, это абсолютно нерационально. Это просто внешний вид рациональности, и вы просто принимаете формы, поэтому у вас есть цифры, у вас есть умные люди, у вас есть процессы, но это не значит, что все это имеет какой-либо смысл. Итак, мне нужно спросить, Джоаннес, изначально мы начали с составления прогнозов и сосредоточились на том, чтобы делать прогноз все более точным, и как Джоаннес пришел к пониманию того, что это на самом деле не приводит к лучшей производительности цепи поставок для наших клиентов?

Joannes Vermorel: Потому что это не работало, просто и ясно. Итак, как вы поняли, что мы смотрим на неправильную проблему? Я имею в виду, я понял, сначала, как я понял, что это не работает? Потому что это сложный вопрос, потому что на самом деле, даже когда это не работало, Lokad неплохо привлекал клиентов, рос и был прибыльным, в какой-то мере, знаете, неплохо. Итак, если вы растете, если вы прибыльны и вы являетесь компанией по разработке программного обеспечения, звучит хорошо, звучит хорошо, да, да. Но это не работало для клиентов, знаете? И когда я отступал назад и думал, я задавал себе вопрос, “Действительно ли я сделал ситуацию лучше для клиентов?” Знаете, если я отступлю назад, забуду о метриках, знаете, забуду о метриках, просто попытаюсь иметь, как бы, интуитивное восприятие ситуации, действительно ли она улучшается? И я начал понимать, что нет, знаете, нет. И это было, но согласно всем метрикам, это было. Но если я выйду из матрицы на секунду, если я попытаюсь холодно оценить, действительно ли то, что мы делаем, действительно вносит положительные изменения, знаете, в глубинном смысле, что-то, что бы, и это не было так. Но люди скажут: “О, но согласно всем метрикам, у нас все хорошо, поэтому мы достигаем метрик”. Но проблема в том, что если вы выбираете метрику и оптимизируете ее, то, да, вы будете лучше согласно этой метрике. Это действительно то, что сделает для вас математическая оптимизация и машинное обучение. Вы выбираете метрику и запускаете численную оптимизацию, и вы получите что-то лучшее согласно этой метрике. Итак, видите ли, это было немного тавтологической природы. Мы выбираем метрику, мы делаем лучше согласно этой метрике, что вы ожидали, знаете? Если только алгоритмы не сделаны правильно с ошибками, мы должны делать именно это. Но это не означает, что на глубинном уровне мы

Nicole Zint: Можете объяснить, почему вы верите в раннюю отмену планов?

Joannes Vermorel: Ранняя отмена, потому что вы видите, что большинство наших конкурентов идут по многолетним планам. Они никогда не понимают, что что-то не так, потому что, по сути, они проходят через ERP, они продают свои товары, затем они начинают пятилетнее путешествие. Работает это или нет, клиент уже вложил так много усилий, что не может измениться, поэтому он застрял. Знаете, это такая психологическая ловушка, просто придерживаться этого, так как вы уже вложили так много. Вы наслаждаетесь, что так сильно пропустили это и, таким образом, через пять лет вы истощены внедрением сверхсложного решения, поэтому вы не меняетесь, вы не хотите меняться сразу же. И когда вы, наконец, решаете, что хотите измениться, знаете, в 8 или 10 лет, тогда вы проходите через еще один RFP. Итак, если вы теряете клиента на этом этапе, вы просто говорите: “Ну, это не значит, что мы делали что-то неправильно с прогнозом, просто технология, знаете, развилась, некоторые из наших конкурентов опередили нас по этому конкретному клиенту, и поэтому мы не выиграли клиента снова на втором RFP”. Но вы не естественно делаете связь, что связь очень слабая в том, делаете ли вы что-то хорошее и делает ли ваш прогноз действительно что-то ценное для клиента. Если вы покупаете месяц, вдруг вы знаете, когда директор по цепочке поставок понимает, что у него или у нее возникает такое же интуитивное ощущение, что это просто не приносит ценности на стол, несмотря на то, что говорят KPI, тогда вы уходите. Итак, обратная связь гораздо, я бы сказал, гораздо более тесная.

Nicole Zint: Можете рассказать мне, как продукт развивался до того, как он есть сейчас, по сравнению с просто прогнозом?

Joannes Vermorel: Мы поняли, что в терминах точности прогнозирования проблема не в оптимизации согласно заданной точности прогнозирования, по заданной метрике. Вы выберете одну, у нее будет множество проблем. Это не проблема. И если ваш инструментарий правильный, вы выбираете одну метрику и оптимизируете ее, и все. Это очень просто. Я имею в виду, что это можно сделать еще проще, но это очень просто. Мы оптимизируем прямо сейчас? Настройка? Вот в чем вопрос. Инструмент оптимизирован по метрике, но дело в том, что инструмент, который мы разработали, это то, что требуется для обнаружения метрик точности, которые вам нужны для вашей компании. Вы видите, что это было так, что путешествие началось с идеи, что у нас может быть заранее заданный набор метрик и мы просто оптимизируем их и все будет хорошо. Это не так, и это гораздо хуже, чем я изначально думал. Речь не идет о выявлении лучших метрик. Да, есть некоторые метрики, которые немного лучше. Например, если мы вернемся к ситуации с гипермаркетом, если вы возьмете, скажем, функцию потерь пинбол, это очень асимметричная функция потерь, которую можно сделать произвольно асимметричной. Вы можете получить незначительно лучшие результаты, если перейдете к вероятностному прогнозированию. Вы даже можете использовать свои собственные метрики для вероятностных прогнозов, перекрестную энтропию, непрерывный ранговый показатель вероятности, есть и другие. Так что есть метрики, которые незначительно лучше, но это все. Они просто незначительно лучше. Проблема в том, что когда вы сталкиваетесь с реальной ситуацией,

Nicole Zint: Йоаннес, можешь ли ты рассказать о сдвиге парадигмы в оптимизации цепей поставок, который произошел за последнее десятилетие?

Joannes Vermorel: Да, конечно. Вы видите, это тот вид сдвига парадигмы, который нам пришлось пройти за последнее десятилетие. Инструменты, которыми мы располагаем сегодня, буквально отвечают на вопрос о том, что требуется для того, чтобы специалисты по цепям поставок могли обнаружить. Мы обрабатываем данные и обсуждаем с экспертом по цепям поставок в компании, каким должен быть показатель точности. И вы поймете, что это не имеет того числового изящества, которое имеют математические показатели, потому что существует множество факторов, граничных случаев и вещей, которые очень специфичны для бизнеса, которым вы занимаетесь. Если вы занимаетесь производством товаров роскоши, это совершенно отличается от, скажем, свежей пищи или авиакосмической отрасли. Так что существует множество граничных случаев и ситуаций, которые имеют смысл только потому, что вы рассматриваете очень конкретную компанию. Но тем не менее, эти граничные случаи являются абсолютно критическими, если вы хотите получить результаты и принимать решения, которые не являются полностью безумными. Так что на самом деле мы ищем именно эти решения в цепи поставок. Да, это было бы конечной целью. Это был бы способ измерить, что вы делаете что-то хорошее, и это верно для всех промежуточных числовых артефактов, которые вы производите.

Nicole Zint: Можешь объяснить, что ты имеешь в виду под числовыми артефактами?

Joannes Vermorel: Да, конечно. Прогнозы, которые измеряются собственной метрикой точности прогнозирования, являются только одним типом числовых артефактов. Обычно в процессе есть еще десятки других числовых артефактов. Так что мы перешли от фокусировки на улучшение точности прогнозирования к поиску ключевых решений в цепи поставок, которые максимизируют прибыль или максимальную производительность цепи поставок, что является довольно интересным изменением перспективы.

Nicole Zint: Итак, каковы ваши рекомендации для компаний, которые хотят оптимизировать свою цепь поставок?

Joannes Vermorel: Мой совет состоит в том, что если нет одного человека, который отвечает за все, начиная от осмысления данных, которые хранятся в ERP, и заканчивая окончательной генерацией производственных заказов, заказов на пополнение запасов, закупок и перемещений товаров, то вы даже не начали оптимизировать свою цепь поставок. Если у вас нет одного процента, который отвечает за всю эту цепь от начала до конца, то все усилия, которые вы приложили для улучшения прогноза или чего-либо еще, являются всего лишь иллюзией. Если стимулы не согласованы, эти люди будут делать вещи, которые не имеют смысла для компании. Просто представьте себе, что вы играете в шахматы, и я говорю, что вы играете конем, и ваша цель - просто убедиться, что конь выживет до конца игры. Вопрос в том, думаете ли вы, что если вы говорите, что играете конем, а я играю ладьей, и я играю королевой?

Nicole Zint: И ваша цель - выжить. Ваша цель - выжить. Думаете ли вы, что, делая это, мы сможем сыграть в игру, которая имеет хоть какие-то шансы на победу против оппонента?

Joannes Vermorel: Нет, не сможем. Знаете, это вводит в заблуждение. Цель, которую мы пытаемся сказать, да, и люди говорят: “О, в 99% игр, которые мы играли, я играл конем, и конь все еще был на доске к концу игры”. Да, но мы проиграли каждую игру.

Nicole Zint: Это хорошо, но эта игра…

Joannes Vermorel: Проблема в том, что вводящие в заблуждение метрики могут звучать и выглядеть очень рационально, но на самом деле они глубоко иррациональны. И я считаю, что такие практики прогнозирования и отделы прогнозирования, которыми обладают многие крупные компании, являются полностью иррациональными. И я знаю, что это очень сложно, потому что эти отделы полны инженеров, которые хотят делать хорошо. Они не идиоты, и их начальники и люди, находящиеся над ними, тоже не идиоты, и они хотят делать хорошо. Так что это не проблема в том, что нужно уволить людей или что-то в этом роде, нет, нет, это худшая настройка. Это просто производительное противопродуктивное взаимодействие.

Nicole Zint: Точно, это невозможно. Это сломано по своей природе. Оно не достигнет своей цели.

Joannes Vermorel: Итак, мой совет будет таким: убедитесь, что у вас есть один человек. У этого человека может быть столько же коллег, сколько вам нужно, чтобы связать ряды, которые они представляют, с конечным решением, и это должно быть, знаете ли, монолитное оптимизирование. Вы не должны разбивать этот процесс на части.

Nicole Zint: Джоаннес, большое спасибо за сегодняшнюю тему. Действительно, очень задумчиво. Спасибо за внимание, и до встречи в следующий раз.

Joannes Vermorel: Спасибо.