ISF2024 Panel: Планирование спроса и роль человеческого суждения в мире искусственного интеллекта

00:00:00 Вступительное слово Роберта Филдса
00:01:08 Конор Доэрти представляет панель и тему
00:03:11 Взгляд Николаса Вандепута
00:06:16 Презентация Свена Кроуна
00:10:34 Взгляд Алексея Тихонова
00:15:01 Необходимость автоматизации в принятии решений
00:20:13 Обмен информацией между людьми - пустая трата времени
00:25:29 Взгляд на человеческое вмешательство
00:30:23 Оценка прогноза
00:35:18 Финансовая перспектива и принятие решений
00:40:14 Стоимость ошибок прогнозирования
00:45:43 Автоматизация и доверие
00:50:27 Расширенный искусственный интеллект и его применение
00:55:03 Влияние искусственного интеллекта на переводчиков
01:00:16 Важность четкого видения в реализации искусственного интеллекта
01:06:00 Заключительные мысли и будущее планировщиков спроса
01:11:50 Вопрос аудитории: прогнозирование для больниц
01:15:38 Вопрос аудитории: снижение модельного и человеческого предубеждения

История панели

Панель была предложена Робертом Филдсом (профессором-эмеритом Ланкастерского университета) в ответ на статью Конора, в которой он критикует FVA. Эта статья была перепечатана во втором квартальном выпуске 2024 года журнала Foresight (издается Международным институтом прогнозирования, той же организацией, которая проводит симпозиум). В состав панели впоследствии были включены Свен Кроун, Николас Вандепут и Алексей Тихонов, чтобы представить более сбалансированный набор точек зрения как из академической среды, так и из индустрии.

Резюме панельной дискуссии

Снято в июле 2024 года на 44-м Международном симпозиуме по прогнозированию в Дижоне, панель из четырех докладчиков обсудила “Планирование спроса и роль суждения в новом мире искусственного интеллекта/машинного обучения”. Под руководством руководителя по коммуникации Lokad Конора Доэрти в панели приняли участие Алексей Тихонов (Lokad), Свен Кроун (Ланкастерский университет и iqast) и Николас Вандепут (SupChains). Обсуждение касалось интеграции искусственного интеллекта в планирование спроса, ценности прогнозирования в принятии решений и будущего планировщиков спроса. Участники панели поделились разными точками зрения на роль человеческого суждения в планировании спроса, потенциал искусственного интеллекта заменить планировщиков спроса и важность точности прогнозирования.

Расширенное резюме

44-й Международный симпозиум по прогнозированию, который проходил в Дижоне, Франция, под эгидой Международного института прогнозирования, включал панельную дискуссию на тему “Планирование спроса и роль суждения в новом мире искусственного интеллекта и машинного обучения”. Дискуссию модерировал Конор Доэрти из компании Lokad, а участниками панели были Алексей Тихонов из компании Lokad, Свен Кроне из iqast и Николя Вандепут из SupChains. Сессию открыл профессор Роберт Филдс, профессор эмеритус Ланкастерского университета.

Дискуссия началась с выступления Николя Вандепута, в котором он изложил свое видение планирования спроса в эпоху машинного обучения. Он предложил четырехэтапный процесс, который включает рассмотрение прогнозирования спроса как информационной игры, создание автоматизированного движка прогнозирования спроса на основе машинного обучения, возможность для человеческих планировщиков спроса обогатить прогноз информацией, не учтенной в модели, и отслеживание добавленной стоимости каждого участника процесса.

Свен Кроне поделился своим опытом в области искусственного интеллекта и прогнозирования, отметив медленное внедрение искусственного интеллекта в планирование спроса. Он обсудил сложности интеграции искусственного интеллекта в процессы планирования спроса и предположил, что в будущем искусственный интеллект может заменить планировщиков спроса. Однако он также подчеркнул, что прогнозирование имеет различную специфику в разных отраслях.

Алексей Тихонов утверждал, что планирование спроса является устаревшим подходом и что суждения в прогнозировании являются неэффективными. Он выступал за вероятностное прогнозирование, которое улавливает структурные риски, и критиковал планирование спроса за его отсутствие экономической перспективы и автоматизации. Он также выступал за полную автоматизацию процесса принятия решений в цепях поставок, указывая на сложность и масштаб принимаемых решений в цепях поставок, требующих этого.

Участники панели также обсудили ценность прогнозирования в принятии решений. Николя Вандепут подчеркнул, что прогнозы делаются для облегчения принятия решений и выступил за модели, способные обрабатывать максимальное количество информации. Он также предложил, что при оценке прогноза он бы сосредоточился на точности прогнозирования, а не на бизнес-результате, поскольку последний может быть подвержен влиянию множества других факторов, не зависящих от прогнозиста.

Свен Кроне обсудил промышленную перспективу планирования спроса, подчеркнув важность долгосрочных стратегических решений и планирования на основе сценариев. Он также отметил сложности измерения добавленной стоимости и важность суждения в процессе.

Алексей Тихонов подверг сомнению ценность более точного прогноза, если он не приводит к принятию другого решения. Он утверждал, что ценность решения не зависит только от прогноза, но также от других факторов, таких как факторы, влияющие на принятие решения.

Участники панели также обсудили доверие к прогнозам, и Николя Вандепут предложил, что единственный способ построить доверие к прогнозу, будь то созданный человеком или машиной, - это отслеживать точность каждого шага в процессе. Свен Кроне согласился, что доверие важно, и предложил использовать комбинацию искусственного интеллекта и простых, прозрачных методов для автоматизации частей процесса.

Участники панели также обсудили будущее планировщиков спроса. Свен Кроне считает, что планировщики спроса по-прежнему будут играть роль в будущем, но они столкнутся с растущими вызовами из-за увеличивающейся частоты принятия решений и растущего объема доступных данных. Николя Вандепут видит эволюцию роли планировщиков спроса в направлении сбора, структурирования и очистки данных и информации. Алексей Тихонов считает, что планировщики спроса не смогут конкурировать с системами искусственного интеллекта в долгосрочной перспективе.

Панель завершилась сессией вопросов и ответов, где участники панели отвечали на вопросы аудитории по таким темам, как условия или требования для создания автоматических решений в планировании спроса, роль суждения в планировании спроса и как включить предвзятость суждения человека в статистическую предвзятость для снижения общей предвзятости.

Полный текст

Роберт Филдс: Я Роберт Филдс и я представляю эти две сессии. По логистическим причинам они были поменяны местами, и мы собираемся в течение следующего часа обсудить изменяющуюся роль планировщиков спроса и то, как их роль может быть значительно изменена развитием искусственного интеллекта и машинного обучения. Панель скоро выскажет свои мудрые слова. Сессия Пола Гудвина и меня, где мы говорим о множестве эмпирических доказательств роли суждения, перенесена на этот вечер в 15:10. Она все равно есть в программе. Да, суждение, мы будем говорить об этом, но не в этой комнате, в другой комнате. Так что я с нетерпением жду встречи с вами тогда и с нетерпением жду стимулирующего и, желательно, контроверзного обсуждения и передаю слово председателю, Конору.

Конор Доэрти: Ну, большое спасибо, Роберт. Привет всем, я Конор, руководитель коммуникаций в Lokad, и я очень рад приветствовать на сцене выдающуюся панель из академического и промышленного секторов. Сразу слева от меня Алексей Тихонов, бизнес-разработчик и продуктовый менеджер в Lokad. Слева от него доктор Свен Кроне из Ланкастерского университета, генеральный директор и основатель iqast, и, но не в последнюю очередь, Николас Вандепут из SubChains. Теперь, как вы можете видеть на экране, тема сегодняшнего обсуждения - планирование спроса и роль суждения в новом мире искусственного интеллекта и машинного обучения.

Я уверен, что, учитывая участников на сцене, это будет оживленный обмен идеями, и я думаю, что любые достижения в технологии обычно вызывают вопросы о том, как эти достижения повлияют на участие человека. Так что с нетерпением жду обсуждения наших трех участников панели. Теперь, прежде чем начать, время сегодняшнего дня - это довольно скудный ресурс, поэтому немного административных моментов. Каждому участнику панели будет предоставлено 5 минут для представления своей точки зрения по теме. Сначала выступит Николас, затем Свен, и, наконец, Алекс.

После этого я задам несколько вопросов, направленных на выяснение некоторых деталей и последствий их точек зрения, и, если все будет хорошо, и мы все еще будем на хороших отношениях, то, надеюсь, появятся вопросы из аудитории. Что я хочу сказать, пожалуйста, если возможно, у вас есть какие-то идеи, прежде чем микрофон будет передан, а не монолог, за которым следует вопросительный знак. Но с этим я передаю слово сначала Николасу, пожалуйста, ваша точка зрения по теме.

Николас Вандепут: Спасибо, Конор. Привет всем. Отлично, у меня есть слайды. Позвольте представить вам свое видение превосходства планирования спроса в эпоху машинного обучения и то, как вы можете интегрировать машинное обучение вместе с обогащением человека для прогнозирования спроса в цепи поставок. Итак, на слайде четыре шага. Позвольте мне объяснить это.

Главное для меня - видеть прогнозирование спроса как информационную игру. То есть, в основном, вы хотите собрать как можно больше данных, информации, идей, как бы вы их называли, о будущем спросе. Это может быть ваш календарь акций, сколько рекламы вы собираетесь сделать, данные о продажах, запасы, находящиеся у ваших клиентов, заказы, которые вы уже получили от клиентов заранее, все это. И это может отличаться для разных отраслей, это нормально, но в основном мой посыл состоит в том, что первый шаг - найти информацию о том, что нас ожидает. Вы журналист, репортер, детектив, идите и найдите эту информацию.

Теперь, когда у нас есть вся эта информация, данные, которые можно структурировать, должны быть поданы на вход машинному обучению, и вы хотите создать автоматизированный и надежный движок прогнозирования спроса с использованием машинного обучения. Под автоматизированным я имею в виду, что это инструмент, движок, который не требует каких-либо ручных изменений, проверки или настройки со стороны человека. Это делается, возможно, командой по науке о данных или делается автоматически, поэтому он полностью автоматизирован. Надежность означает, что ваш движок машинного обучения должен реагировать на большинство ваших бизнес-факторов, а именно продвижение, цены, дефициты, возможно, рекламу, возможно, погоду, праздники и так далее. Таким образом, он надежен для большинства бизнес-факторов и полностью автоматизирован, вам не нужно его трогать или проверять.

Когда у вас есть это, люди, такие как планировщики спроса, все равно могут обогатить прогноз на основе информации, которая не включена в эту модель. Допустим, они звонят вашему клиенту, и клиент говорит: “Ну, это действительно тяжелое время, я не буду заказывать в этом месяце”. Клиент не будет звонить модели машинного обучения, модель машинного обучения об этом не знает. Знает планировщик. Планировщик должен просмотреть прогноз и отредактировать его, потому что он знает то, чего модель не знает.

Финальный шаг - добавленная стоимость прогноза. Это абсолютно критический шаг. Я бы даже начал с него. Это означает, что нам нужно отслеживать добавленную стоимость каждого участника процесса. Мы должны отслеживать точность прогнозирования до и после обогащения, чтобы убедиться, что с течением времени обогащение приносит пользу. Конечно, каждый может быть везучим или неудачливым в определенные моменты, это нормально. Не каждое обогащение будет приносить пользу, но то, что мы хотим доказать и показать со временем, это то, что в среднем эти обогащения приносят пользу. Так что это стоит нашего времени. Вот мое видение в четырех шагах о том, как интегрировать машинное обучение и планировщиков спроса.

Conor Doherty: Ну, большое спасибо, Николас. Теперь я передаю слово Свену.

Sven Crone: Спасибо. Да, спасибо. Я Свен Кроне из Ланкастерского университета, доцент там, который уже почти два десятилетия занимается исследованиями в области искусственного интеллекта и прогнозирования. Так что я абсолютно предвзят в пользу искусственного интеллекта, я должен сказать это сразу. Мы пытались заставить искусственный интеллект работать в области прогнозирования много, много лет. Так что вы должны знать об этой фундаментальной предвзятости. В то же время мы создали небольшую компанию, где мы пытались помочь крупным международным компаниям использовать новые технологии, и, оглядываясь на эти десятилетия, это крайне сложно. Я думаю, что нам нужно обсудить сегодня, надеюсь, на панели, некоторые сложности.

Несмотря на то, что видение существует уже много лет, мы можем заменить статистику искусственным интеллектом, мы можем заменить это статистикой. На самом деле, мы не были особенно трансформационными, когда речь идет о процессах планирования спроса, я думаю. Вот моя фундаментальная предвзятость. Когда мы смотрим на это, некоторый опыт, который я могу поделиться, заключается в том, что мы обучили множество планировщиков спроса понимать некоторые алгоритмы экспоненциального сглаживания и алгоритмы ARIMA, которые существуют. Я могу сказать вам, что это не приятное занятие. Они медленно принимают некоторые из них. Это приятное занятие с спросом, но очень сложно заставить их принять некоторые более простые технологии. Так что я думаю, что мы позже поговорим немного о том, что произойдет, если эта технология станет еще более продвинутой и людям придется взаимодействовать с ней.

Но на текущий момент, примерно 10 лет назад, использование искусственного интеллекта было очень ограниченным, хотя нейронные сети существуют уже около 60 лет, начиная с некоторых ранних инноваций, особенно в 1980-х годах. Однако принятие этой технологии происходило сравнительно медленно. В последние два-три года мы регулярно проводим опросы на конференциях для практикующих. Мы только что выступали на конференции для практикующих, ASM, вместе в Брюсселе, и провели опрос среди аудитории. Мы спросили, сколько людей уже работают с концепцией искусственного интеллекта и машинного обучения, и примерно 50% аудитории были в этом. Так что это уже не 5-10% 10 лет назад. Теперь 50% занимаются концепцией. Они еще не в производстве, но уже несколько компаний уже внедрили это. Так что в аудитории нет страхов, и есть несколько других интересных кейсов. Но также замечательно, что столько же проектов, которые успешны, проваливаются.

Так что в аудитории было много проектов по искусственному интеллекту, которые не удалось реализовать, и я думаю, что именно в этом пересечении внедрения технологии в процесс планирования спроса, который является гораздо большим, чем просто шаг прогнозирования. Если мы говорим об индустрии, мы должны рассмотреть управление мастер-данными, очистку данных, приоритизацию, метрики ошибок, запуск статистической модели, а затем, возможно, анализ ошибок, выявление предупреждений и внесение корректировок. И, кстати, даже если у вас есть полностью разработанный статистический базовый прогноз, которого до сих пор большинство компаний не имеют, Gartner представляет красивую модель зрелости различных стадий зрелости S&OP.

Очень мало компаний находятся на уровне четырех, большинство из них находятся между первым, вторым и третьим. Даже если у вас есть статистический процесс, как очистить историю временных рядов, делать это автоматически или вручную - это субъективное решение. Выбор алгоритма - это решение. Выбор метапараметров для поиска - это субъективное решение. Так что здесь много субъективности, но я думаю, что традиционно мы думаем о субъективном окончательном корректировании статистического базового прогноза, которое понимается или не понимается. И, возможно, чтобы заглянуть в будущее, я не видел множество движений или инноваций, когда речь идет о инновации процесса S&OP, так как он был разработан O.W., и я вижу, что руководители серьезно недовольны отсутствием прогресса, воспринимаемым отсутствием прогресса, хотя часто есть прогресс в разработке процессов.

Но я думаю, что был глава Unilever, который сказал, что нам нужно избавиться от планирования спроса, оно не работает во время COVID. У специалистов по планированию спроса впереди настоящие вызовы, и если они не используют искусственный интеллект, то могут потерять свои работы. Я действительно считаю, что есть реалистический сценарий, что искусственный интеллект, как вы сказали, если вы сможете сделать все это, сможет заменить специалистов по планированию спроса даже на этапе субъективной корректировки. Но мы еще не на этом уровне. Так что я с нетерпением жду ваших мнений.

Conor Doherty: Хорошо, спасибо, Свен. Алексей, ваше мнение, пожалуйста.

Alexey Tikhonov: Спасибо. Мое предложение будет радикально отличаться. Я думаю, что сначала нам нужно расширить область, потому что планирование спроса существует в цепи поставок, и цель цепи поставок - принимать решения в условиях неопределенности, принимать прибыльные решения в условиях наличия ограничений. Что касается этой цели, я считаю, что планирование спроса - это устаревший подход, и субъективные прогнозные вмешательства являются расточительными, даже если они помогают немного улучшить точность прогнозирования. Почему так?

Планирование спроса - это устаревший подход, потому что он предполагает, что нам нужно разделять прогнозирование и принятие решений. Это разделение неизбежно приводит к выбору простых инструментов, потому что мы вводим интерфейс человек-человек. Мы должны передавать информацию очень простым образом, и мы выбираем точечные прогнозы, потому что каждый может понять точечные прогнозы. Вычисление метрик точности прогнозирования простое, поэтому мы можем спорить об этих точках, мы можем их корректировать вверх или вниз. Но, к сожалению, этот выбор инструментов мешает нам принимать прибыльные решения.

Для принятия прибыльного решения нам необходимо оценить финансовые риски и финансовые доходы. Мы можем сделать это только в том случае, если мы улавливаем структурный образец риска. Насколько мне известно, есть только один инструмент, который делает это. Он называется вероятностным прогнозированием, где вместо одноточечных прогнозов вы формируете обоснованное мнение о том, как будут выглядеть все возможные будущие сценарии, каковы вероятности для разных будущих сценариев.

Я не говорю только о спросе. Есть и другие неопределенности, например, могут быть неопределенности срока поставки, которые вам нужно учесть. Это особенно актуально, если вы имеете дело с товарами, доставляемыми из-за рубежа. Затем у вас может быть неопределенность урожайности, если вы занимаетесь производством пищевых продуктов. У вас может быть неопределенность возврата, если вы занимаетесь электронной коммерцией. Таким образом, существует несколько источников неопределенности, и вам нужны специальные инструменты, называемые вероятностным моделированием, чтобы объединить все эти неопределенности и иметь возможность принимать решения на более поздних этапах.

Планирование спроса предлагает нам только одну версию будущего, которая является одноточечным прогнозом, наиболее вероятным сценарием. Но нас интересуют хвосты этого распределения, потому что риски сосредоточены на двух крайностях. Тогда, с точки зрения планирования спроса, мы неизбежно ограничены рассмотрением только одного варианта решения. У вас есть одноточечный прогноз, вы применяете либо формулу резервного запаса, либо простую политику управления запасами, вы принимаете решение. Но будет ли это решение прибыльным? Что, если я его изменю в большую или меньшую сторону? Как изменится моя ожидаемая прибыльность? Я не могу сделать этого, потому что мои прогнозы - это одноточечные прогнозы. Я не указываю никаких вероятностей для этих сценариев.

Третья проблема планирования спроса заключается в том, что экономическая перспектива полностью отсутствует. Мы говорим о точности прогнозирования в процентах или, если мы используем различные метрики, связанные с точностью в единицах, мы упускаем финансовую перспективу. Поэтому нам необходимо оценить ожидаемые затраты, ожидаемые вознаграждения, а также оценить вторичные факторы, такие как сравнение решений по запасам для разных продуктов. Каждый розничный продавец знает, например, что наличие подгузников на складе намного важнее, чем наличие премиального шоколада, потому что если у вас нет первого продукта, то ваши клиенты будут разочарованы, вы потеряете лояльность клиентов.

Планирование спроса мешает нам осуществить обширную автоматизацию. Что мы собираемся автоматизировать? Мы собираемся автоматизировать производство конечных решений, а не только прогнозирование. Нам нужно автоматизировать всю цепочку поставок. Нам нужно преобразовать наши исходные транзакционные данные в действенные решения, которые уже учитывают все ограничения принятия решений, такие как минимальные партии заказа (MOQ) и другие факторы принятия решений, такие как снижение цены.

И, наконец, должна быть ответственность. В настоящее время нет ответственности за конечные решения, потому что у нас есть этот процесс перехода от прогноза к другой команде, а затем они принимают решение, и затем начинается игра в виноватых. “О, мы приняли это решение, потому что ваш прогноз был неточным или было некоторое субъективное увеличение прогноза, и это привело нас к неправильному решению.”

Итак, чтобы подытожить, перспектива планирования спроса устарела, и у нас есть нечто лучшее. Спасибо.

Конор Доэрти: Хорошо, сегодня мы согласимся не со всем. Могу ли я просто ответить на это, потому что я полностью согласен с вами в некоторых аспектах. Я думаю, вы упомянули одноточечный прогноз по сравнению с интервальным или вероятностным прогнозированием, согласен, верно. Но существует много программных пакетов, которые делают это уже много лет, но практики игнорируют это. Но я думаю, что мы все понимаем ценность коммуникации не только значения спроса, но и связанного с ним риска.

SAS давно занимается этим, Forecast Pro делает это, и даже Forecast X делает это, но это широко игнорируется. Так почему это игнорируется? Может быть, мы должны поговорить о том, почему планировщики спроса не понимают интервальные прогнозы. Это было бы интересно. Другое, что вы упомянули, и что, я думаю, тоже является хорошим аргументом, - это то, что часто существует разрыв между планированием спроса и планированием запасов, планированием сети поставок, планированием производства, что было бы полезно для разработки комплексного решения.

Но если вы думаете о крупных международных компаниях, я думаю, что процессы установлены таким образом, что вы фактически принимаете решения, затрагивающие десятки тысяч сотрудников, которые не делятся своими знаниями свободно. И третье, я думаю, нам нужно подумать о том, что мы считаем. Я думаю, что у нас всех разные представления о планировании спроса. Я работал в крупных международных компаниях, может быть, в международных транспортных компаниях, быстро движущихся потребителях, фармацевтике. У вас, вероятно, больше розничного видения и опыта, где все это можно объединить.

Но то, что мы видим, является очень интересными книгами Чарли Чейза из SAS. Я думаю, он написал о планировании спроса, основанном на спросе. Это про согласование спроса и предложения. Это также процесс обмена информацией и ожиданий, управления рисками, именно управления рисками на долгосрочном горизонте в рамках S&OP, примерно на 6-18 месяцев вперед. S&OE смотрит на 1-4 месяца вперед, и это обмен информацией, который также может быть бесценным, независимо от того, какой окончательный прогноз.

Так что я не согласен с тем, что некоторые вещи нам нужно пройти долгий путь, когда дело доходит до интеграции принятия решений. Но я думаю, что планирование спроса служит нескольким целям. Но я думаю, что в интересах вещей мы сегодня смотрим на автоматизацию. Возможно, ИИ используется в контексте автоматизации, и мы смотрим в основном на точность. Но очень мало людей фактически обращают внимание на обмен информацией. Есть несколько интересных статей о надежности прогнозов. Я имею в виду, что происходит, если вы все время меняете свой прогноз с помощью очень реактивной модели машинного обучения, и планирование производства просто выходит из-под контроля, потому что они суммируют его на протяжении времени выполнения заказа, и вы получаете избыток или недостаток запасов и вводите заказы на производство.

Так что я думаю, если мы можем сосредоточиться, может быть, на процессе планирования спроса и вкладе прогнозирования в планирование спроса, потому что другие вещи - это планирование предложения и планирование сети, планирование производства. Но это сделает нашу дискуссию сложнее. Но я полностью согласен с вами, что это будет важная вещь.

Алексей Тихонов: Может быть, с кратким комментарием. Да, мое мнение заключается не в том, что нам нужно лучшее обмен информацией, лучший прогноз. Мое мнение заключается в том, что нам нужно полностью автоматизировать процесс принятия решений. Мы не должны позволять практикам в сфере цепей поставок участвовать в процессе прогнозирования, потому что цепи поставок чрезвычайно сложны. Мы говорим о компаниях, даже если взять средние компании с оборотом в 100 миллионов, в рознице у них будет десятки тысяч SKU, сотни магазинов. Вы умножаете одно на другое, и для каждого SKU местоположения вам нужно принимать решение ежедневно.

Даже если у вас есть предопределенные циклы принятия решений, такие как “я принимаю это решение раз в неделю”, вам все равно лучше пересчитывать эти решения ежедневно. Почему? Потому что у человека ограниченная пропускная способность. Вам нужен компьютер, чтобы проверять, например: “Хорошо, если есть всплеск спроса, я лучше знаю об этом до моего обычного цикла принятия решений, потому что я ожидаю, что спрос будет более плавным”. Так что вам нужно пересчитывать эти решения ежедневно, даже если подавляющее большинство из них будут тривиальные решения, которые заключаются в том, что “сегодня мы не делаем покупку”.

У человека очень ограниченная пропускная способность, и когда мы говорим о обмене информацией между людьми, мы тратим время впустую. Нам нужно автоматизировать все, насколько это возможно. Нам нужно быть капиталистическими. Нам нужно создавать активы, роботов для принятия решений. Только тогда мы сможем получить прибыль от цепей поставок.

Николас Вандепут: Не возражаете ли вы, если я вернусь к моему слайду на минуту? Я хотел бы структурировать это. Так что я начну с моей рамки, и я бы хотел сделать это еще более крайним, чтобы продолжить обсуждение оттуда. Так что я думаю, мы все согласны с тем, что мы делаем прогнозы, потому что хотим принимать отличные решения. И мы бы сказали, ну, может быть, этот тип прогноза был бы лучше, этот тип прогноза, этот уровень детализации, этот горизонт, точечный прогноз и так далее. Но мы все согласны с тем, что мы делаем прогнозы, потому что в какой-то момент нам нужно принять решение.

Теперь, почему мы так склонны к автоматизации, все мы здесь? Это потому, что нам нужно делать так много прогнозов и принимать так много решений в масштабе, и мы не хотим иметь изменчивость. Если у вас есть человек, у вас есть проблема изменчивости. У вас есть проблема в том, что нужно сделать так много прогнозов и принять решения и так далее. Теперь, как я вижу прогнозы, снова, это только о том, насколько много информации вы можете обработать и насколько хорошо вы обрабатываете эту информацию. Поэтому я хочу иметь модель, которая максимально хорошо справляется с как можно большим количеством информации.

Технология, которую мы имеем, может измениться через 10 лет. У нас может быть единая модель, которая может справиться со всей доступной информацией в мире. Давайте рассмотрим очень простой пример - пандемию COVID-19. Представьте, что сейчас середина марта 2020 года. Если у вас есть прогностический двигатель, даже с лучшей существующей технологией обучения, вы, как человек, знаете, что COVID дойдет до этого места, и состояние мира и города изменится в следующие недели. Ваша модель не знает об этом.

Теперь у вас может быть точный прогноз, у вас может быть вероятностный прогноз, но вам, как человеку, все равно нужно обогатить и просмотреть его, потому что у вас есть доступ к информации, к которой ваша модель не имеет доступа. Поэтому для меня обсуждение того, должен ли быть точный прогноз, не представляет интереса в этом обсуждении, потому что вывод все равно остается тем же. Речь идет о том, насколько много информации вы можете подать на вход своей модели.

И если вы не можете подать определенную информацию на вход своей модели, тогда приходит время для человека обогатить это. И поэтому всегда имеет смысл иметь одного последнего человека, который может просмотреть некоторое решение или прогноз на основе информации, которую модель не может обработать.

Свен Крон: Я думаю, мы говорим о разных отраслях здесь. Когда мы говорим о планировании спроса, я полностью согласен с вами, что если вы работаете в розничном пространстве и вам нужно принимать десятки тысяч решений ежедневно, то вам нужна значительная степень автоматизации.

Но мы долгое время работаем с розничными компаниями в Великобритании, и даже там вносятся корректировки в ассортименты для таких вещей, где правят неопределенность, например, экстремальные погодные условия или влияние закрытия из-за COVID на гель для душа по сравнению с туалетной бумагой в Германии.

Но если вы смотрите на производителя фармацевтической продукции, например, у которого может быть двести-четыреста основных продуктов, их вполне можно управлять человеком. Я имею в виду, почему все эти компании справляются? Мы провели опросы, и примерно 50% компаний используют очень простые статистические показатели. Они справляются, они прибыльны, они растут, у них гибкая цепочка поставок, у них есть все встроенные S&OP.

Так что у нас есть целый спектр проблем, и я думаю, что это одна из вещей, которые я всегда люблю на этой конференции. Все эти разные варианты прогнозирования сходятся. У нас есть люди, которые показывают нам нагрузку электричества для смарт-счетчиков. Да, у вас есть сотни тысяч смарт-счетчиков с прогнозом по минутам, здесь невозможно вмешательство человека.

Но если у вас есть очень немного важных товаров, которые вы действительно хорошо понимаете, скажем, в фармацевтической компании, мы рассматривали, например, вакцины, которые хорошо понятны. Так что есть разные варианты планирования спроса.

То, что мы делаем в прогнозировании, так же разнообразно, как и продукты и рынки, и в этом красота. Вот почему мы все сидим в баре и говорим о прогнозировании, мы говорим о совершенно разных вещах. Но я полностью с вами согласен, поэтому, если мы говорим о розничном пространстве, я уверен, что автоматизация возможна.

Мы согласились не соглашаться с тем, что в мире достаточно места для всех разных программных пакетов, а также для специализированных решений. Вот почему у крупных компаний, таких как SAP, есть специализированные решения для розницы, и они будут работать по-разному, чем для потребительских товаров и фармацевтики в промышленности или для других областей. Так что я думаю, мы согласны, просто исходя из разных точек зрения.

Конор Доэрти: Алекс, хотите ли вы прокомментировать?

Алексей Тихонов: Просто небольшой комментарий. Я не могу согласиться с предложением, что людям нужно вмешиваться в процесс прогнозирования. Там, где люди могут добавить ценность, они могут добавить ценность на этапе ввода в этот движок принятия решений, чтобы уточнить семантику данных, привнести больше данных, объяснить инженеру, который создает все эти алгоритмы или движок принятия решений, как данные используются в бизнесе, чтобы он лучше понимал картину.

Затем они могут добавить ценность в конце, проверяя решения, которые генерирует движок принятия решений, и выяснять эти безумные решения или неточные решения по их мнению, а затем пересмотреть этот числовой рецепт, чтобы выяснить, что не так. Что не так с предположениями? Почему он принимает неправильное решение? Потому что если они вмешиваются посередине, они затрагивают прогнозирование или переопределяют решение, это как потребление ресурсов вместо их инвестирования. Прежде всего, вам нужно посмотреть на способы улучшения этой роботизации, потому что если вы делаете это вручную, вы тратите время.

И вы должны начинать с решений, кстати, а не с прогноза. Потому что что, если у меня был МОК в 100 единиц, и вы подошли ко мне и сказали: “О, теперь у меня есть лучший прогноз. Вместо 50 единиц спроса есть 55”. Хорошо, у меня все равно есть МОК, поэтому с моей точки зрения оба прогноза не имеют особого значения, несмотря на то, что один более точный. Я все равно принимаю то же самое решение, и то, что вы вложили больше ресурсов в создание более вычислительно сложного, потенциально более точного прогноза. Таким образом, вы достигли большей точности прогноза, но в целом мы находимся в отрицательной ситуации, потому что мы все равно производим то же самое решение, вкладывая больше ресурсов.

Поэтому я против вмешательства вручную в этапы процесса. Пересмотрите весь рецепт, чтобы улучшить автоматизацию, сделать ее более надежной, более надежной, более здравой.

Свен Крон: Жаль, что у нас не было обсуждения с Робертом и Полом заранее, которые, вероятно, взглянули на добавленную стоимость прогнозирования, потому что у нас есть много доказательств того, что помимо продвинутых статистических методов, суждение может добавить значительную ценность.

И я думаю, что вопрос, который был сформулирован здесь сегодня, заключается в том, может ли машинное обучение преодолеть добавленную стоимость статистики и суждения или они одинаковы? И тогда я думаю, что вопрос о полной стоимости владения является хорошим, верно? Какой из них более эффективен?

Я уверен, что у Николаса есть много примеров, о которых вы упоминали ранее или о которых вы сообщали, где вы фактически автоматизируете все и это приносит больше ценности, чем суждение. Но давайте перейдем к следующему вопросу, может быть.

Конор Доэрти: Ну, на самом деле это скорее переход, который все равно является переходом какого-то рода. Это продвижение вперед, я думаю, к тому, что на самом деле является фундаментальным вопросом, потому что, слушая вас, здесь почти нет инструментального разногласия, но есть общее согласие.

И на самом деле я сначала обращусь к вам, Николас, что вы сказали ранее, вы сказали, и снова простите, если я неправильно процитирую, я перефразирую, мы используем прогнозирование, чтобы принимать лучшие решения. Это означает, что прогнозирование является инструментом в более крупном процессе, что порождает вопрос, где находится ценность?

Потому что если вы используете прогнозирование как инструмент для достижения чего-то большего, где находится ценность? Ценность находится в инструменте, который строит дом, или ценность находится в структуре дома? Домом в этой аналогии будет решение.

Nicolas Vandeput: Я думаю, у вас есть два важных вопроса по поводу прогноза. У вас есть первый вопрос: точен ли ваш прогноз или нет? И снова, мы можем провести дебаты о том, как измерить точность, очень интересные дебаты, но это не суть сегодняшней темы. Давайте представим, что первый шаг - это просто оценить, насколько точен или хорош ваш прогноз.

Второй вопрос заключается в том, насколько хороша ваша компания в принятии правильного решения на основе данного прогноза. К сожалению, команда, занимающаяся этим, состоит из разных команд с разными входными данными, выходными данными и ключевыми показателями эффективности.

Я бы не винил прогнозистов или людей, создающих прогностический движок, в плохих решениях или показателях эффективности, связанных с принятием решений, потому что они на это не влияют. В то же время у вас может быть очень плохой прогноз, и у вас есть принимающий решение, который либо повезло, либо очень хорошо принимает правильные решения, несмотря на плохой прогноз.

Таким образом, вы можете получить некоторые очень хорошие показатели эффективности бизнеса. Опять же, мы можем обсудить, какие показатели эффективности являются релевантными или нет, но они могут быть разными в разных направлениях. Для меня, когда я хочу оценить прогноз, я бы не смотрел на бизнес-результат. Я бы смотрел только на точность прогнозирования, потому что я знаю, что бизнес-результат может быть обусловлен таким множеством других вещей, которые полностью выходят за рамки того, кто делает прогноз, машина или человек.

Теперь, что очень интересно, и я симулировал это для нескольких клиентов, это то, что в зависимости от качества вашего прогноза, снова мы можем спорить о том, как измерить точность, но в зависимости от этого и особенно от смещения, например, вы сильно положительно смещены, недооцениваете или у вас есть инструмент, который правильно калиброван, я надеюсь, движок оптимизации управления цепями поставок может принять совершенно разные решения.

Таким образом, оптимальная стратегия или оптимальный способ принятия решения могут измениться в зависимости от качества прогноза. Это также означает, что если сегодня вы переходите от прогноза, который чрезмерно переоценивает все из-за политического смещения вашего процесса, к прогнозу, который фактически создан с помощью машинного обучения, вам также необходимо пересмотреть способ принятия решений в вашей цепи поставок.

Люди полагаются на процесс, инструмент, движок. Исторически прогноз всегда был на 30% завышен. Так что если вы сейчас меняете это, вам также нужно изменить процесс поставок. Оба должны быть интегрированы. Но с точки зрения управления цепями поставок я бы оценивал показатели эффективности независимо, насколько это возможно.

Conor Doherty: Спасибо. Свен, ваше мнение? Просто чтобы повторить вопрос еще раз, если прогнозирование - это инструмент для достижения чего-то другого, где вы видите ценность? В качестве качества решения или качества прогноза? Определите их как вам угодно.

Sven Crone: Я думаю, мы уже коснулись этого. Для меня планирование спроса, или исходя из определения Gartner о планировании спроса и процессе Oliver Wight, мы смотрим на это с промышленной точки зрения. Возьмем фармацевтическую промышленность, потребительскую промышленность, они обычно смотрят на гораздо более длительные перспективы, чем вы. Они смотрят на период от 6 до 18 месяцев вперед. Дорогие решения - это стратегические решения. Вы определяете долгосрочные планы, определяете прогнозы, проводите мероприятия по закрытию разрыва, пытаетесь согласовать спрос и предложение на гораздо более длительном горизонте. У вас нет информации о промоакциях, информации о погоде, информации о нарушениях. Поэтому это очень сильно связано с планированием на основе сценариев и планированием сценариев, которые должны материализоваться в некоторые позиции запасов.

Но это долгосрочная позиция. Если вы на это смотрите, я думаю, что большинство отрасли все еще имеют период замораживания около трех месяцев. Я имею в виду, что мы смотрим на временной интервал вне этого. С другой стороны, S&OE, которая недавно была принята Gartner, смотрит на это совершенно иначе. Так что, для долгосрочного горизонта, я думаю, прозрачность, коммуникация, это важные вещи, чтобы подготовиться к изменению бюджетов, перераспределению бюджетов, согласованию объема и стоимости. Это очень агрегированный процесс. Вы смотрите на высокие уровни иерархии, вы смотрите на рынки, вы смотрите на каналы, но вы не смотрите на отдельные продукты.

Затем вы переходите к повседневной работе, и это S&OE. В S&OE, я согласен, у вас есть автоматизированные решения, стандартизированные решения, точность - важная вещь, прозрачность все еще важна, что часто игнорируется, или надежность. Но я думаю, что 85% всех презентаций на этой конференции говорят о точности. Есть целая сессия о надежности, что радует. Но я думаю, что самое важное нововведение для измерения всего процесса - это добавленная прогнозная стоимость. Это действительно позволяет взять отдельные составляющие и посмотреть, как они добавляют стоимость. Это очень ориентировано на управление, потому что вы хотите инвестировать ресурсы там, где вы добавляете стоимость.

К сожалению, это не включает такие вещи, как управление мастер-данными. Это сложно измерить. Это не включает такие вещи, как очистка данных, которая, как я считаю, является неотъемлемой частью статистического прогнозирования. И это смотрит на самый конец этого взгляда на человека. Но у нас возникают трудности с измерением добавленной стоимости, потому что, как точность прогноза, обычно взвешенная по стоимости, взвешенная по объему, просто чтобы увидеть в целом, принимают ли они лучшие решения с помощью метрик ошибок, которые академики бы не коснулись. Но то, на что они действительно смотрят, это что такое добавленная стоимость. Но у нас есть много планировщиков спроса, которые фактически выбирают статистический алгоритм в инструменте. Они могут перезаписать выбор, но эта стоимость приписывается статистическому алгоритму. Так что я думаю, что сегодня есть много ценности в суждениях, и это можно измерить. И я думаю, что большинство компаний приняли это и добавленная стоимость - это хороший инструмент для этого. И снова, я смотрю на долгосрочную перспективу и гораздо меньше на краткосрочную, где должна быть связь с производительностью запасов и так далее.

Conor Doherty: Хорошо, спасибо.

Алексей Тихонов: Я думаю, когда мы говорим о изменениях в точности прогноза, потенциальных улучшениях и связываем это с процессом добавления прогнозной стоимости, мы путаемся в терминах, потому что лучшим названием было бы добавление точности прогноза, а не стоимости. Потому что стоимость, когда мы говорим о стоимости, для меня сразу вызывает финансовую перспективу. И финансовая перспектива определяется решениями. Результаты вашего бизнеса полностью зависят от решений, которые вы принимаете и насколько хорошо вы их выполняете. Так что в этой перспективе нет ничего другого, кроме решений и того, насколько хорошо вы их выполняете.

Когда мы рассматриваем решения, например, у меня есть прогноз номер один, он приводит меня к принятию решения А, и прогноз номер два более точный. Я знаю, насколько, я знаю разницу в точности. Но вопрос в том, приводит ли этот более точный прогноз к другому решению? Если нет, то это бесполезно, несмотря на более высокую точность. Так что, несмотря на лучшую видимую стоимость, у нас есть чистый отрицательный результат с финансовой точки зрения. И если решение отличается, как мы оцениваем, что это различие в решении, например, переход от решения А к решению Б, насколько больше прибыли мы получаем по сравнению с разницей в инвестициях в ресурсы? Для меня это открытый вопрос. Мы можем использовать оба прогностических модели для оценки потенциальной отдачи от обоих решений, но это все еще вопрос спекуляции, потому что у нас нет двух альтернативных вселенных, чтобы протестировать два решения. Мы должны выбрать только одно.

И даже более того, стоимость решения не зависит только от самого прогноза. Есть и другие соображения, такие как факторы, влияющие на решение. Вот пример: мы работаем с Air France, их подразделением MRO по запасным частям для самолетов. И совсем недавно мы внедрили с ними систему принятия решений, и недавно была сделана большая покупка, инициированная роботом, который приобрел несколько десятков, я думаю, вспомогательных силовых агрегатов для самолета, что в целом составляет несколько миллионов евро. И это было вызвано ошибкой, допущенной кем-то с другой стороны, который установил цену значительно ниже средней цены на рынке. И робот заметил это и немедленно выполнил приказы на исполнение. Это не имеет ничего общего с точностью прогноза, но это решение имеет огромную стоимость.

Таким образом, вы видите, что мы сосредотачиваемся на точности прогнозирования, но есть так много других вещей, которые могут влиять на стоимость принимаемого решения. Поэтому я считаю, что, говоря о денежной стоимости, мы не должны сосредотачиваться только на прогнозировании. Мы должны рассмотреть весь процесс того, как мы принимаем решения, что учитываем, какой у нас процесс принятия решений, какие вещи важны, а какие - второстепенны.

Свен Кроне: Чтобы добавить, я согласен, и вы уже упоминали это ранее, что должно быть принято решение о запасах, а затем вы должны оценить его по решениям о запасах. И я думаю, что справедливо сказать, что в академической среде большинство людей считает это хорошей или минимальной практикой. Так что, если вы смотрите на журналы по производственной экономике и ISER, общество по запасам, это хорошая практика. Вы увидите довольно много презентаций от академиков, которые фактически измеряют стоимость принятия решения на кривых компромисса между уровнем обслуживания и сроками поставки и фактически дают связанную с этим стоимость запасов. Я не вижу этого в практике вообще.

Это очень сложно сделать на практике, это трудно сделать, но это возможно. Конечно, нужно делать предположения. Цепочка поставок сложна, но я полностью согласен с вами. Стоимость принятия решения должна быть хорошей. Но это возвращается к работе Грейнджера 1969 года, асимметричные функции потерь. У нас обычно нет стоимости принятия решения, поэтому нам приходится предполагать что-то. То, что я вижу как огромный пробел, и, возможно, пропуск, который эта община не смогла заполнить, - это установить связь между точностью прогнозирования, как бы вы ее ни измеряли, и связанной с ней стоимостью принятия решения.

Так что у нас действительно был исследовательский проект. Очень мало компаний, например, Johnson and Johnson, ранее опубликовали это. Так что один процентный пункт точности прогнозирования, обычно это взвешенная стоимость MAPE, эквивалентна 8 миллионам долларов США в готовой продукции на складе и стоимости экспедитирования в центре распределения и т.д. Так что у них была целая линия, как они установили это. Недавно мы представили что-то, где мы провели симуляцию снизу вверх с помощью TESA. Есть некоторые калькуляторы в Интернете, которым я не полностью доверяю, но я думаю, что это важно, что ошибки прогнозирования стоят дорого, исключительно из-за решения о безопасных запасах и запасах на следующем этапе, даже не учитывая планирование производства и поставку сырья и долгосрочные решения.

Поэтому я думаю, что это настоящий пробел. Вот почему я считаю, что команды по планированию спроса в компаниях все еще слишком малы. Если бы они знали, насколько дороги их решения, насколько ценно прогнозирование, мы бы видели гораздо больше ресурсов в этой области. Но, кстати, TESA, это было примерно, конечно, это зависит от размера компании, это было, нам не разрешено называть число, это одна Bugatti Veyron. Bugatti Veyron имеют довольно жесткую цену, поэтому это 1,5 миллиона за каждый процент точности в запасах, прямые переводы. И мы сейчас работаем с несколькими другими компаниями, чтобы установить это, учитывая недостаточные модели запасов. Но это действительно важно. Вы решаете проблему напрямую и показываете им стоимость принятия решения. Но когда процесс разделен, вы все равно можете это сделать. И я думаю, что это пропущенная деталь. Но я полностью согласен. Идеально было бы иметь стоимость принятия решения или стоимость запасов. Запасы - это прямая связь, которую можно и должно сделать, и это делается академиками.

Конор Доэрти: Я хочу продвинуться вперед и объединить некоторые точки, которые были подняты, особенно вокруг предположений. Я имею в виду, предположения, если это предположение планировщика спроса вроде “О, это неправильно, мне нужно сделать ручное перезаписывание”, это предположение. Предположение входит в состав прогноза или автоматической модели. Так что, я имею в виду, это различия. Розы под любым другим именем, но мой вопрос в том, разумно ли ожидать, что руководство, люди без обучения в тех вещах, о которых мы говорим сегодня, будут иметь такой же уровень доверия к автоматизации, как к автоматически сгенерированному прогнозу, по сравнению с прогнозом, который прошел через ваш стол, например? И я, извините, или через стол Николаса или Алекса.

Николас Вандепут: Если вам не сложно вернуться к моему слайду, самый распространенный вопрос, если я его кратко суммирую, звучит так: “Как я могу доверять машинному обучению?” И вы можете заменить машинное обучение на статистические инструменты. Мне нравится изменить этот вопрос на “Да, но как вы доверяете людям?” Потому что люди говорят: “Хорошо, Николас, как я могу доверять вам? Как я могу доверять вашему машинному обучению?” И я отвечаю: “Как вы можете доверять своей команде?” И это, я думаю, настоящий вопрос. И есть только один способ отслеживать это и ответить на него. Это называется добавленная прогностическая ценность. И идея заключается в том, что я постараюсь объяснить это очень кратко. Вы хотите отслеживать точность каждого шага в вашем процессе. Это может быть человек, это может быть машина, это может быть информация от вашего клиента, прогноз, поступающий от вашего клиента. Каждый отдельный шаг, вы будете отслеживать точность до шага и точность после шага.

При этом я бы также рекомендовал сравнивать общую точность вашего процесса с статистическим эталоном, который может быть любой простой моделью, которую вы можете найти бесплатно. По мере того, как вы делаете это на протяжении недель, месяцев, дней, в зависимости от вашего горизонта, вы действительно можете доказать, что некоторая часть вашего процесса, может быть человек, может быть машина, добавляет ценность и точна. Это единственный способ сделать это. И я бы даже пошел дальше и сказал, что если вы этого не делаете, то это как будто у вас в комнате не горит свет. Вы находитесь в темноте. Вы не имеете понятия.

И когда ко мне обращаются компании, которые хотят улучшить проекты планирования спроса, первый вопрос звучит: “Вы отслеживаете добавленную прогностическую ценность?” Потому что если вы этого не делаете, нет способа узнать, добавляет ли моя модель ценность и делаем ли мы хорошо или плохо. Так что это первый шаг, чтобы ответить на вопрос “Как вы знаете, что я могу доверять машинному обучению?” Это тот же вопрос, что и “Как вы знаете, что я могу доверять людям?” И ответ заключается в том, что вам нужно отслеживать добавленную прогностическую ценность.

Алексей Тихонов: Я думаю, что переход к решениям важен. Как я могу доверять прогнозу? Я не знаю, хороший он или плохой, пока не увижу, какое решение он рекомендует, какие решения я могу получить, используя этот прогноз. И с этой точки зрения у людей, практиков, часто есть очень хорошая интуиция. Если вы принимаете неразумные решения, они указывают на это и объясняют, почему. Например, если ваш заказ на закупку слишком большой, они скажут вам, каким он должен быть, какова должна быть норма для хорошей закупки и почему они так думают. Так что, отслеживание точности прогноза, да. Вовлечение людей в процесс принятия субъективных решений по прогнозам, как я уже сказал, это неэффективно, поскольку такие вмешательства имеют очень короткий срок действия.

Вы можете переопределить, но это не продлится еще один год. Вероятно, это повлияет на ваш следующий заказ на закупку, но не на следующий после него. Так что вы вовлекаете очень дорогой ресурс, очень ненадежный ресурс, потому что мы также должны обсудить, у нас нет времени, но мы также должны обсудить, каков процесс за этими субъективными перезаписями. Они полу-количественные по своей природе. Здесь нет строгого процесса, как для автоматически сгенерированного прогноза, где мы можем проверить и разложить и увидеть, что не так, если что-то не так. Так что вам нужно автоматизировать как можно больше. И как вы можете доверять? Ну, так же, как вы доверяете своему приложению погоды. Если оно дает последовательные прогнозы, если оно говорит, что есть высокая вероятность дождя и, да, в большинстве случаев дождь идет, когда оно говорит, что будет дождь. Или другая технология, например, спам-фильтры.

Подумайте о том, когда они только появились в почтовых клиентах. Мы очень часто проверяли спам-папку, потому что процент неправильно классифицированных электронных писем был довольно высоким. В настоящее время я захожу в спам-папку только тогда, когда знаю, что человек, который еще не находится в моем списке контактов, отправил мне письмо, и я его не получил. И я захожу и, да, оно там, и я нажимаю “это не спам”, и оно больше никогда не попадает в спам. Вы видите, доверие приобретается со временем, и вам нужен процесс. Мы называем его экспериментальной оптимизацией, когда вы настраиваете этот движок принятия решений. Как только он начинает производить разумные результаты, все, что вам нужно сделать, это отслеживать метрики. Да, вы отслеживаете точность прогноза. Если она изменяется резко, вам нужен инженер, чтобы проверить с практиками, что происходит за кулисами. Но вы никогда не должны вмешиваться в этот процесс принятия решений. Вы хотите исправить то, что сломано, а затем позволить ему работать, примерно так же, как вы делаете с машинами. Вы проводите техническое обслуживание, а затем водите свою машину.

Свен Кроне: Да, я думаю, доверие - это важный вопрос, верно? Я имею в виду, взглянув на последние 10, 20 лет, многие компании пытались запуститься, например, в контексте прогнозирования с помощью статистического прогнозирования. И почему существует такое скептическое отношение? Почему так много компаний начинали и прекращали это, начинали и прекращали это, начинали и прекращали это? Мы все знаем о переобучении. Мы все знаем, как мы проводим эти песочницы экспериментов со всеми будущими переменными, где нужно быть очень осторожным при проектировании вещей в рамках концепции, затем в пилотном исследовании, проводя их параллельно, а не сжигая все мосты. И, конечно, с таким количеством степеней свободы и метапараметров и таким количеством ведущих индикаторов, которые могут просто просочиться в любое декомпозицию, очень легко обещать уровень точности, который вы не видите впоследствии. Мы обещали некоторую точность, а затем случилась пандемия COVID-19, и руководство не понимало, почему мы не достигаем этого уровня точности. Нам было понятно. Им - нет. Но я говорю, знаете ли, доверие было потеряно.

Доверие, я не думаю, что в целом принятие технологии - это тема в информационных системах, верно? Принятие технологии - это большая проблема. Есть целые конференции, анализирующие, как можно передать это. И я думаю, что один из способов - это связано с общим принятием технологии. Как, знаете ли, большинство из нас будет скептически настроено, если вы сядете в беспилотный автомобиль в Сан-Франциско, по крайней мере, первые несколько раз. Может быть, нет, но, возможно, через 20 лет все будут счастливы с этим. Вот что вы сказали, знаете ли, удобство использования, ничего не происходит и так далее, и вот как вы можете накапливать доверие. Вам также нужно общаться. Но я не думаю, что ответом является объяснимый искусственный интеллект. Все идут и объясняют, что алгоритм должен объяснить себя мне. Я имею в виду, я старался объяснить, что делает гамма-фактор 0,4 с 12 сезонными индексами, меняющимися со временем, верно? Ни один менеджер этого не понимает. Но у руководителя сверху должно быть, знаете ли, он должен принять окончательное решение. Доверяет ли он этому значительному вложению в запасы? Доверяет ли он своей команде в эффективной и эффективной работе?

И я думаю, что в этом мы потеряли много доверия к статистике, возможно, из-за некоторых недостаточно качественных программных реализаций, которые были передовыми на тот момент, но они не учитывали некоторые из них в выборке на один шаг. Здесь много доказательств в пользу выбора модели. Так что многие из этих инноваций не были приняты, а скорее молодыми и инновационными компаниями. Один из промежуточных шагов, который мы видели, чтобы накопить доверие в медицине, например, это невероятное исследование случая по обнаружению рака молочной железы по изображениям. И машина, алгоритм, были значительно точнее и имели гораздо более высокую долю истинно положительных результатов, гораздо более низкую долю ложноположительных результатов, знаете ли, с невероятной стоимостью для отдельных жизней, связанной с этим. И врачи не приняли это. Всего лишь в 1980-х годах они не приняли некоторые процессы принятия решений, потому что не доверяли им. Они доверяли себе больше, чем другим.

Решения, которые мы разрабатываем сейчас, когда искусственный интеллект может выполнять коррекцию выбросов, но мы фактически выделяем выбросы в плане спроса. ИИ может выбирать модель, но мы предпочитаем выделить ранжирование того, что, на наш взгляд, имеет значение. Мы пытаемся объяснить то, что мы видим в данных, поэтому мы считаем, что это сильно сезонное и имеет нарушение. Так что это дополнительная вещь также для врачей, вместо того, чтобы давать вам классификацию, она фактически выделяла на картинке, где, вероятно, обнаружен рак, и она не только давала вам ответ “истина” или “ложь”, рак или нет, но также давала вам вероятность того, что это рак, что позволяло в критических ситуациях сортировать по вероятности и смотреть только на те, которые явно раковые, и на те, которые явно не раковые, но смотреть на те, которые были неопределенными. И вот там врачи могли использовать свои навыки. экспертизы, и внезапно они получили массовое признание.

Так что я думаю, что это имеет много отношения к дизайну систем, к дизайну процесса принятия решений, и это не все автоматизация, потому что у нас есть ABC и XYZ и новые продукты и заканчивающиеся продукты, знаете, нельзя автоматизировать, не следует автоматизировать все, но автоматизировать некоторые части с помощью ИИ, автоматизировать другие части с помощью очень простых методов, которые могут быть прозрачными, и автоматизировать другие с помощью надежных алгоритмов. Но я думаю, что на данный момент, на текущем уровне признания и скептицизма к технологиям, хотя мы все любим GPT, чтобы спланировать нашу следующую день рождения, я думаю, что, вероятно, дополнительный ИИ - это хороший шаг для получения признания, и затем мы сможем полностью автоматизировать с помощью ИИ.

Conor Doherty: Прокомментируйте это. Хорошо, чтобы вернуться к этому, потому что вы оба подняли очень хорошие вопросы. Но я просто хочу разобрать одно из сравнений. Итак, я думаю, Алексей, вы привели пример использования приложения прогнозирования погоды, которое, я имею в виду, метеорология, основа метеорологии уже довольно долгое время является вероятностным прогнозированием. И затем вы сравнили это с автономным транспортным средством, или по крайней мере косвенно сравнили. И я думаю, что мы возьмем это и просто попытаемся задать вопрос. Итак, используя пример Алекса, если бы каждому в комнате сказали, что вы должны взять отпуск на следующей неделе, ваше единственное место назначения - Бермуды. Прогноз погоды говорит, что на следующей неделе будет цунами. Вы будете платить свои собственные деньги? Вы будете финансово вкладывать свое время, усилия и энергию, чтобы полететь на Бермуды? Большинство людей скажут нет. Теперь возьмите эту же самую перспективу, которая является финансовой и вероятностной прогнозированием, и поставьте всех этих же людей в компанию и скажите, что вот приоритизированный список ранжированных, скорректированных по риску решений, который был сгенерирован алгоритмом. О, нет, абсолютно нет, я не доверяю этому. Итак, снова, это выборочное недоверие? Ваши комментарии.

Алексей Тихонов: Я могу сделать краткий комментарий. Я думаю, что настоящая проблема с сопротивлением людей к принятию новых технологий в целом, когда мы говорим об автоматизации, - это страх стать ненужным и вытесненным. И на самом деле, обычно происходит совсем наоборот. Да, мы автоматизируем некоторые части, где люди просто неэффективны с финансовой точки зрения. Например, раньше у нас были переводчики на несколько языков, чтобы перевести наш веб-сайт, потому что мы много публикуем, и, накопительно, мы, вероятно, потратили около 400 000 евро за несколько лет. И теперь, когда мы что-то публикуем, это переводится через LLMs.

У нас есть программы, которые берут страницу в формате markdown в качестве входных данных и производят страницу в формате markdown, где весь синтаксис markdown, короткие коды, все остается неизменным, и только соответствующие части переводятся на другие языки. Затраты снизились колоссально, в сто раз дешевле сейчас. Итак, должны ли мы платить в 100 раз больше переводчику? Нет. Теперь, нужны ли нам все еще переводчики? Да, например, если вы хотите составить юридический документ, вам лучше использовать переводчика, потому что одно слово, одна запятая может стоить вам огромную сумму денег. Итак, нужны ли нам переводчики? Да, нам все еще нужны они, но в других областях, и, вероятно, в этой юридической сфере будет больше потребности в переводчиках, чем раньше.

И то же самое относится к цепочкам поставок. Например, существуют целые области, которые остаются нетронутыми из-за отсутствия доступных человеческих ресурсов. Например, очень часто, когда вы хотите разместить заказ, вы заранее не знаете, есть ли минимальный заказ, поэтому вам нужно получить эту информацию. Вы можете использовать людей, вы можете использовать копилота в качестве искусственного интеллекта, но вам все равно нужен человек, чтобы получить некоторую информацию, которая плохо структурирована, чтобы подать ее в вашу систему принятия решений, чтобы она приняла решение, соответствующее минимальному заказу. Так что, я думаю, нам все равно нужны люди, просто для разных типов задач, которые будут развиваться.

Свен Крон: Я думаю, вы упомянули важную часть, когда речь идет о принятии некоторых из этих техник машинного перевода, потому что они существуют уже давно. IBM использовала нейронные сети еще в 1982 году, верно? Так что они были, но уровень перевода или уровень ошибок был где-то на уровне 90% идентификации. Так что человеку приходилось вмешиваться и изменять много букв, много слов. Каждое десятое слово было неправильным, и это означало, что это было неприемлемо, потому что оно было ниже порога, который считался достаточно хорошим.

И сейчас, если вы достигаете этой точности, не обязательно на уровне человека, но вы превышаете порог, то внезапно происходит массовое принятие технологии. В прогнозировании мы довольно виноваты в этом, потому что мы видели реализации безответственного использования мультипликативных моделей на временных рядах с нулями. И если у вас есть 10 примеров из 100 временных рядов, которые взрываются раз в год, то принятия нет, потому что доверие исчезает.

Так что, на самом деле, вам нужно достичь надежности, чтобы позволить автоматизации произойти. Так что, я думаю, это хорошая точка. И мы обычно стараемся создавать точные модели, а не надежные модели, которые работают плохо. У нейронных сетей всегда есть эта проблема. Кроме того, я думаю, мы все предвзяты, потому что мы довольно приспособлены к технологиям, не так сильно, как мой младший брат, например, который просто обожает технологии. Так что здесь также есть возрастное соображение. Но что создает доверие? Я думаю, на совещании руководства высшего звена я знаю, что одна очень крупная компания-разработчик программного обеспечения активно изучает модели LLM и недавно было принято решение. Я думаю, Эрик Уилсон из IBF, Института бизнес-прогнозирования, ведет блог, и они довольно откровенно говорят о том, что искусственный интеллект не займет место в процессе планирования спроса, и каждый сохранит свою работу.

Но недавно были примеры, когда на заседании правления модель LLM, обученная на большинстве знаний, которые были введены, информации о промоакциях, нарушениях, цепочке поставок, в конце концов, дала прогноз, и генеральный директор спросил модель LLM, почему это так. И у людей были разные мнения. У маркетинга было свое мнение, у финансов было свое мнение. Модель LLM была единственной, способной дать понятный аргумент, почему это правильное число. И я думаю, здесь также есть другое предубеждение, но если вы можете рассказать убедительную историю о вещах, люди будут доверять этому. Так что это также создает доверие, даже если оно неправильное.

Так что, я думаю, способность аргументировать, почему это так для планировщика спроса в контексте тысячи продуктов, когда вы сидите там с генеральным директором, чтобы аргументировать всесторонне, почему вы думаете, что через шесть месяцев это будет в два раза больше, вы не помните. Вы были заняты работой весь месяц с этими числами, нарезая их вверх и вниз, переводя их в стоимость, а затем получая корректировки сверху вниз для каждого канала, и в конце концов, у вас есть число. Но модель LLM смогла аргументировать это, и я думаю, здесь мы, вероятно, увидим, кто скажет, что модель LLM не может прочитать все продажи и ключевые счетные встречи, он не может получить всю информацию о воронке, он может обосновать воронку, он может согласовать это со значениями поставок и может предложить корректировку, которая лучше, чем у человека, потому что она может обрабатывать гораздо больше данных. Я думаю, что здесь мы можем перейти от доверия прямо к точности. Но есть доказательства того, что они могут создавать доверие, потому что они могут, наконец, объяснить, что происходит.

Николас Вандепут: Итак, я вижу интересный вопрос, и я думаю, мы наконец нашли нашу тему, где я бы не согласился.

Первое, с чем я хотел бы разобраться, это управление изменениями в отношении принятия машинного обучения для прогнозирования. Как и с любой технологией, есть люди, которые полностью против этого, и есть люди, которые более склонны к нему. И я вижу это на LinkedIn каждый раз, когда я публикую, всегда есть несколько людей с одной стороны, которые говорят, что это никогда не сработает, я бы никогда не сделал это. Знаете что, я просто перестал пытаться их убеждать. Это нормально, оставайтесь на своем месте, и я буду работать с людьми, которые хотят создавать лучшие цепи поставок.

Теперь я видел множество клиентов, я видел отличных лидеров, я видел средних лидеров, я видел плохих лидеров. Для меня, если вы хотите успешно внедрить автоматизированный процесс, и мы можем обсудить прогнозирование спроса с использованием машинного обучения, но мы можем обсудить любой процесс, вам, как лидеру, нужно в комнате дать четкое видение каждому, какая будет его роль в будущем. Я вернусь к прогнозированию спроса, но это также относится к любому процессу. Если вы говорите своему планировщику спроса, что его работа и я плачу вам за изменение прогноза и модификацию и настройку моделей, то люди будут делать именно это. И это должно измениться. Это должно измениться на то, что ваша работа - убедиться, что данные, поступающие в движок прогнозирования спроса, максимально хорошие, и ваша работа - найти информацию, выходящую за рамки того, что подается на модель, и, возможно, обогатить прогноз, если это необходимо. Если вы не говорите об этом, люди будут продолжать изменять прогноз изо дня в день, потому что они просто почувствуют, что если они этого не сделают, они не смогут оправдать свою зарплату. Так что снова, для принятия, крайне важно, чтобы мы дали четкое представление, которое снова связано с моим слайдом о просмотре, сборе и анализе информации и т.д., о том, что люди должны делать.

Теперь, что я хотел бы добавить, это объяснимость. Я думаю, что это открытая тема, и я сам расту в этом, но я бы сказал, что для меня объяснимость вообще не требуется. Я не знаю, как работает автомобиль, но я все равно его использую, и я никогда не пытаюсь отправить электронное письмо в Mercedes, чтобы сказать, что я больше никогда не буду его использовать, если вы можете объяснить мне, как он работает. Я бы никогда этого не сделал. Я не знаю, как работает интернет, я не знаю, как работает это устройство, у меня нет понятия, но я все равно это делаю.

Если цепочка поставок полагается на объяснимость или рассказы, чтобы использовать прогноз и доверять ему, вы никогда не сможете масштабироваться, потому что это означает, что ваша цепочка поставок и ваш процесс полагаются на то, что некоторый человек обладает убедительными способностями, чтобы влиять на других людей, чтобы использовать ваш прогноз, потому что у него есть хорошая история. Для меня важно доверять прогнозу, потому что точность, как бы вы ее ни измеряли, надежна, и со временем она была точной или принятие решения имело смысл. Вы доверяете вещам, вы доверяете процессам, людям, моделям, потому что количественно это отлично, а не потому, что история имеет смысл. Если вы просто идете по истории, это будет неудачей. Я видел так много консультантов, выигрывающих проекты из-за того, что история имела смысл, а затем они никогда не приносили никакой ценности, потому что на самом деле, как только вы делаете модель, она не создает никакой ценности. Но история хорошая, поэтому я действительно постараюсь держаться подальше от истории.

Конор Доэрти: Есть еще комментарии? Нет обязательств.

Алексей Тихонов: Несколько слов о объяснимости и понимании того, что происходит, как принимаются решения, как создаются прогнозы.

Я могу говорить только о том, что мы делаем в Lokad. Мы подходим к проблемам с принципом корректности по дизайну. Одной из проблем, о которых мы знаем, является недостаток доверия, потому что люди не понимают, как все работает. Вот почему мы используем то, что мы называем “белым ящиком”. Возможно, мы используем явные модели, где вы понимаете, что означают параметры, вместо какой-то затуманенной инженерии функций. Таким образом, люди могут понять, что происходит. Эти модели не являются кардинально сложными для понимания. Я приглашаю аудиторию посмотреть наше участие в конкурсе прогнозирования M5. Команда Lokad заняла первое место в испытании неопределенности. Если вы посмотрите на лекцию, прочитанную нашим генеральным директором Йоаннесом Верморелем, вы увидите, что модель довольно простая. Вы будете удивлены, насколько эта простая модель может достичь передовых результатов.

Для достижения дополнительного процента точности прогнозирования не обязательно использовать передовые методы искусственного интеллекта. В сфере поставок вы хотите быть приблизительно правыми, а не точно неправыми. Вот почему мы выбираем, например, вероятностные методы, потому что они могут показать вам структуру неопределенности, и затем, когда у вас есть экономические факторы, вы можете перевести эту структуру неопределенности в структуру финансовых рисков, и вы можете принимать обоснованные решения, которые учитывают риск, в отличие от простых решений, которые оцениваются по достижению целевого уровня обслуживания.

Я думаю, что люди могут понять верхнеуровневую историю, например, что вы делаете и почему вы это делаете. Но на более низком уровне, если они любопытны, они также могут это сделать, но это почти незначительно, когда вы понимаете верхний уровень. Когда вы видите, что решения разумны, почему вы хотите пойти вниз? Например, обычно люди используют компьютеры, но их не интересует выделение памяти, например, как ваша оперативная память используется для вычислений. Никого это не интересует. То же самое с компьютерными чипами в вашем автомобиле. Да, у вас есть робот, поддерживающий переключение передач, но обычно это никого не интересует. Это не имеет значения. Знание этого не сделает вашу поездку безопаснее.

Conor Doherty: Я собирался задать вопрос перед закрытием. Вам всем, кажется, в целом согласны, что понимание “как” этих методологий будет за пределами возможностей большинства людей, если у них нет соответствующего обучения. “Что” происходит, будь то большая точность или лучшее решение, понятно. Но прежде чем мы закончим, дайте, пожалуйста, 30 секунд, чтобы завершить. Как вы видите будущее специалистов по планированию спроса? Потому что, опять же, я уже могу догадаться о вашем ответе, но с точки зрения Николаса и Свена, вам, кажется, и я не хочу вкладывать слова вам в рот, но ранее вы, кажется, предполагали: “Ну, мы еще не достигли полной автоматизации оптимизации от начала до конца”. С вашей точки зрения, хорошо, тогда, каково будущее специалистов по планированию спроса? Будет ли для них место через 5 лет, 10 лет и т. д.?

Sven Crone: Я думаю, что с учетом доступности данных и темпа принятия технологий, специалисты по планированию спроса будут иметь работу еще намного дольше пяти лет. Я уверен в этом. Потому что также давление на реструктуризацию компаний или на инновации не так велико. Если посмотреть на все эти инициативы по цифровизации, большинство компаний даже не имеют облачного хранилища. Это удивительно, как некоторые из крупнейших многонациональных компаний Европы смогли так хорошо функционировать.

Так что, вероятно, это связано с удивительными людьми, которые там работают. Но я вижу, что в долгосрочной перспективе мы рискуем, если не принимаем, если поставщики программного обеспечения не принимают, если не автоматизируем, если не поддерживаем принятие обоснованных решений, таких как коррекция истории, если не учитываем, и у вас есть, я думаю, что важна объяснимость, не для понимания “Так работает нейронная сеть”, а для понимания “Это входные переменные, которые были поданы на вход”, и может ответить на вопрос “Вы учли, что акция была перенесена с 5-й недели на 12-ю?”. Я думаю, что на эти вопросы нужно отвечать. Они гораздо проще.

Но я думаю, что в долгосрочной перспективе, с увеличением доступности данных, специалистам по планированию спроса будет очень трудно. Потому что частота принятия решений увеличивается, мы переходим от ежемесячного прогнозирования к еженедельному, возможно, к прогнозированию внутри недели, чтобы также соответствовать розничным продавцам. Я вижу гораздо больше акций, гораздо больше нарушений. Столько нарушений, что для планировщиков будет практически невозможно справиться с таким объемом информации за такое короткое время. И поэтому я действительно не думаю, что в долгосрочной перспективе они смогут конкурировать с моделями машинного обучения по точности и надежности, если все данные будут доступны.

Conor Doherty: Спасибо, Свен. Ваши заключительные мысли, Николас.

Nicolas Vandeput: Чтобы подвести итог всего за одну минуту, какова роль планировщиков спроса в ближайшие годы и как она будет развиваться. Для меня это люди, которые будут проводить большую часть своего времени на сборе, сборе, структурировании, очистке данных, информации и понимании, подавая большую часть этого на модели машинного обучения. Прогнозирование спроса и информация, понимание, которые нельзя подать на модели машинного обучения, все равно будут использоваться этими планировщиками для ручного обогащения этих прогнозов. Но эти планировщики не будут тратить время на выявление выбросов, ручную корректировку выбросов. Они не будут тратить время на настройку моделей, рассмотрение, настройку параметров моделей или что-либо в этом роде, или даже выбор моделей. Для меня эти задачи должны быть полностью автоматизированы. Люди не должны этим заниматься. Планировщики будут сосредотачиваться на поиске, сборе и очистке информации и понимания.

Conor Doherty: Спасибо. Алексей, ваши заключительные мысли?

Alexey Tikhonov: Я думаю, что в настоящее время планирование спроса занимает нишу программных продуктов, называемых системами интеллекта, потому что обычно существуют три типа корпоративного программного обеспечения: системы записей, это ERP и другие транзакционные системы; системы отчетов, это приложения для бизнес-аналитики; и системы интеллекта. Это новое направление. Это системы, которые могут автоматизировать принятие решений, такие как та, которую Lokad предоставляет своим клиентам. И в настоящее время планировщики спроса пытаются конкурировать в этой области.

Моим пониманием является то, что в долгосрочной перспективе они не смогут конкурировать, они проиграют. Почему? Потому что люди - великие существа, они очень умны. Если мы рассмотрим одно решение, они могут превзойти робота, потому что они всегда придут к более глубокому пониманию, к чему-то, о чем робот не знает, например, дополнительной информации. Но это не масштабируется. Люди стоят дорого. Мы говорим о поставочных цепях огромного масштаба, поэтому мы не можем масштабировать это. И это основная причина того, что в долгосрочной перспективе они будут вытеснены. По тем же причинам, что и в Париже, у нас больше нет водоносов, у нас есть водопровод. Почему? Потому что это дешевле. Да, все еще есть некоторые неразвитые страны, где в маленьких деревнях люди все еще носят воду в ведрах, потому что из-за экономии масштаба водопровод пока не является вариантом. Но даже в этих деревнях в какой-то момент у них будет водопровод. Так что в долгосрочной перспективе у них нет места. И в настоящее время некоторые компании уже избавились от них.

Conor Doherty: Большое спасибо всем участникам на сцене за ваши идеи и ответы. На этом я передаю слово. Есть ли у кого-нибудь вопросы? И я побегу и передам микрофон. Конечно, он будет сзади. Хорошо, не должно быть так много рядов. Роберт, чьи руки были подняты?

Участник аудитории (Бахман): Спасибо всем. Меня зовут Бахман. Я из Кардиффского университета. Я просто хочу сделать очень короткий комментарий. Вы упомянули о прибыльных решениях. Я хотел бы подчеркнуть, и на самом деле это касается того, о чем также упомянул Свен, о спектре. Существует тысячи поставочных цепей, которые не связаны с получением прибыли. Так что, я думаю, это важно учитывать.

Мое понимание заключается в том, что панель была более сосредоточена на поставочной цепи, но существует целый спектр планирования спроса. Если подумать, в мире существует миллионы больниц, занимающихся планированием спроса, и они имеют дело с одним или двумя или тремя временными рядами. Так что мой вопрос больше о том, что составляет условия или каковы требования для создания автоматических решений, учитывая, что решения основаны на прогнозе как одном из входных данных. Есть и множество других входных данных, некоторые из которых могут быть прогнозами, но, вероятно, большинство из них - нет.

Свен Крон: Я постараюсь ответить на это. Например, в больницах есть большой запас пополнения, важных продуктов, таких как кровь, неважных, менее важных продуктов и так далее, вы знаете, лекарства для лечения рака, некоторые из них делаются на заказ, а некоторые на складе. Я думаю, что мы очень сосредоточены, поскольку мой опыт работы не связан с больницами или системами здравоохранения. Мы очень много смотрели на промышленность, на сторону промышленности, знаете ли, я имею в виду, в какой отрасли, управление цепями поставок, логистика, что, вероятно, определено Гартнером, сейчас мы рассматриваем очень крупные международные компании, которые внедряют эти четко определенные процессы, которые были испытаны и проверены, которые измеряют добавленную прогнозную стоимость.

Думаю, вы правы, это, вероятно, применимо к многим другим отраслям, аптекам, больницам и так далее. Но у меня мало доказательств о принятии этого там, но я думаю, что, знаете, для отрасли логистики цепей поставок, которая примерно составляет одну шестую от мирового ВВП, верно? Так что мы говорим о шестой части мирового ВВП, которая в основном определяется очень крупными компаниями. Мы действительно обеспокоены отсутствием инноваций в отношении этих вещей. Но это не означает, что это не должно применяться в некоторых других местах.

Участник аудитории (Бахман): Я имею в виду, может быть, лучшей терминологией было бы “цепь поставок услуг”. Например, в больницах у вас есть планирование спроса на экстренные услуги. Речь идет не столько о продуктах, сколько о самой услуге. Так что, я думаю, мой вопрос больше о автоматическом принятии решений, потому что, как я понимаю, существует спектр, знаете, отделений экстренной помощи, которые имеют дело только с одним временным рядом, и это, возможно, там, где вы не имеете дело с миллионами тысяч временных рядов. Так вопрос в том, каковы требования для создания автоматического принятия решений?

Свен Крон: Думаю, вы правы. Это очень интересная область, на которую мы, в прогнозном сообществе, обращали меньше внимания, чем на другие, верно? Если посмотреть на 10 000 статей о прогнозировании с помощью нейронных сетей, я думаю, что половина из них посвящена электроэнергетике, верно? Но очень мало статей посвящено фармацевтике. Так что это хороший момент. Думаю, мы должны уделять больше внимания важным вещам.

Конор Доэрти: Извините, что перебиваю, Николас, вы можете ответить на следующий вопрос. Я хочу передать слово следующему вопросу.

Участник аудитории: Привет, спасибо за замечательную дискуссию. Мой вопрос касается роли суждения. Итак, мой вопрос заключается в том, что у каждого эксперта есть свои суждения. Таким образом, существует паттерн смещения, возникающий из человеческого суждения, и паттерн смещения, возникающий из моделей ИИ или МО, будь то любая статистическая модель. Итак, у нас есть два смещения, от человеческого суждения и от статистической модели. Как мы можем учесть смещение от человеческого суждения в статистическом смещении, чтобы уменьшить общее смещение при планировании спроса? Спасибо.

Николас Вандепут: Спасибо за ваш вопрос. Это обычный случай, с которым я работаю в цепях поставок. Одно из первых дел, которое мы делаем, - это посмотреть, как производился ваш прогноз в прошлом. Если у них было очень большое или очень низкое смещение, недопрогноз или перепрогноз, всегда есть история. Люди делают перепрогноз, потому что хотят быть на стороне безопасности, скорее всего, потому что процесс поставки не работает хорошо, и они не знают, как управлять запасами. Вместо изменения политик или целей безопасности запасов они полагаются на очень высокий прогноз. Возможно, у них также очень высокий прогноз, потому что они хотят быть оптимистичными, они хотят соответствовать бюджету и так далее.

С другой стороны, недопрогноз может происходить, потому что люди хотят превзойти прогноз, чтобы получить бонус. Так что обычно, если ваша цепь поставок создает очень большое смещение, это проблема неправильного стимула или неправильного процесса поставки, и вам нужно отключить это, переобучить людей, возможно, улучшить ваш процесс поставки и, возможно, сделать невозможным для некоторых людей изменять прогноз, если у них есть прямой стимул сделать его высоким или низким. Это касается процессной части, поэтому нам нужно придерживаться людей, у которых нет стимулов делать высокие или низкие прогнозы.

Часть модели, если у вас есть модель, которая генерирует очень высокие или очень низкие прогнозы на долгосрочной основе, слишком высокие или слишком низкие, я не говорю, что один месяц неправильный, конечно, я говорю, что в течение нескольких периодов у вас есть та же проблема, это, скорее всего, проблема в том, как вы оптимизируете свой модельный двигатель, и, скорее всего, из-за того, что КПИ, используемый для оптимизации модели, не является правильным. Я бы поспорил, что он основан на MAPE, но это уже другая тема.

Conor Doherty: Можете ли вы дать Алексею возможность сделать заключительное замечание, потому что нам скоро нужно закончить.

Sven Crone: Я просто хочу добавить к тому, что сказал Николас. Когда мы говорим о LLM, возможно, заменяющих субъективные корректировки, мы не очень подробно рассматривали, как это работает. Но сегодня есть много доказательств того, что у вас не должно быть одного LLM для обучения на всех данных и получения одного значения. Фактически, вы бы обучали их на разных персонах. У вас бы был LLM для цепочки поставок, LLM для финансов, LLM для генерального директора, LLM для маркетинга и LLM для управления ключевыми клиентами, все обученные на разных данных. Часто эти смещения связаны с разными затратами, связанными с решениями для ключевых клиентов по сравнению с цепочкой поставок. Но часто у вас есть разная информация, и то, что они видят на самом деле, может привести к улучшению процесса принятия решений, если у вас есть агенты, которые общаются друг с другом и аргументируют консолидированный процесс.

Не редкость видеть хорошую практику в S&OP, когда они достигают консенсуса, и этот консенсус более точен, чем решение одного LLM. Это действительно страшно, потому что смещения есть, решения есть, а затем у вас есть кто-то в конце, который принимает решение на основе взвешивания информации. Это призрачно.

Conor Doherty: Алекс, последнее слово за вами, а потом мы закончим.

Alexey Tikhonov: По этому же вопросу я думаю, что смещение - это проблема перспективы точечного прогноза. Обычно, почему вы хотите, чтобы ваш прогноз был намеренно смещенным, это потому, что ваш прогноз в некотором роде наивен в отношении улавливания структуры риска. Вы прогнозируете наиболее вероятный будущий сценарий, а затем предполагаете, что остатки модели имеют нормальное распределение, что никогда не бывает так. Вот почему вы вводите смещение, которое сдвигает ваш прогноз в сторону, где сосредоточено большинство риска. Например, в сторону правого хвоста, когда вы хотите прогнозировать вероятность несоблюдения ваших целей по уровню обслуживания и, таким образом, сдвигаете смещение.

Когда вы переходите к вероятностной перспективе, вам больше не нужно это смещение, потому что то, что вы получаете, - это мнение о будущем, которое выглядит таким будущим с такой вероятностью, таким будущим с такой вероятностью. Как только вы обучите параметры, которые достаточно точно улавливают структуру риска, то все, что вам нужно сверх этого, - это экономическая перспектива, такая как затраты, прибыль и некоторые более высокоуровневые факторы, такие как те, которые позволяют вам принимать решения о компромиссах. Например, должен ли я приобрести дополнительную единицу этого товара или дополнительную единицу другого товара, потому что ваш бюджет всегда ограничен. С вероятностной перспективой у вас нет этой проблемы, потому что смещение не требуется.

Conor Doherty: На этой ноте я знаю, что мы немного превысили время. Для тех, кто хочет задать дополнительные вопросы, мы попробуем сделать это уголком сцены. Но еще раз, Свен, Николас и Алексей, большое спасибо за то, что присоединились к нам, и хорошего вам остатка дня. Спасибо.