Панель ISF2024: Планирование спроса и человеческое суждение в мире ИИ

00:00:00 Открывающие замечания Роберта Филдеса
00:01:08 Конор Доэрти представляет панель и тему
00:03:11 Точка зрения Николаса Вандепюта
00:06:16 Презентация Свена Крони
00:10:34 Точка зрения Алексея Тихонова
00:15:01 Необходимость автоматизации принятия решений
00:20:13 Обмен информацией между людьми – пустая трата времени
00:25:29 Перспектива на вмешательство человека
00:30:23 Оценка прогноза
00:35:18 Финансовая перспектива и принятие решений
00:40:14 Стоимость ошибок прогнозирования
00:45:43 Автоматизация и доверие
00:50:27 Дополненный ИИ и его применения
00:55:03 Влияние ИИ на человеческих переводчиков
01:00:16 Важность ясного видения при внедрении ИИ
01:06:00 Заключительные мысли и будущее специалистов по спросу
01:11:50 Вопрос из зала: прогнозирование для больниц
01:15:38 Вопрос из зала: сокращение смещения модели и человека

История панели

Идея панели была впервые предложена Робертом Филдесом (профессор‑эмеритус, Ланкастерский университет) в ответ на критическую статью Конора о FVA. Эта статья была повторно опубликована во втором квартале 2024 года в журнале Foresight (выпущенном Международным институтом прогнозистов, той же организацией, проводящей симпозиум). Затем состав панели был дополнен Свеном Крони, Николасом Вандепютом и Алексеем Тихоновым, чтобы обеспечить более сбалансированный набор точек зрения как из академической среды, так и из индустрии.

Резюме панельной дискуссии

Снятая в июле 2024 года на 44‑м Международном симпозиуме по прогнозированию в Дижоне, панель из четырех спикеров обсудила «Планирование спроса и роль суждения в новом мире ИИ/МО». Модератором выступил руководитель отдела коммуникаций Lokad, Конор Доэрти. В состав панели вошли Алексей Тихонов (Lokad), Свен Крони (Ланкастерский университет & iqast) и Николас Вандепют (SupChains). Дискуссия касалась интеграции ИИ в планирование спроса, значимости прогнозирования в принятии решений, а также будущего специалистов по цепям поставок. Панелисты поделились различными точками зрения относительно роли человеческого суждения в планировании спроса, потенциала ИИ в замене специалистов по спросу и значения точности в прогнозировании.

Расширенное резюме

44‑й Международный симпозиум по прогнозированию в Дижоне (Франция), организованный Международным институтом прогнозистов, включал панельную дискуссию на тему «Планирование спроса и роль суждения в новом мире ИИ/МО». Дискуссию модераторил Конор Доэрти из Lokad, а в состав панели вошли Алексей Тихонов из Lokad, Свен Крони из iqast и Николас Вандепют из SupChains. Сессию открыл Роберт Филдес, профессор‑эмеритус Ланкастерского университета.

Дискуссия началась с того, что Николас Вандепют изложил свою концепцию планирования спроса в эпоху машинного обучения. Он предложил четырехступенчатый процесс, который включал рассмотрение прогнозирования спроса как информационную игру, создание автоматизированного движка прогнозирования спроса на основе машинного обучения, возможность для специалистов по спросу обогащать прогноз информацией, не включенной в модель, и отслеживание добавленной ценности всех участников процесса.

Свен Крони поделился своим опытом в области ИИ и прогнозирования, отметив медленное внедрение ИИ в планирование спроса. Он обсудил сложности интеграции ИИ в процессы планирования спроса и предположил, что в будущем ИИ может потенциально заменить специалистов по спросу. Однако он также отметил неоднородность прогнозирования, так как различные отрасли требуют различных подходов.

Алексей Тихонов утверждал, что планирование спроса – устаревший подход, а вмешательство суждения в прогнозирование является расточительным. Он выступил за вероятностное прогнозирование, которое отражает структурную схему риска, и критиковал планирование спроса за отсутствие экономической перспективы и автоматизации. Он также выступил за полную автоматизацию процесса принятия решений в цепях поставок, утверждая, что сложность и масштаб решений в цепях поставок делают это необходимым.

Панелисты также обсудили значение прогнозирования в принятии решений. Николас Вандепют подчеркнул, что прогнозы создаются для упрощения принятия решений, и выступил за модели, способные обрабатывать как можно больше информации. Он также предположил, что при оценке прогноза он сосредоточится на точности прогнозирования, а не на бизнес-результатах, поскольку на последние могут влиять многие другие факторы, выходящие за рамки контроля прогнозиста.

Свен Крони рассмотрел индустриальную перспективу планирования спроса, подчеркнув важность долгосрочных стратегических решений и планирования на основе сценариев. Он также отметил сложности в измерении добавленной ценности и значимость суждения в процессе.

Алексей Тихонов поставил под вопрос ценность более точного прогноза, если он не приводит к иному решению. Он утверждал, что ценность решения зависит не только от прогноза, но и от других факторов, таких как движущие силы принятия решений.

Панелисты также обсудили доверие к прогнозам: Николас Вандепют предложил, что единственный способ создать доверие к прогнозу, будь он создан человеком или машиной, – это отслеживать точность каждого этапа процесса. Свен Крони согласился, что доверие важно, и предложил, что для автоматизации некоторых частей процесса можно использовать сочетание ИИ и простых, прозрачных методов.

Панелисты также обсудили будущее специалистов по спросу. Свен Крони считает, что специалисты по спросу всё ещё будут иметь свою роль в будущем, но им предстоят всё большие вызовы из-за увеличения частоты принятия решений и роста объема доступных данных. Николас Вандепют предполагает, что роль специалистов по спросу будет эволюционировать в направлении сбора, структурирования и очистки данных и информации. Алексей Тихонов считает, что специалисты по спросу в долгосрочной перспективе не смогут конкурировать с интеллектуальными системами.

Панель завершилась сессией вопросов и ответов, в ходе которой участники ответили на вопросы из зала по таким темам, как условия или требования для создания автоматических решений в планировании спроса, роль суждения в планировании спроса и как включить человеческое смещение в статистическое смещение для уменьшения общей предвзятости.

Полная транскрипция

Robert Fildes: Я Роберт Филдес, и я представляю эти две сессии. По логистическим причинам они были переставлены местами, и в течение следующего часа мы будем говорить об изменении роли специалистов по спросу и о том, как их роль может быть существенно изменена развитием ИИ и машинного обучения. Панель скоро поделится своими мудрыми словами. Сессия, в которой Пол Гудвин и я обсуждали множество эмпирических данных о роли суждения, перенесена сегодня на 15:10. Это отражено в программе. Да, мы поговорим о корректировке суждения, но не в этом зале, а в другом. С нетерпением жду встречи с вами и стимулирующей, предпочтительно спорной, дискуссии. Передаю слово председателю, Конору.

Conor Doherty: Большое спасибо, Роберт. Всем привет, я Конор, руководитель отдела коммуникаций в Lokad, и я очень рад, что на сцене со мной сегодня присутствует выдающаяся панель из академической среды и индустрии. Слева от меня находится Алексей Тихонов, специалист по развитию бизнеса и продуктов в Lokad. Рядом с ним – доктор Свен Крони из Ланкастерского университета, генеральный директор и основатель iqast, и, наконец, Николас Вандепют из SubChains. Темой сегодняшней дискуссии, как вы, надеюсь, видите на экране, является планирование спроса и роль суждения в новом мире ИИ и машинного обучения.

Я вполне уверен, что с учетом присутствующих на сцене людей это будет живой обмен идеями, и я думаю, что любые технологические достижения обычно вызывают вопросы о том, как они повлияют на участие человека. Поэтому с нетерпением жду, когда наши три панелиста обсудят эту тему. Прежде чем начнем, так как время сегодня немного ограничено, немного административных моментов. Каждый панелист получит по 5 минут, чтобы представить свою точку зрения на тему. Сначала выступит Николас, затем Свен и, наконец, Алексей.

После этого я задам несколько вопросов, призванных выяснить некоторые детали и последствия их точек зрения, и, если мы все еще будем на одной волне, то, надеюсь, последуют вопросы из зала. Позвольте мне сказать: пожалуйста, если возможно, учитывая ограниченность времени, заранее подготовьте идеи, прежде чем микрофон будет передан, а не монолог в виде вопросительного знака. На этом я передаю слово первым – Николас, пожалуйста, изложите вашу точку зрения на эту тему.

Nicolas Vandeput: Спасибо, Конор. Всем здравствуйте. Отлично, у меня есть слайды. Позвольте представить вам видение совершенства планирования спроса в эпоху машинного обучения и того, как, по сути, можно интегрировать машинное обучение с человеческим обогащением для прогнозирования спроса в цепях поставок. Итак, на слайде представлены четыре шага, позвольте объяснить их.

Первое, что для меня важно, – рассматривать прогнозирование спроса как информационную игру. По сути, это означает, что вы хотите собрать как можно больше данных, информации, инсайтов – как бы вы это ни называли – о будущем спросе. Это может быть ваш календарь акций, количество рекламы, которую вы собираетесь провести, данные о продажах, запасы у вашего клиента, заказы, полученные от клиентов заранее – всё это. Возможно, для некоторых отраслей это будет отличаться, и это нормально, но основная идея в том, что первый шаг – найти информацию о том, что нас ждет. Вы – журналист, репортер, детектив – идите и найдите эту информацию.

Теперь, когда у нас есть вся эта информация, данные, которые можно структурировать, необходимо передать в систему машинного обучения, и вы хотите создать движок прогнозирования спроса на основе машинного обучения, который будет автоматизированным и надежным. Под автоматизированностью я подразумеваю, что это инструмент, движок, который не требует ручного вмешательства, проверки или донастройки человеком. Его может настроить команда специалистов по данным или он настроится автоматически, то есть он полностью автоматизирован. Надежность означает, что ваш движок машинного обучения должен учитывать большинство факторов, влияющих на бизнес, а именно акции, цены, дефицит, возможно, рекламу, погоду, праздники и тому подобное. То есть он должен быть надежен в отношении большинства бизнес-факторов и полностью автоматизирован, чтобы вы не должны были его трогать или пересматривать.

После того как вы это настроили, люди, то есть специалисты по спросу, всё ещё могут обогащать прогноз на основе информации, которую они обнаружили и которая не включена в эту модель. Например, представьте, что они звонят вашему клиенту, и один из клиентов говорит: «Сейчас действительно трудное время, я не оформлю заказ в этом месяце». Клиент не сообщит об этом модели машинного обучения, модель об этом не узнает. А специалист по спросу узнает. Поэтому специалист должен пересмотреть прогноз и отредактировать его, так как он знает то, о чем модель не знает.

Последний шаг – добавленная ценность прогноза. Это абсолютно критичный этап. Я бы даже начал с него. Это означает, что нам нужно отслеживать добавленную ценность каждого участника процесса. То есть нам нужно отслеживать точность прогноза до и после его обогащения, чтобы со временем убедиться, что обогащение действительно добавляет ценность. Конечно, каждый может иногда быть удачливым или невезучим, и это нормально. Не каждое обогащение добавит ценность, но то, что мы хотим доказать и показать со временем, это то, что в среднем эти обогащения приносят пользу. Так что это стоит нашего времени. Вот мое видение в четырех шагах о том, как интегрировать машинное обучение и специалистов по спросу.

Conor Doherty: Большое спасибо, Николас. Теперь передаю слово Свену.

Sven Crone: Спасибо. Да, спасибо. Я Свен Крони из Ланкастерского университета, доцент с почти двумя десятилетиями исследований в области ИИ и прогнозирования. Так что я полностью склоняюсь к ИИ, должен сказать это сразу. Я пытался заставить ИИ работать в прогнозировании на протяжении многих, многих лет. Просто чтобы вы знали о моем фундаментальном предубеждении. В то же время мы создали небольшую компанию, где пытались помочь крупным многонациональным компаниям использовать новые технологии, и оглядываясь на те десятилетия, это невероятно сложно. Думаю, нам сегодня, надеюсь, на панели придётся затронуть некоторые «слоны в комнате».

Хотя эта концепция существует уже много лет, мы можем заменить статистику ИИ, можем заменить её статистикой. На самом деле, по моему мнению, мы не стали кардинально трансформировать процессы планирования спроса. Это моё фундаментальное предубеждение. Если говорить на основе моего опыта, то мы обучили множество специалистов по спросу, пытаясь заставить их оценить некоторые алгоритмы экспоненциального сглаживания и ARIMA, существующие на практике. Могу сказать, что это не самое приятное занятие. Им даётся трудно адаптироваться к этим методам. Это приятное упражнение с точки зрения спроса, но очень сложно заставить их принять некоторые более простые технологии. Так что, думаю, позже мы немного поговорим о том, что произойдёт, если эта технология станет ещё более продвинутой и людям придётся взаимодействовать с ней.

Но текущее состояние, примерно 10 лет назад, использование ИИ было весьма ограниченным, хотя нейронные сети существуют уже почти 60 лет, начиная с некоторых ранних инноваций, особенно с 1980-х годов. Но внедрение технологий происходило сравнительно медленно. За последние два-три года мы регулярно проводим опросы на конференциях практиков. Мы только что выступали на одной из таких конференций – ASM – в Брюсселе, и провели опрос аудитории. Мы спросили, сколько людей на самом деле работают с концептуальными доказательствами в области ИИ и МЛ, и примерно 50% аудитории были вовлечены в процесс. Это выросло с 5–10% 10 лет назад. Теперь 50% проводят доказательство концепции. Они ещё не работают в производственной среде, но довольно немногие уже запустили свои проекты, и мы видели отличные компании, которые это опробуют. Так что опасений в аудитории практически не было, а также были и другие интересные кейс-стади. Но также поразительно то, что столько же проектов, сколько достигают успеха, терпят неудачу.

Таким образом, у нас была значительная часть аудитории, где проекты ИИ не увенчались успехом, и я думаю, что именно пересечение между embedding технологии и процессом планирования спроса, который включает гораздо больше, чем просто этап прогнозирования, и есть причина этого. Если мы говорим о промышленности, нам нужно учитывать управление основными данными, очистку данных, приоритизацию, расчет метрик ошибок, запуск статистической модели, а затем, возможно, анализ ошибок, выявление тревог и внесение корректировок. И, кстати, даже если у вас есть полноценно налаженный статистический процесс базового прогнозирования, которым, к тому же, большинство компаний сегодня не располагают, Gartner предлагает замечательную матрицу зрелости для различных этапов S&OP.

Очень немногие компании находятся на четвертом уровне; большинство располагается между первым, вторым и третьим уровнями. Даже если у вас есть статистический процесс, то вопрос о том, как очищать историю time series — автоматически или вручную — остаётся делом суждения. Решение о том, какой алгоритм выбрать, тоже требует суждения. То же касается и выбора метапараметров для поиска. Здесь много субъективности, но, думаю, традиционно мы рассматриваем финальную корректировку статистического базового прогноза как нечто понятное или непонятное. И, возможно, глядя в будущее, я не видел большого движения или инноваций в развитии процесса S&OP, как его разработал O.W., и наблюдаю, как руководители серьезно недовольны отсутствием прогресса, или, по крайней мере, кажущимся его отсутствием, хотя в разработке процессов обычно есть прогресс.

Но, знаете, я помню, как CEO Unilever сказал, что мы должны отказаться от планирования спроса, потому что оно не работает в условиях COVID. Перед планировщиками спроса стоят реальные вызовы, если они хотят сохранить свои рабочие места, если они не используют ИИ, и я действительно думаю, что существует реалистичный сценарий, при котором, как вы сказали, если удастся сделать всё это, ИИ сможет заменить планировщиков спроса даже в этапах субъективной корректировки. Но мы ещё не там. С нетерпением жду ваших взглядов.

Conor Doherty: Спасибо, Sven. Алексей, поделитесь, пожалуйста, своими мыслями.

Alexey Tikhonov: Спасибо. Моё предложение будет кардинально иным. Я думаю, что сначала нам нужно расширить рамки, потому что планирование спроса существует в цепочке поставок, а цель цепочки поставок — принимать решения в условиях неопределенности, принимать прибыльные решения при наличии ограничений. Что касается этой цели, я считаю, что планирование спроса — устаревший подход, и субъективное вмешательство в прогнозирование является расточительным, даже если оно немного улучшает точность прогнозов. Почему так?

Планирование спроса является устаревшим подходом, поскольку оно подразумевает разделение прогнозирования и принятия решений. Это разделение неизбежно приводит к выбору простых инструментов, так как мы вводим интерфейс “человек-человек”. Нам нужно передавать информацию очень просто, и мы выбираем точечные прогнозы, потому что их может понять каждый. Расчёт метрик точности прост, так что мы можем спорить об этих показателях, корректируя их вверх или вниз. Но, к сожалению, такой выбор инструментов не позволяет принимать прибыльные решения.

Чтобы принять прибыльное решение, нам необходимо оценить финансовые риски и доходы. Мы можем сделать это, только если уловим структурный характер риска. Насколько мне известно, существует всего один инструмент, который это позволяет, — вероятностное прогнозирование, при котором вместо одиночных точечных предсказаний вы высказываете обоснованное мнение о том, как могут выглядеть все возможные будущие сценарии и каковы вероятности для каждого из них.

Я говорю не только о спросе. Существуют и другие неопределенности, например, неопределённость lead time, которую необходимо учитывать. Это особенно актуально, если вы работаете с товарами, поставляемыми из-за рубежа. Затем может возникнуть неопределённость выхода продукции, если вы занимаетесь производством продуктов питания. Может быть неопределённость возвратов, если вы работаете в электронной коммерции. Итак, существует множество источников неопределенности, и вам нужны специальные инструменты, такие как вероятностное моделирование, чтобы объединить все эти неопределенности и затем принимать решения.

Планирование спроса предлагает нам только одну версию будущего — точечный прогноз, который является наиболее вероятным сценарием. Но нас интересуют хвосты этого распределения, ведь именно там сосредоточены риски. Далее, подход планирования спроса неизбежно приводит к рассмотрению лишь одного варианта решения. У вас есть точечный прогноз, вы применяете либо формулу safety stock, либо простую inventory policy, и на основе этого принимаете решение. Но является ли это решение выгодным? Что если я изменю его вверх или вниз? Как изменится моя ожидаемая прибыль? Я не могу этого сделать, потому что мои прогнозы — это точечные предсказания. Я не указываю никаких вероятностей для этих сценариев.

Третья проблема планирования спроса заключается в том, что экономическая перспектива полностью отсутствует. Мы говорим о точности прогнозов в процентах или, если использовать различные метрические показатели, касающиеся точности в абсолютных значениях, мы упускаем финансовую сторону вопроса. Поэтому нам необходимо оценить ожидаемые затраты и ожидаемые доходы, а также рассмотреть второстепенные факторы, например, как сравнивать решения по управлению запасами для разных товаров. Каждый ритейлер знает, например, что наличие подгузников на складе гораздо важнее, чем наличие премиального шоколада, потому что если у вас нет первого товара, ваши клиенты будут разочарованы, и вы потеряете лояльность.

Планирование спроса препятствует масштабной автоматизации. Что мы будем автоматизировать? Мы будем автоматизировать процесс принятия окончательных решений, а не только прогнозирование. Нам нужно автоматизировать всю цепочку. Мы должны преобразовывать наши исходные транзакционные данные в конкретные решения, которые уже учитывают все ограничения, такие как минимальные объемы заказа (MOQ) и другие факторы, влияющие на решение, например, ценовые скидки.

И наконец, но не в последнюю очередь, должно существовать чувство ответственности. В настоящее время нет ответственности за окончательные решения, потому что существует процесс передачи прогноза другой команде, которая затем принимает решение, и потом начинается игра в обвинения: «О, мы приняли это решение, потому что ваш прогноз был неточным или потому что была произведена субъективная корректировка прогноза, что привело нас к неверному решению».

Таким образом, подводя итоги, подход планирования спроса устарел, и у нас есть нечто лучшее. Спасибо.

Conor Doherty: Ну, сегодня мы, в общем-то, согласны, но не во всем. Можно я отвечу на это, потому что с некоторыми аспектами я полностью согласен? Думаю, вы упомянули о точечных прогнозах по сравнению с интервальными или вероятностными прогнозами, верно? Но существует множество программных пакетов, которые занимаются этим уже много лет, однако практики игнорируют этот подход. Но, думаю, мы все понимаем ценность передачи не только значения спроса, но и связанного с ним риска.

SAS занимается этим уже долгое время, Forecast Pro работает по этому принципу, и даже Forecast X использует этот подход, но это широко игнорируется. Так почему же это игнорируется? Наверное, нам следовало бы обсудить, почему планировщики спроса не понимают интервальные прогнозы. Думаю, это было бы интересно. Ещё один момент, который вы упомянули, и который, на мой взгляд, тоже заслуживает внимания, заключается в том, что часто существует разрыв между планированием спроса и планированием запасов, сетевого планирования поставок, производственного планирования, что могло бы способствовать формированию целостного решения.

Но если вы думаете о крупных многонациональных компаниях, то процессы устроены таким образом, что на принятие решений влияют десятки тысяч сотрудников, и они не обмениваются своими знаниями свободно. И третий момент: нам нужно задуматься, что именно мы подразумеваем. У всех нас различный опыт в области планирования спроса. Я пришёл из промышленных многонациональных компаний, таких как, знаете, возможно, многонациональные транспортные компании, компании в сфере быстрооборачиваемых потребительских товаров, фармацевтики. А у вас, вероятно, больше опыта в розничной торговле, где все эти аспекты могут объединяться.

Но что мы наблюдаем, так это то, что есть отличные книги, например, Чарли Чейза из SAS. Я думаю, он писал о планировании поставок, основанном на спросе. Речь идёт о согласовании спроса и предложения. Это в равной степени процесс обмена информацией, обмена ожиданиями и управления рисками — именно управления рисками на долгосрочную перспективу в S&OP, рассчитанную примерно на 6–18 месяцев, в то время как S&OE охватывает период от одного до четырёх месяцев, и этот обмен информацией может быть неоценим, независимо от того, каким будет окончательный единичный прогноз.

Таким образом, я не отрицаю, что нам еще предстоит пройти долгий путь в вопросе интеграции принятия решений. Но я считаю, что планирование спроса выполняет более чем одну функцию. Однако, думаю, в интересах обсуждения, сегодня мы сосредоточены на автоматизации. Возможно, ИИ используется в контексте автоматизации, и мы в основном ориентированы на точность. Но очень немногие действительно уделяют внимание обмену информацией. Существует несколько интересных работ о надежности прогнозов. То есть, что происходит, если вы постоянно меняете прогноз с очень реактивной моделью машинного обучения, и производственное планирование сходит с ума, так как они суммируют данные за период выполнения заказа, и в итоге возникает избыток или нехватка запасов, вызывая необходимость выпуска производственных заказов.

Так что, я думаю, если мы сможем сосредоточиться, возможно, на процессе планирования спроса и вкладе прогнозирования в этот процесс, поскольку остальные аспекты относятся к планированию запасов, сетевому планированию, производственному планированию, это усложнит наше обсуждение. Но я полностью согласен с вами, что это было бы важно.

Alexey Tikhonov: Возможно, краткий комментарий. Да, моё мнение таково: нам не нужно улучшать обмен информацией или повышать точность прогнозов. По-моему, нам необходимо полностью автоматизировать часть принятия решений. Мы не должны позволять специалистам по цепочке поставок участвовать в процессе прогнозирования, потому что цепочки поставок чрезвычайно сложны. Речь идет о компаниях, даже если взять средние компании с оборотом около 100 миллионов, в розничной торговле они будут иметь десятки тысяч SKU, сотни магазинов. Вы перемножаете одно на другое, и для каждого SKU и каждой локации нужно принимать решения ежедневно.

Даже если у вас есть заранее определённые циклы принятия решений, например, «Я принимаю это решение раз в неделю», вам всё равно следует ежедневно пересчитывать эти решения. Почему? Потому что возможности человека ограничены. Вам нужен компьютер, который будет проверять: «Если произойдёт резкий всплеск спроса, мне следует узнать об этом до обычного цикла принятия решений, так как я ожидаю, что спрос станет более стабильным». Таким образом, вам нужно ежедневно принимать эти решения, даже если подавляющее большинство из них будут тривиальными, типа «сегодня мы не совершаем покупку».

Человеческие возможности весьма ограничены, и когда речь заходит об обмене информацией между людьми, мы теряем время. Нам нужно автоматизировать как можно больше. Надо мыслить по-капиталистически. Нам нужно создавать активы – роботов для принятия решений. Только так мы сможем извлечь прибыль из цепочек поставок.

Nicolas Vandeput: Не могли бы вы вернуться к моему слайду на минуту? Я хочу структурировать это. Итак, я начну со своей концепции и постараюсь сделать её ещё более радикальной, чтобы продолжить обсуждение. Думаю, мы все согласны с тем, что делаем прогнозы, потому что хотим принимать отличные решения. И можно сказать: может, этот тип прогноза был бы лучше, этот тип прогноза, эта детализация, этот горизонт, точечный прогноз и так далее. Но мы все согласны, что делаем прогнозы, потому что в какой-то момент нам нужно принять решение.

Почему же мы все так склонны к автоматизации? Потому что нам приходится делать так много прогнозов и принимать так много решений в крупномасштабном режиме, и мы не хотим, чтобы возникала вариативность. Если задействован человек, возникает проблема вариативности. Проблема в том, что необходимо сделать так много прогнозов и принять столько решений. Теперь, как я вижу прогнозы, всё сводится к тому, сколько информации вы можете обработать и насколько хорошо вы умеете её обрабатывать. Поэтому я хочу иметь модель, которая максимально эффективно справляется с обработкой как можно большего объёма информации.

Технологии, которые у нас есть, могут измениться через 10 лет. Мы могли бы иметь унифицированную модель, способную обрабатывать всю доступную в мире информацию. Возьмем, к примеру, пандемию COVID-19. Представьте, что сейчас середина марта 2020 года. Если у вас есть механизм прогнозирования, даже с лучшими технологиями обучения, которые есть на сегодняшний день, вы, как человек, понимаете, что COVID наступит, и что состояние мира и городов изменится в последующие недели. Ваша модель об этом не знает.

Теперь, вы можете использовать точечный прогноз, можете использовать вероятностный прогноз, но вы, как человек, всё равно должны обогащать и пересматривать его, поскольку у вас есть доступ к информации, к которой ваша модель не имеет доступа. Поэтому для меня обсуждение того, должен ли это быть точечный прогноз, не представляет интереса, ведь вывод остаётся прежним: всё сводится к тому, сколько информации вы можете максимально подать в модель.

А если вы не можете подать в модель определённую информацию, то наступает время, когда человек должен обогатить её. Именно поэтому всегда имеет смысл, чтобы последний человек мог пересмотреть какое-либо решение или прогноз, основываясь на информации, которую модель обработать не может.

Свен Крон: Думаю, мы говорим о разных отраслях. Когда речь заходит о планировании спроса, я полностью с тобой: если ты работаешь в розничной торговле и ежедневно сталкиваешься с десятками тысяч решений, тогда нужна значительная степень автоматизации.

Но мы уже некоторое время работаем с розничными торговцами в Великобритании, и даже там в ассортименте вносятся корректировки для тех случаев, когда неопределенность правит, как, например, экстремальные погодные условия или последствия закрытия магазинов из-за COVID для геля для душа по сравнению с туалетной бумагой в Германии.

Но если речь идет, например, о фармацевтическом производителе, у которого, возможно, от двух до 400 основных продуктов, их вполне можно контролировать вручную. То есть, почему же все эти компании выживают? Мы проводили опросы, и примерно 50% компаний используют очень простые статистические методы. Они справляются, работают с прибылью, растут, обладают гибкостью в цепочке поставок, у них уже внедрен S&OP.

Так что существует целый спектр проблем, и, думаю, это одна из тех вещей, которые я люблю на этой конференции. Все эти различные подходы к прогнозированию объединяются. Есть люди, которые показывают нам нагрузку на электроэнергию для умных счетчиков. Да, у вас сотни тысяч умных счетчиков с прогнозированием каждую минуту, и никакое вмешательство человека здесь нецелесообразно.

Но если у вас есть всего несколько важных товаров, которые, знаете, вы действительно хорошо понимаете, скажем, в фармацевтической компании, мы рассматривали вакцины, например, которые хорошо изучены. Думаю, существуют разные подходы к планированию спроса.

То, чем мы занимаемся в прогнозировании, столь же разнородно, как и продукты и рынки, и в этом вся прелесть. Именно поэтому мы все сидим у бара и обсуждаем прогнозирование, говоря о совершенно разных вещах. Но я полностью с тобой: если речь идет о розничной торговле, то я уверен, что автоматизация вполне возможна.

Мы договорились не соглашаться в том, что миру хватит разных программных продуктов для специализированных решений. Вот почему такие крупные компании, как SAP, имеют специализированные решения для розничной торговли, и они будут работать иначе, чем для потребительских товаров или фармацевтики в промышленном секторе, или для других областей. Так что, думаю, мы действительно согласны, просто подходим к этому с разных точек зрения.

Конор Дохерти: Алекс, ты хочешь что-нибудь добавить?

Алексей Тихонов: Просто небольшое замечание. Я не могу согласиться с утверждением, что люди должны вмешиваться в процесс прогнозирования. Там, где люди могут добавить ценность, они могут внести её на этапе ввода в этот аналитический двигатель решений, чтобы прояснить семантику данных, предоставить больше данных, объяснить инженеру, который разрабатывает все эти алгоритмы или аналитический двигатель, как данные используются в бизнесе, чтобы он лучше понимал общую картину.

А затем они могут добавить ценность на завершающем этапе, проверяя решения, которые генерирует аналитический двигатель, и выявляя, по их мнению, безумные или неточные решения, после чего пересматривать этот числовой рецепт, чтобы выяснить, что не так. Какие предположения оказались неверными? Почему он принимает неправильное решение? Потому что если они вмешиваются между этапами, они затрагивают процесс прогнозирования или переопределяют решение, и тогда ресурсы расходуются, а не инвестируются. Прежде всего, нужно искать способы, как можно улучшить эту роботизацию, ведь если делать всё вручную, вы теряете время.

И, кстати, начинать следует с решений, а не с прогноза. Потому что что, если у меня был MOQ в 100 единиц, а ты подошёл ко мне и сказал: «О, теперь у меня лучший прогноз. Вместо 50 единиц спроса их 55», то у меня всё равно есть MOQ, так что, с моей точки зрения, оба прогноза практически не имеют значения, несмотря на то, что один из них точнее. Я всё равно принимаю то же самое решение, а тот факт, что вы вложили больше ресурсов в создание более вычислительно затратного, потенциально более точного прогноза, привёл к улучшению точности, но в целом мы оказываемся в негативной ситуации, так как принимаем то же самое решение, инвестируя больше ресурсов.

Вот почему я против ручного вмешательства в этапы процесса. Лучше пересмотреть весь рецепт, чтобы улучшить автоматизацию, сделать её более надежной, устойчивой и рациональной.

Свен Крон: Жаль, что у нас не состоялась предварительная дискуссия с Робертом и Полом, которые, вероятно, во второй половине дня рассматривали добавленную ценность прогноза, ведь у нас есть множество доказательств того, что помимо продвинутых статистических методов, суждение может внести значительную дополнительную ценность.

И я думаю, что суть вопроса, поднятого сегодня, такова: может ли машинное обучение преодолеть добавленную ценность, обеспечиваемую статистикой и суждением, или это одно и то же? И еще, вопрос общей стоимости владения тоже важен, верно? Что из этого эффективнее?

Я уверен, что у Николая есть множество примеров, о которых вы уже говорили или о которых сообщали, где процесс полностью автоматизируется, и это добавляет больше ценности, чем корректировки, основанные на суждениях. Но, может быть, перейдем к следующему вопросу.

Конор Дохерти: На самом деле, это скорее переход, своего рода этап, подготавливающий к основополагающему вопросу, потому что, слушая вас, создается впечатление, что имеется почти инструментальное разногласие, но в целом — согласие.

И на самом деле, я сначала обращусь к тебе, Николя. Что-то, что ты сказал ранее — и, опять же, прости, если я неправильно передаю, я перефразирую: мы используем прогнозирование для принятия лучших решений. Это означает, что прогнозирование является инструментом в более широком процессе, что поднимает вопрос: где же заключается ценность?

Ведь если вы используете прогнозирование как инструмент для достижения чего-то большего, где же находится ценность? В том инструменте, который строит дом, или в самой структуре дома? В этой аналогии дом — это решение.

Николя Вандепют: Думаю, у вас два важных вопроса в прогнозировании. Первый — насколько точен ваш прогноз. И, опять же, мы могли бы обсуждать, как измерять точность (очень интересные дебаты), но это не суть сегодняшнего разговора. Давайте просто представим: первый шаг — оценить, насколько точен или хорош прогноз.

Второй вопрос в том, насколько хорошо ваша компания способна принимать правильные решения на основе данного прогноза. К сожалению, команды, принимающие решения, различаются: они работают с разными входными данными, дают разные результаты и имеют разные KPI.

С точки зрения цепочки поставок, я бы не винил специалистов по прогнозированию или разработчиков аналитического двигателя за плохие решения или неудачные KPI, связанные с решениями, потому что они не влияют на них. В то же время у вас может быть очень неточный прогноз, а лицо, принимающее решение, либо просто повезло, либо оно чрезвычайно умело принимает правильные решения, несмотря на плохой прогноз.

Таким образом, вы можете получить весьма хорошие бизнес-показатели KPI. Опять же, можно обсуждать, какие KPI уместны, а какие нет, но их можно наблюдать в обоих случаях, хоть и в разных направлениях. Поэтому, когда я хочу оценить прогноз, я смотрю исключительно на его точность, потому что знаю, что бизнес-результаты могут зависеть от столь многих других факторов, которые абсолютно не зависят от того, кто делает прогноз — машина или человек.

Теперь, что очень интересно, и я проводил такие симуляции для нескольких клиентов, так это то, что в зависимости от качества вашего прогноза — и снова можно обсудить, как измерять точность — и особенно в зависимости от смещения, например, если вы сильно склонны к завышению или занижению прогноза, или если у вас есть инструмент, который правильно откалиброван, (как я надеюсь), то аналитический двигатель для оптимизации цепочки поставок может работать по совершенно разной политике.

Таким образом, оптимальная политика или оптимальный способ принятия решений могут меняться в зависимости от качества прогноза. Это также означает, что если сегодня вы переходите от прогноза, который чрезвычайно завышает всё из-за политической предвзятости вашего процесса, к прогнозу, созданному на основе машинного обучения, вам одновременно нужно пересмотреть, как принимаются решения в вашей цепочке поставок.

Люди полагаются на процесс, инструмент, систему. Исторически прогноз всегда был на 30% завышен. Так что если вы это измените, вам также нужно изменить процесс поставок. Оба должны быть интегрированы. Но с точки зрения цепочки поставок я бы оценивал KPI настолько независимо, насколько это возможно.

Конор Дохерти: Спасибо. Свен, твои мысли? Просто повторю вопрос: если прогнозирование — это инструмент для достижения чего-то большего, где, по-твоему, заключается ценность? В качестве решения или в качестве точности прогноза? Определяйте их, как вам угодно.

Свен Крон: Думаю, мы уже коснулись этого. Для меня планирование спроса, или, используя определение Gartner и процесс Oliver Wight, рассматривается с промышленной точки зрения. Фармацевтическая и потребительская отрасли обычно планируют на значительно более долгий горизонт, чем то, что рассматривается в розничной торговле. Они смотрят, скажем, на 6–18 месяцев вперед. Дорогими являются стратегические решения. Вы определяете долгосрочные планы, составляете прогнозы, проводите мероприятия по устранению разрывов, пытаетесь согласовать спрос и предложение на гораздо более длительный период. У вас нет данных о промо-акциях, нет информации о погоде, нет сведений о срыве поставок. Таким образом, речь идет о сценарном планировании и комплексном планировании сценариев, которые должны воплотиться в конкретные запасы.

Но это долгосрочная перспектива. Если смотреть на ситуацию, то, как мне кажется, большинство отраслей всё ещё имеют замороженный период примерно на три месяца, то есть планируют на период за его пределами. S&OE, с другой стороны, который недавно был принят Gartner, смотрит на это совершенно иначе. Для долгосрочного горизонта, я считаю, важны прозрачность и коммуникация, чтобы подготовиться к изменению бюджетов, их пересмотру, согласованию объема и ценности. Это очень агрегированный процесс. Вы смотрите на высокие уровни иерархии, изучаете рынки, каналы, но не отдельные продукты.

А затем вы переходите к повседневной работе, а это и есть S&OE. В S&OE, согласен, у вас автоматизированные и стандартизированные решения; точность — важный момент, прозрачность всё ещё играет роль, хотя ее часто упускают из виду, или, точнее, надежность. Но, как мне кажется, 85% всех презентаций на этой конференции посвящены точности. Есть целая сессия о надежности, и это хорошо. Но я считаю, что самое важное новшество для измерения всего процесса — это добавленная ценность прогноза. Суть в том, чтобы рассмотреть отдельные компоненты и увидеть, как они добавляют ценность. Это очень управленческий взгляд, потому что вы хотите инвестировать ресурсы туда, где они приносят пользу.

К сожалению, это не охватывает такие вещи, как управление мастер-данными. Это трудно измерить. Также не охватываются аспекты очистки данных, которые, как я считаю, являются ключевыми для успешного статистического прогнозирования. И в самом конце все сводится к человеку. Но нам трудно измерить добавленную ценность, потому что если оценивать по точности прогноза, обычно взвешенной по стоимости или объему, можно ли сказать, что принимаются наилучшие решения с ошибочными метриками, к которым академики не прикасаются. На самом деле, рассматривается именно вопрос, какая добавленная ценность создается. Однако у нас много планировщиков спроса, которые фактически выбирают статистический алгоритм в инструменте. Они могут переопределить этот выбор, но добавленная ценность приписывается статистическому алгоритму. Так что я думаю, что сегодня суждение имеет большую ценность, и его можно измерить. И, полагаю, большинство компаний уже приняли это, и добавленная ценность является хорошим инструментом для этого. И снова, я смотрю на долгосрочную перспективу и гораздо меньше на краткосрочную, где эффективность запасов должна быть взаимосвязана и так далее.

Конор Дохерти: Хорошо, спасибо.

Алексей Тихонов: Думаю, когда мы говорим об изменениях в точности прогноза, об улучшениях, и связываем это с процессом добавления ценности прогноза, мы запутываемся в терминологии, потому что правильнее было бы говорить о добавленной точности прогноза, а не о добавленной ценности. Ведь слово «ценность» сразу вызывает финансовую перспективу, а финансовая перспектива определяется решениями. Результаты вашего бизнеса зависят исключительно от решений, которые вы принимаете и насколько хорошо вы их реализуете. То есть в этой перспективе речь идет только о решениях и их качественном выполнении.

Когда мы рассматриваем решения, например, если у меня есть прогноз номер один, который ведет меня к принятию решения A, а прогноз номер два — более точный, я знаю, насколько различие в точности. Но вопрос в том, приводит ли этот другой, более точный прогноз к другому решению? Если нет, то это пустая трата, несмотря на его большую точность. То есть, несмотря на кажущуюся лучшую точность, с финансовой точки зрения мы получаем чисто негативный результат. А если решение отличается, то как оценить это расхождение, как переход от решения A к решению B, сколько дополнительной прибыли мы получим по сравнению с разницей в затратах ресурсов? Для меня это открытый вопрос. Мы можем использовать обе модели прогнозирования для оценки потенциальной доходности обоих решений, но это всё же остается вопросом предположений, потому что у нас нет двух альтернативных вселенных для тестирования двух вариантов. В конце концов, нам придется выбрать только один.

И, более того, ценность решения не зависит исключительно от самого прогноза. Существуют и другие факторы, такие как движущие силы решения. К примеру, мы работаем с Air France, их подразделением MRO по запасным частям для самолетов. И совсем недавно мы внедрили с ними аналитический двигатель для принятия решений, и недавно была совершена крупная покупка, инициированная роботом, который приобрел, как мне кажется, несколько десятков вспомогательных блоков питания для самолета общей стоимостью в несколько миллионов евро. Люди говорили: «О, должно быть, ошибка». Но когда начали проверять, оказалось, что кто-то с другой стороны ошибся и установил цену значительно ниже средней рыночной. Робот это обнаружил и немедленно отдал приказ на выполнение сделки. Это не имеет отношения к точности прогноза, но это решение имеет огромную ценность.

Как видите, мы сосредоточены на точности прогнозирования, однако существует множество других факторов, которые могут влиять на ценность принимаемого решения. Поэтому, когда мы говорим о денежной стоимости, мы не должны концентрироваться исключительно на прогнозировании. Мы должны рассматривать весь процесс, посредством которого мы принимаем решения, что входит в анализ, каков наш процесс принятия решений, какие моменты важны, а какие имеют второстепенное значение.

Свен Кроне: Чтобы добавить, я согласен, и вы уже упоминали это в первом раунде, что должно быть принято решение по запасам, а затем его следует оценивать с точки зрения запасов. Если быть справедливым, в академической среде большинство людей или даже все журналы рассматривают это как хорошую практику или как минимум необходимую практику. Так что, если вы посмотрите журналы по производственной экономике, а также ISER, и Inventory Society, то увидите, что это считается хорошей практикой. Вы увидите множество презентаций от академиков, которые действительно измеряют стоимость решения по компромиссным кривым между уровнем сервиса и сроками поставок, а также определяют соответствующую стоимость запасов. Это то, чего я совсем не наблюдаю на практике.

Это очень сложно осуществить на практике, сложно выполнить, но это возможно. Конечно, нужно делать определённые предположения. Цепочка поставок сложна, но я полностью с вами согласен. Стоимость принятого решения должна быть адекватной. Но всё возвращается к исследованиям Грейнджера 1969 года об асимметричных функциях потерь. Обычно у нас нет данных о стоимости решения, поэтому мы вынуждены что-то предполагать. То, что я считаю огромным пробелом, а возможно и упущением, заключается в том, что это сообщество не сумело установить связь между точностью прогноза, как бы вы её ни измеряли, и затратами, связанными с принятием решения.

Таким образом, у нас действительно был исследовательский проект. Очень немногие компании, в прошлом Johnson and Johnson представили подобные данные. Один процентный пункт точности прогноза, как правило, измеряемый через взвешенный по затратам MAPE, эквивалентен 8 миллионам долларов США в запасах готовой продукции, затратах на ускоренное производство на распределительных центрах и так далее. У них была целая методика, по которой это определялось. Недавно мы представили результаты, где провели моделирование снизу вверх с использованием TESA. В интернете есть несколько калькуляторов, которым я не полностью доверяю, но я считаю, что это важный момент: ошибки прогнозирования обходятся дорого, исходя из решений по страховым запасам и запасам на ближайшем этапе, даже не учитывая переход к производственному планированию, закупкам сырья и долгосрочным решениям.

Так что я думаю, это действительно упущение. Вот почему, на мой взгляд, команды по планированию спроса в компаниях всё еще слишком малы. Если бы они знали, насколько дороги их решения, насколько ценным является прогнозирование, мы бы увидели куда больше ресурсов, выделяемых на это. Но, кстати, TESA давалась примерно — конечно, это зависит от размера компании, мы не можем озвучить точное число — это был один Bugatti Veyron. У Bugatti Veyron довольно жестко фиксированная цена, поэтому на один процентный пункт точности в запасах приходится 1,5 миллиона долларов. Мы сейчас работаем с несколькими другими компаниями, чтобы установить эту зависимость, учитывая недостатки существующих моделей запасов. Но это действительно важный аспект. Вы решаете проблему напрямую и показываете стоимость принятого решения. А когда процесс разделён, всё равно можно это сделать. И я думаю, что это недостающий элемент. Но я полностью поддерживаю. Прямое соотношение между запасами и стоимостью решения было бы идеальным. Запасы — это прямая связь, которую можно осуществить и которая должна осуществляться, как это делают академики.

Конор Дохерти: Я хочу продвинуть обсуждение дальше и объединить некоторые поднятые вопросы, особенно связанные с предположениями. То есть, предположения — если планировщик спроса считает: «О, это неверно, мне нужно вручную исправить прогноз», — это и есть предположение. Предположения влияют на построение прогноза или автоматизированной модели. Таким образом, между ними существуют различия, как розы, называемые любым другим именем. Но мой вопрос таков: разумно ли ожидать от руководства, то есть от людей, не имеющих специальной подготовки в том, о чем мы говорим сегодня, чтобы они имели одинаковый уровень доверия к автоматизации, например, к автоматически сгенерированному прогнозу, в противовес прогнозу, который прошёл через ваш стол, например? Или, извините, через стол Николаса или Алекса.

Николя Вандепют: Если вы не возражаете, давайте вернёмся к моему слайду. Самый распространённый вопрос, если я кратко обобщу его, звучит так: «Как я могу доверять машинному обучению?» Вы можете заменить машинное обучение на статистические методы. Мне нравится преобразовывать этот вопрос в: «А как же вы доверяете людям?» Потому что люди говорят: «Ладно, Николя, как я могу доверять тебе? Как я могу доверять твоему машинному обучению?» И я отвечаю: «Как вы доверяете своей команде?» И, я думаю, это настоящий вопрос. Для меня существует только один способ отследить это и дать ответ. Это называется добавленная ценность прогноза. Суть в том, что я постараюсь объяснить это ещё раз в нескольких предложениях. Вы хотите отслеживать точность каждого шага в вашем процессе. Это может быть действие человека, машины или информация от вашего клиента — прогноз, поступающий от клиента. На каждом этапе вы будете отслеживать точность до и после этого шага.

Проводя такую работу, я также рекомендую сравнивать общую точность вашего процесса с каким-либо статистическим ориентиром, например, любой простой моделью, которую можно найти бесплатно. Делая это на протяжении недель, месяцев или дней, в зависимости от временного горизонта, вы сможете доказать, что какая-то часть вашего процесса — будь то человек или машина — действительно добавляет ценность и работает точно. Это единственный способ добиться результата. И я даже скажу: если вы этого не делаете, это как если бы в комнате не были включены огни. Вы пребываете в темноте. У вас нет ни малейшего представления.

И когда со мной связываются компании, стремящиеся улучшить процессы планирования спроса, первый вопрос всегда звучит так: «Вы отслеживаете добавленную ценность прогноза?» Потому что если вы этого не делаете, невозможно узнать, добавляет ли моя модель ценность и работает ли она хорошо или плохо. Это первый шаг для ответа на вопрос: «Как узнать, можно ли доверять машинному обучению?» Это тот же вопрос, что и: «Как узнать, можно ли доверять людям?» Ответ таков: необходимо отслеживать добавленную ценность прогноза.

Алексей Тихонов: Я считаю, что переход к принятию решений очень важен. Как я могу доверять прогнозу? Я не могу определить, хороший он или плохой, если не увижу, какое решение он предлагает, какие решения можно принять на его основе. С этой точки зрения люди, практики, часто обладают великолепной интуицией. Если вы принимаете безрассудные решения, они укажут на это и объяснят, почему. Например, если ваш заказ на покупку слишком велик, они скажут, каким он должен быть, в каких пределах должен находиться хороший заказ и почему они так думают. Таким образом, отслеживание точности прогноза — важно. Привлечение людей для корректировки прогнозов на основе суждений, как я уже говорил, является расточительным, поскольку такие вмешательства действуют очень недолго.

Вы можете вносить коррективы, но их эффект не сохраняется в течение целого года. Они, вероятно, повлияют на ваш следующий заказ, но не на последующий. Таким образом, вы привлекаете чрезвычайно дорогой ресурс, крайне ненадёжный, ведь нам также стоит обсудить — у нас нет времени, но всё же следует обсудить — процесс, лежащий в основе этих корректировок на основе суждения. Они по своей природе являются полуколичественными. Нет строгого процесса, как для автоматически сгенерированного прогноза, который можно проанализировать, декомпозировать и понять, что не так, если что-то идёт не так. Поэтому необходимо автоматизировать как можно больше. А как заслужить доверие? Так же, как вы доверяете своему приложению погоды — если оно стабильно выдаёт прогнозы, если оно говорит, что вероятность дождя высока, и, да, когда оно предсказывает дождь, он действительно идет. Или, например, как в технологии спам-фильтров.

Вспомните, когда их только начали внедрять в почтовых клиентах. Мы часто проверяли папку со спамом, потому что процент неправильно классифицированных писем был довольно высок. Сегодня я захожу в спам только если знаю, что письмо от человека, которого ещё нет в моем списке контактов, не было получено, и тогда, зайдя, я обнаруживаю его, нажимаю «это не спам», и оно больше никогда не оказывается в спаме. Видите, доверие накапливается со временем, и нужен процесс. Мы называем это экспериментальной оптимизацией, когда вы настраиваете этот механизм принятия решений. Как только он начинает давать адекватные результаты, всё, что вам нужно — отслеживать метрики. Да, вы отслеживаете точность прогноза. Если она резко меняется, нужно, чтобы инженер вместе с практиками проверил, что происходит за кулисами. Но вам никогда не следует вмешиваться вручную в этот процесс принятия решений. Необходимо исправлять неисправности и давать системе работать, как машины: проводите обслуживание, а потом управляйте автомобилем.

Свен Кроне: Да, я считаю, что вопрос доверия очень важен, верно? Если оглянуться на последние 10-20 лет, многие компании пытались внедрить, например, статистическое прогнозирование. И почему же существует такой скептицизм? Почему так много компаний запускали и останавливали этот процесс, запускали и останавливали, запускали и останавливали его? Мы все знаем об переобучении. Мы все знаем, как проводим эксперименты в тестовой среде с использованием всех будущих переменных, где нужно быть чрезвычайно осторожными при разработке концепции, затем в пилотном проекте, запускаем параллельно, а не кардинально меняем всё. И действительно, с таким количеством степеней свободы, метапараметров и многочисленных ведущих индикаторов, которые могут просачиваться в любую декомпозицию, очень легко обещать уровень точности, которого потом не достигается. Мы обещали определённую точность, потом пришёл COVID, и руководство не понимало, почему мы не достигаем этого уровня. Для нас это было очевидно. Для них — нет. Но я говорю: доверие было утрачено.

Доверие — я не думаю, что принятие технологий вообще является темой в области информационных систем. Принятие технологий — это огромная проблема. Проводятся целые конференции, анализирующие, как это можно донести до людей. И я думаю, одним из способов является общий уровень принятия технологии. Знаете, большинство из нас будет скептически настроено, если сядете в беспилотный автомобиль в Сан-Франциско, по крайней мере, первые несколько раз. Может быть, не так, но через 20 лет все будут довольны. Вот о чём вы говорите: удобство использования, когда ничего не происходит, и так далее, — и так можно завоевать доверие. Также необходимо правильно информировать людей. Но я не думаю, что ответ заключается в объяснимом ИИ. Все говорят, что алгоритм должен сам себя объяснять. Я, например, изо всех сил пытался объяснить, что делает гамма-фактор 0.4 для 12 сезонных индексов, которые меняются со временем, и ни один менеджер этого не понимает. Но высшее руководство должно в конечном итоге принять решение. Доверяет ли он таким значительным инвестициям в запасы? Доверяет ли он своей команде работать эффективно и результативно?

И я думаю, что именно поэтому мы потеряли много доверия к статистике, возможно, из-за некоторых некачественных программных решений, которые когда-то были передовыми, но оказались с избыточным количеством параметров на одном этапе выборки. Существует множество доказательств в области выбора моделей. Поэтому многие из этих инноваций были приняты преимущественно молодыми и инновационными компаниями. Промежуточный шаг, который мы видели в медицине для завоевания доверия — например, существует невероятное исследование по обнаружению рака молочной железы по изображениям, где машина, алгоритм, оказались значительно точнее, с гораздо более высоким уровнем истинно положительных результатов и намного более низким уровнем ложных срабатываний, что имело огромное влияние на жизни людей. И врачи не стали его принимать. Ещё в 1980-х годах они не использовали некоторые процессы принятия решений, потому что им этому не доверяли. Они больше доверяли себе, чем другим.

Решения, которые мы разрабатываем сейчас, когда ИИ может корректировать выбросы, но при этом мы фактически выделяем этот выброс в плане спроса. ИИ может проводить отбор моделей, но мы предпочитаем выделять ранжирование того, что считаем значимым. Мы стараемся объяснить то, что видим в данных, например: мы полагаем, что это явление имеет сильную сезонность и сопровождается нарушением. Таким образом, эта система дополненной аналитики, применимая также для врачей, вместо того чтобы просто выдавать классификацию, фактически выделяет на изображении область, где, вероятно, обнаружен рак, и, кроме того, не только даёт бинарный ответ — рак или не рак, — но и предоставляет вероятность того, что это рак, что позволяет в критически важных ситуациях сортировать по вероятности и обращать внимание не только на те случаи, которые явно являются раком или явно не являются им, но и на те, которые остаются неопределёнными. И вот здесь врачи могли бы действительно применить экспертизу, и внезапно это получило массовое признание.

Так что я думаю, многое зависит от дизайна систем, от дизайна процесса принятия решений, и это не всё автоматизация, ведь у нас есть ABC и XYZ, и новые продукты, и конечные продукты, понимаете — не всё можно, и не всё следует автоматизировать, но можно автоматизировать некоторые части при помощи ИИ, другие — с помощью очень простых, возможно, прозрачных методов, а оставшиеся — с помощью надёжных алгоритмов. Но я думаю, что на данный момент, учитывая текущий уровень принятия технологий и скептицизм к ним, хотя мы все любим GPT для планирования нашего следующего дня рождения, вероятно, расширенный ИИ — это хороший шаг для завоевания доверия, после чего можно будет полностью автоматизировать при помощи ИИ.

Conor Doherty: Прокомментируйте это. Ну, просто хочу вернуться к этому, потому что, опять же, вы оба подняли очень хорошие моменты. Но я хочу разобрать одно из сравнений. Итак, Алексей, ты привёл пример с использованием приложения для прогноза погоды, которое, то есть, в метеорологии основой долгое время было вероятностное прогнозирование. А затем ты сравнил его с автономным транспортным средством, или, по крайней мере, косвенно сравнил. И я думаю, мы возьмём этот пример и попробуем задать вопрос. Итак, используя пример Алекса: если каждому в комнате скажут, что на следующей неделе вам предстоит отпуск, и единственное направление — Бермуды, а прогноз погоды предвещает цунами на следующей неделе, вы заплатите за это из своего кармана? Инвестируете ли вы свои деньги, время, усилия и энергию, чтобы лететь в Бермуды? Большинство людей скажут «нет». А теперь взгляните на ситуацию с той же точки зрения: финансы и вероятностное прогнозирование. Представьте, что все эти люди находятся в одной компании, и вам показывают приоритизированное пополнение запасов в excel с использованием вероятностных прогнозов решений, откорректированных по рангу и риску, сгенерированных алгоритмом. О, нет, абсолютно нет, я этому не доверяю. Так что, получается, это выборочное отсутствие доверия? Ваши комментарии.

Alexey Tikhonov: Могу сделать краткий комментарий. Я думаю, настоящая проблема сопротивления людей внедрению новых технологий в целом, когда речь идёт об автоматизации, заключается в страхе стать неактуальными и вытесненными. А на деле всё происходит зачастую наоборот. Да, мы автоматизируем те части, где люди просто неэффективны с финансовой точки зрения. Например, раньше у нас были переводчики для многих языков, чтобы переводить наш собственный сайт, ведь мы публикуем много материалов и, в сумме, вероятно, за несколько лет потратили примерно 400 000 евро. А теперь, когда мы что-то публикуем, это переводится с помощью больших языковых моделей (LLM).

У нас есть программы, которые принимают страницу в Markdown и создают выходную страницу в Markdown, при этом весь синтаксис Markdown, шорткоды, всё остаётся неизменным, и переводятся только нужные части на другие языки. Затраты значительно снизились – примерно на два порядка, теперь в 100 раз дешевле. Так что, должны ли мы платить в 100 раз больше человеческому переводчику? Нет. Теперь, всё равно нужны ли нам человеческие переводчики? Да, если, например, вам нужно составить юридический документ, лучше воспользоваться человеком-переводчиком, потому что одно слово, одна запятая может стоить вам огромных денег. Так что, нужны ли нам человеческие переводчики? Да, они всё ещё нужны, но в других областях, и, вероятно, потребность в них в юридической сфере будет выше, чем раньше.

И то же самое касается цепочек поставок. Например, есть целые области, которые остаются неизменными из-за недостатка доступных человеческих ресурсов. Очень часто, когда вы хотите разместить заказ, вы не знаете заранее, существует ли минимальный объём заказа (MOQ), так что вам нужно получить эту информацию. Вы можете использовать людей, можете задействовать AI-ассистента, но всё равно нужен человек, чтобы извлечь плохо структурированную информацию и передать её в ваш механизм принятия решений, чтобы тот выработал решение, соответствующее MOQ. Так что, я думаю, нам всё ещё нужны люди, только для других типов задач, которые будут развиваться.

Sven Crone: Я думаю, вы затронули важный момент, когда речь идёт о принятии некоторых методов машинного перевода, ведь они существуют уже давно. IBM использовала нейронные сети ещё в 1982 году, верно? Так что они там были, но скорость перевода или уровень ошибок составляли примерно 90% точности. То есть, человеку приходилось менять довольно много букв, довольно много слов. Каждое десятое слово было неправильным, и это делало результат неприемлемым, ведь он не достигнут порог, признанный достаточным.

А сейчас, если вы достигнете такой точности, не обязательно на уровне человека, но выше определённого порога, то внезапно происходит массовое принятие технологии. В прогнозировании мы в этом частично виноваты, ведь видели реализации с небрежным использованием мультипликативных моделей для временных рядов с нулями. И если у вас 10 примеров из 100 временных рядов, где взрыв происходит раз в год, принятие будет нулевым, потому что доверие исчезает.

Так что фактически нужно достичь надёжности, чтобы позволить автоматизации происходить. Думаю, это хороший момент. Обычно мы стараемся строить точные модели, а не надёжные, которые работают хорошо. У нейронных сетей всегда есть эта проблема. Также, я думаю, мы все предвзяты, потому что сами довольно быстро осваиваем технологии, не так, как, скажем, мой младший брат, который просто обожает технологии. Так что здесь есть и возрастной фактор. Но что порождает доверие? Думаю, на заседании высшего руководства одной очень крупной софтверной компании, которая активно изучает модели LLM, недавно было принято решение. Я думаю, Эрик Уилсон из Института бизнес-прогнозирования (IBF) ведёт блог, и они довольно открыто заявляют, что AI не возьмёт на себя процесс планирования спроса, и все сохранят свои рабочие места.

Однако недавно были случаи, когда, в зале заседаний, модель LLM, обученная на подавляющем большинстве информации — рекламной, о сбоях, о цепочке поставок, — и в итоге выдала прогноз, а CEO спросил у модели, почему так получилось. И мнения у людей были разные. Отдел маркетинга имел одно мнение, финансовый отдел — другое. Модель LLM оказалась единственной, способной дать понятное объяснение, почему это правильное число. И я думаю, здесь присутствует ещё одна форма предвзятости, но если вы можете рассказать яркую историю о том, что происходит, люди будут доверять. Так что это добавляет доверия, даже если история неверна.

Таким образом, я думаю, если планировщик спроса сможет аргументированно объяснить, почему так происходит, в контексте тысячи продуктов, когда вы сидите с CEO и аргументируете, почему, как вам кажется, через шесть месяцев будет в два раза больше, чего вы, возможно, уже не вспомните, ведь весь месяц были заняты обработкой этих чисел, анализом, их интерпретацией, получением корректировок сверху вниз для каждого канала, и в итоге выходит число, а модель LLM смогла это обосновать — я думаю, именно здесь мы можем увидеть переход от вопроса доверия напрямую к точности. Но есть доказательства того, что такие системы могут обеспечить доверие, потому что они наконец могут объяснить, что происходит.

Nicolas Vandeput: Итак, я вижу интересный вопрос, и, думаю, мы наконец нашли тему, с которой я бы не согласился.

Первое, что я хотел бы затронуть, — это управление изменениями в отношении внедрения машинного обучения для прогнозирования. Как и с любой технологией, есть люди, которые категорически против этого, и те, кто больше за. И я вижу это на LinkedIn: каждый раз, когда я что-то публикую, всегда появляются несколько человек с одной стороны, заявляющих, что это никогда не сработает, и они бы никогда этим не занимались. Знаете, я просто перестал их убеждать. Всё в порядке, оставайтесь там, где вы есть, а я буду работать с людьми, которые хотят создавать лучшие цепочки поставок.

Я видел множество клиентов, видел отличных лидеров, видел средних и даже плохих руководителей. Для меня, если вы хотите успешно внедрить автоматизированный процесс — и мы можем говорить о планировании спроса с использованием машинного обучения, но можем говорить о любом процессе — вам, как лидеру, нужно чётко обозначить для всех присутствующих, какую роль они будут играть в будущем. Я вернусь к планированию спроса, но это касается любого процесса. Если вы скажете своему планировщику спроса: «Ваша работа, за которую я вам плачу, состоит в том, чтобы изменять прогноз и корректировать модели», то люди будут так и делать. А нужно, чтобы всё изменилось. Его работа должна заключаться в том, чтобы обеспечить максимально качественные данные для движка прогноза спроса и искать информацию, выходящую за рамки того, что подаётся модели, а затем, при необходимости, обогащать прогноз. Если вы этого не скажете, люди будут продолжать ежедневно менять прогноз, поскольку будут чувствовать, что без этого они не смогут оправдать свою зарплату. Опять-таки, для внедрения необходимо чётко обозначить, что, как я уже показывал на слайде, посвящённом обзору, основанному на инсайтах, сбору инсайтов и так далее, люди должны делать.

Теперь, хочу добавить кое-что об объяснимости. Я думаю, это открытая тема, и я сам расту в этом вопросе, но для меня объяснимость вовсе не обязательна. Я не понимаю, как работает автомобиль, но всё равно им пользуюсь, и никогда не напишу Mercedes письмо с требованием объяснить, как он устроен, и что я больше не буду им пользоваться. Я бы этого никогда не сделал. Я не понимаю, как работает интернет, не знаю, как устроена эта вещь, понятия не имею, но всё равно пользуюсь.

Если цепочка поставок зависит от объяснимости или сторителлинга, чтобы использовать и доверять прогнозу, никогда не получится масштабироваться, потому что это значит, что ваш процесс и цепочка поставок зависят от того, что какой-то человек обладает способностями убеждения, чтобы заставить других использовать ваш прогноз, потому что у него есть хорошая история. Для меня доверие к прогнозу должно основываться на том, что его точность, как бы вы её ни измеряли, надёжна и со временем оказывается точной, или что принятое решение оказывается значимым. Вы доверяете вещам, процессам, людям, моделям, потому что количественно они превосходны, а не потому что история имеет смысл. Если полагаться только на историю, это закончится неудачей. Я сам видел, как многие консультанты выигрывали проекты благодаря тому, что их история имела смысл, но потом она не приносила никакой ценности, потому что, как только модель запускается, ценность не создаётся. Но история остаётся красивой, и вот почему я стараюсь как можно меньше полагаться на неё.

Conor Doherty: Дополнительные комментарии? Обязательств нет.

Alexey Tikhonov: Пару слов об объяснимости и понимании того, что происходит — как принимаются решения, как формируются прогнозы.

Я могу говорить только о том, что мы делаем в Lokad. Мы подходим к проблемам, исходя из принципа правильности по замыслу. Одна из проблем, с которой, как мы знаем, сталкиваются люди — это недостаток доверия, потому что они не понимают, как всё устроено. Вот почему мы используем то, что называем элементом «white boxing». Каждый раз, когда это возможно, мы применяем явные модели, где вы понимаете, что означают параметры, вместо какой-то скрытой инженерии признаков. Так люди могут понять, что происходит. Эти модели не настолько сложны для понимания. Я приглашаю аудиторию посмотреть нашу заявку на конкурс прогнозирования M5. Команда Lokad заняла первое место в категории неопределённости. Если вы посмотрите лекцию нашего CEO Йоаннеса Вермореля, то увидите, что модель довольно простая. Вы будете удивлены, как эта простая модель смогла добиться результатов на уровне передовых.

Не обязательно использовать передовые AI-технологии, чтобы добиться дополнительного процента точности прогнозирования. В цепочке поставок важно быть примерно правыми, а не точно ошибаться. Вот почему мы выбираем, например, вероятностные методы, потому что они могут показать структуру неопределённости, а потом, когда у вас появляются экономические драйверы, вы можете перевести эту структуру неопределённости в структуру финансовых рисков и принимать хорошо обоснованные решения с учётом риска, а не просто решения, ранжированные по достижению целевого уровня обслуживания.

Я думаю, люди могут понять общую картину, то есть, что вы делаете и зачем вы это делаете. Но на более мелком уровне, если им интересно, они могут вникнуть, но это почти несущественно, как только вы понимаете общую идею. Как только видишь, что решения разумны, зачем дополнительно углубляться? Например, обычно люди пользуются компьютерами, но их не интересует распределение памяти или то, как оперативная память задействована при вычислениях. Никто этим не интересуется. То же самое про компьютерные чипы в вашем автомобиле. Да, робот управляет переключением передач, но никому это обычно не интересно. Это не сделает вашу поездку безопаснее, если вы будете знать эти детали.

Conor Doherty: Я собирался просто попросить заключительные мысли. Кажется, вы все в целом согласны, что понимание «как» работают эти методологии будет недоступно большинству людей, если у них нет необходимой подготовки. А «что», то есть, что происходит — будь то большая точность или лучшее решение — понятно. Но прежде чем мы закончим, уделите, пожалуйста, 30 секунд на итог. Как вы видите будущее планировщиков спроса? Потому что, опять же, я уже примерно могу предугадать ваш ответ, но, судя по словам Николаса и Свена, вы, и я не хочу подставлять слова, ранее как будто утверждали: «Мы ещё не достигли полной автоматизации оптимизации от начала до конца». С вашей точки зрения, что дальше? Будет ли эта позиция через 5 лет, 10 лет и т.д.?

Sven Crone: Я думаю, учитывая объём доступных данных и скорость внедрения технологий, работа для планировщиков спроса определённо сохранится намного дольше, чем пять лет. Я почти уверен в этом. Потому что давление на реструктуризацию компаний или на внедрение инноваций не столь велико. Если посмотреть на все инициативы по цифровизации, большинство компаний даже не располагают облачным хранилищем. Удивительно, как некоторые из крупнейших многонациональных компаний Европы по-прежнему работают так эффективно.

Так что, вероятно, это благодаря удивительным людям, которые там работают. Но я действительно считаю, что в долгосрочной перспективе мы рискуем, если не будем внедрять новые технологии, если поставщики не начнут их использовать, если вы не автоматизируете и не будете поддерживать принятие значимых решений, таких как корректировка истории. Я убеждён, что объяснимость важна, не для того, чтобы понять «как работает нейронная сеть», а для того, чтобы, например, показать, какие входные переменные были заданы, и чтобы можно было ответить на вопрос: «Учли ли вы, что акция была перенесена с 5-й на 12-ю неделю?» Это те вопросы, на которые нужно уметь отвечать.

Но я думаю, что в долгосрочной перспективе, по мере того как станет доступно больше данных, специалистам по прогнозированию спроса будет крайне сложно справляться с их анализом. Поскольку частота принятия решений возрастает, мы переходим от ежемесячного к еженедельному, а возможно, даже к внутринедельному прогнозированию, чтобы синхронизироваться с розничными торговцами. Я вижу появление гораздо большего числа промоакций и сбоев. Сбоев так много, что специалистам будет практически невозможно обработать такое количество информации за столь короткий промежуток времени. Поэтому я не считаю, что в долгосрочной перспективе они смогут конкурировать с моделями машинного обучения по уровню точности и надежности, если все данные будут доступны.

Конор Доэрти: Спасибо, Свен. Твои заключительные мысли, Николас.

Николас Вандепю: Если коротко, за одну минуту, какова роль специалистов по прогнозированию спроса в ближайшие годы и как она будет эволюционировать? На мой взгляд, эти люди будут тратить большую часть своего времени на сбор, структурирование, обработку и очистку данных, информации и инсайтов, большинство которых будет подаваться в модели машинного обучения. Прогнозирование спроса будет автоматизировано, а ту информацию и инсайты, которые невозможно ввести в модели машинного обучения, специалисты будут использовать для ручного обогащения прогнозов. Но они не будут тратить время на выявление выбросов или их ручную корректировку. Они не займутся настройкой моделей, пересмотром или тонкой настройкой параметров моделей, а также выбором моделей. По моему мнению, эти задачи должны быть автоматизированы на 100%. Люди не должны этим заниматься. Специалисты сосредоточатся на поиске, сборе и очистке информации и инсайтов.

Конор Доэрти: Спасибо. А Алексей, твои заключительные мысли?

Алексей Тихонов: Я считаю, что в настоящее время планирование спроса занимает нишу программных продуктов, называемых «системами интеллекта», поскольку обычно выделяют три типа корпоративного программного обеспечения: системы учёта, такие как ERP-системы и различные транзакционные системы; системы отчетности, то есть приложения бизнес-аналитики; и системы интеллекта. Это зарождающаяся область. Именно эти системы могут автоматизировать принятие решений, как, например, система, которую Lokad предоставляет своим клиентам. В настоящее время специалисты по прогнозированию спроса пытаются конкурировать с этой областью.

По моему мнению, в долгосрочной перспективе они не смогут конкурировать и уступят. Почему? Потому что люди — замечательные существа, они суперумны. Если рассматривать отдельное решение, они могут превзойти робота, так как всегда найдут более глубокий инсайт, не учтённый роботом, например, какую-то дополнительную информацию. Но это не масштабируется. Люди стоят дорого. Речь идёт о цепочках поставок громадного масштаба, и поэтому такое решение нельзя масштабировать. Вот почему в долгосрочной перспективе их заменят. По той же причине, что в Париже больше нет носильщиков воды, у нас есть водопровод. Почему? Потому что это дешевле. Конечно, в некоторых слаборазвитых странах, где в небольших деревнях всё ещё люди разносят воду в ведрах, из-за эффекта масштаба водопровод пока не является вариантом. Но даже в этих деревнях когда-нибудь появится водопровод. Так что в долгосрочной перспективе им не найдется места. К тому же уже некоторые компании от них отказались.

Конор Доэрти: Большое спасибо всем участникам на сцене за ваши инсайты и ответы. На данном этапе я передаю слово. Есть ли у кого вопросы? Я быстро передам микрофон. Конечно, он окажется сзади. Ладно, рядов не так много. Роберт, чьи руки были подняты?

Участник мероприятия (Бахман): Спасибо всем. Меня зовут Бахман, я из Кардиффского университета. Хочу сделать очень краткий комментарий. Вы упомянули о прибыльных решениях, и я хотел бы отметить – и это связано с тем, что Свен тоже затронул тему спектра – что есть тысячи цепочек поставок, которые не ориентированы на получение прибыли. Думаю, это важно учитывать.

Насколько я понимаю, внимание панели было сосредоточено в основном на цепочках поставок, но существует целый спектр планирования спроса. Если подумать, в мире есть миллионы больниц, занимающихся планированием спроса, и они работают с одним, двумя или тремя временными рядами. Так что мой вопрос больше о том, из чего состоят условия или каковы требования для создания автоматизированных решений, учитывая, что решения основаны на прогнозе как одном из входных параметров. Есть множество других входов, некоторые из которых могут быть прогнозами, но большинство, вероятно, таковыми не являются.

Свен Кроун: Попытаюсь ответить. Например, в больницах имеется большой запас пополнения, важные продукты, такие как кровь, менее важные товары и так далее, например, лекарства для лечения рака; некоторые из них производятся по заказу, другие – по принципу «на склад». Мы сосредоточились именно на этом, ведь мой опыт не в больницах или системах здравоохранения. Мы тщательно изучали промышленную сторону – управление цепочками поставок, логистику, как это, вероятно, определено Gartner, – и сейчас рассматриваем очень крупные многонациональные компании, которые внедряют чётко отлаженные процессы, проверенные временем, измеряющие добавленную стоимость прогноза.

Я думаю, вы правы, это, вероятно, применимо и к множеству других отраслей – аптеке, больницам и т.д. Но у меня мало доказательств внедрения в этих сферах, однако для логистической цепочки поставок, которая составляет примерно одну шестую мирового ВВП, верно? То есть речь идёт об одной шестой мирового ВВП, которая преимущественно определяется очень крупными компаниями. Здесь мы действительно обеспокоены отсутствием инноваций в этих вопросах. Но это не значит, что такую систему нельзя применять в других местах.

Участник мероприятия (Бахман): Я имею в виду, возможно, корректнее было бы использовать термин «служебная цепочка поставок». Например, в больницах планирование спроса относится к экстренным службам. Речь идёт не столько о продуктах, сколько о самой услуге. Так что мой вопрос, думаю, связан с автоматизированным принятием решений, потому что существует спектр: от отделений неотложной помощи, где работают с одним временным рядом, а не с миллионами или тысячами временных рядов. Итак, вопрос: каковы требования для создания автоматизированного принятия решений?

Свен Кроун: Думаю, вы правы. Это действительно интересная тема, и есть много сфер, которым в сообществе прогнозистов не уделяют должного внимания. Если посмотреть на 10 000 работ по прогнозированию с использованием нейронных сетей, то, я думаю, половина из них посвящена электроэнергии, а очень немногие – фармацевтике. Так что это хороший пункт, и, по-моему, нам стоит уделить больше внимания действительно важным вопросам.

Конор Доэрти: Извините, что перебиваю, Николас, вы можете ответить на следующий вопрос. Передаю слово следующему участнику.

Участник мероприятия: Здравствуйте, спасибо за замечательную дискуссию. Мой вопрос касается роли суждения. Каждый эксперт обладает своим взглядом, и, соответственно, существует закономерность смещения, возникающая из человеческого суждения, а также смещение, возникающее из ИИ или моделей машинного обучения, будь то любая статистическая модель. Таким образом, у нас есть два типа смещений: одно из человеческого суждения и другое – статистическое. Как можно интегрировать смещение человеческого суждения в статистическое, чтобы сократить общее смещение при планировании спроса? Спасибо.

Николас Вандепю: Спасибо за вопрос. Это обычная ситуация в тех цепочках поставок, с которыми я работаю. Одним из первых шагов является анализ того, как исторически выполнялся прогноз. Если наблюдалось чрезмерное завышение или занижение прогноза, всё сводится к определённой истории. Люди переоценивают прогноз, чтобы быть на безопасной стороне, чаще всего потому, что процесс поставок далёк от идеала, и они не совсем понимают, как управлять запасами. Вместо изменения политик или целевого уровня страховочного запаса они полагаются на очень высокий прогноз. Возможно, они также завышают прогноз, потому что хотят быть оптимистичными, вписаться в бюджет и так далее.

С другой стороны, занижение прогноза может происходить, потому что люди стремятся превзойти прогноз ради бонуса. Таким образом, если ваша цепочка поставок постоянно генерирует сильное смещение, это связано с ошибочными стимулами или неэффективным процессом поставок, и необходимо это устранить, переобучить сотрудников, возможно, улучшить процесс поставок и сделать так, чтобы некоторым сотрудникам было невозможно изменять прогноз, если у них существует прямая мотивация его завышать или занижать. Это касается процессуальной части, поэтому необходимо работать с людьми, у которых отсутствуют стимулы к значительному смещению прогнозов.

Что касается модели, если у вас есть модель, которая в долгосрочной перспективе генерирует слишком завышенные или слишком заниженные прогнозы – я не утверждаю, что ошибка за один месяц критична, но если на протяжении нескольких периодов наблюдается та же проблема, то, скорее всего, причина в способе оптимизации модели, и, вероятно, в том, что KPI, используемый для оптимизации модели, выбран неверно. Я бы поспорил, что он основан на MAPE, но это уже другая тема.

Конор Доэрти: Алексей, можешь поделиться своими заключительными мыслями? Нам уже скоро нужно закончить.

Свен Кроун: Хочу добавить к словам Николаса. Когда мы говорим о том, что большие языковые модели (LLM) могут взять на себя корректировку суждений, мы не углублялись в детали того, как это работает. Но сегодня есть масса доказательств, что одной LLM недостаточно, чтобы обучиться на всех данных и выдать одно значение. На самом деле, у вас будут персоны, на которых вы будете их обучать. У вас будет LLM для цепочки поставок, финансовая LLM, LLM для генерального директора, для маркетинга и управления ключевыми клиентами – все обучены на различных данных. Часто смещения возникают из-за различных затрат, связанных с решениями для ключевого аккаунта по сравнению с решениями для цепочки поставок. Но зачастую разница в информации и в том, что они видят, может привести к улучшенному принятию решений, если агенты действительно общаются между собой и спорят для выработки единого подхода.

Нередко можно наблюдать хороший пример S&OP, когда достигается консенсус, и этот консенсус оказывается точнее, чем решение, принятое одной LLM. Это действительно пугающе, потому что смещения присутствуют, решения принимаются, а затем кто-то в конечном итоге решает, взвешивая всю информацию. Это словно призрачно.

Конор Доэрти: Алексей, последнее слово за тобой, и мы закончим.

Алексей Тихонов: По тому же вопросу, я считаю, что смещение является проблемой точечного прогноза. Обычно намеренное внесение смещения в прогноз обусловлено тем, что сам прогноз в каком-то смысле наивен с точки зрения отражения структуры риска. Вы предсказываете наиболее вероятный сценарий будущего, а затем предполагаете, что остатки модели распределены нормально, чего на самом деле никогда не бывает. Именно поэтому вводится смещение, которое сдвигает прогноз в сторону, где сосредоточен основной риск. Например, в сторону правого хвоста, когда вы хотите спрогнозировать вероятность невыполнения целевых показателей уровня обслуживания, и таким образом корректируете смещение.

Когда вы переходите к вероятностной перспективе, такое смещение уже не требуется, поскольку ваш прогноз представляет собой мнение о будущем, где один исход наступает с определённой вероятностью, а другой – с другой. Как только вы точно настроите параметры, отражающие структуру риска, все, что потребуется сверху – это экономическая перспектива, включающая затраты, прибыль и некоторые более высокоуровневые факторы, позволяющие принимать компромиссные решения. Например, стоит ли приобрести дополнительную единицу этого товара по сравнению с другой, ведь бюджет всегда ограничен. С вероятностным подходом такая проблема отсутствует, потому что смещение не нужно.

Конор Доэрти: На этом я понимаю, что мы несколько вышли за рамки отведённого времени. Тем, кто хочет задать дополнительные вопросы, мы постараемся ответить у угла сцены. Но еще раз, Свен, Николас и Алексей, большое спасибо, что присоединились к нам, и хорошего вам остатка дня. Спасибо.