Согласованность прогнозов и принятие решений в цепочке поставок (с Николаосом Курентзесом) - Ep 161

00:00:00 Введение в интервью
00:00:47 Предыстория и работа Никоса Курентзеса
00:03:25 Понимание согласованности прогнозов
00:04:44 Ограничения точности в прогнозировании
00:06:14 Согласованность в прогнозах временных рядов
00:08:02 Особенности моделирования запасов в цепочке поставок
00:09:03 Согласованность и последовательность прогнозов
00:10:29 Математические метрики в производстве
00:12:08 Особенности управления запасами роскошных часовщиков
00:14:47 Рост колебаний, запускающих производство
00:16:03 Оптимизация модели для спроса на один SKU
00:17:41 Исследования в области оценщиков сжатия и временных иерархий
00:19:05 Лучшие модели для всех горизонтов
00:21:32 Споры вокруг согласованности прогнозов
00:24:05 Калибровка политик запасов
00:26:27 Баланс между точностью и согласованностью
00:31:14 Приемы временной агрегации для сглаживания прогнозов
00:32:54 Значение градиентов в оптимизации
00:35:28 Корреляции в цепочке поставок
00:38:10 За пределами прогнозирования временных рядов
00:40:27 Честность вероятностного прогнозирования
00:42:32 Сходство между согласованностью и коэффициентом эффекта кнута
00:45:18 Важность анализа последовательного принятия решений
00:47:27 Преимущества разделения этапов
00:49:34 Взаимодействие человека с моделями
00:52:05 Сохранение человеческого фактора в прогнозировании
00:54:35 Доверие экспертам и аналитикам
00:57:28 Реальная ситуация управления миллионами SKU
01:00:01 Крупномасштабные корректировки модели
01:02:13 Решения, основанные на вероятности редких событий
01:04:44 Мнение Никоса по поводу корректировок
01:07:14 Трата времени на незначительные корректировки
01:09:08 Против ручных ежедневных корректировок
01:11:43 Преимущества корректировки кода для всей компании
01:13:33 Роль команды специалистов по данным
01:15:35 Вероятностные прогнозы предотвращают ручное вмешательство
01:18:12 Вопрос на миллион долларов об ИИ
01:21:11 Важность понимания моделей ИИ
01:24:35 Ценность и стоимость моделей ИИ
01:26:02 Решение проблем в управлении запасами

Об госте

Николаос Курентзес – профессор в области прогнозной аналитики и искусственного интеллекта в AI Lab Университета Скёвде в Швеции. Его научные интересы связаны с прогнозированием временных рядов, с недавними работами в моделировании неопределенности, временных иерархий и иерархических моделей прогнозирования. Его исследования сосредоточены на трансформации прогнозов в решения и действия в таких областях, как управление запасами, моделирование ликвидности для денежных операций и здравоохранение. Он имеет обширный опыт работы как в промышленном секторе, так и в государственном, и является автором различных open-source библиотек, способствующих использованию передовых методов прогнозирования на практике.

Резюме

В недавнем интервью LokadTV Никос Курентзес, профессор Университета Скёвде, и Жоанн Верморель, генеральный директор Lokad, обсудили согласованность прогнозов при принятии решений в цепочке поставок. Они подчеркнули важность приведения прогнозов в соответствие с решениями, признавая, что модели могут быть неправильно специфицированы. Они различали точность прогнозирования и согласованность, утверждая, что самый точный прогноз может оказаться не лучшим для принятия решений, если он не соответствует целям решения. Также обсуждалось практическое применение согласованности прогнозов в управлении запасами и его потенциал для смягчения эффекта кнута. Обсуждалась также роль ИИ и участия человека в согласованности прогнозов.

Расширенное резюме

В недавнем интервью, проведенном Конором Дохерти, руководителем отдела коммуникаций в Lokad, Никос Курентзес, профессор Университета Скёвде, и Жоанн Верморель, генеральный директор и основатель Lokad, обсудили концепцию согласованности прогнозов в контексте принятия решений в цепочке поставок.

Курентзес, возглавляющий команду, занимающуюся исследованиями в области ИИ в Университете Скёвде, объяснил, что его работа в первую очередь связана с рисками модели и её спецификацией. Он подчеркнул важность согласования прогнозов с поддерживаемыми решениями, концепции, которую он называет согласованностью прогнозов. Этот подход нацелен на повышение точности путем признания того, что модели могут быть неправильно заданы.

Курентзес далее различил точность прогнозирования и согласованность прогнозов. В то время как точность является мерой величины ошибок прогноза, согласованность описывает последовательность прогнозов со временем. Он утверждал, что самый точный прогноз не обязательно является лучшим для принятия решений, если он не соответствует целевой функции решения.

Верморель, соглашаясь с Курентзесом, отметил, что математические метрики часто оказываются недостаточными при применении на практике. Он привел примеры того, как разные решения могут иметь различные асимметричные затраты, например, продажа скоропортящихся товаров по сравнению с роскошными товарами. Верморель также обсудил эффект быстрорежущего механизма в управлении цепями поставок, когда колебания в прогнозах спроса могут приводить к необратимым решениям.

Курентзес поделился своим переходом от сосредоточения исключительно на точности к учету других факторов в прогнозировании. Он подчеркнул важность понимания базовых механизмов работы моделей и допущений, на которых они основаны. Он предположил, что, как только будет найден набор точных прогнозов, следует выбрать наиболее согласованный из них.

С другой стороны, Верморель сообщил, что в Lokad они оптимизируют непосредственно финансовые показатели, а не фокусируются на математических метриках. Он объяснил, что градиенты имеют решающее значение для оптимизации, поскольку они указывают направление, в котором параметры следует корректировать для минимизации ошибок. Он также обсудил важность вероятностного прогнозирования, которое учитывает все возможные будущие сценарии, не только для спроса, но и для различных сроков поставки и неопределенностей.

Дискуссия затем перешла к практическому применению согласованности прогнозов в принятии решений по управлению запасами и его потенциалу для смягчения эффекта кнута. Курентзес объяснил, что согласованность и коэффициент эффекта кнута имеют много общего, и разработка прогнозов с учетом согласованности может помочь снизить эффект кнута.

Также обсуждалась роль участия человека в согласованности прогнозов. Курентзес считает, что вмешательство человека не должно быть устранено, а должно направляться для добавления ценности там, где это возможно. Однако Верморель сообщил, что в Lokad больше не допускается корректировка прогнозов человеком, так как это приводило к улучшению результатов.

Разговор завершился обсуждением роли ИИ в согласованности прогнозов и принятии решений в цепочках поставок. И Курентзес, и Верморель согласились с тем, что, хотя ИИ играет важную роль в решении задач прогнозирования, он не должен полностью заменять все существующие методы, и понимание процесса имеет решающее значение.

В своих заключительных замечаниях Курентзес призвал отказаться от традиционных методов прогнозирования и перейти к более интегрированному подходу, сочетающему прогнозирование и принятие решений. Он подчеркнул необходимость обновления наших способов мышления, программного обеспечения и учебников, а также поприветствовал привлечение специалистов из различных областей в сферу прогнозирования. Он завершил, подчеркнув важность сотрудничества и разнообразия взглядов в решении этих задач.

Полный транскрипт

Конор Дохерти: С возвращением. Обычно обсуждения прогнозирования сосредоточены вокруг идеи точности. Сегодняшний гость, Никос Курентзес, придерживается иной точки зрения. Он профессор в лаборатории искусственного интеллекта Университета Скёвде. Сегодня он будет говорить с Жоанном Верморелем и со мной о концепции согласованности прогнозов. Никос, не мог бы ты подтвердить на камеру, что я правильно произнес название Скёвде?

Никос Курентзес: Это лучшее, что я могу сделать.

Конор Дохерти: Ну, тогда у меня больше нет вопросов. Большое спасибо, что присоединился к нам.

Никос Курентзес: Хорошо, позвольте мне сначала немного рассказать о лаборатории, а затем я перейду к своей биографии. Мы — разноплановая команда ученых, занимающихся исследованиями в области ИИ. Основное внимание уделяется науке о данных, однако область применения весьма разнообразна. Например, как вы уже упомянули, я, вероятно, буду говорить о прогнозировании и моделировании временных рядов. Но, к примеру, другие коллеги интересуются такими темами, как информационная интеграция, визуальная аналитика, беспилотные автомобили и когнитивные аспекты ИИ. Это замечательно в нашей команде, ведь у нас полифония исследований, и, когда мы ведем обсуждения, возникают разнообразные идеи, выходящие за рамки типичной литературы. По крайней мере, мне кажется, это очень приятное место для работы.

Конор Дохерти: Спасибо, Никос. И, на самом деле, как мы с Жоанном впервые узнали о вашем профиле, во-первых, я узнал о нем от специалиста по цепям поставок, который следит за вашей работой в LinkedIn и прислал мне статью, в которой вы писали о согласованности прогнозов, включая ссылку на вашу рабочую статью по этой теме. Основная тема сегодняшнего разговора будет посвящена прогнозированию и его применению в цепочках поставок. Но прежде чем перейти к деталям, не могли бы вы рассказать немного о том, что такое согласованность прогнозов и как она стала для вас областью исследований?

Никос Курентзес: Хорошо, позвольте мне сначала немного рассказать о лаборатории, а затем я перейду к своей биографии. Мы — разноплановая команда ученых, занимающихся исследованиями в области ИИ. Основное внимание уделяется науке о данных, однако область применения весьма разнообразна. Например, как вы уже упомянули, я, вероятно, буду говорить о прогнозировании и моделировании временных рядов. Но, к примеру, другие коллеги интересуются такими темами, как информационная интеграция, визуальная аналитика, беспилотные автомобили и когнитивные аспекты ИИ. Это замечательно в нашей команде, ведь у нас полифония исследований, и, когда ведутся обсуждения, возникает множество разнообразных идей, выходящих за рамки типичной литературы. По крайней мере, мне кажется, это очень приятное место для работы.

Конор Дохерти: Спасибо, Никос. И, на самом деле, как мы с Жоанном впервые узнали о вашем профиле, во-первых, я узнал о нем от специалиста по цепям поставок, который следит за вашей работой в LinkedIn и прислал мне статью, в которой вы писали о согласованности прогнозов, включая ссылку на вашу рабочую статью по этой теме. Основная тема сегодняшнего разговора будет посвящена прогнозированию и его применению в цепочках поставок. Но прежде чем перейти к деталям, не могли бы вы рассказать немного о том, что такое согласованность прогнозов и как она стала для вас областью исследований?

Если я хочу говорить более научно, одно, что я должен сказать, заключается в том, что обычно, вместе с моими коллегами, мы начинаем обсуждать темы исследований с какой-то более глуповатой идеи. То есть, мы занимаемся чем-то другим и говорим: «О, здесь есть интересный крючок, давайте изучим его подробнее». И часто, начав так, в итоге возникает идея, которая может оказаться полезной. Причина, по которой я это упоминаю, в том, что я считаю, что прогностическая конгруэнтность, то, что она предлагает на столе, представляет собой иной способ мышления. И именно поэтому мне кажется, что это изначально прекрасно: зародившись как шутка, она позволила нам взглянуть на суть с другой стороны.

Conor Doherty: Йоаннес, я скоро обращусь к тебе по этому поводу, но не мог бы ты рассказать немного подробнее? Снова: когда ты говоришь о точности прогнозов, все имеют примерно представление о том, что это значит. Но когда ты говоришь о конгруэнтности или о том, что прогностическая конгруэнтность помогает людям видеть вещи под другим углом, не мог бы ты объяснить это различие так, чтобы люди точно понимали, что ты имеешь в виду под конгруэнтностью в контексте прогнозов временных рядов?

Nikos Kourentzes: Во-первых, название не самое понятное, и на то есть причина. То, что мы пытаемся описать под этой прогностической конгруэнтностью, по существу, означает, насколько похожи прогнозы с течением времени. Конечно, это более простой способ сказать, но есть несколько проблем. Многие слова, которые можно было бы использовать, например, стабильность, уже применяются в статистическом прогнозировании, и мы не хотим создавать путаницу.

И другая проблема заключается в том, что, как, скорее всего, будет обсуждаться далее, существуют технические трудности в измерении того, насколько похожи прогнозы с течением времени. Потому что, например, если подумать о сезонном и несезонном временных рядах, они подразумевают нечто совершенно иное, так как сезонность сама по себе вносит различие в прогноз с течением времени. Это тот шаблон, который необходимо учитывать. Так что нас не интересует именно этот вид различий. И вот что требует, если хотите, математической гимнастики для определения конгруэнтности. Но вот в чем состоит разница с точностью. Точность мы обычно понимаем, независимо от того, какую метрику вы используете, как сводную величину ошибок ваших прогнозов.

Теперь, конечно, мы могли бы предположить, что если мы получаем самый точный прогноз, это означало бы, что мы предоставляем лучшую информацию для принимаемых решений. Однако это подразумевает, что решения, которые поддерживаются, имеют ту же функцию оптимизации, что и самый точный прогноз, скажем, минимизацию квадратичной ошибки. Но это не так. То есть, если подумать о моделировании запасов в цепочке поставок, нам, возможно, придется учитывать затраты на группировку заказов, учитывать издержки перепроизводства и недопроизводства, что может изменить вашу позицию относительно самого точного прогноза. Также стоит учитывать и другие аспекты, например, ограничения со стороны поставщиков или иные производственные и складские ограничения. И как только вы задумайтесь о настоящей стоимости запасов или о цепочке поставок в целом, вы внезапно понимаете, что самый точный прогноз не обязательно лучше согласован с принятием решения. И вот в этом заключается самый интересный момент прогностической конгруэнтности.

Таким образом, с одной стороны, существует направление исследований, и мои соавторы и я опубликовали довольно много работ в этом направлении, доказывающих, что большинство метрик точности не коррелируют с принятием хороших решений. Это не означает, что они бесполезны или что-то в этом роде, просто они не дают полной картины. Это в некоторой степени подталкивает к конгруэнтности. Конгруэнтность, с другой стороны, пытается сказать, что если прогнозы изменяются не слишком резко со временем, то, возможно, в них проявляется определенная уверенность, а также это прогноз, на который люди могут опираться с определенной последовательностью. Мне не приходится обновлять всё планирование в каждом цикле прогнозирования, потому что прогноз будет достаточно похожим. Так что даже если они не являются самыми точными, их ошибки проявляются предсказуемо, что может облегчить принятие решений. И именно это мы также обнаруживаем в нашей работе: решения, поддерживаемые более конгруэнтными прогнозами, оказываются более стабильными со временем. Таким образом, их принятие требует меньших усилий.

Conor Doherty: Хорошо, спасибо, Никос. А теперь, Йоаннес, передаю слово тебе. Мне кажется, что нечто из этого вполне находит отклик у тебя. Более точные прогнозы не обязательно приводят к лучшим решениям в управлении запасами.

Joannes Vermorel: Да, именно. Наша современная точка зрения заключается в том, что практически все математические метрики, когда выбирают какую-то формулу и заявляют, что именно она характеризует вашу оптимизируемую метрику — когда эта формула просто появляется отовсюду или выдумана, даже если она продиктована благими намерениями, скажем, норма один, норма два, что-то с определенными математическими свойствами — обычно оказываются весьма неэффективными при применении на практике по множеству причин.

Более десяти лет назад Lokad начал пропагандировать идею о том, что люди не должны заниматься тем, что мы сейчас называем голыми прогнозами. По сути, я поддерживаю Никоса в его утверждении, что прогноз является инструментом для принятия решения, и его достоверность можно оценивать только сквозь призму обоснованности самого решения.

И это довольно странно, потому что если у вас есть 10 различных решений, то вы можете в итоге получить несогласованные прогнозы для поддержки этих решений. И это кажется нелепым, но на самом деле всё в порядке, даже если это противоречит интуиции. А почему это нормально? Потому что у вас есть ряд решений, которые могут иметь очень разные асимметричные затраты в случае превышения или недостижения.

Таким образом, если у вас есть решение, при котором превышение приводит к катастрофе — допустим, вы продаете клубнику. То, что не будет продано к концу дня, практически выбрасывается. Поэтому любое превышение является катастрофическим, так как приводит к немедленной гарантированной убытке или списанию запасов.

Наоборот, если вы производите роскошные часы, и ваши изделия изготовлены из золота, платины и других дорогих металлов и драгоценных камней, если вы их не продадите, запасы не портятся. Даже если то, что вы создаете и вкладываете в изделия, выйдет из моды, вы всегда можете вернуть материалы и переделать их во что-то более соответствующее текущим желаниям рынка.

Таким образом, если вы занимаетесь ювелирными изделиями, списаний запасов никогда не бывает. Возможно, возникнут затраты на переделку продукции, но это совершенно иная игра.

Одна из основных проблем, о которой почти никогда не упоминают в учебниках по цепочке поставок, — это эффект трещотки. Допустим, вы занимаетесь пополнением запасов игры. Каждый день для каждой SKU у вас есть прогноз спроса, и если спрос превышает определенный порог, вы размещаете повторный заказ.

Но оказывается, что если ваш прогноз колеблется, это означает, что ваши запасы всегда формируются, исходя из самой высокой точки в этих колебаниях. То есть, если за месяц, например, ваш типичный цикл повторного заказа составляет около месяца, а ваш прогноз колеблется в течение этого месяца, и, допустим, каждый день — то есть 30 или 31 день в месяце — вы просто вновь запускаете логику прогнозирования, то неизбежно размещаете заказ в тот день, когда прогноз оказывается самым высоким.

Это эффект трещотки, потому что как только ваш прогноз начинает колебаться вверх или вниз, и, с точки зрения точности, такие колебания могут быть вполне хороши, поскольку они хорошо фиксируют краткосрочные вариации, цена, которую вы платите, заключается в том, что как только вы примете решение, вы обязаны следовать ему.

И когда происходят такие колебания, обычно случается следующее: вы фиксируете верхнее колебание. Нижнее колебание не критично — вы просто откладываете что-то еще на один день, но верхнее колебание инициирует выпуск производственной партии, пополнение запасов, распределение запасов, снижение цены.

Потому что, опять же, все то же самое. Если вы снижаете цену, и затем наблюдаете всплеск спроса, вызванный снижением цены, но при этом недооцениваете спрос, и теперь думаете, что у вас слишком много запасов, хотя на самом деле это не так. И теперь, снизив цену, вы случайно ставите себя в ситуацию преднамеренного дефицита-товара.

Вот все эти ситуации с эффектом трещотки: если у вас есть такие колебания, вы действуете, и затем показатели вашей компании отражают крайние вариации вашей статистической, предсказательной модели, или как её назвать. Это нехорошо, потому что вы принимаете решение, учитывая шум предсказательной модели.

Nikos Kourentzes: Можно добавить что-нибудь? Прежде всего, я полностью согласен. Но, возможно, будет полезно рассмотреть этот же аргумент с точки зрения специалиста по временным рядам, такого как я, который воспитан думать в терминах точности.

В конечном итоге я изменил свое мнение, поскольку, допустим, у вас есть определенный спрос на одну единицу учета товара (SKU), и вы находите свою лучшую модель, которую затем оптимизируете по таким показателям, как правдоподобие или минимизация среднего квадратичного отклонения.

Теперь предположение здесь в том, что вы сделали хорошее приближение модели, и обычно ваша ошибка — это прогноз на один шаг вперед. Именно это мы обычно и делаем, по крайней мере, минимизируем ошибку на обучающей выборке.

Если ваша модель не является правильной, а правильная модель подразумевает, что вы каким-то образом знаете процесс генерации данных (чего никогда не бывает), если бы вы минимизировали эту ошибку, ваш прогноз был бы идеальным для всех горизонтов. Но это не так, поскольку ваша модель — всего лишь приближение.

Так что, допустим, вы минимизируете ошибки на один шаг вперед, как мы обычно поступаем, и ваша модель может работать действительно хорошо для прогноза на один шаг, но не для всего срока опережения. Срок опережения требует прогнозов на несколько шагов вперед.

Если вы потом скажете: «О, я могу настроить свою модель так, чтобы она работала очень хорошо, скажем, на 3 месяца вперед, то есть на три шага», то в итоге получается обратный эффект. Модель будет отлично настроена для этого горизонта прогноза, но не для более короткого. Таким образом, на срок опережения вы теряете информацию.

Таким образом, я хочу донести мысль, что традиционный способ мышления, по которому мы оптимизируем модели, неизбежно приводит к фактически неточным прогнозам в том смысле, что они всегда калибруются под ту ошибку, на которую ориентирован оптимизатор, а не под то фактическое решение, которое мы пытаемся поддержать. У этих двух процессов разные горизонты.

Именно здесь, например, многочисленные исследования по оценкам сжатия или работы, которые проводили мои коллеги и я по темпоральным иерархиям, оказались полезными, поскольку эти методы всегда подразумевают: «Давайте не будем переобучаться на данных. Давайте не будем одержимы минимизацией какой-то статистики ошибок».

Таким образом, по сути, то, что описал Йоаннес, можно рассматривать с двух точек зрения. Одна — это эффект на цепочку поставок, а другая — статистическая основа, объясняющая, почему это происходит неизбежно.

Joannes Vermorel: Да, действительно. В Lokad наша сегодняшняя практика, и она существует уже довольно долго в рамках количественной оптимизации цепочки поставок, заключается в чистой финансовой оптимизации. То есть мы напрямую оптимизируем евро или доллары.

И действительно, эти метрики обнаруживаются. У нас даже есть специальная методология для этого, называемая экспериментальной оптимизацией, поскольку системы цепочки поставок очень непрозрачны, очень сложны, и метрика не является заданной, а представляет собой целую область для ее обнаружения.

Теперь интересен вопрос о горизонтах прогнозирования и о том, как прогноз изменяется в зависимости от них. Я долго думал в этом направлении, но, по сути, последние конкурсы прогнозирования Makridakis — M4, M5, M6 — доказали, что лучшие модели являются лучшими для всех горизонтов, независимо от того, какой из них выбрать.

В Lokad мы в 2020 году заняли первое место по уровням SKU для Walmart, и мы были лучшими для прогноза на один день вперед, на 7 дней вперед — для всего. Долгое время я работал с идеей, что могут существовать модели, которые работают лучше для определенных горизонтов.

Но если вы посмотрите на современные модели, такие как, например, дифференцируемое программирование, то современные классы моделей прогнозирования теперь довольно однородны. Сейчас очень редко встречаются модели, которые лучше работают на один шаг вперед, чем на шесть месяцев.

И, по сути, существуют модели с неограниченным горизонтом, они прогнозируют до конца времен, а вы просто останавливаетесь, чтобы сэкономить вычислительные ресурсы, поскольку иначе это было бы пустой тратой. Но тем не менее, суть остается в том, что в целом оптимизируемую метрику не следует считать заданной.

Не стоит предполагать, что это одна из элегантных математических метрик, таких как логарифм правдоподобия для байесовского подхода, или среднеквадратичная ошибка, или что-то подобное. Это очень хорошо, если вы хотите доказывать теоремы в научных работах, но доказательство теорем и свойств моделей не превращается в оперативные результаты.

Это может создать множество тонких дефектов в поведении, которые неочевидны с математической точки зрения.

Conor Doherty: Ну, спасибо. Никос, чтобы вернуться к тому, что ты сказал ранее и продолжить тему, ты отметил, что считаешь себя специалистом по временным рядам и что раньше сосредотачивался на точности, а потом сказал: “О, я изменил своё мнение и перестал концентрироваться исключительно на точности.” Можешь описать этот процесс? Потому что каждый раз, когда я обсуждаю прогнозирование, оказывается довольно сложно убедить людей не считать точность прогноза конечной целью. Я даже помню, как в одной из твоих работ ты писал: “Цель прогнозирования — не точность.” Это утверждение довольно спорно, в зависимости от того, кому его сказать. Так как же именно ты прошёл этот путь?

Nikos Kourentzes: Да, это действительно спорно, ты абсолютно прав. Но, как мне кажется, это аргумент, который люди из мира временных рядов воспринимают с большим облегчением, чем пользователи прогнозов, если можно так выразиться. Позволь начать с того, чтобы коснуться момента, который ты только что упомянул, о горизонтах прогнозирования.

Я думаю, что понимание того, что модели способны давать хорошие прогнозы для всех горизонтов, зависит от того, как мы сами сравниваем модели. Например, возвращаясь к соревнованиям M, которые ты упомянул. Это полезный взгляд на соревнования M, но все эти модели оптимизируются схожим образом. Даже если взять простое экспоненциальное сглаживание и изменить функцию цели, способ оценки параметров, можно добиться гораздо лучших или гораздо худших результатов в зависимости от цели или горизонта.

Так что для меня это тоже стало отправной точкой: возможно, здесь что-то происходит. И именно здесь, например, я немного критически отношусь к использованию стандартных методов… позволь переформулировать. Когда мне приходится работать с докторантами или магистрантами, пишущими диссертации, я иногда прошу их реализовать всё “вручную”, а не просто использовать библиотеку, потому что хочу, чтобы они поняли, что на самом деле происходит в модели. И именно здесь можно обнаружить детали и спросить: а имеет ли это смысл?

Одно из замечаний, которое уже было высказано, заключается в том, что нам нравятся формулы и выражения, с которыми легко работать математически. То есть “легко” в кавычках, ведь иногда они довольно сложны, но всё же остаются относительно простыми, если при успешном выборе предположений можно провести расчёты. Но вот в чем для меня проблема: таким подходом мы действительно получаем хорошее понимание происходящего при данных предположениях, что очень полезно. Однако мы часто забываем спросить: что, если это предположение нарушается? Что, если модель задана неверно?

Таким образом, для меня спецификация модели является отправной точкой. Как только вы вводите её, многие из этих выражений становятся проблемными. Надо быть осторожным, и, как сам академик, я понимаю — это никоим образом не делает исследование бесполезным. Но это лишь шаг на пути. Мы должны понять все свойства, а затем сказать: хорошо, теперь давайте введём спецификацию модели.

У меня есть несколько коллег из Испании, с которыми я работал над калибровкой политик управления запасами. И одна статья, над обзором которой мы трудимся — а для академиков это всегда сложный аспект — посвящена именно этому вопросу. Она пытается сказать: допустим, у нас есть очень простая политика, например, политика заказа до определённого уровня; вот что мы получим, если предположить, что модель корректна, и вот что, если сказать, что модель задана неверно. Потому что можно заметить, что в цепочке поставок существуют дополнительные риски, а также дополнительные риски при формировании запасов.

Для меня момент, когда точности оказывается недостаточно, наступает, когда я начинаю думать: модель задана неверно, так что что означает этот дополнительный риск? Если рассматривать это с точки зрения стохастических политик управления запасами, мы говорим: окей, существует стохастический риск, вытекающий из процесса спроса, хорошо. Но это не единственный риск. И я никоим образом не утверждаю, что охватываю все риски в своём подходе, но логика такова, что цель должна заключать в себе нечто большее, чем просто точность.

Это не означает, что нужно полностью отказаться от этой цели; всё же должна существовать некая корреляция между этой целью и другими целями. Потому что если полностью игнорировать необходимость иметь точный, в широком смысле, прогноз, то, по моему опыту, вы не будете выполнять свою работу должным образом.

Вы можете полностью сменить цель, скажем, в случае согласованности мы находим даже теоретически, что существует связь с точностью. Это не 100%-ная связь, а скорее слабая корреляция. Но это не означает, что мы просто отвергаем точность. Однако, это, безусловно, не конец обсуждения. Если вы можете заменить её на лучшую метрику, которая всё ещё обладает аналогичными свойствами, или на набор метрик — отлично, я этим доволен. Мне всё равно, называем ли мы эту метрику так или иначе, моей или чужой. Но я искренне верю, что когда мы переходим к спецификации модели, подразумевающей определённые риски, придерживаться лишь традиционных метрик уже нельзя.

Conor Doherty: Спасибо, Никос. А Йоаннес, я к тебе сейчас вернусь, но хочу подчеркнуть два момента. Во-первых, я, кажется, ошибся — я должен был сказать, что точность не является целью прогнозирования. Кажется, я сказал наоборот. Но продолжая тему твоего последнего замечания, и это, по моему мнению, ключевой момент статьи, ты ведь не пропагандируешь, если я не ошибаюсь, стремление к максимально согласованному прогнозу. Речь идёт о сочетании точности и согласованности. Это справедливое понимание? И если да, не мог бы ты подробнее рассказать, как добиваться сочетания этих двух критериев для тех, кто не понимает, как это устроено?

Nikos Kourentzes: Сначала должен подчеркнуть, что это работа в процессе, так что окончательного ответа на этот вопрос у меня пока нет. Но, похоже, простая эвристика выглядит примерно так: как только вы собираете набор точных прогнозов, выбираете из него самый согласованный. Не выбирайте напрямую самый согласованный прогноз, ведь он может оказаться очень неточным, если это имеет смысл.

Таким образом, я вижу эти две цели — если выразить иначе, существует область, в которой они обе улучшаются вместе, а затем возникает компромисс. Когда достигается этот компромисс, смещается акцент в сторону согласованности.

Conor Doherty: Ну, вот это и был бы следующий вопрос. Ты употребляешь термин “компромисс”, и, опять же, это то, на чем мы много фокусируемся — на компромиссах. Как же ты, а я понимаю, что это всё ещё в разработке, как компания взвешивает эти компромиссы, точность против согласованности? И я знаю, что ты стараешься уменьшить колебания, нестабильность между согласованными прогнозами. Но при этом точность прогноза понятна и проста. Мы можем согласиться, что она может быть несовершенной, но её легко понять: я просто хочу, чтобы точность росла. А теперь мы вводим ещё одно измерение. Так что ещё раз, как взвешивать это — вот что я имею в виду.

Nikos Kourentzes: Да, я затрудняюсь дать однозначный ответ, так как окончательного решения у меня пока нет. Но, возможно, я приведу пример логики.

Ранее я отметил тему сезонных временных рядов. Так что сложность в определении согласованности как метрики заключается, — и это тема обсуждения с некоторыми коллегами, которые говорят: «О, можно сделать так или так», — в той идее условного среднего прогноза. Что это такое? Предположим, что спрос действительно сезонный, то есть существует некая базовая структура. Эта базовая, неизвестная структура — это условное среднее.

Если бы я сказал, что хочу прогноз, который является самым стабильным или, как мы его называем, согласованным, то, в принципе, это была бы прямая, ровная линия. Такая ровная линия не несла бы никакой информации о сезонности. Таким образом, самый согласованный прогноз фактически был бы детерминированным прогнозом, который предполагает отсутствие стохастичности, структуры в ряде — ничего подобного. Это, безусловно, плохой прогноз.

Таким образом, баланс заключается в том, что мы хотим, чтобы прогноз был максимально согласован с точки зрения условного среднего. Мы хотим, чтобы он отражал сезонность, следовал этой структуре. Но мы не собираемся доводить это до такой степени, чтобы подбирать каждую мелочь. Можно сказать, что здесь есть некая связь с переобучением и недообучением, но это не стопроцентная связь, ведь мы все согласны, что переобучение — это плохо.

Но когда мы рассматриваем этот же аспект с точки зрения избыточной и недостаточной согласованности, легко показать, что недостаточная согласованность — это плохо, как та ровная линия, о которой мы говорили. Однако избыточная согласованность не обязательно плоха. И вот это “не обязательно” делает ситуацию интересной и сложной. Это “не обязательно” во многом связано с тем, что ранее упоминал Йоаннес, — с тем, что в управлении запасами и цепочке поставок есть и другие аспекты, которые нас интересуют. Таким образом, обладая дополнительной согласованностью в прогнозах, мы фактически облегчаем жизнь лицам, принимающим решения. С точки зрения статистики это может быть не самый точный прогноз, но он предоставит достаточную информацию для принятия решения, чтобы последующие решения были финансово оправданными или, в рамках других показателей управления запасами, например, позволяли снизить потери.

Я немного расплывчат в своих объяснениях, потому что у меня пока нет ничего лучше, чем эвристика, о которой я упомянул ранее. Как я уже сказал, надеюсь, следующая статья представит полное математическое выражение, чтобы показать, что это на самом деле тривиальная задача. Пока же у меня этого нет. Поэтому я рекомендую на практике сначала собрать набор точных прогнозов, а затем выбрать из них тот, который максимизирует согласованность. То есть, в некотором смысле, это двухэтапный отбор: сначала собрать точные, а затем выбрать согласованный.

Интересно, что в большинстве наших экспериментов оказывается, что такой подход приводит к модели, которая либо использует какие-то трюки, основанные на сжимающих оценках, либо применяет приёмы временной агрегации и так далее, поскольку они, как правило, сглаживают прогнозы. Хочу подчеркнуть, что есть и другие коллеги, предложившие аналогичные идеи. Они могут изменить функцию потерь, добавив, например, слагаемое для минимизации вариабельности прогноза и так далее. Где, по моему мнению, метрика согласованности отличается, так это тем, что мы стараемся показать её связь с точностью, предоставляя выражения, демонстрирующие, где именно они совпадают, а где расходятся.

Conor Doherty: Спасибо, Никос. Йоаннес, что думаешь?

Joannes Vermorel: Да, в Lokad мы рассматриваем этот вопрос под несколько иным углом. Мы идём по радикальному пути, где буквально учитываются доллары ошибок, евро ошибок, и предполагаем, что метрики будут определены, то есть они совершенно произвольны. Это настолько прямолинейно — оптимизировать что-либо, если метрика может быть чем угодно. Так как же мы подходим к этому? Оказалось, что если метрика может быть чем угодно, то по сути это программа, понимаете, компьютерная программа. Возможно, существуют метрики, которые даже нельзя представить в виде программы — в математике можно придумать такие вещи, которые ускользают от вычислений. Но для того, чтобы обосновать обсуждение, мы предполагаем, что не падаем в безумие сверхабстрактных математических пространств. Таким образом, у нас есть нечто, что хотя бы можно вычислить. То есть, это программа, произвольная программа.

Хорошо то, что если вы хотите оптимизировать что-либо, вам по сути нужны градиенты. Как только у вас появляются градиенты, вы можете управлять. Для аудитории: как только у вас есть наклон, это означает, что вы можете направлять параметры в том направлении, которое минимизирует то, что вы хотите снизить. Так что, если вы хотите оптимизировать, добиться повышения или понижения с определённой целью, наличие градиентов даёт вам направление, в котором следует двигаться — и это чрезвычайно помогает.

Именно здесь дифференцируемое программирование приходит на помощь, потому что дифференцируемое программирование — это буквально парадигма программирования, которую Lokad использует повсеместно. Оно позволяет взять любую программу и вычислить её градиенты, и это чрезвычайно мощно. Обычно именно так мы связываем эту финансовую перспективу. Мы собираемся выявить те финансовые элементы. Процесс будет хаотичным, совершенно нерегулярным, и в итоге мы получим программу, которая отражает особенности и странности соответствующей цепочки поставок.

Мы можем дифференцировать любую программу, так что можем вычислить её градиенты, а затем оптимизировать на их основе любую имеющуюся у нас модель, при условии, что сама модель дифференцируема. Это ограничивает наш подход моделями с дифференцируемой структурой, но, о чудо, таких моделей на самом деле большинство. В соревновании M5 для Walmart мы фактически заняли первое место по показателю на уровне SKU, используя дифференцируемую модель.

Таким образом, требование дифференцируемости не мешает получать результаты на уровне передовых технологий. Перенесёмся вперёд: это лишь суть того, что происходит, когда вы отказываетесь от традиционных метрик, ведь обычно приходится учитывать множество факторов.

Ещё один момент заключается в том, что вероятностное прогнозирование — это идея рассмотрения всех возможных будущих сценариев, и не только для спроса. Например, ты упоминал сроки поставки, возможные горизонты и тому подобное, но реальность такова, что сроки поставки варьируются, присутствует неопределённость.

Ещё хуже, наблюдаемый срок поставки зависит от количества, которое вы заказываете. Если вы заказываете, например, 100 единиц, доставка может пройти быстрее, чем если вы закажете 1000 единиц, просто потому что заводу, который производит товар, потребуется больше времени.

Таким образом, вы получаете множество корреляций, которые формируют и структурируют неопределенность. Поэтому одномерная перспектива временного ряда недостаточна, даже если речь идет об одной товарной позиции, поскольку необходимо добавить несколько слоев дополнительной неопределенности, по крайней мере, в отношении сроков поставки, по крайней мере, возвратов в электронной коммерции и так далее.

Я буду использовать термин “согласованность” в широком смысле, поскольку вы только что его ввели, но наше практическое наблюдение, когда мы перешли к вероятностным моделям, заключалось в том, что эти модели, с числовой точки зрения, оказались значительно более стабильными.

Это было очень интересно, потому что большинство из этих нестабильностей, несогласованностей и тому подобное, просто отражают наличие большого количества окружающей неопределенности. И вы имеете области относительно плоских вероятностей. Таким образом, согласно практически любому показателю, пока у вас есть точечный прогноз, модель может сильно колебаться.

И с точки зрения метрик, практически любая выбранная вами метрика будет давать практически одинаковый результат. Таким образом, вы сталкиваетесь с странным свойством: если вы ограничены точечными прогнозами, то при наличии высокой неопределенности, высокой окружающей неопределенности, вы получаете такую проблему, что могут быть очень, очень разные прогнозы, которые, согласно вашим метрикам, практически одинаковы.

И таким образом вы получаете этот эффект дрожания и тому подобное. А когда переходите к вероятностным прогнозам, то попадаете в область, где, скажем, хорошая модель — это та, которая отражает это распределение, эту высокую окружающую неопределенность. И сама по себе она становится намного более, я бы сказал, устойчивой.

Это очень странно, но у нас было множество ситуаций, когда мы изо всех сил пытались добиться хоть какой-то числовой стабильности, а затем, когда переходили в область вероятностных прогнозов, из коробки получалась модель, которая была существенно более стабильной, и те проблемы, которые действительно мешали, становились второстепенными.

Так что это довольно интересно. А затем мы можем связать все это с другими вещами. Когда мы выходим за рамки прогнозирования временных рядов, мы немного обсуждали это на этом канале, но это будет отклонением: большинство проблем цепочки поставок связано с сильной взаимосвязью между товарами (SKU), с взаимосвязью между продуктами.

Таким образом, нам очень часто приходится переходить к не временным рядам, к более высокоразмерной перспективе. Но снова, это отклонение одно отклонения от другого.

Nikos Kourentzes: Я полностью согласен. Вероятностное прогнозирование абсолютно необходимо. Я дошел до того, что когда я смотрю на некоторые незавершённые работы, которые уже несколько лет лежали на заднем плане, и вижу, что в них отсутствует вероятностное прогнозирование, я думаю: “Мне нужно переделать всю работу”. Оно должно включать вероятностное прогнозирование, ведь сейчас 2024 год. Но дело в том, что мне нравится вероятностное прогнозирование, особенно так, как его объяснил Joannes, потому что это дает мне еще один способ подчеркнуть важность спецификации модели.

Когда вы рассматриваете неопределенность вокруг вашего прогноза, мы обычно предполагаем, что эта неопределенность вызвана стохастичностью временного ряда. Но значительная часть этой неопределенности связана с неопределенностью самой модели. Есть неопределенность, вызванная данными, неопределенность, связанная с оценками, и неопределенность самой модели. В ней могут отсутствовать некоторые слагаемые, или наоборот, их может быть слишком много, или она может быть просто совершенно ошибочной. Разделение этой неопределенности остается большой проблемой.

Если вы не разделяете эту неопределенность, то часто вы обнаружите, что многие модели, если они не существенно отличаются, будут маскировать неопределенность своей неопределенностью модели. Они будут давать вам более высокую неопределенность, по крайней мере с эмпирической точки зрения, и значительная часть этой неопределенности будет казаться похожей, потому что она пытается сказать вам, что все эти модели проблематичны.

Вы не добиваетесь понимания глубины этой неопределенности, вызванной стохастическими элементами спроса. Мне до сих пор не удалось найти хороший способ ее решения, и я ни разу не видел подобного в литературе. Но, по крайней мере, вероятностное прогнозирование честно заявляет: “Посмотрите, вот ваша неопределенность. Она немного больше, чем мы предполагали, если исходить из точечного прогноза”. Это хороший шаг к решению проблемы.

Conor Doherty: Спасибо вам обоим. Мне кажется, у меня здесь присутствуют как два академика, так и два практика. Думаю, в данный момент имеет смысл перейти к практической стороне. Вся суть того, что делает Lokad, но, безусловно, ваша работа и ваше исследование в целом, Никос, заключается в применении этого подхода к принятию решений по запасам. В этом контексте, Joannes, когда вы говорили об особенностях и странностях цепочки поставок, варьирующихся сроках поставки и эффекте кнута, всех этих концептах, ваша позиция, Никос, в рабочей статье, о которой мы говорим, заключалась в том, что стремление к согласованности прогнозирования может помочь справиться с эффектом кнута или смягчить его воздействие. Не могли бы вы объяснить, как эта идея может помочь справиться с серьезной проблемой – эффектом кнута?

Nikos Kourentzes: Полагать, что ваша аудитория прекрасно осведомлена об этом, мне кажется, справедливо. Проблема, которую я вижу во многих исследованиях эффекта кнута, заключается в том, что они больше описывают его, нежели предлагают конкретные меры по его устранению. По крайней мере, с точки зрения временных рядов, когда мы говорим: “О, посмотрите, вот ваш коэффициент кнута”. Но это во многом всего лишь описание проблемы. Оно не говорит вам, как с ней справиться, когда вы ее измерили.

Вот тут я говорю: “Если я хочу связать прогнозирование с принятием решений, а не оставлять их разрозненными, тогда мне необходимо иметь нечто, что подскажет мне, что если вы пойдете в том направлении, то снизите эффект кнута.” Оказывается, что без первоначального понимания, если вы проработаете уравнения, согласованность и коэффициент кнута, по крайней мере, кажутся весьма схожими. Это навязывание сходства на протяжении периодов, или согласованность, как мы просто называем это, очень связано с идеей о том, чтобы эффект кнута от ваших прогнозов был низким. Конечно, есть множество других причин, по которым может возникать эффект кнута.

Так что, если мы собираемся использовать показатель согласованности или что-то подобное для выбора или спецификации ваших моделей прогнозирования, то вы уже можете нацелить решение, которое будет более благоприятным с точки зрения эффекта кнута. По крайней мере, я считаю, что поскольку я работаю в сфере прогнозирования, нужно признать, что эффект кнута гораздо шире, чем просто прогнозирование. Прогнозирование — это лишь одна часть всей картины. Существует множество других элементов, которые вступают в игру. Но, по крайней мере, в отношении прогнозирования, если вы будете думать о согласованности и аналогичных подходах, вы сможете создавать прогнозы, которые будут, по крайней мере, благоприятными для снижения эффекта кнута.

Joannes Vermorel: Когда мы начали говорить об эффекте кнута, когда я сказал, что мы учитываем решение и оптимизируем евро и доллары, я на самом деле упрощал. Потому что реальность такова, что мы на самом деле рассматриваем последовательный процесс принятия решений. И здесь мы фактически затрагиваем стохастическую оптимизацию последовательных процессов принятия решений, о чем обсуждалось с профессором Уорреном Пауэллом.

Мы оптимизируем не только следующее решение, но и все последующие. Нам нужен механизм, который позволит вернуть всю эту информацию из будущего, где мы проигрывали будущие решения, генерируемые на основе этих прогнозов, в настоящее. Вот здесь дифференцируемое программирование светит, потому что по сути у вас есть программа, которая моделирует, симулирует, если хотите, будущие решения, и вы должны иметь возможность провести обратное распространение градиента, чтобы вы могли вернуть те будущие финансовые результаты в разработку вашего текущего прогнозирования.

Обычно мы смотрим на это так: если мы возвращаемся к эффекту кнута, не удивляйтесь эффекту кнута. В вашей оптимизационной модели нет ничего, что даже бы учитывало затраты в евро, которые она испытывает с течением времени. Нет ничего, что проводило бы анализ последовательного принятия решений путем повторения решения во времени и проверки, не возникнут ли проблемы эффекта кнута.

Решение не такое уж сложное. Нужно оптимизировать не только следующее решение, а все последующие. По сути, то, что мы оптимизируем, — это своего рода стратегию (политику). Но обычно люди считают, что оптимизация политики полностью независима от прогнозирования. Они предполагают оптимизацию политики, которая просто использует прогноз. По мнению Lokad, нет, эти вещи на самом деле взаимосвязаны.

Лучший прогноз идет рука об руку с лучшей стратегией. Они тесно связаны. Существует даже недавняя статья от Amazon, “Глубокая оптимизация запасов”, где они полностью отменяют это различие. Они напрямую предлагают нечто, что объединяет подход предиктивного моделирования и методы исследования операций, которые обычно разделены. Они говорят: “Нет, мы просто будем делать две вещи одновременно”, и у них есть модель предсказательной оптимизации сразу же, с использованием глубокого обучения.

Это очень интересно, потому что здесь буквально говорится, что решение оптимизируется предсказательно, но сам прогноз становится полностью скрытым. Это всего лишь другой взгляд на проблему, но он очень футуристичен и создает другие проблемы. Однако, если посмотреть на это, предиктивное моделирование и стохастическая оптимизация по-прежнему остаются двумя этапами, но двумя этапами, которые тесно взаимосвязаны, и между ними будет много взаимодействия.

Nikos Kourentzes: На самом деле, я считаю, что разделение этапов имеет свои преимущества. Однако они не должны быть полностью изолированы, и на то есть причина. Я полностью согласен, что один должен вести за собой другой. Ранее я работал с идеей совместной оптимизации как политики запасов и прогнозирования. Статья опубликована, так что все детали доступны, если кто-то захочет посмотреть, что происходит. Моя проблема с этой работой заключалась в том, что я не смог сделать ее масштабируемой. У меня не было способа провести оптимизацию таким образом, чтобы справляться с большим количеством товарных позиций (SKU). Это могло быть связано с моими ограничениями в области оптимизации, а не с самой структурой.

Я действительно считаю, что разделение двух шагов способствует большей прозрачности процесса. Если у меня есть совместное решение, и я вдруг говорю, что ваши запасы для заказов на следующий период должны быть равны 10, а кто-то утверждает, что их должно быть 12, то очень сложно обосновать, почему 10 более обосновано, чем 12. Если вы понимаете прогноз и стратегию, основанную на прогнозе, вы можете провести более прозрачное обсуждение. “Хорошо, вот мой прогноз, вот подробности прогноза, вот моя стратегия, основанная на хорошем прогнозе или, возможно, даже скорректированная в зависимости от имеющихся вариантов прогнозирования, или наоборот”, вы можете сказать: “Если я ограничен этими стратегиями, возможно, только такие варианты прогнозирования должны учитываться.” Но при этом сохраняется прозрачность, и можно сказать: “Я вижу здесь элементы проблемного прогнозирования, я вижу элементы проблемного заказа.”

Еще один момент, который меня беспокоит, — это когда люди полностью погружаются в загадочную оптимизацию или прогнозирование, полагаясь исключительно на глубокое обучение. Как бы мы ни моделировали, в какой-то момент люди будут взаимодействовать с моделью и ее результатами. Исследования и мой опыт показывают, что если люди понимают, что происходит, их взаимодействие с моделью и цифрами, их корректировки для включения контекстной информации будут более успешными.

Если это очень непонятное число, этот черный ящик, многие люди склонны говорить, что либо они не будут знать, что делать с этим числом, либо будут деструктивно взаимодействовать с ним. Мне нравится сохранять разделение, потому что это способствует прозрачности. Это структурирует проблему, показывает, что данный вклад исходит оттуда, а этот — отсюда. Поэтому я склонен согласиться с подходом, который описывает Johannes. Мы должны как-то объединить задачи, один должен вести за собой другой, но при этом мы должны уметь описывать, что делает каждый шаг.

Conor Doherty: Спасибо, Никос. Я вернусь к вам, но хочу уточнить один момент. Вы несколько раз упомянули участие человека и вмешательство. Какова роль участия человека с точки зрения согласованности прогнозирования? Часто, измеряя точность, люди склонны говорить: “Модель ошибается, я знаю лучше, позвольте мне вмешаться”, и, конечно, это часто приводит к увеличению шума. Как концепция согласованности прогнозирования справляется с этим? Включает ли она много вмешательства или нет?

Nikos Kourentzes: Такое поведенческое прогнозирование или суждения, или другие названия, встречающиеся в литературе, я думаю, мы все еще не знаем достаточно, хотя это очень активная область исследований. Некоторые статьи утверждают, что мы должны исключить эти корректировки, потому что они контрпродуктивны или даже разрушают точность или итоговый результат. Проблема этого подхода в том, что вам нужна метрика. Если я использую среднюю абсолютную процентную ошибку, я получу один результат. Если использую среднеквадратичную ошибку, получится другой. Если использую согласованность, получится еще другой ответ.

Однако вопрос, который у меня возникает, возвращаясь к нашему исходному пункту обсуждения, в том, почему я не ограничиваюсь только точностью? То же самое и для вас, вы не ограничиваетесь только точностью. Пока мы признаем, что это важно, нам, очевидно, придется корректировать или оценивать поведенческие аспекты процесса прогнозирования или процесса управления запасами с помощью метрики, которая более осведомлена, чем просто точность. Я не думаю, что следует полностью отказываться от человеческого вмешательства. Я считаю, что существует достаточно доказательств того, что, когда доступная контекстная информация богата, люди могут работать лучше, чем большинство моделей. Однако они не могут последовательно добавлять ценность. Существует множество случаев, когда они просто чувствуют необходимость что-то сделать, или же они могут чрезмерно реагировать на шум или на информацию, очень сложно понять, как это повлияет на ваши запасы. В таких случаях происходит деструктивное взаимодействие с моделью или прогнозами.

Нам нужно сохранить человеческий элемент, потому что он может добавить ценность, но мы должны направлять, когда именно он должен приносить эту ценность. Это занимает много времени. Если я смогу сказать аналитикам, чтобы они оставили определённые задачи полной автоматизации и сосредоточили своё внимание на конкретных действиях, тогда я сделаю их работу эффективнее. Они смогут уделять больше времени и ресурсов тому, в чём они действительно хороши. Согласованность здесь играет роль: если нам нужно идти дальше точности, то при оценке, какие шаги добавляют ценность, это может помочь различать действия по установке инвентаря или, в более общем смысле, принятия решений.

Аналогичное обсуждение я бы провёл и для заказов. Модели или политики могут дать вам, вероятно, хорошую отправную точку, если вы хорошо справляетесь со своей работой в качестве аналитика. Однако я не вижу, чтобы это универсально давало наиболее информативное число. Всегда будут присутствовать какие-то элементы, некоторые сбой, который, например, произошёл сегодня утром в цепочке поставок — нечто, что трудно оценить. Здесь не возникает проблемы, будет ли это хорошо функционировать с течением времени или нет. В мире всегда происходят конфликты. Обычно где-то всегда происходит конфликт. Иногда он затрагивает вашу цепочку поставок, а иногда — нет. Иногда он может создавать давление, скажем, на инфляцию и так далее, поэтому ваши потребители начнут действовать иначе. Эти вещи крайне сложно смоделировать.

Вот почему я доверяю экспертам и аналитикам, у которых есть время делать свою работу должным образом. И, возможно, я могу закончить на темы корректировок, заявив, что исследования показывают: если декомпозировать корректировки, то есть если вы собираетесь сказать: “Хорошо, я уточню число на 100”, поясняя: “Почему 100? Потому что 20 по одной причине и 80 по другой”, — это во многом соотносится с тем, о чём мы говорили ранее: декомпозиция, если хотите, или разделение двух этапов — прогнозирования и инвентаризации — так, чтобы они были отличны, но не изолированы.

Потому что если вы скажете: “Хорошо, я изменю свой заказ на x%”, и если мы спросим человека, который это делает: “Не могли бы вы объяснить, какая часть этого связана с вашим пониманием риска, исходящего из модели прогнозирования, а какая — с реалиями цепочки поставок?”, то, возможно, ему удастся предложить лучшую корректировку.

Conor Doherty: Спасибо, Никос. Йоханнес, я обращаюсь к вам. Вы большой поклонник человеческого вмешательства, верно?

Joannes Vermorel: Нет, в первые пять лет работы в Lokad мы позволяли людям корректировать прогнозы, и это оказалась ужасной ошибкой. С того дня, как мы стали немного догматичны и полностью это запретили, результаты улучшились драматически. Так что теперь мы практически больше этого не допускаем.

Итак, сначала давайте рассмотрим роль человека. Люди могут подумать: “Одна SKU — это одно дело”, но это не типично. Типичная цепочка поставок состоит из миллионов SKU. И когда люди говорят, что хотят внести корректировки, на самом деле они микроменеджментят невероятно сложную систему. Это немного похоже на то, как если бы вы лезли в произвольную память вашего компьютера и пытались перестроить способ хранения данных, имея при этом гигабайты памяти, места на диске и тому подобное. Вы просто выбираете то, что привлекло ваше внимание, и это нерациональное использование вашего времени.

И независимо от того, сколько информации вы получаете, эта информация почти никогда не приходит на уровне отдельного SKU. Так что да, что-то происходит в мире, но является ли это чем-то, относящимся к уровню SKU? Потому что если ваше взаимодействие с системой заключается в тонкой настройке, скажем, одного SKU, на каком основании у вас есть эта высокоуровневая информация, которая может трансформироваться во что-то хоть отдалённо актуальное на уровне SKU? Получается, что существует огромный разрыв.

Люди подумают, что если взять простой пример — допустим, 10 миллионов SKU, что является базовой величиной для компании, которая даже не является очень крупной, — вот в чем моя проблема, и вот где Lokad, как мы видели, значительно улучшился, потому что в основном это чепуха. Вы просто выбираете для корректировки 0,5% SKU, и это не имеет смысла, а обычно создаёт множество проблем. Более того, это требует написания огромного количества кода, поскольку люди не осознают, что разрешение на взаимодействие означает, что необходимо написать много кода для его поддержки, а этот код может содержать ошибки. Вот проблема корпоративного программного обеспечения. Обычно люди смотрят на это так, как будто речь идёт исключительно о математических свойствах, но корпоративное ПО содержит ошибки, даже то, которое пишет Lokad, к сожалению.

А когда у вас большая компания, и вы хотите, чтобы было человеческое взаимодействие, вам нужны рабочие процессы, согласования, проверки, возможность аудита. В итоге у вас получается так много функций, что вы, начиная с модели, которая состоит примерно из тысячи строк кода — если хотите, статистическая модель —, заканчиваете рабочим процессом, состоящим примерно из миллиона строк кода, просто для обеспечения всего этого.

Так что да, намерение хорошее, и я верю, что человеческое взаимодействие имеет ценность, но вовсе не в том виде, в каком оно обычно реализуется. Обычный подход Lokad к человеческому взаимодействию заключается в следующем: хорошо, сейчас что-то происходит в мире. А теперь давайте пересмотрим саму структуру модели. Видите, речь идёт о прогностической модели и оптимизации. И снова классическая позиция в литературе заключается в том, чтобы считать модели чем-то заданным. У вас есть статья, она опубликована, и вы работаете с этим. Lokad так не действует. Мы подходим к прогностическому моделированию и оптимизации исключительно через парадигмы программирования. Таким образом, у Lokad нет моделей в традиционном понимании, у нас есть лишь длинная цепочка программных парадигм. По сути, всё всегда делается на заказ и собирается на ходу.

И по существу это всё код с правильными программными парадигмами. И когда что-то происходит, эти парадигмы дают вам возможность выразить ваши прогностические или оптимизационные модели таким образом, который является очень компактным, лаконичным, сжатым. Дословно: “Давайте сократим эти 1000 строк кода до 20 при использовании правильной нотации, если хотите.”

После этого вы можете вернуться к своему коду и подумать: “Хорошо, у меня есть нечто, и мне нужно вмешаться”. Это не происходит на уровне SKU, такая информация встречается очень редко. Информация, которую вы получаете извне, обычно гораздо более обобщённая. Поэтому вы обычно корректируете какую-то высокоуровневую составляющую вашей модели. И вот в этом заключается красота: вам не нужно иметь огромное количество очень точной информации.

Например, если вы работаете в полупроводниковой отрасли и беспокоитесь о том, что ситуация между Китаем и Тайванем накаляется, вы могли бы сказать: “Я просто возьму сроки поставки и добавлю к ним «хвост», где, например, установлю вероятность в 5% того, что сроки поставки удвоятся”. Обычно в полупроводниковой отрасли сроки поставки очень длительные, порядка 18 месяцев, но здесь вы внезапно добавляете аспект, скажем, ежегодная вероятность в 5% того, что сроки поставки удвоятся по тем или иным причинам.

Вам не нужно быть предельно точным, ведь в конечном итоге это может быть конфликт, серия локдаунов, эпидемия гриппа, закрывающая порты, или что угодно ещё. Но вот в чём прелесть такого вероятностного подхода: в сочетании с программными парадигмами он позволяет вам внедрить высокоуровневое намерение прямо в структуру ваших моделей. Это будет довольно грубо, но при этом позволит вам направленно действовать так, как вы хотите, вместо микроменеджмента переопределений на уровне SKU.

И самое интересное: если вернуться к примеру с добавлением 5% вероятности удвоения сроков поставки, то можно буквально дать этому фактору имя. Вы скажете: “Это наш Коэффициент Страха”, и всё. Вы просто заявляете: “Хорошо, это мой коэффициент страха, связанный с действительно плохими событиями”, и всё в порядке. И вот в этом заключается его прелесть: как только он установлен, все ваши решения будут плавно направляться в сторону учёта этой повышенной вероятности редкого события, и вам не придётся микроменеджментить каждую SKU и выполнять всевозможные действия, которые со временем окажутся неэффективными.

И если через шесть месяцев вы поймёте, что ваш страх был необоснован, исправить это очень просто. Почему? Потому что у вас есть код, в котором присутствует этот Коэффициент Страха с комментарием: “Это мой термин, обозначающий Коэффициент Страха”. Таким образом, с точки зрения документации, прослеживаемости, обратимости, при подходе к проблеме через программные парадигмы вы получаете решение, которое легко обслуживать. Это также решает одну из проблем, с которой мы сталкивались в прошлом, когда люди прибегали к ручному вмешательству, которое становилось основным источником затрат из-за плохого обслуживания переопределений.

Иногда люди, не всегда, но порой, принимают хорошее решение: они вносят переопределение и затем о нём забывают. И потом это остаётся, и ситуация становится кардинально плохой. Вот в чем проблема: как только вы вводите переопределение, возникает вопрос: “Почему вы это сделали?” Проблема переопределений в том, что когда вы являетесь поставщиком программного обеспечения, как Lokad, вы будете регенерировать ваш прогноз каждый день. Так что люди не могут просто переопределить ваш прогноз и оставить всё как есть, потому что завтра всё сгенерируется заново.

И поэтому им необходимо как-то сохранить это переопределение. Проблема в том, что теперь у вас появляется постоянная настройка, которая остаётся, и кто будет за неё отвечать? В итоге вы сталкиваетесь с еще более сложным рабочим процессом для обслуживания переопределений, их постепенного отмены и так далее. И все эти вещи никогда не обсуждаются в литературе. Это очень интересно, но с точки зрения поставщика корпоративного программного обеспечения это просто болезненная ситуация, и в итоге вам приходится иметь в 20 или даже 100 раз больше строк кода для решения этой проблемы, что является весьма неинтересным аспектом по сравнению с более фундаментальными вопросами прогностической оптимизации.

Nikos Kourentzes: В принципе, позиция, которую занимает Йоханнес, является такой, с которой, я полагаю, не согласятся многие, или, по крайней мере, те, кто сталкивался с обеими сторонами. Мое мнение таково, что корректировки не обязательно должны проводиться именно так. У меня пока нет решения этой проблемы, так как эта область исследований очень активна. Как я уже сказал, я знаю, что многие работали над вопросом: стоит ли устранить один вид корректировок или другой?

Можно также взглянуть на проблему совершенно иначе. Позвольте попытаться ответить, приведя аналогичное исследование с одним из моих коллег, Иве Сагером. Он из Бельгии. Мы много работали над тем, как передать информацию, существующую на стратегическом уровне или уровне компании, на уровень SKU.

Таким образом, это потенциально может дать возможность сказать: “Смотрите, я не буду корректировать каждую SKU”. Я полностью согласен с тем, что микроменеджмент не является хорошей идеей, как для SKU, так и в целом. Но это уже другой вопрос. Если позволить людям безудержно делать корректировки, то, чаще всего, из-за человеческих предубеждений, чувства собственности и тому подобного, они потратят время впустую. Будут ли эти корректировки разрушительными или созидательными — покажет время, но точно, они потратят время впустую.

Что касается программной стороны, о которой упоминал Йоханнес, я вынужден принять ваше мнение как данность. Я не занимаюсь этим в той же области, хотя соглашусь, что ошибки встречаются повсюду — мой код определённо не исключение. Но я вижу, что можно по-другому взглянуть на корректировки как на процесс в целом.

Я не думаю, что имеет смысл говорить: “Знаете, теперь мне нужно управлять X количеством временных рядов”. Скорее, речь шла бы о том, что, стратегически, мы меняем направление или наш конкурент сделал X. Эти действия очень трудно количественно оценить, поэтому, возможно, лучше сказать, что бездействие предпочтительнее случайного количественного корректирования.

Но я также вижу, что эта информация отсутствует в моделях. Так что, если я добавлю в модель дополнительный риск, который пользователь сможет откалибровать, или задам пользователю вопрос: “Можете ли вы предложить другой способ корректировать ваш вывод?” — всё равно сохраняется элемент суждения. Каков наилучший способ внедрения этого элемента суждения — я считаю, это остаётся открытым вопросом.

Я не считаю, что традиционный подход к корректировкам является продуктивным. Здесь речь идёт не только о том, что процесс усложняется, как упоминает Йоханнес, но и о том, что люди впадают в пустую трату времени. Они настолько увлекаются этим, что говорят: “Моя работа — зайти в офис и просмотреть каждый временной ряд по отдельности, изучить цифры или графики”. Это не то, чем должен заниматься аналитик.

Особенно в наши дни, когда компании создают команды data science, на рынке есть эксперты, хорошо обученные специалисты. Мы не должны тратить их время подобным образом, мы должны использовать их для оптимизации процесса. Именно поэтому я считаю, что пространство для корректировок существует, но не традиционным способом. Думаю, исследования достаточно убедительны в том, что из-за несоответствий и предвзятости в среднем вы не получите ожидаемой выгоды.

Conor Doherty: Нет ничего в стремлении к согласованности прогнозирования как метрике, что исключало бы возможность автоматизации. Автоматизация всё ещё может быть частью процесса прогнозирования в погоне за согласованностью, верно? Или я неправильно понял?

Nikos Kourentzes: В некотором смысле, вы правы. Моё понимание согласованности, как оно определено и как мы наблюдали его эмпирически в данных компаний, фактически указывало бы пользователю на необходимость устранить все незначительные корректировки. Потому что корректировки вызывают дополнительные колебания, которые будут несовместимыми. Таким образом, естественно, это побуждает к устранению множества корректировок.

Но я немного скептически настроен, потому что нам нужно понять, где мы становимся чрезмерно согласованными, где информация, которой обладают эксперты, критически важна. Это всё ещё открытый вопрос. Но если подумать о стандартном процессе, который критикуют и Йоханнес, и я, то метрики согласованности помогли бы увидеть проблему.

Конор Дохерти: Итак, ни один из вас не считает, что каждый день следует вручную брать каждый SKU и корректировать его. Это было бы бессмысленной тратой денег. С этим все согласны.

Йоаннес Верморель: Но это де-факто практика большинства компаний. Я согласен, когда вы говорите, что хотите передать стратегическое намерение. Полностью с этим согласен. И когда я употребляю термин «парадигмы программирования», я просто имею в виду те инструменты, которые позволяют это сделать. Итак, по сути, вы не хотите, чтобы люди утопали в микроменеджменте SKU, вы не хотите, чтобы кто-либо из команды дата-сайенс, пытаясь передать стратегическое намерение, утопал в написании длинного, неуклюжего кода, где вероятность ошибок и проблем высока.

Например, у вас есть распределение вероятностей для спроса, есть распределение вероятностей для сроков поставки, и вы просто хотите их объединить. Есть ли у вас оператор для этого? Если он у вас есть — как, например, у Lokad — вы буквально можете написать однострочник, который даст вам спрос-за-время-поставки. Это спрос, интегрированный по переменному сроку поставки. Если оператора нет, то вы можете использовать метод Монте-Карло, без проблем. Это не так уж сложно. Знаете, используя Монте-Карло, вы будете сэмплировать спрос, сэмплировать сроки поставки, и о чудо — все сработает без проблем. Но вместо того чтобы использовать однострочное решение, вам понадобится цикл, а с циклами приходят ошибки, такие как выход за пределы индекса, ошибки смещения на единицу и всевозможные проблемы. Конечно, это можно исправить посредством парного программирования, модульного тестирования и тому подобное, но это приводит к увеличению объема кода.

Так вот, моя мысль была в следующем, и я полностью вас понимаю: я считаю, что суть именно в том, что вы упоминали. У них есть команда специалистов по данным. Суть, с чем я полностью согласен, заключается в том, чтобы заменить корректировку от «я подправляю число» на «я подправляю кусок кода». И я думаю, что именно здесь мы по сути согласны: если мы сместим человеческое вмешательство от того, чтобы просто корректировать число и выбирать константу в системе, к тому, чтобы работать с кодом, переосмысливать намерение и затем вносить корректировку, тогда я могу одобрить это, и всё сработает.

Суть моей мысли была в том, чтобы перевести корректировку с изменения числа на корректировку куска кода. Если мы перенесём человеческое вмешательство с подправки числа к работе с кодом и немного переосмыслим, в чём заключается намерение, а затем внесём корректировку, то я смогу это одобрить, и всё получится.

Конор Дохерти: Итак, вы говорите о разнице между ручной корректировкой результата — того, что предсказывает прогноз, — и корректировкой числового рецепта, который этот прогноз производит?

Йоаннес Верморель: Точно, существует информация в этом мире, и основная предпосылка, как я считаю, заключается в том, что есть информация, поступающая из новостей или являющаяся закрытой, к которой вы имеете доступ через корпоративную сеть. Таким образом, у вас появляется дополнительный фрагмент информации, которого нет в модели, отсутствует в исторических данных.

Поэтому я согласен с этим утверждением и идеей о том, что у нас еще нет суперразума, общего интеллекта. Мы не можем просто поручить ChatGPT обработать всю корпоративную почту и сделать это за нас. У нас нет такого уровня интеллекта, доступного нам. Поэтому этот процесс фильтрации должен осуществляться человеческим умом. И я полностью согласен с тем, что наличие людей, которые критически анализируют эту информацию и стараются точно отразить её в цепочке поставок, имеет огромную ценность.

И я полностью поддерживаю Никоса в том, что он говорит, а затем — дата-сайенс, ведь роль команды специалистов по данным, в конечном счёте, заключается в том, чтобы каждый день задаваться вопросом: «У меня есть модель. Действительно ли она соответствует стратегическому замыслу моей компании?» Это высокоуровневый вопрос: действительно ли я отражаю стратегию, изложенную тем, кто её формирует в компании? Это качественная проблема, а не количественная.

Никос Курентцес: Позвольте мне добавить кое-что, потому что, как мне кажется, Йоаннес сказал нечто очень полезное для понимания того, почему мы критически относимся к традиционным корректировкам. Он отметил, что дело не в точечном предсказании, а в его вероятностном выражении. Люди корректируют точечные предсказания, что не имеет смысла с точки зрения управления запасами. Нас же интересуют вероятности всего распределения.

Так что, если кто-то сможет это сделать, возможно, это действительно что-то изменит. Но никто так не поступает, и, знаете, я работаю со статистикой, как уже говорил, почти 20 лет. Я не могу сделать это быстро и просто. И, знаете, моя неспособность не означает, что другие не могут это сделать, но всё, что я хочу сказать, так это то, что когда вы думаете в терминах вероятностей, информация настолько абстрагирована, что очень трудно вручную сказать: «Да, просто скорректируйте на 10 единиц». Это крайне сложный процесс. Таким образом, многие люди и так вносят корректировки по неправильной величине.

Йоаннес Верморель: Я полностью согласен. Когда я говорил, что в Lokad мы перестали делать корректировки десять лет назад, это было именно в то время, когда мы перешли на вероятностный подход. Люди говорили, что нужны корректировки, а мы показывали им гистограммы вероятностного распределения.

Мы говорили: «Прошу, действуйте», и люди отступали, говоря: «Нет, мы этого не сделаем». Это действительно был механизм, чтобы прекратить вмешательство людей на неподходящем уровне. Когда им демонстрировали вероятностные распределения, они понимали, насколько они глубоки. Люди склонны представлять распределения в цепочке поставок как плавные колоколообразные кривые, гауссовские и тому подобное. Но это не так.

Например, допустим, у вас есть магазин для самостоятельного ремонта. Люди покупают определённые товары только кратно четырём, восьми или двенадцати, поскольку в этом есть своя логика. Таким образом, ваша гистограмма не выглядит как колоколообразная кривая; в ней присутствуют пики, когда люди покупают либо одну штуку, потому что нужна запасная, либо покупают четыре или восемь, и ничего между ними. Так что, когда вы начинаете думать: «Хорошо, стоит ли сместить среднее с 2.5 до 3.5?», вы видите гистограмму с тремя пиками: одна единица, четыре единицы, восемь единиц.

Внезапно люди понимают, что для них нет смысла пытаться сместить эти значения. Я не собираюсь переводить вероятность от четырёх к пяти, потому что такое не происходит. Если я хочу увеличить среднее, мне, вероятно, нужно уменьшить вероятность нуля и увеличить вероятность всех остальных исходов.

Люди понимают, что в этих вероятностных распределениях кроется огромная глубина. Там происходит масса хитростей, не говоря уже о тех волшебных кратных значениях, которые существуют. Это и было нашим наблюдением. Мы полностью согласны с тем, что когда люди видят эти вероятностные распределения, они понимают, что не будут вручную корректировать каждую корзину гистограммы по отдельности. Таким образом, ощущение непрактичности вполне обосновано.

Конор Дохерти: Ну, опять же, я помню, что мы отняли у вас немало времени, Никос. Но у меня есть последний вопрос. Вы работаете в лаборатории искусственного интеллекта, и было бы упущением не спросить вас, как ИИ может вписаться в общий контекст того, о чем мы говорим в будущем. Будь то автоматизация прогнозирования в сочетании с ИИ, выполняющим корректировки, или что-то иное — расскажите, пожалуйста, что вы видите в будущем.

Никос Курентцес: Это вопрос на миллион долларов. Я могу ответить так же, как один из рецензентов, изучавших статью, выразил свои опасения. Вопрос был примерно таким: «Ну и что? Вот ещё один показатель, и что с того?»

И я отвечал: «Смотрите, если у вас есть достаточно понятная статистическая модель, вы можете выполнить все расчёты аналитически — отлично. Но как только вы переходите к машинному обучению, а тем более к массивным AI моделям, которые мы используем сейчас, задача становится чрезвычайно сложной. Поэтому очень полезно иметь какие-то измерительные ориентиры, что-то вроде этого, чтобы немного упростить понимание действий модели.»

Если, например, у меня есть массивная AI модель, и мы можем сказать: «Смотрите, эта модель сдвигает прогноз в сторону большей согласованности», то, возможно, я смогу рассматривать её в более упрощённом виде. Это упрощение не заключается в уменьшении сложности модели, а в понимании того, как это влияет на мои запасы, процесс принятия решений, как это влияет на эффект «кнута», упомянутый ранее, в текущем процессе.

Это, по сути, то, как мы завершаем рабочий документ. Мы утверждаем, что преимущество этого показателя заключается в понимании того, как могут вести себя «черные ящики». Не думаю, что в будущем мы увидим модели, которые не были бы так или иначе вдохновлены ИИ. Я немного скептически настроен, когда люди хотят заменить всё на ИИ, ведь некоторые решения могут быть гораздо проще и эффективнее. Моя озабоченность исходит не столько из математики проблемы или богатства данных, сколько из простоты процесса и устойчивости вопроса.

Если у меня запущена массивная AI модель, которая, по мере масштабирования, начинает потреблять огромное количество облачных вычислений и электроэнергии, стоит ли мне это делать, если разница с экспоненциальным сглаживанием составит всего 1%? Иногда разница может быть гораздо больше 1% — действуйте. Но иногда мне не нужна вся эта сложность. Я могу выбрать что-то более простое, что будет понятнее для специалистов, не занимающихся ИИ.

ИИ является путём решения множества наших проблем. Я считаю, что во многих случаях задачи прогнозирования, с которыми мы сталкиваемся, а особенно решения, которые мы принимаем на основании этих прогнозов, являются отличной почвой для применения ИИ. Но это не означает, что нужно забыть всё, что мы знали, и полностью перейти на ИИ. Это также отражено в статье. Как я уже упоминал, это не первая работа, которая говорит: «Давайте немного изменим цель, чтобы это было не только о точности». И другие коллеги уже делали нечто подобное. Разница в том, что мы пытаемся провести алгебраический анализ, чтобы показать: «Вот что на самом деле происходит, когда мы это делаем». Мне нравится, когда мы можем проводить такого рода интерпретации или получать интуитивное понимание происходящего.

ИИ — это путь решения многих вопросов, но мы не должны забывать, что нам важно понимать, что же мы, собственно, делаем. Мы не должны слепо доверять и утверждать, что AI модель как-то сама справится так, как мы надеемся. Я не утверждаю, что AI модели не могут делать действительно отличную работу. Я просто говорю: «Давайте не оставим всё на том, чтобы я просто надеялся, что всё сработает. Это должно быть лучше, чем просто моя надежда».

Конор Дохерти: Ваше мнение?

Йоаннес Верморель: Я считаю, что Никос совершенно прав. Как я уже говорил, при внесении корректировок нужно учитывать количество строк кода. Накладные расходы глубоких моделей обучения действительно огромны, и всё становится гораздо сложнее. Немногие понимают, что для многих GPU даже неясно, как сделать вычисления детерминированными. Существует множество случаев, когда вы запускаете вычисления дважды и получаете два разных результата, потому что само оборудование работает недетерминированно.

Это означает, что в итоге вы получаете так называемые «хайзенбаги»? Знаете, такие ошибки, когда баг проявляется, вы пытаетесь его воспроизвести, а он исчезает. В какой-то момент вы перестаете его искать, думая: «Я пытаюсь воспроизвести ситуацию — ничего не происходит, значит, всё работает». А затем возвращаете систему в эксплуатацию, и баг снова появляется, и его уже не удается воспроизвести.

Таким образом, я полностью согласен. Простота делает всё гораздо лучше, когда показатели находятся примерно в одном диапазоне. Если у вас есть нечто значительно более простое, то более простое решение всегда оказывается выигрышным на практике. Я никогда не видел такой ситуации, когда модель, превосходящая другую на несколько процентов по какому-либо показателю, демонстрировала бы преимущество в реальном мире.

Альтернатива в том, что если есть вариант, который на порядок проще и при этом дает схожий результат в том же диапазоне, даже если показатель — это, так называемые, доллары или евро, которые Lokad пытался оптимизировать. Причина здесь немного странная, но она заключается в том, что цепочки поставок меняются, как мы уже упоминали, из-за человеческого вмешательства.

Когда вы хотите вмешаться и что-то изменить, время играет решающую роль. Если у вас есть программа, сложная модель из тысяч строк, то даже логистика — например, несколько лет назад в Lokad, когда десятки клиентов пострадали из-за судна Evergreen, заблокировавшего Суэцкий канал — у нас было буквально 24 часа, чтобы скорректировать все сроки поставки практически для всех наших европейских клиентов, импортирующих из Азии.

Именно поэтому возможность реагировать в течение нескольких часов, а не недели, когда моя модель слишком сложна, имеет решающее значение. Если вы хотите, чтобы я предоставил вам решение, не внося при этом столько ошибок, которые подорвали бы мою работу, вам нужна более простая модель. Я полностью согласен: ценность и затраты здесь взаимосвязаны. Для тех компаний, которые начали экспериментировать с GPT4, затраты оказываются очень высокими.

Конор Дохерти: Ну, Никос, у меня больше нет вопросов, но принято дать слово гостю в конце. Итак, пожалуйста, есть ли у вас призыв к действию или что-то, чем вы хотели бы поделиться с аудиторией?

Никос Курентцес: Для меня призыв к действию заключается в том, что мы должны выйти за рамки традиционных представлений о прогнозировании в отрыве от принятия решений. В нашем контексте, связанном с запасами и прочим, мы должны попытаться смотреть на эти вопросы более совместно.

Я ученый, у других коллег будут свои мнения, и у Lokad тоже есть своя точка зрения. Я считаю, что ценность всех этих взглядов заключается в том, что они указывают в одном направлении. Мы должны оставить то, чем занимались несколько десятилетий назад, обновить наш образ мышления, обновить наше программное обеспечение, обновить наши учебники. В этом есть смысл. Дело не только в замене нашего программного обеспечения или чего-то подобного — это действительно приведет к принятию других решений.

Я приветствую вовлечение в сферу прогнозирования множества людей, пришедших из области компьютерных наук, глубокого обучения, программирования, работы с запасами, потому что теперь мы можем действительно приступить к решению этих проблем всерьез. Я не хочу создавать впечатление, что это умаляет значимость мира прогнозирования как исследовательской области. Я принадлежу к этому миру, поэтому также хочу сказать, что мы не можем просто взять несколько библиотек, запустить пару кусков кода и сказать, что всё в порядке.

Часто, когда я работаю с промышленными предприятиями или институтами, ценность заключается в нахождении правильного процесса, устранении неверной методологии, что и может предложить сфера прогнозирования. Мне нравится идея сохранения этапов процесса, но нам нужно работать вместе, чтобы прийти к совместному решению. Это перспективная область.

Вернувшись к самому началу вопроса, где я сказал, что мне нравится работать с командой университета. Здесь много полифонии, множество идей. Я выдвину свой вопрос по прогнозированию, а другие скажут: “А как насчет этого? Вы рассматривали эту перспективу?” И я отвечу: “Посмотрите, я никогда об этом не думал.”

Conor Doherty: Спасибо, Никос. Больше вопросов у меня нет. Joannes, спасибо за ваше время. И еще раз, Никos, большое спасибо, что присоединились к нам, и всем большое спасибо за просмотр. Увидимся в следующий раз.