Прогнозирование согласованности и принятие решений в цепи поставок (с Николаосом Курентзесом) - Ep 161

00:00:00 Введение в интервью
00:00:47 Биография и работа Никоса Курентзеса
00:03:25 Понимание согласованности прогнозирования
00:04:44 Ограничения точности прогнозирования
00:06:14 Согласованность в прогнозах временных рядов
00:08:02 Учет особенностей моделирования запасов в цепи поставок
00:09:03 Согласованность и последовательность прогнозов
00:10:29 Математические метрики в производстве
00:12:08 Учет особенностей управления запасами в производстве часов премиум-класса
00:14:47 Стимулирование производства при повышении спроса
00:16:03 Оптимизация модели для спроса на один SKU
00:17:41 Исследование оценок уменьшения и временных иерархий
00:19:05 Лучшие модели для всех горизонтов
00:21:32 Противоречия вокруг согласованности прогнозирования
00:24:05 Калибровка политик управления запасами
00:26:27 Балансировка точности и согласованности
00:31:14 Сглаживание прогнозов с помощью временной агрегации
00:32:54 Важность градиентов в оптимизации
00:35:28 Корреляции в цепи поставок
00:38:10 Прогнозирование за пределами временных рядов
00:40:27 Честность вероятностного прогнозирования
00:42:32 Сходство между согласованностью и коэффициентом бычьего хлыста
00:45:18 Важность анализа последовательного принятия решений
00:47:27 Преимущества разделения этапов
00:49:34 Взаимодействие человека с моделями
00:52:05 Сохранение человеческого элемента в прогнозировании
00:54:35 Доверие к экспертам и аналитикам
00:57:28 Реалистичная ситуация управления миллионами SKU
01:00:01 Корректировки модели на высоком уровне
01:02:13 Принятие решений, определяемых вероятностью редких событий
01:04:44 Мнение Никоса о корректировках
01:07:14 Тратить время на незначительные корректировки
01:09:08 Против ручных корректировок на ежедневной основе
01:11:43 Корпоративные преимущества настройки кода
01:13:33 Роль команды по науке о данных
01:15:35 Вероятностные прогнозы отпугивают ручное вмешательство
01:18:12 Миллионный вопрос об искусственном интеллекте
01:21:11 Важность понимания моделей искусственного интеллекта
01:24:35 Стоимость и стоимость моделей искусственного интеллекта
01:26:02 Решение проблем в управлении запасами

О госте

Николаос Курентзес - профессор по предсказательной аналитике и искусственному интеллекту в Лаборатории искусственного интеллекта Университета Шведе в Скёвде. Его научные интересы связаны с прогнозированием временных рядов, с последними работами по моделированию неопределенности, временным иерархиям и иерархическим моделям прогнозирования. Его исследования сосредоточены на переводе прогнозов в решения и действия в таких областях, как управление запасами, моделирование ликвидности для денежных операций и здравоохранение. У него обширный опыт работы как в промышленности, так и в государственном секторе, и он является автором различных библиотек с открытым исходным кодом, которые помогают использовать передовые методы прогнозирования на практике.

Резюме

В недавнем интервью LokadTV Никос Курентзес, профессор Университета Шведе, и Йоаннес Верморель, генеральный директор Lokad, обсудили согласованность прогнозов в принятии решений в цепи поставок. Они подчеркнули важность согласования прогнозов с решениями, признавая, что модели могут быть неправильно специфицированы. Они различают между точностью прогнозирования и согласованностью, утверждая, что самый точный прогноз может не быть лучшим для принятия решений, если он не соответствует цели принятия решения. Они также обсудили практическое применение согласованности прогнозов в принятии решений о запасах и ее потенциал для смягчения эффекта кнута. Также была обсуждена роль искусственного интеллекта и участия человека в согласованности прогнозов.

Расширенное резюме

В недавнем интервью, проведенном Конором Доэрти, руководителем по коммуникации в Lokad, Никос Курентзес, профессор Университета Шведе, и Йоаннес Верморель, генеральный директор и основатель Lokad, обсудили концепцию согласованности прогнозов в контексте принятия решений в цепи поставок.

Курентзес, который руководит командой, занимающейся исследованиями в области искусственного интеллекта в Университете Шведе, объяснил, что его работа в основном связана с риском модели и спецификацией модели. Он подчеркнул важность согласования прогнозов с принимаемыми решениями, концепцию, которую он называет согласованностью прогнозов. Этот подход направлен на улучшение точности путем признания того, что модели могут быть неправильно специфицированы.

Курентзес также различает между точностью прогнозирования и согласованностью прогнозов. В то время как точность является мерой величины ошибок прогноза, согласованность описывает последовательность прогнозов во времени. Он утверждает, что самый точный прогноз не обязательно является лучшим для принятия решений, если он не соответствует целевой функции решения.

Верморель, соглашаясь с Курентзесом, указал на то, что математические метрики часто оказываются недостаточными при практическом применении. Он привел примеры того, как разные решения могут иметь различные асимметричные затраты, такие как продажа скоропортящихся товаров по сравнению с предметами роскоши. Верморель также обсудил эффект “шлепка” в управлении цепями поставок, когда колебания в прогнозах спроса могут привести к необратимым решениям.

Курентзес поделился своим переходом от фокусировки только на точности к учету других факторов в прогнозировании. Он подчеркнул важность понимания основных принципов работы моделей и предположений, на которых они основаны. Он предложил, что после нахождения коллекции точных прогнозов следует выбрать наиболее согласованный.

Верморель, с другой стороны, поделился тем, что в Lokad они оптимизируют непосредственно финансовые результаты, а не сосредотачиваются на математических метриках. Он объяснил, что градиенты являются важными для оптимизации, так как они указывают направление, в котором следует корректировать параметры для минимизации ошибок. Он также обсудил важность вероятностного прогнозирования, которое учитывает все возможные будущие сценарии, не только для спроса, но и для различных сроков поставки и неопределенностей.

Затем обсуждение перешло к практическому применению согласованности прогнозов в принятии решений о запасах и ее потенциалу для смягчения эффекта “бычьего хлыста”. Курентзес объяснил, что согласованность и коэффициент “бычьего хлыста” имеют много общего, и разработка прогнозов с учетом согласованности может помочь снизить эффект “бычьего хлыста”.

Также была обсуждена роль человеческого вмешательства в согласованность прогнозов. Курентзес считает, что человеческое вмешательство не должно быть исключено, а должно быть направлено на добавление ценности там, где это возможно. Однако Верморель поделился тем, что Lokad больше не позволяет корректировать прогнозы людьми, так как это привело к улучшению результатов.

Беседа завершилась обсуждением роли искусственного интеллекта в согласованности прогнозов и принятии решений в цепях поставок. Курентзес и Верморель согласились с тем, что хотя искусственный интеллект имеет свою роль в решении проблем прогнозирования, он не должен заменять все существующие методы, и понимание процесса является важным.

В своих заключительных замечаниях Курентзес призвал отказаться от традиционных методов прогнозирования и перейти к более интегрированному подходу к принятию решений. Он подчеркнул необходимость обновления нашего мышления, программного обеспечения и учебников, и приветствовал включение людей из различных областей в область прогнозирования. Он заключил, подчеркивая важность сотрудничества и разнообразных точек зрения в решении этих проблем.

Полный текст

Конор Доэрти: Добро пожаловать. Обычно обсуждения о прогнозировании крутятся вокруг идеи точности. Наш сегодняшний гость, Никос Курентзес, имеет другую точку зрения. Он является профессором в Лаборатории искусственного интеллекта Университета Шведе. Сегодня он поговорит с Йоаннесом Верморелем и со мной о концепции согласованности прогнозов. Теперь, Никос, можете ли вы подтвердить на камеру, что я правильно произнес название Шведе?

Никос Курентзес: Это лучшее, что я могу сделать.

Конор Доэрти: Хорошо, тогда у меня больше нет вопросов. Большое спасибо за ваше участие.

Никос Курентзес: Пожалуйста, рад был помочь.

Конор Доэрти: Шутки в сторон, я работаю в Лаборатории искусственного интеллекта Университета Шведе. Звучит очень впечатляюще. Что именно вы здесь делаете и какова ваша общая специализация?

Никос Курентзес: Хорошо, позвольте мне сначала рассказать немного о лаборатории, а затем я расскажу о своем опыте. Мы - разнообразная команда ученых, заинтересованных в исследованиях в области искусственного интеллекта. Основное внимание уделяется науке о данных, но применение искусственного интеллекта весьма разнообразно. Как вы уже упомянули, я, вероятно, буду говорить о прогнозировании и моделировании временных рядов. Но, например, другие коллеги интересуются такими темами, как слияние информации, визуальная аналитика, автономные автомобили, когнитивные аспекты искусственного интеллекта. Вот что замечательно в нашей команде - у нас есть полифония исследований, и когда мы ведем дискуссии, мы получаем множество разнообразных идей, которые выходят за рамки типичной литературы. Лично я нахожу это очень интересным.

Университет, как я обычно говорю своим коллегам, несмотря на то, что я сам не являюсь шведом, когда вы используете шведские имена за рубежом, это может быть что угодно. Так что, возможно, будет полезно сказать, что университет, в плане науки о данных и искусственного интеллекта, имеет довольно большую традицию, хотя его имя не так широко известно. Но, знаете, я очень рад, что присоединился к этой команде. Что касается меня, я работаю в области прогнозирования и моделирования временных рядов уже около 20 лет, используя статистику, эконометрику и искусственный интеллект. Я получил докторскую степень в Университете Ланкастера в области искусственного интеллекта. Это было в бизнес-школе. И мой первоначальный опыт связан с управлением. Но в какой-то момент я понял, что я знаю, какие вопросы задавать, но не знаю, как на них отвечать. Поэтому я начал работать в области операционного исследования, что объясняет мой интерес к цепям поставок, и в конечном итоге получил докторскую степень в области искусственного интеллекта. После этого я стал больше интересоваться эконометрикой. Таким образом, я смог разносторонне понять временные ряды.

Конор Доэрти: Спасибо, Никос. Фактически, Йоаннес и я впервые узнали о вас, а точнее, я узнал о вас, благодаря ученому в области цепей поставок, который следит за вашей работой в LinkedIn. Он прислал мне статью, в которой вы писали о согласованности прогнозов и включили ссылку на ваш рабочий документ по этой теме. Основной темой нашего разговора сегодня будет прогнозирование и его применение в цепях поставок. Но прежде чем мы перейдем к конкретике, не могли бы вы дать немного информации о том, что такое согласованность прогнозов и как это стало для вас предметом исследования?

Никос Курентзес: Большая часть моей работы связана с рисками модели и спецификацией модели. Часто в прогнозировании временных рядов мы выбираем модель и говорим: “Хорошо, теперь мы работаем с ней”. Но мы не всегда осознаем, что каждая модель будет содержать ошибки. Это обычное положение дел в прогнозировании - все модели ошибаются, но некоторые из них полезны. Но я считаю, что мы можем пойти дальше и начать количественно оценивать, насколько модели ошибаются. Еще одной аспект, о котором в литературе часто не говорят, но это меняется, и я должен сказать, что это не только мое мнение, многие коллеги также говорят об этом, - это связь прогноза с принимаемым решением.

Таким образом, согласованность вытекает из этих двух идей. Я работал со своим коллегой из Ланкастерского университета, Кандрикой Притуларгой, который также является соавтором в упомянутой вами статье. И нас довольно интересовало сказать, хорошо, если мы оба приходим к точке зрения, что модели в некотором смысле неправильно специфицированы, то есть мы просто приближаем спрос, с которым мы сталкиваемся, или продажи, в зависимости от того, как вы это понимаете, то какова реальная стоимость этого? И прогнозная согласованность в основном основывается на идее, что можно ли сделать что-то лучше, чем точность? Потому что точность во многом предполагает, что вы хорошо справляетесь с приближением ваших данных.

И вы знаете, да, мы стараемся делать это всерьез, но мы можем просто не использовать правильную модель. Например, у вас может быть программное обеспечение, которое предлагает вам выбор из X моделей, но правильным приближением будет модель, отсутствующая в вашем наборе моделей. Именно здесь все это становится мотивацией, пытаясь связать прогнозирование с решением, когда мы понимаем, что, вероятно, наши модели будут неправильно специфицированы. Вот немного фоновой информации.

Если я хочу быть более научным в этом вопросе, то одно, что я должен сказать, это то, что обычно мы с коллегами всегда начинаем наши исследовательские темы с немного глупой идеи. Так что, знаете, мы делаем что-то другое, и мы говорим, о, здесь есть интересная связь, давайте исследуем это немного глубже. И часто, когда вы это делаете, у вас появляется нечто, что может быть полезной идеей. Почему я упоминаю это, потому что, на мой взгляд, прогнозная согласованность, то, что она предлагает на столе, является немного другим мышлением. И вот почему я думаю, что это изначально хорошо, потому что, начиная как шутка в некотором смысле, это позволило нам увидеть всю суть с другой точки зрения.

Конор Доэрти: Йоаннес, я скоро обращусь к вам по этому поводу, но не могли бы вы немного раскрыть? Опять же, когда вы говорите о точности прогнозирования, у всех есть более или менее понимание того, что это значит. Но когда вы говорите о согласованности или о том, что согласованность прогнозирования помогает людям видеть вещи с другой стороны, не могли бы вы объяснить немного больше этого различия, чтобы люди точно понимали, что вы имеете в виду под согласованностью в контексте прогнозов временных рядов?

Никос Курентзес: Итак, прежде всего, название немного не самое прямолинейное, и есть причина для этого. То, что мы пытаемся описать с помощью этой прогнозной согласованности, в основном, это насколько похожи прогнозы со временем. Теперь это легче сказать, но здесь есть несколько проблем. Многие из слов, которые можно использовать для этого, например, стабильность, уже используются в статистическом прогнозировании, поэтому мы не хотим вызывать путаницу.

И другая проблема заключается в том, что, как, вероятно, мы еще обсудим немного позже, есть технические трудности в измерении того, насколько похожи прогнозы со временем. Потому что, например, если вы подумаете о сезонном временном ряде и несезонном временном ряде, они подразумевают нечто совершенно разное, так как сезонность сама по себе накладывает разницу в прогнозе со временем. Это тот шаблон, с которым вам нужно работать. Так что это не тот вид непохожести, который нас интересует. И вот что делает немного, если хотите, математической гимнастики для определения согласованности. Но здесь заключается разница с точностью. Точность, как правило, мы понимаем, независимо от того, какую метрику вы собираетесь использовать, как сводку о величине ваших прогнозных ошибок.

Теперь, конечно, мы предполагаем, что если мы получим самый точный прогноз, это будет означать, что мы предоставляем лучшую информацию для поддержки решений. Однако это предполагает, что поддерживаемые решения имеют тот же тип целевой функции, что и самый точный прогноз, скажем, минимизируйте квадратичные ошибки. Но это не так. Я имею в виду, если вы подумаете о моделировании запасов в цепи поставок, нам может потребоваться думать о затратах из-за пакетирования заказов, нам может потребоваться думать о затратах на переборку и недостачу, которые могут изменить вашу позицию относительно, скажем, самого точного прогноза. Мы можем должны думать о других аспектах, таких как, например, ограничения, связанные с нашими поставщиками, или другие ограничения мощности от производственных линий или от нашего складирования и так далее. Так что, когда вы думаете о реальной стоимости запасов или цепи поставок в целом, вы внезапно видите, что самый точный прогноз не обязательно является тем, который лучше соответствует принятию решений. И вот в чем на самом деле интересная точка согласованности.

Таким образом, с одной стороны, есть линия исследований, и я и мои соавторы опубликовали довольно много работ в этом направлении, подтверждающих, что большинство метрик точности плохо коррелируют с принятием правильных решений. Это не означает, что они бесполезны или что-то в этом роде, просто они не дают полной картины. Таким образом, это немного склоняет к согласованности. С другой стороны, согласованность пытается сказать, если прогнозы в значительной степени не меняются со временем, то, вероятно, есть некоторая уверенность в прогнозах. Но с другой стороны, это также будет прогноз, на основе которого люди могут планировать с некоторой последовательностью. Мне не нужно обновлять всё моё планирование на каждом цикле прогнозирования, потому что прогноз будет довольно похожим. Так что даже если они не являются самыми точными прогнозами, они тем не менее предсказуемым образом не выполняются, что может облегчить принятие решений. И это действительно то, что мы также обнаружили в нашей работе. Мы обнаружили, что решения, которые поддерживаются более согласованными прогнозами, также являются более последовательными со временем. Так что на принятие этих решений требуется меньше усилий.

Conor Doherty: Ну, спасибо, Никос. И Джоаннес, я передаю слово вам. Мне кажется, что некоторые из этого, вероятно, сильно резонируют с вами. Более точные прогнозы не обязательно приводят к лучшему принятию решений по запасам.

Joannes Vermorel: Да, именно так. Наша общая точка зрения сейчас заключается в том, что практически все математические метрики, в том смысле, что вы выбираете формулу и говорите, что это математическая формула, которая характеризует вашу метрику, которую вы пытаетесь оптимизировать, когда эта формула, по сути, падает с неба или просто придумана, даже если она идет с хорошими намерениями, скажем, норма один, норма два, что-то, что имеет некоторые математические свойства, обычно оказывается очень неубедительным, когда оно ставится в производство по разным причинам.

Более десяти лет назад Lokad начал пропагандировать идею, что люди не должны делать то, что мы сейчас называем голыми прогнозами. В основном, я поддерживаю Никоса в его предложении, что прогноз - это инструмент для принятия решений, и вы можете оценить действительность прогноза только через призму действительности принятых решений.

И это немного странно, потому что если у вас есть 10 разных решений, то вы можете получить несогласованные прогнозы для поддержки этих решений. И это кажется странным, но реальность в том, что это нормально, даже если это противоречит интуиции. И почему это нормально? Потому что у вас есть набор решений, которые могут иметь очень разные асимметричные затраты в терминах перепродажи или недопродажи.

И так, если у вас есть решение, где перепродажа является катастрофой. Допустим, например, вы продаете клубнику. Так вот, все, что вы не продаете в конце дня, вы практически выбрасываете. Так что все, что вы перепродаете, является катастрофой в том смысле, что это немедленные гарантированные потери или списание запасов.

Напротив, если вы производите роскошные часы, и ваши изделия изготовлены из золота, платины и других модных металлов и камней, если вы их не продаете, запасы не истекают. Даже если все, что вы создаете и вкладываете в изделия, выходит из моды, вы всегда можете забрать материалы обратно и создать что-то, что более соответствует текущему желанию рынка.

Так что в основе, если вы занимаетесь ювелирным делом, у вас никогда не будет списания запасов. У вас может быть некоторая стоимость для изменения формы ваших изделий, но это совершенно другая игра.

Одной из основных проблем, которая практически никогда не упоминается в учебниках по цепям поставок, является эффект рачка. Допустим, вы играете в игру пополнения запасов. Каждый день у вас есть SKU, у вас есть прогноз спроса, и если спрос превышает определенный порог, вы делаете заказ.

Но оказывается, что если ваш прогноз колеблется, то это означает, что ваш запас всегда устанавливается, поймав самую высокую точку колебания. Я имею в виду, рассмотрим, например, один месяц, если ваш типичный цикл повторного заказа составляет примерно один месяц, то ваш прогноз будет колебаться в течение этого месяца. И предположим, что каждый день, так что это будет, знаете, 30, 31 день месяца, вы просто повторно запускаете логику прогнозирования, и вы неизбежно сделаете заказ в день, когда ваш прогноз будет самым высоким.

Это эффект рачка, потому что как только ваш прогноз начинает колебаться вверх или вниз, и с точки зрения точности это может быть довольно хорошо, чтобы иметь эти колебания. Он хорошо отражает краткосрочные вариации, но ценой, которую вам приходится платить, является то, что как только вы принимаете решение, вы обязаны его выполнить.

И когда у вас есть эти колебания, то обычно происходит так, что вы фиксируете восходящее колебание. Нисходящее колебание не так страшно, вы просто откладываете что-то на один день, но восходящее колебание вызывает партию производства, пополнение запасов, распределение запасов, снижение цены.

Потому что снова это то же самое. Если вы снижаете цену, а затем у вас возникает всплеск спроса из-за снижения цены, но вы недооценили спрос, и теперь вы думали, что у вас было слишком много товара, но на самом деле это не так. И теперь, когда вы снизили цену, вы случайно оказались в ситуации с искусственным дефицитом товара.

Вот все эти вещи, когда у вас есть эти эффекты рачка, когда у вас есть эти колебания, вы будете действовать, и затем производительность вашей компании будет отражать своего рода экстремальную вариацию вашей статистической модели, прогностической статистической модели, какой бы она ни была. Это нехорошо, потому что вы фиксируете, с точки зрения принятия решений, шум прогностической модели.

Никос Курентзес: Могу я добавить что-то? Прежде всего, я согласен. Но может помочь немного посмотреть на ту же аргументацию с точки зрения специалиста по временным рядам, как я, который привык думать о точности.

Где я в конечном итоге изменил свое мнение, это потому что предположим, у вас есть спрос на одну единицу складского учета, один SKU, и затем вы находите свою лучшую модель, и вы оптимизируете эту модель на основе чего-то вроде правдоподобия или минимизации среднеквадратической ошибки.

Теперь, предположение, лежащее в основе этого, заключается в том, что вы сделали хорошее приближение модели, и обычно ваша ошибка - это прогноз на один шаг вперед. Это то, что мы обычно делаем, мы минимизируем ошибку внутри выборки.

Если ваша модель не является правильной моделью, правильная модель подразумевает, что вы каким-то образом знаете процесс генерации данных, что никогда не бывает так, если бы вы минимизировали эту ошибку, то ваш прогноз был бы идеальным для всех горизонтов прогнозирования. Но это не так, потому что ваша модель - это всего лишь приближение.

Предположим, вы минимизируете ошибки для одного шага вперед, как мы обычно делаем, тогда ваша модель может работать действительно очень хорошо для этого прогноза на один шаг вперед, но не на протяжении времени выполнения заказа. Время выполнения заказа требует дополнительных шагов вперед.

Если бы вы затем сказали: “О, я могу настроить свою модель так, чтобы она была очень хороша, может быть, через 3 месяца, скажем, через три шага вперед”, тогда у вас возникнет противоположный эффект. Ваша модель очень хорошо настроена на этот горизонт прогнозирования, но не на более короткий горизонт прогнозирования. Таким образом, во время выполнения заказа вы упускаете информацию.

Так что я пытаюсь сказать, что традиционный способ мышления, как мы оптимизируем модели, неизбежно приведет к несовершенным прогнозам в том смысле, что они всегда будут откалиброваны для ошибки, которую оптимизатор рассматривает, а не для фактического решения, которое мы пытаемся поддержать. У него другой горизонт.

Вот где, например, много исследований в области оценки уменьшения или работы, которую коллеги и я делаем над временными иерархиями, помогли немного, потому что эти техники всегда думают о том, “Давайте не переобучаться на данных. Давайте не зацикливаться на минимизации какой-то статистики ошибки”.

Итак, вы знаете, то, что описал Йоаннес, по сути, можно увидеть с двух точек зрения. Одно - это влияние на цепочку поставок, а другое - статистическое обоснование, почему у вас это неизбежно.

Йоаннес Верморель: Да, действительно. В Lokad наша практика сегодня и уже довольно долгое время, как часть количественной оптимизации цепи поставок, заключается в чистой финансовой оптимизации. Так что мы непосредственно оптимизируем евро или доллары.

И действительно, эти метрики открываются. У нас даже есть специальная методология для этого, называемая экспериментальной оптимизацией, где, поскольку системы цепи поставок очень непрозрачны и очень сложны, метрика не является данной, это целая тема для исследования.

Теперь интересно то, что касается горизонтов прогнозирования и изменения прогноза с ними. Я долгое время думал в этом направлении, но, по сути, последние прогнозные соревнования Макридакиса, M4, M5, M6, доказали, что практически лучшие модели являются лучшими для всех горизонтов, какой бы вы ни выбрали.

Lokad, мы заняли первое место в 2020 году на уровне SKU для Walmart, и мы были лучшими на один день вперед, на 7 дней вперед, во всем. Долгое время я работал с этой возможностью, что у вас могут быть модели, которые работают лучше в определенных горизонтах.

Но если вы посмотрите на современные модели, такие как дифференцируемое программирование, например, современные классы прогнозных моделей, то сейчас это довольно однородно. Сейчас очень редко бывает так, что у нас есть модели, которые работают лучше на один шаг вперед, а не через полгода.

И, по существу, есть модели, которые являются бесконечными горизонтами, они прогнозируют до конца времен, и вы просто останавливаетесь, чтобы сохранить вычислительные ресурсы, потому что это было бы пустой тратой. Но тем не менее, справедливо, что в общем случае метрика, которая оптимизируется, не должна считаться известной.

Ее нельзя считать одной из элегантных математических метрик, таких как логарифмическая правдоподобность, если вы хотите перейти к байесовскому подходу, или среднеквадратичная ошибка или что-то в этом роде. Это очень хорошо, если вы хотите доказывать теоремы на бумаге, но доказательство теорем и свойств моделей не переводится в операционные результаты.

Это может создавать много тонких дефектов в поведении, которые не являются очевидными с математической точки зрения.

Конор Доэрти: Ну, спасибо. Никос, вернемся к тому, что вы сказали ранее, и продолжим. Вы сказали, что называете себя специалистом по временным рядам и раньше сосредотачивались на точности, а потом сказали: “О, я изменил свое мнение и перешел к тому, чтобы не сосредотачиваться только на точности”. Можете ли вы описать этот процесс? Потому что это то, что всегда вызывает трудности, когда я веду разговоры о прогнозировании, убедить людей не считать точность прогнозирования самоцелью. Я помню, что даже в вашей статье вы сказали: “Цель прогнозирования - не точность”. Это утверждение вызывает довольно много споров в зависимости от того, кому вы его говорите. Так что, как именно вы прошли этот путь?

Никос Курентзес: Да, я имею в виду, это спорный вопрос, вы абсолютно правы. Но я думаю, что это аргумент, который люди, работающие с временными рядами, готовы принять, в отличие от пользователей прогнозов, если я могу так сказать. Позвольте мне начать с того, что я сразу же подхватываю то, о чем вы только что упомянули, - о горизонтах прогнозирования.

Я думаю, что это понимание того, что модели способны давать хорошие прогнозы для всех горизонтов, проистекает из того, как мы сравниваем сами модели. Как вы знаете, возвращаясь к соревнованиям М, о которых вы упомянули. Это полезное чтение соревнований М, но все эти модели оптимизированы похожим образом. Даже если вы возьмете простое экспоненциальное сглаживание и измените целевую функцию, способ оценки параметров, вы можете сделать его гораздо лучше или гораздо хуже для разных целей или разных горизонтов.

Так что для меня это также была отправная точка для того, чтобы сказать, что, возможно, здесь что-то происходит. И вот здесь, например, я немного критичен по отношению к использованию стандартных… позвольте перефразировать. Когда мне приходится работать с аспирантами или магистрантами, пишущими диссертацию, иногда я прошу их выполнить реализацию в трудном режиме, а не использовать библиотеку, потому что я хочу, чтобы они поняли, что происходит под моделью. И вот здесь вы можете найти некоторые детали и сказать, а имеет ли это смысл?

Одна из вещей, которая уже упоминалась ранее, заключается в том, что нам нравятся формулы и выражения, которые легко обрабатываются математически. Я имею в виду, что они легкие в кавычках, иногда они довольно сложные, но да, они все еще легкие в том смысле, что с правильными предположениями вы все равно можете разобраться в математике. Но вот здесь для меня и заключается проблема, что, делая это, мы в конечном итоге имеем хорошее понимание того, что происходит при данных предположениях, и это очень полезно. Но мы часто забываем сказать, а что, если это предположение нарушено? Что, если у нас есть спецификация модели?

Для меня это спецификация модели является отправной точкой. Как только вы вводите это, многие из этих выражений становятся проблематичными. Я должен быть осторожен здесь и, будучи сам академиком, это не делает эту исследовательскую работу бесполезной. Но это - ступенька. Мы должны понять все свойства и затем сказать, хорошо, теперь давайте введем спецификацию модели.

У меня есть несколько коллег из Испании, с которыми я работал над калибровкой политик инвентаризации. И одна статья, над которой мы пытаемся завершить рецензирование, это всегда сложный аспект для академиков, именно это и пытается сделать. Мы пытаемся сказать, знаете ли, предположим, у нас есть очень простая политика, например, политика заказа до, это то, что мы получим, если мы предположим, что модель в порядке, и это то, что мы получим, если мы скажем, что нет, модель неправильно специфицирована. Потому что вы можете видеть, что в цепи поставок есть дополнительные риски, есть дополнительные риски при установке запасов.

Так что для меня момент, когда я говорю, что точность недостаточна, наступает, когда я начинаю думать, что модель неправильно специфицирована, что это дополнительный риск подразумевает? Если вы подумаете об этом в стохастических политиках инвентаризации, то мы говорим, что, о, есть стохастический риск, исходящий от процесса спроса, хорошо. Но это не единственный риск. И я не утверждаю, что я улавливаю все риски так, как я об этом думаю, но по крайней мере логика говорит о том, что это должно быть нечто большее, чем одна цель - точность.

Это не означает, что нужно отказываться от этой цели, должна быть, знаете ли, даже если вы откажетесь от этой цели, все равно должна быть некоторая корреляция между этой целью и другими целями. Потому что если вы полностью игнорируете наличие точного, в широком смысле, прогноза, то вы не будете хорошо выполнять свою работу, по крайней мере, по моему опыту.

Вы можете полностью изменить цель, например, в согласованности мы даже теоретически находим связь с точностью. Это не 100% связь, но есть слабая связь. Так что это не означает для меня, что, хорошо, поэтому мы отбрасываем точность. Но это, конечно, не конец обсуждения. Теперь, если вы можете заменить ее лучшей метрикой, которая все равно имеет похожие свойства, или набором метрик, отлично. Я с этим согласен. Мне не важно, как мы называем эту метрику, или так, или иначе, или это моя метрика или метрика кого-то еще. Но я действительно верю, что, когда мы переходим к спецификации модели и учитываем риски этого процесса, мы не можем придерживаться традиционных метрик.

Конор Доэрти: Спасибо, Никос. И Джоаннес, я вернусь к вам через минуту, но я хочу подчеркнуть два момента. Во-первых, я думаю, что я неправильно выразился. Я должен был сказать, что точность - не цель прогнозирования. Я думаю, что я сказал наоборот. Но чтобы продолжить с тем, что вы только что сказали, и это ключевой момент, я думаю, что вы не пропагандируете, поправьте меня, если я не прав, вы не пропагандируете преследование наиболее согласованного прогноза. Это смесь точности и согласованности. Это справедливое толкование? И если да, можете ли вы разъяснить это для тех, кто может не понимать, как можно достичь смешения этих двух метрик?

Никос Курентзес: Сначала я должен подчеркнуть, что это работа в процессе, поэтому у меня нет полного ответа на этот вопрос. Но кажется, что простым эвристическим подходом может быть следующее: когда вы находите свою коллекцию точных прогнозов, затем из них выбирайте наиболее согласованный. Не выбирайте наиболее согласованный прогноз напрямую, потому что он может быть очень неточным, если это имеет смысл.

Таким образом, я вижу две цели, если я выразил это как-то иначе, есть область, где они оба улучшаются вместе, а затем вы оказываетесь перед выбором. Когда вы достигаете этого выбора, тогда идите и больше уделяйте внимание согласованной стороне.

Конор Доэрти: Хорошо, это снова будет вопросом. Вы используете термин “компромисс”, и снова это то, на что мы уделяем много внимания, снова компромиссы. Как вы, и я понимаю, что это работа в процессе, как вы или как компания взвешиваете эти компромиссы, точность против согласованности? И я знаю, что вы пытаетесь уменьшить дрожание, колебания между всеми согласованными прогнозами. Но даже тогда, я имею в виду, точность прогноза проста. Мы можем согласиться, что она может быть недостаточной, но ее легко понять. Я просто хочу большей точности, я хочу, чтобы число увеличивалось. Но теперь мы вводим еще одно измерение. Так что, снова, взвешивание этого, как компания подходит к этому, это более конкретно то, что я имею в виду.

Никос Курентзес: Да, я здесь борюсь, чтобы дать четкий ответ, потому что у меня пока нет четкого ответа. Но, может быть, я могу привести пример логики.

Я ранее сказал о сезонных временных рядах. Так вот, когда возникает сложность в определении согласованности как метрики, и это обсуждение, которое я вел с некоторыми коллегами, которые говорят: “О, но вы можете сделать это или сделать то вместо этого”, суть в том, что это идея условного среднего прогноза. Что это такое? Предположим, что спрос действительно сезонный, то есть есть некая скрытая структура. Эта неизвестная скрытая структура - это условное среднее.

Если бы я сказал, что я хочу прогноз, который является наиболее стабильным или, как мы называем его, согласованным, в принципе это была бы прямая линия, плоская линия. Эта плоская линия не несет никакой информации о сезонности. Таким образом, наиболее согласованный прогноз фактически был бы детерминированным прогнозом, который не предполагает стохастичности, структуры в ряде и тому подобного. Так что это явно плохой прогноз.

Так что здесь возникает балансировка, мы хотим наиболее согласованный прогноз с точки зрения этого условного среднего. Мы хотим, чтобы он пытался быть сезонным, мы хотим, чтобы он пытался следовать этой структуре. Но мы не собираемся доводить его до такой степени, чтобы сказать: “Я собираюсь попытаться выбрать каждую мелочь”. Так что можно сказать, что есть некая связь с переобучением и недообучением, но это не на 100% связано, потому что мы все можем согласиться, что переобучение - это плохо.

Но когда мы рассмотрели тот же аспект с точки зрения слишком большого согласования и недостаточного согласования, легко показать, что недостаточное согласование - это плохо, как, например, этот плоский график, о котором мы упоминали ранее. Но слишком большое согласование на самом деле не обязательно плохо. И “не обязательно” - это то, что делает вещи интересными и сложными. “Не обязательно” связано с теми аспектами, которые Джоаннес уже поднял, что есть другие аспекты в управлении запасами в цепи поставок, которые нас интересуют. Таким образом, имея это дополнительное согласование в прогнозах, мы фактически облегчаем жизнь принимающим решения позже. С точки зрения статистики, это не будет самый точный прогноз, но он предоставит достаточную информацию для принятия решения. Таким образом, последующие решения будут финансово или по любому другому показателю запасов, который вы собираетесь использовать, например, меньше отходов или что-то в этом роде, легче получить.

Я немного смутен здесь, потому что у меня сейчас нет ничего лучше, чем эвристика, которую я упомянул ранее. Как я уже сказал, надеюсь, что в следующей статье будет представлено полное математическое выражение, чтобы сказать, что это на самом деле тривиальная проблема. У меня этого пока нет. Так что я бы сказал, что на практике сейчас то, что я предлагаю людям сделать, это определить свой набор точных прогнозов и из этих прогнозов выбрать тот, который максимизирует согласованность. Так что в некотором смысле это двухэтапный выбор, сначала получить пул точных прогнозов, а затем выбрать согласованный.

Интересно, что оказывается, что в большинстве наших экспериментов это оказывается моделью, которая либо использует некоторые трюки от оценщиков сжатия, либо некоторые трюки от временной агрегации и так далее, потому что они сглаживают прогнозы. Я хотел бы подчеркнуть здесь, что есть и другие коллеги, которые придумали похожие идеи. Они могут изменить функцию потерь, чтобы, например, также попытаться минимизировать изменчивость прогноза и так далее. Где я думаю, что метрика согласованности немного отличается, это потому, что мы также пытаемся показать связь с точностью, чтобы предоставить выражения, чтобы сказать, где именно они связаны, где именно они расходятся.

Конор Доэрти: Спасибо, Никос. Джоаннес, ваше мнение?

Джоаннес Верморель: Да, я имею в виду, в Lokad мы подходим к этому немного с другой стороны. Мы идем по радикальному пути, где буквально доллары ошибки, евро ошибки, и мы предполагаем, что метрики будут открыты, поэтому они полностью произвольны. Это настолько жестоко, что вы оптимизируете что-то, где метрика может быть чем угодно. Как мы подходим к этому? Ну, оказалось, что если метрика может быть чем угодно, это фактически программа, знаете, компьютерная программа. У вас может быть метрики, которые даже нельзя представить в виде компьютерных программ, в математике можно придумать такие вещи, которые даже ускользают от компьютеров. Но для целей обсуждения мы предполагаем, что мы не идем в супер странные, гиперабстрактные математические пространства. Итак, у нас есть нечто, что можно по крайней мере вычислить. Итак, это программа, произвольная программа.

Хорошо то, что если вы хотите оптимизировать что-либо практически, то вам нужно иметь градиенты. Как только у вас есть градиенты, вы можете управлять. Для аудитории, как только у вас есть наклон, это означает, что вы можете направлять свои параметры в том направлении, которое минимизирует то, что вы пытаетесь минимизировать. Так что когда вы хотите оптимизировать, получить что-то больше или меньше с определенным намерением, если вы можете получить градиенты, это дает вам направление, в котором вы должны двигаться, это очень помогает.

Вот где настоящая сила Дифференцируемого программирования, потому что Дифференцируемое программирование - это буквально парадигма программирования, которую Lokad широко использует. Оно позволяет вам взять любую программу и получить градиенты, и это очень мощно. Это типично то, как мы связываем эту финансовую перспективу. Мы собираемся открыть эти финансовые элементы. Это будет беспорядочный процесс, очень случайный, и то, что мы получим, будет программой, немного странной и отражающей особенности, странности цепи поставок, которая нас интересует.

Мы можем дифференцировать любую программу, поэтому мы можем дифференцировать это, а затем мы можем оптимизировать на основе этого любой модели, при условии, что сама модель дифференцируема. Таким образом, наш подход ограничивается моделями, имеющими дифференцируемую структуру, но оказывается, что это на самом деле большинство. В этом конкурсе M5, для конкурса Walmart, мы фактически заняли первое место на уровне SKU с помощью дифференцируемой модели.

Таким образом, обеспечение дифференцируемости не мешает получению передовых результатов. Теперь, перейдем к сути того, что происходит, когда вы отказываетесь от своих метрик и отказываетесь от них, потому что, как правило, мы сталкиваемся с балансировкой множества вещей.

Еще одна вещь - это вероятностное прогнозирование, идея заключается в том, чтобы рассмотреть все возможные будущие события, но не только для спроса. Например, вы упомянули времена выполнения с возможными горизонтами и тому подобное, но реальность такова, что время выполнения варьируется, у вас также есть неопределенность.

Еще хуже то, что время выполнения, которое вы наблюдаете, связано с количеством, которое вы заказываете. Если вы заказываете, например, 100 единиц, это может происходить быстрее, чем если вы заказываете 1000 единиц, просто потому, что фабрике, производящей товар, потребуется больше времени.

Таким образом, у вас возникает множество корреляций, которые формируют и структурируют неопределенность. Таким образом, одномерная перспектива на временные ряды недостаточна, даже если мы говорим только о одном SKU, потому что мы должны добавить некоторые слои дополнительной неопределенности, по крайней мере, с временами выполнения, по крайней мере, с возвратами с электронной коммерцией и так далее.

Я буду использовать термин “соответствие” в широком смысле, потому что вы только что его ввели, но наша практическая наблюдение, когда мы перешли к вероятностным моделям, заключалось в том, что эти модели, численно говоря, были значительно более стабильными.

Это было очень интересно, потому что большинство этих нестабильностей, несоответствий и так далее просто отражают то, что у вас есть много окружающей неопределенности. И у вас есть области относительно плоских вероятностей. Таким образом, почти по любой метрике, пока у вас есть точечный прогноз, модель может сильно колебаться.

И почти любая метрика, которую вы выберете, будет примерно одинаковой. Таким образом, вы сталкиваетесь с странной особенностью, что снова, если вы застряли с точечными прогнозами, то если у вас высокая неопределенность, вы сталкиваетесь с проблемами, когда у вас могут быть очень, очень разные прогнозы, которые, согласно вашим метрикам, практически одинаковы.

И таким образом, у вас возникает дрожание и прочее. И когда вы переходите к этим вероятностным прогнозам, вы входите в область, где хорошая модель будет выражать этот разброс, эту высокую окружающую неопределенность. И это само по себе намного более постоянно, я бы сказал.

Это очень странно, но вы оказываетесь в ситуациях, когда мы так сильно боролись, чтобы получить немного численной стабильности, а затем, когда вы переходите к области вероятностных прогнозов, из коробки у вас есть нечто, что является значительно более стабильным, где эти проблемы, которые действительно причиняли боль, становятся второстепенными.

И это довольно интересно. И затем мы можем связать все это с другими вещами. Когда мы выходим за пределы прогнозирования временных рядов, мы уже обсуждали это немного на этом канале, но это будет отклонением от отклонения.

И таким образом, мы очень часто должны перейти к не временной перспективе, а к более высокомерной перспективе. Но опять же, это отклонение от отклонения.

Никос Курентзес: Я полностью согласен. Вероятностное прогнозирование абсолютно необходимо. Я достиг того момента, когда, когда я смотрю на некоторые незаконченные статьи, которые лежат на задворках уже несколько лет, и вижу, что там нет вероятностного прогнозирования, я думаю, что мне нужно переработать всю статью. Она должна содержать вероятностное прогнозирование, ведь сейчас уже 2024 год. Но вот в чем дело, мне нравится вероятностное прогнозирование, особенно так, как это объяснил Йоаннес, потому что это дает мне еще один способ подчеркнуть важность спецификации модели.

Когда вы смотрите на неопределенность вокруг вашего прогноза, мы обычно предполагаем, что эта неопределенность связана со стохастичностью временного ряда. Но значительная часть этой неопределенности связана с неопределенностью модели. У вас есть неопределенность, обусловленная данными, неопределенность, обусловленная оценкой, и неопределенность самой модели. Модель может упускать некоторые термины, или она может содержать больше терминов, или она может быть совсем неправильной. Разделение этой неопределенности остается большой проблемой.

Если вы не разделяете эту неопределенность, то вы часто обнаружите, что множество разных моделей, если они не существенно отличаются друг от друга, будут маскировать неопределенность своей собственной неопределенностью модели. Они будут давать вам более высокую неопределенность, по крайней мере, с эмпирической точки зрения, и значительная часть этой неопределенности будет выглядеть так, будто она похожа, потому что она пытается сказать вам, что все эти модели проблематичны.

Вы не доходите до истинной глубины, когда речь идет о неопределенности, обусловленной стохастическими элементами спроса. Я до сих пор не смог найти хороший способ решить эту проблему, и я не видел ничего подобного в литературе. Но по крайней мере вероятностное прогнозирование честно говорит, ну вот, это ваша неопределенность. Она немного больше, чем мы думали, если сравнить с точечным прогнозом. Это хороший шаг к решению проблемы.

Конор Доэрти: Спасибо вам обоим. Мне приходит на ум, что у меня есть два ученых и два практика прямо здесь. Я думаю, что в этот момент мне стоит обратиться к практической стороне. Вся суть того, что делает Lokad, но, конечно же, ваша статья и ваше исследование в целом, Никос, заключается в применении его к принятию решений по управлению запасами. На этом языке, Йоаннес, когда вы говорили о странностях и особенностях цепи поставок, различных временах доставки и эффекте “бычьего хлыста”, все эти концепции, ваша позиция, Никос, в рабочей статье, о которой мы говорим, заключается в том, что стремление к согласованности прогнозирования может помочь справиться с эффектом “бычьего хлыста”. Можете ли вы обрисовать это для людей, чтобы понять, как эта идея может помочь справиться с серьезной проблемой, эффектом “бычьего хлыста”?

Никос Курентзес: Я предполагаю, что ваша аудитория вполне хорошо знакома с этим. Проблема, которую я вижу во многих исследованиях эффекта “бычьего хлыста”, заключается в том, что они больше описывают его, чем предлагают действия для его устранения. По крайней мере, особенно с точки зрения временных рядов, мы говорим, о, вот ваш коэффициент “бычьего хлыста”. Но это во многом просто описание проблемы. Оно не говорит вам, как с ней справиться, когда вы ее измерили.

Вот где я говорю, ну хорошо, если я хочу связать прогнозирование с принятием решений, а не держать их раздельно, то мне необходимо иметь что-то, что может сказать мне, что если вы пойдете в этом направлении, вы снизите свой “бычий хлыст”. Оказывается, что без понимания этого в начале, если вы разработаете уравнения, согласованность и коэффициент “бычьего хлыста” кажутся очень похожими. Это наложение сходства на промежутки времени, или просто согласованность, как мы просто говорим, кажется очень связанным с идеей низкого “бычьего хлыста”, исходящего из ваших прогнозов. Конечно, у вас будет и множество других причин для “бычьего хлыста”.

Итак, если мы собираемся использовать согласованную метрику или что-то подобное для выбора или определения ваших прогнозных моделей, то вы уже можете нацелиться на решение, которое будет более благоприятным с точки зрения эффекта “бычьего хлыста”. Здесь я думаю, что по крайней мере, так как я работаю в сфере прогнозирования, мне нужно признать, что эффект “бычьего хлыста” гораздо шире, чем прогнозирование. Прогнозирование - это всего лишь одна его часть. В него входит так много других элементов. Но по крайней мере для прогнозирования вы можете разработать, если вы думаете о согласованности и подобных способах мышления, прогнозы, которые по крайней мере благоприятны в отношении этого.

Joannes Vermorel: Когда мы начинаем касаться эффекта “бычьего хлыста”, когда я сказал, что мы смотрим на решение и оптимизируем евро и доллары, я на самом деле упрощал. Потому что реальность заключается в том, что мы фактически рассматриваем последовательный процесс принятия решений. И здесь мы касаемся в основном стохастической оптимизации последовательных процессов принятия решений, что было обсуждено с профессором Уорреном Пауэллом.

Мы оптимизируем не только одно решение, которое следует далее, но и все остальные, которые следуют за ним. Нам нужно иметь механизм, чтобы вернуть всю эту информацию из будущего, где мы сыграли роль будущих решений, которые будут сгенерированы через эти прогнозы, в настоящий день. Вот где блестит дифференцируемое программирование, потому что в основном у вас есть программа, которая играет роль, симулирует, если хотите, решения будущего, и вам нужно иметь возможность градиентно вернуть их, чтобы вы могли внедрить эти будущие финансовые результаты в разработку вашего прогнозирования настоящего дня.

То, как мы обычно смотрим на это, заключается в том, что если мы вернемся к эффекту “бычьего хлыста”, не удивляйтесь эффекту “бычьего хлыста”. В вашей оптимизационной системе нет ничего, что даже признает стоимость в евро, которую она будет генерировать со временем. Нет ничего, что делает этот анализ последовательного принятия решений, просто повторяя решение со временем и видя, будут ли у вас проблемы с эффектом “бычьего хлыста”.

Решение не так уж сложно. Нужно оптимизировать не только следующее решение, на которое мы смотрим, но и все, что следует за ним. В неявном виде то, что мы оптимизируем, является своего рода политикой. Но обычно люди думают об оптимизации политики как о чем-то строго независимом от прогнозирования. У них была бы оптимизация политики, которая просто потребляет прогноз. То, как Lokad смотрит на это, заключается в том, что нет, эти вещи на самом деле переплетены.

Превосходный прогноз идет рука об руку с превосходной политикой. Оба очень связаны. Даже есть некоторая недавняя статья от Amazon, “Глубокая оптимизация запасов”, где они буквально отказываются от этого различия полностью. Они непосредственно имеют нечто, что объединяет прогнозирование на основе моделирования и операционное исследование, которые обычно разделяются. Они говорят нет, мы просто сделаем две вещи сразу, и у них есть модель прогнозирования и оптимизации, все сразу через глубокое обучение.

Это очень интересно, потому что это буквально означает, что решение оптимизируется прогнозирующим образом, но сам прогноз становится полностью скрытым. Это просто еще один способ взглянуть на проблему, но это очень футуристический подход и создает другие проблемы. Но чтобы посмотреть на это, у нас все еще есть часть прогнозирования на основе моделирования и часть стохастической оптимизации, но это два этапа, которые тесно связаны, и между ними будет много взаимодействия.

Nikos Kourentzes: Я думаю, что сохранение отдельных этапов имеет свои преимущества. Однако они не должны быть изолированы, и есть причина для этого. Я полностью согласен, что одно должно вести к другому. В прошлом я работал с идеей совместной оптимизации как для политики запасов, так и для прогнозирования. Статья опубликована, поэтому детали доступны для тех, кто хочет узнать, что происходит. Моя озабоченность этой работой заключалась в том, что я не смог сделать ее масштабируемой. У меня не было способа сделать оптимизацию таким образом, чтобы я мог обрабатывать большое количество SKU. Это может быть связано с моими ограничениями в оптимизации, а не с самой настройкой.

Я считаю, что сохранение двух этапов отдельно помогает обеспечить большую прозрачность в процессе. Если у меня есть совместное решение, а затем вдруг я говорю, что ваш запас для ваших заказов на следующий период должен быть 10, и кто-то говорит, что, на его взгляд, он должен быть 12, очень сложно обосновать, почему 10 имеет больше преимуществ, чем 12. Если вы понимаете прогноз и политику, определяемую прогнозом, вы можете вести более прозрачное обсуждение. “Хорошо, вот мой прогноз, это входы и выходы прогноза, вот моя политика, определяемая хорошим прогнозом или, возможно, даже скорректированная из-за возможностей прогнозирования, которые у меня есть, или наоборот”, вы можете сказать: “Если я придерживаюсь этих политик, может быть, только эти виды прогнозирования должны быть в игре”. Но при этом у вас все равно есть прозрачность и вы говорите: “Я вижу элементы проблемного прогнозирования здесь, я вижу элементы проблемного заказа здесь”.

И другой момент, с которым у меня есть проблема, - это когда люди полностью уходят в темную оптимизацию или прогнозирование, где они очень сильно полагаются на глубокое обучение. Независимо от того, как мы моделируем, в какой-то момент люди будут взаимодействовать с моделью и результатами. Исследования и мой опыт показывают, что если люди понимают, что происходит, их взаимодействие с моделью и числами, их корректировки, которые они могут сделать, чтобы учесть контекстную информацию, будут более успешными.

Если это очень непонятное число, эта черная коробка, многие люди склонны сказать, что люди либо не знают, что делать с числом, либо они будут разрушительно взаимодействовать с числом. Мне нравится сохранять разделение, потому что это помогает прозрачности. Он составляет проблему, говорит, что это вклад отсюда, этот вклад отсюда. Поэтому я склонен согласиться с подходом, который описывает Йоханнес. Нам нужно как-то объединить задачи, одна должна привести к другой, но мы также должны быть в состоянии описать, что делает каждый шаг.

Конор Доэрти: Спасибо, Никос. Я вернусь к вам, но я хочу задать вопрос по этому поводу. Вы несколько раз упоминали роль человеческого вмешательства и переопределения. Какова роль человеческого вмешательства в контексте согласованности прогнозирования? Часто тенденция состоит в том, что если вы просто измеряете точность, то говорите: “модель неправильная, я знаю лучше, позвольте мне вмешаться”, и, конечно же, во многих случаях вы просто увеличиваете шум. Как концепция согласованности прогнозирования справляется с этим? Включает ли она много переопределений или нет?

Никос Курентзес: Это поведенческое прогнозирование или суждения, разные названия в литературе, я считаю, что мы все еще недостаточно знаем, хотя это очень активная область исследований. Некоторые статьи утверждают, что мы должны устранить эти корректировки, потому что они противопродуктивны или даже разрушительны с точки зрения точности или конечного результата. Проблема этой мысли заключается в том, что у вас должна быть метрика. Если я использую среднюю абсолютную процентную ошибку, я получу один ответ. Если я использую среднеквадратичную ошибку, я получу другой ответ. Если я использую согласованность, я получу другой ответ.

Однако вопрос, который у меня возникает, возвращаясь к нашей очень первоначальной точке обсуждения, заключается в том, почему я не просто придерживаюсь точности? Я имею в виду, то же самое для вас, вы не придерживаетесь только точности. Пока мы признаем, что это важно, очевидно, нам нужно будет корректировать или оценивать поведенческие аспекты процесса прогнозирования или процесса управления запасами с помощью метрики, которая более осведомлена, чем просто точность. Я не думаю, что мы должны отказываться от человеческого вмешательства. Я считаю, что есть достаточные доказательства того, что когда контекстная информация, которую они могут использовать, богата, они могут делать лучше, чем большинство моделей. Однако они не могут постоянно добавлять ценность. Есть много случаев, когда они просто чувствуют, что им нужно что-то сделать, или они могут слишком реагировать на шум или на информацию, которая очень сложно понять, как это повлияет на ваш запас. В таких случаях это разрушительное взаимодействие с моделью или прогнозами.

Нам нужно сохранить человеческий элемент, потому что он может добавлять ценность, но мы должны указывать, когда они должны добавлять ценность. Это затратный процесс. Если я могу сказать аналитикам оставить некоторые задачи полностью автоматизированными и обратить их внимание на конкретные действия, то я также могу сделать их работу более эффективной. Они могут уделять больше времени и ресурсов тому, что они делают лучше. Согласованность вступает в эту дискуссию, где мы говорим, что если нам нужно выйти за рамки точности, то при оценке, какие шаги добавляют ценность, она может помочь различить те, которые настраивают запас или принимают решения более общего характера.

Аналогичное обсуждение я бы провел для заказов. Модели или политики предоставят вам, вероятно, хорошую отправную точку, если вы хорошо выполняете свою работу аналитика. Однако я не вижу, что это может быть всеобщим наиболее информативным числом. Всегда будут некоторые элементы, некоторые нарушения, которые случились сегодня утром в цепочке поставок, например, что-то, что трудно оценить. Это не будет проблемой, стареет оно хорошо или нет. В мире происходит некоторое противоречие. Обычно в мире всегда происходит некоторое противоречие. Иногда оно повлияет на вашу цепочку поставок, иногда не повлияет на вашу цепочку поставок. Иногда оно может оказывать давление, скажем, на инфляцию и т. д., поэтому ваши потребители могут начать действовать иначе. Это вещи, которые крайне сложно моделировать.

Вот здесь я доверяю экспертам и аналитикам, которые имеют время делать это, свою работу должным образом. И, возможно, я могу закончить с этим, в терминах корректировок, сказав, что исследования показывают, что декомпозиция ваших корректировок, то есть, если вы собираетесь сказать: “Хорошо, я уточню число на 100”, сказать: “Хорошо, почему 100? Потому что 20 из-за этой причины и 80 из-за этой причины”, это сильно коррелирует с тем, о чем мы говорили ранее, декомпозиция, если хотите, или сохранение двух этапов прогнозирования и инвентаризации отдельными, но не изолированными.

Потому что если вы собираетесь сказать: “Хорошо, я изменю свой заказ на x%”, если мы спросим у человека, который это делает: “Можете ли вы объяснить, какая часть этого происходит из-за вашего понимания риска, исходя из модели прогнозирования или из реальностей цепочки поставок?” Потенциально они могут предложить лучшую корректировку.

Конор Доэрти: Спасибо, Никос. Йоханнес, я обращусь к вам. Вы являетесь огромным поклонником вмешательства человека, я правильно понимаю?

Йоханнес Верморель: Нет, в течение первых пяти лет в Lokad мы позволяли людям корректировать прогнозы, и это была ужасная ошибка. В день, когда мы начали становиться немного догматичными и полностью запретили это, результаты значительно улучшились. Так что мы больше не позволяем этого практически.

Итак, давайте сначала рассмотрим роль людей. Я имею в виду, люди говорят о одном SKU, и они думают, но это не типично. Типичная цепочка поставок состоит из миллионов SKU. И когда люди говорят, что они хотят вносить корректировки, они фактически микроуправляют невероятно сложной системой. И таким образом, они буквально, это немного похоже на то, если бы вы входили в случайную память вашего компьютера и пытались перестроить способ, которым вещи хранятся в ваших компьютерах, когда у вас есть гигабайты памяти и диска и тому подобное. Вы просто выбираете некоторые вещи, которые привлекли ваше внимание, и это неэффективное использование вашего времени.

И несмотря на то, сколько информации вы получаете, информацию, которую вы получаете, вы почти никогда не получаете на уровне SKU. Итак, да, что-то происходит в мире, но это то, что происходит на уровне SKU? Потому что если ваше взаимодействие с системой заключается в том, чтобы настраивать что-то вроде SKU, на каком основании у вас есть эта высокоуровневая информация, что она переводится в что-то, что хоть как-то связано с уровнем SKU? У нас есть эта огромная разрыв.

Люди думают, что когда они, возьмем игрушечный пример, я думаю, что это реалистичная ситуация, просто представьте себе 10 миллионов SKU, это базовый уровень для компании, которая даже не является супербольшой. Вот моя проблема и вот где Lokad, мы видели, что это значительно улучшило, это потому что это в основном бессмыслица. Вы просто выбираете 0,5% SKU для выполнения каких-то действий, и это не имеет смысла и обычно создает много проблем. И более того, это создает много кода, потому что люди не понимают, что разрешение взаимодействия означает, что вам нужно написать много кода для поддержки этого и много кода, который может содержать ошибки. Это проблема программного обеспечения предприятия. Люди обычно смотрят на это так, как будто это только математические свойства, но у программного обеспечения предприятия есть ошибки, даже у того, которое пишет Lokad, к сожалению.

И когда у вас есть большая компания, вам нужно иметь человеческое взаимодействие, вам нужно иметь рабочие процессы, утверждения, проверки, возможность проведения аудита. Таким образом, вы получаете так много функций, что, фактически, вы начинаете с модели, которая содержит тысячи строк кода, это, можно сказать, статистическая модель, и в итоге получаете рабочий процесс, который состоит из миллионов строк кода, чтобы все это обеспечить.

Итак, да, намерение довольно хорошее, и я считаю, что есть ценность в человеческом взаимодействии, но абсолютно не в типичном способе его создания. Типичный подход Lokad к человеческому взаимодействию заключается в том, чтобы сказать: хорошо, у вас есть что-то, что происходит в мире, да. Теперь давайте пересмотрим саму структуру модели. Вы видите, снова, предиктивную модель и оптимизацию. И снова, классическая позиция в литературе заключается в том, чтобы думать о моделях как о чем-то данном. У вас есть статья, она опубликована, и вы работаете с ней. Lokad не работает так. Мы подходим только к предиктивному моделированию и оптимизации через программные парадигмы. Так что у Lokad нет моделей, у нас есть только длинная серия программных парадигм. Так что по сути это всегда полностью индивидуальное и собирается на месте.

И поэтому по сути это код с правильными программными парадигмами. И когда что-то происходит, эти программные парадигмы позволяют вам выразить свои предиктивные модели или модели оптимизации способами, которые очень компактны, очень лаконичны. Это буквально означает, что мы сокращаем эти 1000 строк кода до 20 с правильной нотацией, если хотите.

Затем вы можете вернуться к своему коду и подумать: хорошо, у меня есть что-то, и мне нужно вмешаться. Это не на уровне SKU, очень редко у вас есть такая информация на этом уровне. Информация, которую вы получаете из внешнего мира, обычно является более общей. И поэтому вы обычно настраиваете некоторые аспекты вашей модели на более высоком уровне. И вот в чем красота, вы не обязательно должны иметь много очень точной информации.

Например, если вы думаете, допустим, вы работаете в полупроводниковой промышленности и вас беспокоит ситуация с Китаем и Тайванем. Вы бы сказали, хорошо, я просто возьму время выполнения заказа и добавлю хвост, где я скажу, например, с вероятностью 5% время выполнения заказа удвоится. Обычно время выполнения заказа в полупроводниковой промышленности очень долгое, около 18 месяцев, но здесь вы добавляете из воздуха аспект, скажем, с вероятностью 5% ежегодно время выполнения заказа удвоится по каким-либо причинам.

Вам не нужно быть точным, в конце концов это может быть конфликт, это может быть серия блокировок, это может быть грипп, который закрывает порты, это может быть что угодно. Но вот красота этого вероятностного подхода в том, что в сочетании с программными парадигмами он позволяет вам внедрить высокоуровневое намерение в саму структуру ваших моделей. Это будет очень грубо, но также позволит вам направляться в нужном направлении, в отличие от микроуправления перезаписями на уровне SKU.

И интересно то, что если я вернусь к этому примеру, где мы добавляем эту 5% вероятность удвоения времени выполнения заказа, интересно то, что вы можете буквально назвать этот фактор. Вы бы сказали, что это наш Фактор Страха, и все. Вы просто говорите, хорошо, это мой фактор страха, связанный с тем, что происходит плохое, и это нормально. И вот где красота этого заключается в том, что после того, как у вас есть это, все ваши решения будут мягко направлены на эту дополнительную вероятность редкого события, и вам не нужно микроуправлять на уровне SKU и делать все, что не будет актуально со временем.

И если через полгода вы поймете, что ваш страх был необоснованным, то очень легко отменить это. Почему? Потому что у вас есть код, где есть этот Фактор Страха, который сопровождается комментарием, который говорит, что это мой термин, который является Фактором Страха. Так что вы видите, в терминах документации, прослеживаемости, обратимости, когда вы подходите к проблеме через программные парадигмы, вы получаете нечто, что легко поддерживается. Потому что это также была одна из проблем в прошлом, когда люди делали ручное вмешательство, и это была основная часть затрат, это было плохое обслуживание перезаписей.

Люди иногда, не всегда, но иногда имеют правильную идею, они вводят переопределение, а затем забывают о нем. И тогда это остается и становится радикально плохим. И вот в чем проблема, потому что, видите ли, как только вы вводите переопределение, вы можете сказать: “О, а зачем вам это?” Ну, проблема с переопределениями заключается в том, что, когда вы являетесь поставщиком программного обеспечения, как Lokad, вы будете пересоздавать свой прогноз каждый день. Поэтому люди не могут просто переопределить ваш прогноз и все, потому что завтра вы снова все пересоздадите.

Итак, им нужно сохранить переопределение каким-то образом. И проблема в том, что теперь у вас есть постоянная настройка, которая будет существовать, и кто отвечает за ее поддержку? И в результате вы получаете еще более сложный рабочий процесс для обслуживания переопределений, фазы отказа от переопределения и т. д. И все эти вещи никогда не обсуждаются в литературе. Это очень интересно, но с точки зрения поставщика корпоративного программного обеспечения это просто очень болезненная ситуация, и вам приходится иметь в 20 или даже в 100 раз больше строк кода для работы с этим, что является очень неинтересным аспектом по сравнению с более фундаментальным аспектом предиктивной оптимизации.

Никос Курентзес: В принципе, позиция, которую занимает Йоаннес, я думаю, что многие люди не будут с ней не согласны, или по крайней мере люди, которые столкнулись с обеими сторонами. Мое мнение заключается в том, что корректировки не обязательно должны происходить таким образом. У меня пока нет решения для этого, потому что это очень активная область исследований. Как я уже сказал, я знаю, что многие люди работали над вопросом, следует ли устранить этот тип корректировок или тот тип корректировок?

Вы также можете подумать о проблеме совершенно по-другому. Позвольте мне попытаться ответить на это, в некотором смысле, взяв аналогичное исследование с одним из моих коллег, Иве Сагером. Он находится в Бельгии. Мы много работали над тем, как мы можем передать информацию, которая существует на стратегическом уровне или на уровне компании, на уровень SKU.

Таким образом, это потенциально может дать возможность сказать: “Знаете, я не собираюсь корректировать каждый SKU. Я полностью согласен, что микроуправление - не хорошая идея, я имею в виду для вашего SKU или вообще. Но это другая дискуссия. Если вы позволите людям вольно обращаться с корректировками, большую часть времени, из-за человеческих предубеждений, владения и так далее, они обычно будут тратить время впустую. Будут ли они разрушительными или конструктивными с корректировками, это еще предстоит увидеть, но они, безусловно, будут тратить время.

Программная сторона, о которой упоминал Йоаннес, я должен принять ваше мнение таким, какое оно есть. Я не в той же области, хотя я соглашусь, что ошибки повсюду, в моем коде, конечно. Но я вижу, что есть другой способ, которым можно подумать о корректировках как о процессе в целом.

Я не думаю, что ценно говорить: “Знаете, мне нужно теперь управлять X количеством временных рядов”. Скорее это будет похоже на то, что стратегически мы меняем направление или наш конкурент сделал X. Эти действия очень сложно количественно оценить, поэтому может быть все же лучше сказать, что бездействие лучше, чем произвольная количественная оценка.

Но я также вижу, что эта информация не содержится в моделях. Поэтому, если бы я добавил в модель некоторый дополнительный риск, который пользователь может откалибровать, или если бы я мог спросить пользователя, можете ли вы предложить другой способ корректировки вашего вывода? Это все равно остается субъективным элементом каким-то образом. Какой лучший способ внедрить этот субъективный элемент, я думаю, это открытый вопрос.

Я не вижу обычного способа корректировки как продуктивного способа. Это не только аспекты усложнения процесса, о которых говорит Йоаннес, но и то, что я вижу, как люди тратят свое время. Они слишком увлекаются этим, они говорят: “Моя работа - приходить в офис и просматривать каждый временной ряд по одному, смотреть на числа или графики”. Это не то, что должен делать аналитик.

Особенно сейчас, когда у компаний начинают появляться команды по науке о данных, есть эксперты, есть хорошо подготовленные люди на рынке. Мы не должны тратить их время таким образом, мы должны использовать их для исправления процесса. Поэтому я думаю, что есть место для корректировок, но не в традиционном их понимании. Я думаю, что исследования в этой области достаточно убедительны в том, что из-за несогласованностей, из-за предубеждений, в среднем вы не получите пользы.

Conor Doherty: Ничто не мешает использовать автоматизацию в процессе прогнозирования, если мы стремимся к согласованности, верно? Или я что-то неправильно понял?

Никос Курентзес: В некотором смысле вы правы. Мое понимание согласованности, так как оно определено и как мы видели это эмпирически на данных компаний, на самом деле указывает пользователю на необходимость устранить все незначительные корректировки. Потому что корректировки вызывают дополнительные колебания, которые будут несогласованными. Таким образом, естественно, это будет способствовать устранению большого количества корректировок.

Но я немного скептически настроен, потому что нам нужно понять, где мы становимся слишком согласованными, где информация, которую бы имели эксперты, будет критической. Это все еще открытый вопрос. Но если мы подумаем о привычном процессе, который и Йоаннес, и я критиковали, метрики согласованности помогут вам увидеть проблему.

Conor Doherty: Таким образом, ни один из вас не считает, что нужно вручную каждый день браться за каждый отдельный SKU и корректировать его. Это просто было бы пустой тратой денег. Так что здесь полное согласие.

Joannes Vermorel: Но это фактическая практика большинства компаний. Я согласен с вами, когда вы говорите, что хотите перевести стратегическое намерение. Я полностью согласен. И когда я говорю о программных парадигмах, я просто имею в виду инструменты, которые позволяют вам это делать. Так что вы, по сути, хотите, чтобы люди не утонули в микроуправлении SKU, вы не хотите, чтобы кто-то из команды по науке о данных пытался перевести стратегическое намерение, пиша длинный, неэлегантный код, который, скорее всего, будет иметь еще больше ошибок и проблем.

Например, у вас есть вероятностное распределение для спроса, у вас есть вероятностное распределение для времени поставки, и вы просто хотите объединить их. У вас есть оператор для этого? Если у вас есть оператор, у Lokad есть такой, вы можете буквально сделать однострочник, который даст вам спрос за время поставки. Это спрос, интегрированный по изменяющемуся времени поставки. Если его нет, то вы можете использовать метод Монте-Карло, без проблем. Это не очень сложно. Вы знаете, с помощью Монте-Карло вы будете выбирать образцы спроса, вы будете выбирать образцы времени поставки, и вот вам это, без проблем. Но вместо того, чтобы иметь что-то, что займет одну строку, это займет время, и у вас будет цикл. Так что если у вас есть цикл, это означает, что у вас могут возникнуть исключения из-за выхода индекса за пределы диапазона, могут возникнуть исключения из-за ошибки на единицу, у вас могут возникнуть все возможные проблемы. Опять же, вы можете исправить это с помощью парного программирования, модульного тестирования и тому подобного, но это добавляет код.

Так что моя точка зрения заключается в том, и я вас действительно понимаю, я думаю, что здесь, вы видите, это то, о чем вы упоминали. У них есть команда по науке о данных. Это смещение исправления, и я полностью согласен с вами, это смещение исправления от того, что я корректирую число, к тому, что я корректирую часть кода. И я думаю, что именно это, я думаю, здесь, в этом мы с вами согласны. Если мы смещаем вмешательство человека от корректировки числа к работе с кодом и немного переосмысливаем намерение и делаем эту корректировку, тогда я могу одобрить и это работает.

Моя цель заключалась в том, чтобы сместить исправление от корректировки числа к корректировке части кода. Если мы смещаем вмешательство человека от корректировки числа к работе с кодом и немного переосмысливаем намерение и делаем эту корректировку, тогда я могу одобрить и это работает.

И действительно, если мы вернемся к потере времени, интересно то, что когда вы корректируете код, да, это занимает гораздо больше времени, чтобы изменить одну строку кода. Это может занять, скажем, один час, в то время как изменение одного числа занимает примерно минуту. Но этот час затем будет применяться ко всей компании. Вы знаете, когда это делается на правильном уровне, это означает, что у вас есть этот один час кодирования, который дает вам преимущество для всей компании, в отличие от этой одной минуты для SKU, которая может дать вам возможное преимущество, но только для SKU.

Conor Doherty: Итак, вы говорите о разнице между ручной корректировкой вывода, о том, что прогноз говорит, и корректировкой числового рецепта, который создает прогноз?

Joannes Vermorel: Именно так, в этом мире есть информация, основное предположение, я думаю, заключается в том, что есть информация, которая находится в новостях или, возможно, в личной информации, к которой у вас есть доступ через сеть самой компании. Таким образом, у вас есть дополнительная информация, которая не содержится в модели, которая не содержится в исторических данных.

Так что я согласен с утверждением и с идеей, что да, у нас еще нет сверхинтеллекта, общего интеллекта. У нас нет возможности, чтобы ChatGPT просто обрабатывал всю электронную почту компании и делал это за нас. Так что у нас нет такой степени интеллекта, доступного нам. Поэтому это должны быть человеческие умы, которые выполняют этот процесс просеивания. И я согласен с тем, что есть ценность в наличии людей, которые критически мыслят об этой информации и пытаются точно отразить ее в цепи поставок.

И я действительно следую за Никосом в том смысле, что он говорит, а затем наука о данных, потому что да, в конечном счете, это должна быть роль команды науки о данных, чтобы каждый день говорить: у меня есть модель. Она действительно соответствует стратегическому намерению моей компании? Это очень высокоуровневый вопрос, связанный с тем, действительно ли я отражаю стратегию, выраженную тем, кто разрабатывает стратегию в компании? Это качественная проблема, а не количественная.

Nikos Kourentzes: Позвольте мне добавить что-то здесь, потому что я думаю, что Жоанн сказал что-то, что очень полезно для понимания того, почему мы критикуем традиционные корректировки. Он упомянул, что это не точечное предсказание, это вероятностное выражение этого. Люди корректируют точечные предсказания, это не имеет смысла с точки зрения запасов. Нас интересуют вероятности всего распределения.

Так что, если бы кто-то мог это сделать, возможно, это могло бы действительно что-то изменить. Но никто этого не делает, и вы знаете, я работаю со статистикой уже, как я сказал, большую часть 20 лет. Я не могу сделать это легко и просто. И вы знаете, моя неспособность не означает, что другие люди не могут это сделать, но все, что я говорю, это то, что когда вы думаете в вероятностном смысле, информация настолько абстрагирована, что очень сложно кому-то вручную сказать: да, просто скорректируйте это на 10 единиц. Это очень сложный процесс. Так что, в каком-то смысле, многие люди все равно делают все эти корректировки на неправильном количестве.

Joannes Vermorel: Я полностью согласен. Когда я сказал, что в Lokad мы прекратили делать корректировки десять лет назад, это было именно тогда, когда мы перешли к вероятностному подходу. Люди говорили, что нам нужно делать корректировки, и тогда мы показывали им гистограммы вероятностных распределений.

Мы говорили: пожалуйста, попробуйте, и тогда люди отступали и говорили: нет, мы не будем этого делать. Это был механизм, чтобы остановить людей, вмешивающихся на неправильном уровне. Когда им показывали вероятностные распределения, они понимали, что есть много глубины. Я имею в виду, люди думали о тех паритетных распределениях для цепи поставок как о мягких колоколообразных кривых, знаете, гауссовских и прочих. Но это не так.

Например, предположим, у вас есть магазин товаров для самостоятельного ремонта. Люди будут покупать определенные товары только кратно четырем, восьми или двенадцати, потому что в этом есть логика. Так что ваша гистограмма не похожа на колоколообразную кривую, у нее есть пики, где люди либо покупают один товар, потому что им нужен запасной, либо покупают четыре или восемь и ничего между ними. Так что, когда вы начинаете думать: “Хорошо, стоит ли переместить среднее значение с 2,5 на 3,5?”, но вы смотрите на гистограмму, и гистограмма выглядит как три пика: одна единица, четыре единицы, восемь единиц.

Внезапно люди говорят, что для меня не имеет смысла пытаться перемещать эти вещи. Я не собираюсь перемещать вероятность, которая в настоящее время распределена на четыре, на пять, потому что этого не происходит. Если я хочу увеличить среднее значение, я, вероятно, захочу уменьшить вероятность нуля и увеличить вероятность всех остальных случаев.

Люди понимают, что в этих вероятностных распределениях есть много глубины. Есть много хитростей, просто упоминая те волшебные кратности, которые существуют. Это было нашим наблюдением. Мы полностью согласны с тем, что когда люди видят эти вероятностные распределения, они понимают, что они не будут регулировать эту гистограмму вручную, по одному корзине. Так что реакция на непрактичность действительна.

Конор Доэрти: Хорошо, я снова помню, что мы заняли у вас довольно много времени, Никос. Но у меня есть последний вопрос. Вы работаете в лаборатории искусственного интеллекта, и кажется, неправильно не спросить вас о том, как ИИ может вписаться в контекст того, о чем мы говорим в будущем. Так что, будь то автоматизация прогнозирования с помощью ИИ, делая переопределения, я не знаю, нарисуйте, что вы видите будущим здесь, пожалуйста.

Никос Курентзес: Это вопрос на миллион долларов. Я могу ответить так же, как один из рецензентов, просматривающих статью, выразил некоторые опасения. Вопрос был такой: “Хорошо, и что? Вот еще одна метрика, и что?”

И я говорил: “Посмотрите, если у вас есть статистическая модель, которая довольно проста, вы можете вычислить все аналитически, хорошо. Когда вы начинаете заниматься машинным обучением и особенно с использованием массовых моделей ИИ, это очень сложная задача. Поэтому очень полезно, если у нас есть некоторые эталоны, что-то вроде этого, что может сделать процесс немного проще, чтобы понять, что делают эти модели.

Если, например, у меня есть массовая модель ИИ, и мы можем сказать, что эта модель толкает прогноз в сторону увеличения согласованности, то у меня может быть способ рассмотреть эту модель более простым способом. Этот более простой способ не заключается в уменьшении сложности модели в любом случае, но в понимании, как это влияет на мой запас, как это влияет на мой процесс принятия решений, как это влияет на мое предположение о биче, упомянутом ранее, непрерывном процессе.

Это, по сути, как мы заканчиваем рабочую статью. Мы говорим, что польза от этой метрики заключается в понимании того, как могут вести себя модели, которые являются черными ящиками. Я не думаю, что в будущем мы увидим модели, которые не будут в какой-то степени вдохновлены ИИ. Я немного скептичен, когда люди хотят заменить все на ИИ, потому что некоторые вещи могут быть просто более простыми, более эффективными. Мое беспокойство не обязательно исходит здесь из математики проблемы или даже из богатства данных и так далее. Я думаю, что эти проблемы мы можем решить. Мое беспокойство скорее связано с очень простым аспектом процесса и устойчивостью проблемы.

Если у меня работает массовая модель ИИ, которая в конечном итоге, когда я начинаю масштабировать все к этой модели, начинает сжигать много облачных вычислений и много электроэнергии, нужно ли мне все это делать, если я получу всего 1% разницы от экспоненциального сглаживания? Иногда у меня будет гораздо больше, чем 1% разницы, и я пойду на это. Но иногда мне не нужна вся эта сложность. Я могу использовать что-то более простое, что также более понятно для неспециалистов в области ИИ.

ИИ - это путь вперед для многих из нас. Я считаю, что во многих случаях прогнозные задачи, с которыми мы сталкиваемся, и особенно решения, которые мы поддерживаем с помощью этих прогнозов, являются очень хорошей основой для применения ИИ. Но это не означает, что мы должны забыть все, что мы знали, и полностью перейти на ИИ. Это отражено и в статье. Как я уже упоминал ранее, это не первая статья, которая говорит: “О, давайте немного изменить цель, чтобы она не была только точностью”. Другие коллеги тоже делали это. Разница в том, что мы пытаемся немного алгебраически показать, что происходит, когда мы это делаем. Мне нравится, когда мы можем делать такие интерпретации или понимать эту логику.

ИИ - это путь вперед для многих вопросов, но мы не должны забывать, что нам полезно понимать, что мы делаем на самом деле. Мы не должны просто слепо доверять и говорить, что модель ИИ сделает то, что я надеюсь, что она сделает. Я не говорю, что модели ИИ не могут делать действительно хорошие вещи. Просто я говорю: “Давайте не оставлять это на надежде. Оно должно быть лучше, чем просто надежда”.

Conor Doherty: Ваши мысли по этому поводу?

Joannes Vermorel: Я считаю, что Никос абсолютно прав. Как и я говорил о регулировке, нужно учитывать количество строк кода. Накладные расходы на модели глубокого обучения абсолютно огромны и усложняют все. Немногие понимают, что для многих графических процессоров даже не ясно, как сделать вычисления детерминированными. Есть много ситуаций, когда вы запускаете вычисление дважды и получаете два разных числа, потому что аппаратное обеспечение само по себе не детерминировано.

Это означает, что вы сталкиваетесь с Heisenbugs? Знаете, Heisenbugs - это когда у вас есть ошибка, вы пытаетесь воспроизвести ее, и она исчезает. Итак, в какой-то момент вы прекращаете попытки воспроизвести случай, говоря: “Ну, я пытаюсь воспроизвести случай, но это не происходит, поэтому, наверное, все работает”. И затем вы вводите его в производство, и ошибка возникает снова, и вы не можете ее воспроизвести.

Так что я полностью согласен. Простота делает все лучше, когда она примерно в том же диапазоне производительности. Если у вас есть что-то, что значительно проще, более простая вещь всегда побеждает на практике. Я никогда не видел ситуации, когда модель, которая превосходит другую модель на несколько процентов по любой метрике, превосходит в реальном мире.

Это альтернатива, если альтернатива является порядком проще и дает примерно тот же результат в том же диапазоне, даже если метрика - это так называемые доллары или евро, которые Lokad пыталась оптимизировать. Причина немного странная, но причина в том, что цепи поставок меняются, как мы уже упоминали, вмешательство человека.

Когда вы хотите вмешаться и изменить, время имеет огромное значение. Если у вас есть программа, сложная модель, тысячи строк, это означает, что только логистика, например, несколько лет назад в Lokad, десятки клиентов пострадали от судна Evergreen, которое заблокировало Суэцкий канал. У нас было всего 24 часа, чтобы скорректировать все сроки поставки для практически всех наших европейских клиентов, импортирующих из Азии.

Вот где способность реагировать в течение нескольких часов, а не недели, просто потому что моя модель очень сложная, имеет решающее значение. Если вы хотите, чтобы я исправил ошибку, не вводя при этом столько ошибок в процессе, которые просто подрывают то, что я делаю, вам нужна более простая модель. Я полностью согласен, что есть ценность и есть стоимость. Для тех компаний, которые начали играть с GPT4, стоимость очень высока.

Conor Doherty: Ну, Никос, у меня больше нет вопросов, но принято дать последнее слово гостю. Так что, пожалуйста, какой-нибудь призыв к действию или что-нибудь, что вы хотели бы поделиться с зрителями?

Nikos Kourentzes: Призыв к действию для меня заключается в том, что нам нужно перейти от традиционного представления о прогнозировании в отрыве от принятия решений. В контексте нашего обсуждения, запасов и так далее, нам нужно попытаться рассматривать эти вещи более комплексно.

Я - ученый, у других коллег могут быть другие мнения, у Lokad тоже есть своя точка зрения. Я думаю, что во всех этих точках зрения есть ценность, потому что все они указывают в одном направлении. Нам нужно оставить то, что мы делали несколько десятилетий назад, обновить наш способ мышления, обновить наше программное обеспечение, обновить наши учебники. В этом есть ценность. Это не просто о смене нашего программного обеспечения или чего-то еще, это действительно приведет к другим решениям.

Я приветствую включение в область прогнозирования множества людей, приходящих из области компьютерных наук, глубокого обучения, программирования, стороны запасов, потому что сейчас настал момент, когда мы можем решать эти проблемы серьезно. Я не хочу создавать впечатление, что это отнимает что-то от ценности мира прогнозирования как исследовательской области. Я принадлежу к этому миру, поэтому я также хотел бы сказать, что мы не можем просто взять несколько библиотек, запустить несколько кодов и сказать, что все хорошо.

Очень часто, когда я работаю с промышленностью или институтами, ценность заключается в том, чтобы получить правильный процесс, исправить неправильную методологию, что и предлагает область прогнозирования. Мне нравится идея сохранения этапов в процессе, но нам нужно работать вместе, чтобы найти совместное решение. Это хорошее пространство.

Вернемся к самому началу вопроса, где я сказал, что мне нравится работать с командой в университете. Здесь есть полифония, много идей. Я задаю свой вопрос о прогнозировании, и другие люди говорят: “А что насчет этого? Вы задумывались об этой точке зрения?” И я говорю: “Посмотрите на это, я никогда не думал об этом.”

Conor Doherty: Спасибо, Никос. У меня больше нет вопросов. Йоаннес, спасибо за ваше время. И снова, Никос, большое спасибо за то, что присоединились к нам, и всем вам большое спасибо за просмотр. Увидимся в следующий раз.