Прогнозы вероятностей и последовательное принятие решений (с Уорреном Пауэллом) - Ep 163

00:00:00 Введение гостей
00:01:27 Роль Уоррена в Optimal Dynamics и его книга
00:03:06 Проблемы и прогнозирование в сфере перевозок полных грузовиков
00:04:31 Статья Уоррена и понимание неопределенности
00:06:41 Путь Йоаннеса и успех в программном обеспечении
00:08:12 Принятие неопределенности и академическая перспектива на цепочки поставок
00:09:39 Последовательные решения и сложность сотрудничества в отрасли
00:11:13 Вероятностное против детерминированного прогнозирования
00:13:27 Метрики для вероятностного прогнозирования и понимание сложностей
00:15:28 Важность охвата прогнозов и их чёткости
00:17:09 Путь Lokad с вероятностными прогнозами и сопутствующие проблемы
00:19:15 Сложности задач неопределенности и отсутствие единого сообщества
00:21:05 Принятие решений и неопределенность в математическом программировании
00:23:03 Разнообразный опыт лабораторий и применения книги ADP
00:25:07 Необходимость набора инструментов в цепочках поставок и переход к новому подходу
00:27:35 Детерминированная оптимизация и аппроксимация функции затрат
00:29:57 Google Maps как пример прогнозирования будущего
00:31:51 Стохастическое прогнозирование будущего и аппроксимация функции стоимости
00:33:21 Взгляд Йоаннеса на принятие решений и постановку проблемы
00:35:29 Важность правильного состояния, функции перехода и функции затрат
00:37:28 Учет размерности задачи и задач масштабного уровня
00:39:15 Хрупкость решений и сравнение с сетью супермаркетов
00:41:16 Подход к решению проблем и написание книги по аналитике цепочек поставок
00:43:44 Простота в разработке модели и различные виды неопределенности
00:45:13 Важность быстрого итеративного процесса и ограничений реального мира
00:47:51 Важность вычислительной пригодности и разработки графического инструмента
00:50:27 Роль инструментов в оптимизации и отраслевые вызовы
00:53:11 Сотрудничество с перевозчиками и критика академического подхода
00:55:23 Путь Йоаннеса от прогнозирования к принятию решений
00:58:28 Сложности доступа к данным и работы с прогнозированием будущего
01:00:32 Важность учета крупных сбоев и принятия пессимистичных моделей
01:02:45 Вариабельность в цепочках поставок и модной индустрии
01:04:43 Ежегодное обновление продуктов и прогнозирование новых продуктов
01:06:27 Важность моделирования неопределенности и критика корпоративных правил
01:08:16 Подход Уоррена к стохастической оптимизации и управлению запасами
01:09:56 Планирование на случай непредвиденных обстоятельств и принятие решений в условиях неопределенности
01:11:39 Важность оперативного диспетчерства в грузоперевозках и выбора правильной нагрузки
01:13:27 Проблемы в принятии решений в условиях неопределенности и сложности с образованными специалистами
01:15:45 Ограничения Excel в работе с неопределенностью и понимание этого руководителями
01:19:30 Ограничения книг о цепочках поставок и важность удобных инструментов
01:21:46 Образовательные инициативы Lokad и создание соответствующих наборов данных
01:25:01 Три ключевых вопроса для решения проблем и разработки категорий решений
01:27:48 Проблема MBA без количественной подготовки и компании, зарывающие решения в потоках работы
01:30:26 Цена простоты и последовательное обучение как инструмент принятия решений
01:32:33 Обучение концепции устремления к большему и проблемы жестких политик
01:34:34 Сложность понимания концепции исследования и важность активного обучения
01:37:41 Различия между грузоперевозками и цепочками поставок, а также масштаб бизнеса грузоперевозок полными грузовиками
01:40:04 Название книги, цель, стиль преподавания и пять элементов моделирования
01:42:39 Похвала Optimal Dynamics, Lokad и обмен академическими идеями
01:43:22 Заключительные замечания и благодарности

Об госте

Warren B Powell — почетный профессор Принстонского университета, где он преподавал в течение 39 лет, а в настоящее время занимает должность директора по инновациям в Optimal Dynamics. Он был основателем и директором лаборатории CASTLE, которая специализировалась на стохастической оптимизации с применением в грузовых перевозках, энергетических системах, здравоохранении, электронной коммерции, финансах и лабораторных науках, финансируемой более чем на 50 миллионов долларов со стороны правительства и промышленности. Он разработал новую универсальную методологию, которая может быть использована для моделирования любой последовательной задачи принятия решений, включая выделение четырех классов политик, охватывающих все возможные методы принятия решений. Это задокументировано в его последней книге, изданной John Wiley: Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions. Он опубликовал более 250 статей, написал пять книг и подготовил более 60 аспирантов и постдоков. В 2021 году он был удостоен премии Robert Herman Lifetime Achievement Award от Society for Transportation Science and Logistics, а в 2022 году получил премию Saul Gass Expository Writing Award. Он является членом Informs, а также лауреатом множества других наград.

Резюме

В недавнем интервью на LokadTV, Конор Дохерти, Йоаннес Верморель и гость Уоррен Пауэлл обсудили вероятностное прогнозирование и принятие решений в цепочках поставок. Уоррен Пауэлл, отставной профессор Принстона и директор по инновациям в Optimal Dynamics, поделился своим карьерным путем и соображениями по планированию в условиях неопределенности. Йоаннес Верморель, генеральный директор Lokad, рассказал о своем переходе от детерминированных методов к вероятностному прогнозированию, критически оценивая недостаток практического применения в академической среде. Оба согласились с превосходством вероятностного прогнозирования, несмотря на его сложность и трудности бизнеса в его применении. Разговор подчеркнул необходимость более широкого взгляда и единого подхода к работе с неопределенностью в принятии решений.

Расширенное резюме

В недавнем интервью, организованном Конором Дохерти, руководителем отдела коммуникаций в Lokad, Уоррен Пауэлл, отставной профессор Принстонского университета и директор по инновациям в Optimal Dynamics, и Йоаннес Верморель, генеральный директор и основатель Lokad, приняли участие в провокационной дискуссии о вероятностном прогнозировании и последовательном принятии решений в цепочках поставок в условиях неопределенности.

Уоррен Пауэлл, опытный специалист в области принятия решений в сложных областях, начал с рассказа о своем карьерном пути. Его работа началась с дерегуляции грузоперевозок в Соединенных Штатах, что привело его к фокусировке на планировании в условиях неопределенности. Он также рассказал о своей роли в Optimal Dynamics, стартапе, с которым он сотрудничает, где он наставляет своих бывших аспирантов и размышляет о новых направлениях для компании.

Затем дискуссия перешла к книге Пауэлла «Reinforcement Learning and Stochastic Optimization», которая углубляется в область распределительного или вероятностного прогнозирования. Пауэлл поделился анекдотом о компании, которая хотела понять ценность предложения отправителю скидки, если ему удастся предсказать будущие нагрузки. Это разбудило его интерес к теме и побудило его исследовать проблемы прогнозирования в грузоперевозках грузоперевозки из-за их стохастической природы.

С другой стороны, Йоаннес Верморель поделился своим переходом от детерминированных методов к вероятностному прогнозированию. Он отметил, что детерминированные методы не дают результатов и подчеркнул необходимость принятия неопределенности в проблемах цепочек поставок. Он также подверг критике академическое сообщество за отсутствие практического применения и сосредоточенность на доказательстве теорем и выполнении численных расчетов.

Затем дискуссия перешла к разнице между детерминированным и вероятностным прогнозированием. Пауэлл пояснил, что, хотя детерминированное прогнозирование дает одно конкретное значение, оно не учитывает изменчивость реального мира. Он утверждал, что распределительное прогнозирование, предоставляющее спектр возможных результатов, является предпочтительным, несмотря на то, что бизнесу часто трудно понять и применить эту концепцию.

Верморель согласился с Пауэллом, добавив, что вероятностное прогнозирование требует более сложных метрик и глубокого понимания распределений вероятностей. Он сравнил детерминированное прогнозирование с наблюдением за крошечным, детализированным участком стола через микроскоп, в то время как вероятностное прогнозирование дает более широкий и полный обзор.

Разговор завершился рассказом Вермореля о его опыте внедрения вероятностного прогнозирования в Lokad. Он отметил, что потребовались несколько лет, чтобы понять, как оптимизировать решения на основе этих прогнозов. Он также упомянул отсутствие единого сообщества или парадигмы для работы с неопределенностью в принятии решений. Пауэлл согласился, назвав область принятия решений и работы с неопределенностью «джунглями» из-за разнообразия общин, языков и обозначений. Он поделился своим многогранным опытом в различных областях, от грузоперевозок до энергетических систем, и рассказал, как этот опыт позволил ему осознать ограничения некоторых методов и необходимость более широкого взгляда.

Полная стенограмма

Конор Дохерти: С возвращением. Определение и оценка жизнеспособных решений для цепочек поставок — задача непростая, особенно если вы еще используете традиционные метрики. Уоррен Пауэлл, сегодняшний гость, провел 40 лет, анализируя процесс принятия решений в различных сложных областях. Кроме того, он написал пять книг, около 250 статей и является отставным профессором Принстона. Итак, Уоррен, прежде всего, добро пожаловать обратно в Lokad. Во-вторых, для тех, кто, возможно, пропустил ваше первое появление, не могли бы вы представиться еще раз и рассказать, чем вы занимались?

Уоррен Пауэлл: Спасибо, что пригласили меня снова. У меня была интересная карьера. Моя карьера началась с дерегуляции грузоперевозок в Соединенных Штатах, и меня сразу же втянули в отрасль, известную как грузоперевозки полными грузовиками. Одной из первых обсуждаемых тем была неопределенность и вопрос, как планировать в условиях неопределенности, что в итоге определило мой профессиональный путь. Я работал над множеством различных приложений.

I have ended my career helping my startup, Optimal Dynamics, in truckload trucking, which is what started my career. We’re using a variety of techniques, but fortunately, I’ve been able to work on enough different applications to realize there’s more than one tool in this toolbox of uncertainty. So, I’m looking forward to this discussion. It’s nice to talk to other people who share my passion for modeling uncertainty.

Конор Дохерти: Спасибо. Вы упомянули Optimal Dynamics. Вы — директор по инновациям, CIO. Я раньше не встречал такого термина. Не могли бы вы объяснить, чем вы там занимаетесь?

Уоррен Пауэлл: Меня любят называть Yoda. Я не занимаюсь управлением. Никто не работает на меня. У меня работает пятеро моих бывших аспирантов, и я в основном сотрудничаю с ними так же, как это делал, когда был профессором в лаборатории. Я жду, пока они поднимут руку и скажут, “Hey, we need some help.” В противном случае я провожу время, размышляя о разных вещах, а также о новых направлениях для компании, если представится возможность.

Но время от времени меня все же возвращают, чтобы помочь с какой-либо проблемой, и я предлагаю несколько новых инноваций, которые помогают. Но в основном я нахожусь здесь, чтобы помочь компании, когда ей нужна помощь, а в остальное время я предпочитаю не мешать. Я понял, что одним из самых больших вызовов для академика, особенно при работе с талантливыми людьми, является умение определить, когда помочь, а когда отступить. И, к счастью, это дает мне много времени для написания книг и тому подобное.

Конор Дохерти: Кстати, упоминая написание книг, одна из ваших книг, “Reinforcement Learning and Stochastic Optimization”, — одна из тем, которая нас особенно заинтересовала в беседе с вами. Ваш подход к принятию решений, а также ваш интерес к распределительному или вероятностному прогнозированию, которым занимается Lokad. Так что, чтобы правильно начать интервью, что именно в распределительном прогнозировании поражает вас и послужило поворотным моментом для сегодняшнего разговора?

Уоррен Пауэлл: Самая большая проблема, с которой я столкнулся при моделировании задачи грузоперевозок — в грузоперевозках, конкретно в перевозках полными грузовиками, заказы крайне редки. Может случиться так, что груз будет отправлен между двумя городами, а может и нет. Когда вы отправляете водителя, скажем, из Чикаго в Атланту, по прибытии в Атланту грузы могут направляться в самые разные стороны. Может быть, груз пойдет в Техас, а может и не пойдёт. Таким образом, у вас получается что-то вроде 0 или 1. Что вы прогнозируете? Прогнозируете вы ноль или единицу, или делаете прогноз в 0,2, что является более реалистичным ожиданием?

I had a company here in the United States, Schneider National, that back in the 1970s saw that deregulation was coming in, and they worked with a faculty member at the University of Cincinnati on building early optimization models, but they were all deterministic. And somebody from Schneider visited me at Princeton and looked at me and said, and this was somebody with a masters in operations research, “Warren, truckload trucking is stochastic.”

Мы не знаем, какие грузы будут доступны даже завтра. Нам бы очень хотелось знать, какова будет ценность предоставления скидки перевозчику, если он сообщит нам о будущих грузах." И я помню, как сидел за ужином, размышляя: “О боже, какой замечательный вопрос.” Дело не в том, что я не знаю ответ, а в том, что я не знаю, как к этому подойти.

Позже, в 1980-х, я написал статью, которую называю своей музейной работой. На самом деле, она доступна в интернете под названием “museum paper”. У меня есть пять различных способов моделирования проблем автоперевозок полными грузовиками, каждый из которых по-своему учитывает неопределённость, и я прекрасно понимал, что ни один из них не сработает. И вот, в конце 1980-х, я подумал: “Не знаю, что ещё можно сделать. Ничто из того, что предлагало академическое сообщество, не работает.”

Так начался многодесятилетний процесс, в ходе которого я начал схватывать суть и переживать моменты озарения. И в начале 2000-х у меня случилось большое озарение. Schneider подошёл ко мне и сказал: “Эй, Warren, нам действительно нужна помощь. Не мог бы ты построить для нас эту модель?” Эта модель стала базовым программным обеспечением для Optimal Dynamics. Но даже после создания этой модели, способной учитывать неопределённость, началась моя работа над приближённым динамическим программированием.

Я бы сказал, что каждые несколько лет у меня случалось ещё одно большое озарение. На самом деле, даже после окончания учебы у меня было еще несколько озарений. Эта область просто поразительно богата, и я постоянно испытываю моменты: “О боже, я никогда не думал об этом так.”

Conor Doherty: Йоаннес, так ли это соответствует тому, как ты пришёл к вероятностному прогнозированию? Много озарений?

Joannes Vermorel: Да, в некотором роде. Для меня это было немного иное путешествие, потому что когда я основал Lokad в 2008 году, я сразу ориентировался на общепринятые теории цепочки поставок. Так что дело не в том, что кто-то подошёл ко мне и произнёс слово stochastic. Я почти уверен, что большинство людей, с которыми я встречался вплоть до позднего возраста, если бы я произнёс слово stochastic, они бы не поняли, говорю ли я о варианте elastic или чем-то подобном.

Но в любом случае, они были умными, но не статистиками или вероятностщиками. Поэтому мой путь заключался в том, что в первые несколько лет работы Lokad я на самом деле применял эти детерминированные методы с довольно большим успехом в качестве enterprise software поставщика, что означает, что вам удаётся продавать свои продукты. Но это не означает, что они действительно работают — это два разных критерия. Вы можете добиться успеха как поставщик корпоративного программного обеспечения, и при этом ничего не работать.

Были конкуренты, которые всю свою карьеру строили именно на этом. Но потребовалось несколько лет, чтобы осознать, что это просто не работало, и никогда не будет работать. Современная точка зрения, взгляд на цепочку поставок, основанный на полностью детерминированном подходе, где нет неопределённости, не сулит немедленного успеха. Речь не шла об увеличении точности прогноза на лишние 1% forecast accuracy, которые внезапно всё бы изменили.

Нет, мне понадобилось несколько лет, скорее четыре, чтобы отказаться от идеи, что несмотря на прогресс в прогнозировании, несмотря на улучшение процесса и всего остального, успех вот-вот наступит. И вот у нас случилось это озарение, но оно было скорее от отчаяния, чем результатом вдохновляющего разговора с кем-то просвещённым. Так или иначе, мы дошли до этого постепенно. Это заняло время. Но сейчас, спустя десятилетие, стало болезненно очевидно. Я бы сказал, что первые несколько лет работы в Lokad были попытками решать проблемы цепочки поставок без принятия неопределённости. Это оказался тупик, и, ну, мне потребовалось несколько лет, чтобы осознать это.

Warren Powell: Какие проблемы я обнаружил, если можно так выразиться, исходя из академической среды, так что, Йоаннес, когда я говорю с тобой, у меня почти ощущение, что я общаюсь с коллегой-академиком, но ты пришёл из промышленности. Моя лаборатория была необычной с самого начала. Мне приходилось ходить по улицам, общаться с компаниями и зарабатывать деньги. Национальный научный фонд, который финансирует многих академиков, имел явную политику в моей области. Они говорили: “Мы не финансируем исследования. Мы их благословляем. Идите за деньгами из промышленности, а потом мы посыплем NSF ангельской пылью.”

Но академиков слишком много, и это по-прежнему продолжается: они не работают с промышленностью, поэтому используют вымышленные модели, доказывают свои теоремы, проводят численные расчеты, и всё это происходит исключительно в академическом сообществе. И это особенно верно для стохастической оптимизации. Это не так характерно для machine learning. Специалисты по машинному обучению выходят, берут реальные наборы данных, подбирают модели.

Это даже не относится к детерминированной оптимизации. В реальном мире нет недостатка детерминированной оптимизации. Но то, что я теперь люблю называть последовательными решениями — и, кстати, это избавляет меня от слова stochastic — в этой области существует океан статей с вымышленными моделями, созданными академиками, которые на самом деле не понимают, в чем заключаются настоящие проблемы, потому что им сложно работать с промышленностью, и вам приходится искать компании, а у меня такие компании были. Они работали над тем, что позже называли передовым краем, где я и узнал, что работает, а что нет.

Так что это действительно проблема того, как работают академики. Знаете, у меня была успешная карьера в публикациях, но, клянусь, под конец я подумал: “Знаете, это больше похоже на игру”. Чтобы опубликоваться, нужно следовать определённому стилю, который требуют журналы, а сообщество стохастической оптимизации не едино. Их более дюжины. У каждого своя собственная лексика, стиль, инструменты и техники, и все ими гордятся, доказывают свои теоремы, даже проводят численные расчеты, но почти ничего из этого не работает на практике.

Conor Doherty: Ну, спасибо. Чтобы подчеркнуть разницу между чисто академическим подходом и более практическим, мы говорили о детерминированном прогнозировании против распределительного или вероятностного. Я просто буду использовать термин “вероятностное” для удобства. Уоррен, сначала для тех, кто, возможно, слышит это впервые, очертите, пожалуйста, эту дихотомию. В чем, по вашему мнению, разница между детерминированным подходом к прогнозированию и вероятностным, и почему, скажем, вероятностный подход превосходит?

Warren Powell: Ладно, каждый раз, когда я встречаю кого-то из бизнеса, кто использует слово forecast, я сразу понимаю, что он имеет в виду точечный прогноз. Всем нравится точечный прогноз. Они хотят знать: “Я продам 500 виджетов или две машины или будет шесть грузовиков с грузом.” Им нравится эта цифра, потому что она пригодна для действий. Она говорит: “О, будет шесть грузовиков, так что мне нужно шесть водителей.”

Проблема в том, что, кстати, такое происходит каждый день в грузоперевозках полными грузовиками. У вас может быть востребованный отправитель, но он знает, что является одним из ваших лучших, и позвонит, и, как сказал один диспетчер, скажет: “Смотрите, этот клиент может потребовать от 10 до 20 грузовиков.” Это довольно раздражает, но такова реальность диспетчерской работы. Однако в моделях прогнозирования вся математика направлена на получение одного числа.

Людям тоже нравится одно число. Оно пригодно для действий, его легко понять. Если вы говорите: “Смотрите, будет где-то от 10 до 20”, то сколько водителей мне нужно, чтобы удовлетворить спрос, находящийся между 10 и 20? Ну, я скажу вам, что делают водители: они говорят: “Этот клиент действительно важен. Может, у меня не будет 20 водителей, но, возможно, 17. А если он позвонит и скажет, что ему нужно только 12, то я отправлю оставшихся пяти водителей куда-то еще.” И у них будет так называемая подстраховка в оптимизации. Это как: “Если произойдет это, то я поступлю так.”

Но всем нравится этот точечный прогноз. Я впервые занялся распределительным прогнозированием в 1990-х, работая с Yellow Freight. Я сказал: “Смотрите, я бы хотел использовать доверительные интервалы,” и они ответили: “Наши ребята просто не умеют с этим работать.” Наша самая большая проблема: не так давно мы работали с крупным отправителем, и они были в полном восторге от распределительного прогнозирования, а затем сказали: “Ну, давайте посмотрим, насколько оно точно.” Я вижу, как Йоаннес улыбается. Это как: “Ладно, как же справиться с вопросом: ‘О, это здорово, распределительное прогнозирование, звучит круто. Насколько оно точно?’ Как ответить на этот вопрос, Йоаннес?”

Joannes Vermorel: Да, то есть, например, с чем-то вроде cross entropy или любым другим показателем, работающим для вероятностного прогноза, есть и CRPS. Но действительно, так оно и есть. Когда вы переходите в область этих распределений вероятностей, у вас всё еще есть метрики, но они не такие простые и интуитивные, которые можно объяснить, например, ученикам средней школы. Есть норма один, норма два, — вы как бы понимаете, что такое расстояние.

Когда вы переходите к распределениям вероятностей, если быть честным, это не так уж сложно. Особенно если вы используете, скажем, метод максимального правдоподобия или что-то подобное. Для этого не нужно иметь докторскую степень по статистике, но это займет больше двух минут. А для интуитивного понимания, вероятно, придется пройти через формальные выкладки, и это займёт около получаса, может, два часа, если вы совсем не сведущи.

Warren Powell: Да, и в этот момент у бизнесменов глаза начинают стекляться, и они говорят: “О, да, понятно. Так насколько же это точно?”

Joannes Vermorel: Это довольно странно. Речь идет о том, чтобы иметь более богатый прогноз. Когда у нас есть решения, которые мы хотим оптимизировать, это связано с углублением вашего видения. Что вы видите? То есть, вы делаете проекцию будущего, высказываете суждение о будущем. Но не о том, насколько оно точно, а о том, насколько оно полно, какой охват имеет ваш прогноз.

Это действительно необычно, потому что с точечным прогнозом люди получают что-то невероятно чёткое. Это немного похоже на использование микроскопа, когда вы увеличиваете точку на столе в тысячу раз. То есть, у вас есть микроскоп, и вы смотрите на один квадратный миллиметр на вашем столе и видите его идеально, а остальную часть стола не видите вообще. А потом люди говорят: “Знаете, мне кажется, мне нужен еще мощнее микроскоп, чтобы острее рассмотреть этот один квадратный миллиметр.” А вероятностный прогноз говорит: “Нет, вам, наверное, стоит взглянуть на остальной стол, а не сосредотачиваться только на одной точке, которую вы уже видите довольно чётко по сравнению со всем остальным.”

Warren Powell: А вот ещё кое-что, что понятна каждому бизнесмену, особенно в розничной торговле — это покрытие спроса. И они говорят: “Смотрите, мы хотим удовлетворить 97% спроса.” Это вовсе не необычное требование. Но как удовлетворить 97% спроса без концепции распределительного прогноза? Вот здесь вы можете вернуться и сказать: “Да, но вы хотите покрыть 97% спроса. Я не смогу это сделать, пока у меня не будет распределительного прогноза. Нужно ли добавить 20 дополнительных единиц или 200?” Возможно, это намёк на то: “Смотрите, вы хотите покрыть высокий процент спроса. Никто не хочет удовлетворять только среднее значение спроса. Вы будете испытывать дефицит половину времени. Так что нам нужно научиться учитывать это очень знакомое бизнес-требование через распределительное или вероятностное прогнозирование.”

Joannes Vermorel: И интересная вещь в том, что когда мы в Lokad начали работать над этим в 2012 году, и, кстати, в качестве перехода к вашей книге, нам потребовалось несколько лет после начала работы над вероятностным прогнозированием, чтобы по-настоящему понять, как провести какую-либо продвинутую оптимизацию на его основе. Видите ли, принять тот факт, что нам нужно работать с вероятностным прогнозированием, оказалось непросто. Такова была первая часть моего пути в Lokad.

Оказалось, что в 2012 году вероятностное прогнозирование стало весьма популярным по совершенно другим причинам в deep learning. Оно было очень популярно в глубоких нейронных сетях, потому что метрики типа кросс-энтропии дают очень крутые градиенты, которые помогают оптимизации. Так что сообщество Deep Learning использовало эти вероятностные прогнозы, хотя их абсолютно не интересовали сами вероятности. Их интересовал только точечный прогноз, но супер крутые градиенты, которые можно получить с помощью кросс-энтропии, обладали очень хорошими числовыми свойствами, чтобы заставить эти модели работать.

Так что это было своего рода отклонением. Мы начали использовать эти вероятностные прогнозы ради них самих, а не просто как симпатичные числовые трюки для градиентов. Но затем, как только у вас это появляется, вы понимаете, что у вас есть решения, которые нужно оптимизировать. Я хочу выбрать лучший вариант, и, очевидно, это повторный бизнес, так что существует последовательность решений.

И в итоге вы спрашиваете: “Что мне нужно в виде программного инструмента, чтобы просто решить эту задачу?” И вот здесь, переходя к вашей книге, возникает очень сложная проблема, потому что главной трудностью, с которой я столкнулся, был даже полувакуум в плане парадигм. Как вы уже сказали, было примерно полдюжины сообществ, в которых можно было публиковаться, но, на мой взгляд, даже сегодня нет по-настоящему единого сообщества, которое просто берётся за проблемы, связанные с неопределённостью, и применяет к ним оптимизацию. Его просто нет.

Так что это было как выстрел в темноте. Я немного занимался обучением с подкреплением, занимался классической оптимизацией. Моя проблема заключалась именно в отсутствии парадигм. И что довольно интересно в этой очень объемной работе — знаете, на 1100 страницах — вы действительно идете и предлагаете свои собственные парадигмы, чтобы полностью осмыслить область и детально её разобрать. И да, эта книга до сих пор остаётся своего рода уникальной. Таких не так уж много.

I mean, if you want to have a book about, let’s say, classifiers, there is, you know, for machine learning, there will be 500 books that give you all the classics from classifiers, from linear classification to support vector machines and gradient booster trees and whatnot. There is like 500 books that frame the problem of classification and whatnot. Here, it’s still very much, I would say, it’s still something that, well, sorry for my very long answer, where the community is still just not looking at the problem yet.

Уоррен Пауэлл: Да, проблема принятия решений и неопределенности — это поразительно богатая область. Если вы обратитесь к детерминированному математическому программированию, да, существует множество детерминированных математических программ, но все они следуют фундаментальной парадигме, заложенной Джорджем Дантцигом. У вас есть целевая функция, ограничение, переменная решения, алгоритм. Ладно, и поскольку все вписываются в эту схему, машинное обучение, статистика, машинное обучение — опять же, у вас есть какая-то функция, которую вы пытаетесь подогнать под данные.

Теперь существует множество различных наборов задач, но поскольку все они в основном основаны на одном и том же подходе, вот одна из функций из семейства функций. И поэтому большинство популярных книг по статистике познакомят вас со всеми этими различными функциями. Так что, когда вы берете курс по статистике или машинному обучению, практически все уходят с примерно одинаковым набором инструментов. И это также позволяет им использовать это программное обеспечение из публичного домена.

Как только вы сочетаете решения и неопределенность, еще в 2014 году я прочитал эту лекцию, учебный семинар на INFORMS, и назвал его “Расчищение джунглей стохастической оптимизации.” И мне пришлось написать учебную статью. Я всегда помню один из отзывов рецензента. Рецензент сказал: “О, не так уж плохо. Может, вам стоит назвать это ‘Сад стохастической оптимизации’.” И я рассмеялся и сказал: “Вы никогда не пытались опубликовать статью в этих областях. Это джунгли, потому что у вас есть столько разных сообществ, более дюжины, и они говорят на разных языках. Я насчитал восемь принципиально различных систем обозначений. А затем, конечно, появляются ответвления.”

Таким образом, обучение с подкреплением приняло обозначения марковских процессов принятия решений, но стохастический контроль использует свою нотацию, а стохастическое программирование — свою, с решающими деревьями. И все это просто хаос. Но у каждого есть достаточно обширное сообщество. У них своя группа людей, говорящих на одном языке. И когда вы пишете статьи, они ожидают определенных вещей.

Я возглавлял лабораторию, которая была достаточно большой и разнообразной. Так что, хотя я начинал и заканчивал в сфере грузовых перевозок, в середине я руководил целой лабораторией энергетических систем. Я провел кучу работ по оптимальному обучению и материаловедению. Это был классный опыт на некоторое время. E-commerce, финансы, а в Принстоне у студентов должен быть выпускной проект. Так что я курировал около 200 выпускных работ. И скажу вам, когда вы курируете достаточно студентов и решаете достаточно широкий круг проблем, еще в то время, когда я только что написал свою книгу по ADP и подумал: “Вау, ADP — это здорово. Смотрите, я могу оптимизировать компании грузоперевозок. И это не фальшь. Это реально. Был момент, когда я говорил: “Но это не просто какая-то шуточная задача. Это реальное промышленное применение. Оно должно уметь всё.” Черт возьми, как же я ошибался.

Ладно, во втором издании моей книги по ADP я написал главу, главу шесть, в которой говорилось: “Знаете что, похоже, существует четыре класса политик.” Теперь у меня было не все четыре. Было три. Четвертый я понял неправильно. И через шесть месяцев после того, как я отправил это издателю, я подумал: “О, Боже, я разобрался с четвертым классом политик.” А затем, до появления большой книги в 2022 году, я продолжал развиваться, написал еще одну учебную статью в 2016 году, а потом журнал European Journal of Operational Research пригласил меня написать обзорную статью.

Так, Роман Словинский, один из ведущих редакторов, пригласил меня заняться этим, и эта статья в итоге послужила планом для этой большой книги. Как только я закончил ту статью, я подумал: “Ладно, это новая книга”, и я хотел сделать третье издание моей книги по ADP, но сказал: “Нет, я просто не могу; ADP, в смысле аппроксимации функции ценности, — это очень мощный инструмент для очень немногих задач, и если у вас есть молоток, и он у вас любимый, а у всех нас в академических кругах есть свои любимые молотки, вы сможете найти задачи, которые подходят именно под ваш молоток.”

Но если вы приходите из прикладной области, возьмем такую богатую область, как управление цепочками поставок, то вам понадобится набор инструментов. Вы не можете заниматься управлением цепочками поставок, имея только молоток, и не важно, какой у вас молоток, вам придется использовать полный набор, потому что распределенное прогнозирование — это хорошо, но в конце концов вам нужно принять решение, а значит, принимать решение в условиях неопределенности.

Конор Дохерти: Ну, если можно продолжить, потому что это отличный переход. Когда вы говорите о наборе инструментов и подчеркиваете акцент на вероятностном прогнозировании, предоставлении чего-то практически применимого, и люди хотят именно практичность, не могли бы вы, пожалуйста, раскрыть этот набор инструментов и объяснить, в контексте управления цепочками поставок, как ваша универсальная структура для последовательного принятия решений действительно приводит к лучшим решениям?

Уоррен Пауэлл: Один из моих самых значимых сдвигов был связан с тем, что у меня есть слайд PowerPoint, который я обожаю. У меня получилось около 15 книг на эту тему, все они посвящены какому-либо вопросу последовательного принятия решений. Каждая из этих книг, одна из которых — моя книга по ADP, — представляет собой молоток, ищущий гвоздь. У всех нас есть своя любимая техника принятия решений, поэтому книги были написаны вокруг одного или двух фундаментальных молотков.

Если вы приходите из прикладной области, вы начнете осознавать, что все эти молотки хороши. Ни один из них не работает для всех задач. Когда вы действительно работаете на прикладной стороне, вы не можете выбирать задачу. Академики, работающие над методами, выбирают задачи, на которых тестируются их методы. А когда вы приходите из прикладной сферы, вам говорят: “Вот задача, которую надо решить. Что вы собираетесь делать?” И моим большим карьерным достижением стало осознание того, что все методы относятся к этим четырем классам, а затем, к 2019 году, я понял, что эти четыре класса сводятся к двум основным категориям.

Более простая категория принимает решение на основе функции, которая не предусматривает планирование будущего, но имеет настраиваемые параметры, которые нужно подбирать, чтобы они хорошо работали в будущем. Самый простой пример в управлении цепочками поставок — это заказ запасов. Когда запас опускается ниже определенного уровня, вы заказываете до другого уровня. Я не заглядываю в будущее. Я не планирую. Это просто правило, но уровни заказа должны быть настроены так, чтобы они работали эффективно со временем.

Вторая из простейших техник — это, как правило, детерминированная оптимизационная модель, упрощенная, но с настраиваемыми параметрами. Это то, что я назвал “аппроксимацией функции затрат”. Вы не найдете этого нигде, кроме моей большой книги, но оно широко используется в промышленности. Люди из индустрии говорят: “Да, мы делаем это постоянно. Мы просто считали это промышленным трюком.”

Я понимаю, что если взять линейную программу, являющуюся аппроксимацией какой-то запутанной стохастической задачи, и затем добавить несколько настраиваемых параметров для учета таких вещей, как буферные запасы, корректировки для урожайности или резерв, знаете, авиакомпании делают так: “Хорошо, когда я лечу из Атланты в Нью-Йорк, может быть, будет задержка из-за погоды. Я добавлю еще 20 минут.”

Решение этих детерминированных задач с настраиваемыми параметрами является исключительно мощным инструментом. Академики любят называть это “просто детерминированной чепухой”. Я решил, что это на самом деле не отличается от параметрического прогнозирования. Итак, когда вы занимаетесь прогнозированием, вы хотите узнать, что спрос является функцией цены. Ну, более высокая цена приводит к снижению спроса. Давайте придумаем убывающую функцию, может, просто линию, может, S-образную кривую, и затем подберем лучшую функцию, которую смогу. Мы можем сделать то же самое с параметризованными детерминированными моделями.

Теперь академики любят другой класс политик. Это те политики, которые принимают решение сейчас, планируя будущее. Например, если я принимаю решение сейчас, я совершаю действие. Пусть у меня есть определенное количество запасов. Я заказываю больше товара. Это переводит меня в будущую ситуацию, и я получаю ценность от того, что нахожусь в этом состоянии. Это то, что называют динамическим программированием или уравнением Беллмана. Академики обожают уравнение Беллмана, или, если вы из инженерии, его называют уравнением Гамильтона-Якоби. И если вы пойдете на любой курс в хорошем университете, где учат принимать решения во времени в условиях неопределенности, первое, что вам покажут, — это уравнение Беллмана.

Я написал 500-страничную книгу, полностью посвященную аппроксимации уравнения Беллмана. Я был очень горд этим. Это мощная техника, которая работает для множества задач. Ладно, честно говоря, если вы выйдете в бизнес-сообщество, где люди принимают последовательные решения, и спросите: “Сколько вообще слышали об уравнении Беллмана?”, почти никто. Никто не использует уравнение Беллмана.

Последний класс — это полное прогнозирование вперед. Я привожу в пример Google Maps. Если вы хотите спланировать маршрут до пункта назначения, вам нужно планировать до самого конца. Существует множество моделей планирования, которым требуется заглядывать в будущее. Они не используют функцию ценности. Они явно строят целую модель будущего, и это происходит намного чаще, чем простая аппроксимация функции ценности.

Таким образом, академики действительно любят эти более сложные техники. Когда вы выходите в реальный мир, вы в основном встречаете один из трех классов политик: простые правила типа “заказывай до определенного уровня”, “покупай дешево, продавай дорого” или “не забудь надеть пальто.” Для более сложных задач я использую детерминированную модель, которая не слишком сложна. Я добавляю несколько настраиваемых параметров и затем их оптимизирую. Третья техника — это детерминированное прогнозирование вперёд, как в Google Maps. Это три основных метода.

Я думаю, что если бы можно было составить список всех решений, которые кто-либо принимает в любой обстановке, 97% этих решений были бы приняты с использованием этих трех классов политик. Угадайте, что? Они не акцентируются в книгах. Вот к чему я и стремлюсь. Большую часть этих размышлений я приписываю вам; вы не найдете подобного обсуждения даже в моей большой книге, так что это придется отложить до второго издания.

Это мой момент озарения, когда я сказал: знаете, давайте возьмем четыре класса политик, посмотрим на прогнозирование вперед и разобьем его на два: детерминированное прогнозирование вперёд и стохастическое прогнозирование вперёд. Теперь у меня получилось пять политик, и я задался вопросом, какие из них используются чаще всего? Первая категория, широко используемая, — это первые три: аппроксимация функции политики, т.е. простые правила, аппроксимация функции затрат в виде параметризованной детерминированной модели и детерминированное прогнозирование вперёд. Это три основных метода.

Иногда же требуется стохастическое прогнозирование вперед. Например, я заказываю из Китая; обычно это занимает пять недель, но может занять семь. Ну, если вы подходите к этому, исходя из семи недель, это на самом деле форма стохастического прогнозирования вперед, называемая устойчивой оптимизацией с использованием вероятностного прогноза. Потому что я планирую, исходя из максимального возможного времени, а не типичного.

Аппроксимация функции ценности, тема моей предыдущей книги, находится внизу. Я искренне считаю, что это отличный инструмент для многих задач. Если вам это действительно нужно, лучше позвоните эксперту, но для повседневных задач вы просто не будете его использовать. Он слишком сложен в применении.

Теперь некоторые будут говорить об обучении с подкреплением. В первые дни обучение с подкреплением было просто другим названием для аппроксимированного динамического программирования. Это были просто разные слова, обозначающие одно и то же. Сообщество ORL обнаружило то, что я и открыл; они поняли: вау, это не всегда работает. Если вы сравните первое издание книги Саттона и Барто, где все, что вы видите, — это аппроксимированное динамическое программирование, со вторым изданием, если вы знаете, что искать, вы найдете все четыре класса политик во втором издании. Но я все еще считаю, что большинство людей, когда говорят, что используют обучение с подкреплением, имеют в виду аппроксимированное динамическое программирование. Компьютерные ученые намного лучше нас продвигают свои инструменты.

Конор Дохерти: Спасибо. Сейчас я сразу передам слово тебе, Йоаннес. Совпадает ли это с твоим взглядом на то, как мы принимаем решения здесь, в Lokad?

Йоаннес Вермоель: Не совсем, но, если быть честным, это разделение, я считаю, весьма технически корректно с точки зрения разбиения области. Я не стану оспаривать этот момент. И когда я говорю о области, я имею в виду наличие согласованной интеллектуальной модели, где есть функции перехода состояний и функция награды, а затем мы хотим оптимизировать эти решения и так далее. Так что с этой точки зрения, я бы сказал, что то, как вы это описываете, верно.

Но мой личный подход к проблеме заключается в рассмотрении ее с несколько иных сторон. Моя первая точка зрения, еще до анализа списка техник, была: а что насчет самой формулировки проблемы? Путь к формулировке проблемы имеет решающее значение. Это немного несправедливая критика в адрес этой книги, ведь она уже насчитывает 1100 страниц, а, по-видимому, ваши издатели не хотели книгу на 3000 страниц.

В Lokad, когда мы подходим к этому вопросу, первый вопрос, который мы задаем, — насколько мы должны аппроксимировать состояние. Люди могут думать, что это само собой разумеющееся, но это не так. Вы всегда моделируете реальный мир, и вы не моделируете каждое положение атома, поэтому у вас есть огромная свобода в определении того, что считать состоянием. Затем идет функция перехода, которая снова предоставляет огромную свободу в определении того, как можно перейти от одного состояния к другой его версии.

Я считаю, что это является частью решения проблемы. Если вы сделаете неверный выбор на этом этапе, если у вас будет состояние, слишком детализированное, или функция перехода окажется слишком сложной, все ваши инструменты потом развалятся. Поэтому для меня первое — это принять правильное решение и использовать правильную парадигму для этого. То же относится и к функции затрат или функции награды.

У нас есть классический пример для клиентов, которым необходимо оценить стоимость отсутствия товара или стоимость предоставления скидки. Если вы даёте скидку один раз, вы фактически отдаёте часть своей маржи. Это нормально, вы можете это измерить, всё довольно просто. Но при этом вы создаёте вредную привычку, потому что люди будут ожидать, что эта скидка применится вновь. Таким образом, вы создаёте проблему для себя в будущем.

Очень трудно точно оценить, как люди будут помнить ваши предыдущие скидки и тому подобное. Это ваша функция перехода; её нужно аппроксимировать. Первым делом я бы сделал приближения, прежде чем аппроксимировать различные компоненты алгоритмического процесса с использованием этой схемы.

Моя точка зрения начинается раньше — с самого определения моделей. Я не исхожу из предположения, что модель, то, что вы хотите оптимизировать, задана заранее. Для меня это часть методологии. Это был бы первый пункт. Извините, я не закончил. Второй момент, и это больше связано с моим опытом в информатике, — это рассмотреть размерность проблемы.

Всё совсем иначе, если вы решаете небольшую задачу, например, несколько тысяч решений, как при оптимизации маршрута в городе с несколькими сотнями доставок и тому подобное. Тысяча решений, на мой взгляд, — очень маленькая задача. У нас есть задачи, где число переменных достигает миллиарда. Если рассматривать крупную цепочку поставок, например, гипермаркет, в одном гипермаркете может быть 100 000 SKU. Если у вас есть тысяча гипермаркетов, это даёт 100 миллионов SKU. Для каждого SKU у вас есть полдюжины решений, и вы повторяете это на несколько недель вперёд. В итоге, задачи могут быть либо очень маленькими, как оптимизация маршрута, либо настолько большими, что не уместятся в памяти.

Для меня это означает, что если бы мне пришлось подходить к проблеме, я начал бы с попытки зафиксировать её ключевые характеристики. Размерность — одна из них. Ещё один, чрезвычайно важный аспект — это то, насколько сложно двигаться к лучшему решению. Если взять два примера, оптимизация маршрута — это нечто очень нелинейное, очень хрупкое. Вы просто меняете местами две точки, и можете перейти от крайне плохого решения к очень хорошему, поменяв лишь пару точек. Таким образом, решение ведёт себя немного как кристалл; оно обладает определённой хрупкостью. Очень легко нарушить такое решение и перейти от чего-то хорошего к нечто ужасному.

С другой стороны, если я рассматриваю подобный спектр задач в рамках моей сети супермаркетов, то если я решу переместить единицу, которая должна была быть в другом месте, проблема будет крайне нечувствительна. Вы можете действовать с большим запасом. Вы хотите иметь что-то, что более верно указывает направление. Этот спектр варьируется от кристаллических свойств до грязевых. Кристаллические свойства хрупкие и ломкие — они легко разрушаются, тогда как грязевые свойства не имеют чёткой формы. Пока вы движетесь в правильном направлении, это приемлемо. Это второй фактор.

Третьим является временная характеристика, которую вы преследуете. Временные характеристики варьируются от управления роботами на складе, где вам нужны ответы в постоянное время и с постоянным объёмом памяти в пределах миллисекунд, до, скажем, закупок за рубежом, когда доставка из Китая может занять 10 недель. Когда людям говорят, что у вас есть 10 миллисекунд на ответ, если вы не укладываетесь, это создаёт массу других проблем. Если же ваш расчёт занимает 24 часа, это не страшно. Мы можем позволить себе эти 24 часа; никаких ограничений у нас нет.

Вот так я разделяю домен. Я понимаю, что мой способ деления домена не говорит много о тех алгоритмах, которые вы хотите использовать, но я использую его как способ исключения потенциальных решений для тех задач, которые меня интересуют.

Warren Powell: Мне нравится, что вы подходите с прикладной стороны. Одно из открытий, которое я сделал, когда начал писать мою книгу по аналитике цепочки поставок — первую книгу, посвящённую классу задач, — заключалось в том, что все мои предыдущие книги были, по сути, книгами о методах, и это было очень увлекательно.

А теперь позвольте отдать должное моей большой книге: у меня есть целая глава, длиной в 90 страниц, посвящённая моделированию, но моделированию в очень общем виде. Я полностью ценю весь описанный вами процесс. Это — переменная состояния. В сложных задачах у меня есть обучающие материалы, в которых я говорю, что проблема состоит из пяти элементов, начиная с переменных состояния. Но когда я занимаюсь моделированием, переменную состояния я рассматриваю в последнюю очередь.

Более того, это действительно итеративный процесс. Вы проходите через этапы моделирования. Переменная состояния — это просто информация. Вы просматриваете модель и говорите: «Хорошо, мне нужна эта информация, эта информация, эта информация — а, вот и моя переменная состояния». Но, например, как вы принимаете решения? Это зависит от того, как вы моделируете неопределённость. Как именно вы моделируете неопределённость? Это зависит от того, как вы принимаете решения.

Таким образом, я описываю процесс моделирования неопределённости и принятия решений как восхождение по двум лестницам. Не приступайте к использованию какого-то невероятно сложного метода для принятия решений в условиях неопределённости, если ваша модель имеет лишь базовую вероятностную основу. Для наших сложных проблем мы можем создавать модели неопределённости настолько сложными, насколько захотим.

Обычно вы не начинаете с самой сложной модели. Вы начинаете с чего-то более базового. Затем вам нужно принять решения. Вам не нужно создавать нечто чрезвычайно сложное, ведь это всего лишь базовая модель. Как только у вас появляется достойная модель принятия решений, вы можете вернуться к модели неопределённости, возможно, теперь вам захочется учитывать другие метрики риска.

Теперь вам нужны решения, отражающие риск. Таким образом, вы поднимаетесь по этой лестнице, и я уверен, что весь ваш процесс в Lokad был итеративным. Мы всегда хотим иметь самую простую модель, которая решает задачу. Вопрос в том, что необходимо для достижения бизнес-целей? И это процесс обучения.

Joannes Vermorel: Абсолютно. Я отдаю должное вашей книге. Кажется, в ней вы перечисляете, если не помню точно, около 15 различных типов неопределённости, и это, наверное, самый длинный список, который я видел, и да, это действительно серьёзная проблема. Когда вы говорите об неопределённости, люди думают: «О, вы просто говорите о неточностях точечного прогноза». А я скажу: конечно, нет, существует так много источников неопределённости. Это может быть цена на сырьё, от которого вы зависите, которая может колебаться, это может быть рабочая сила, от которой вы зависите, которая может бастовать, оказаться неквалифицированной или просто отсутствовать.

Это может быть вероятность возникновения жилищных проблем в ваших точках. Рассматривать неопределённость только через призму погрешностей прогноза продаж — это слишком узко, ведь это всего лишь один аспект: спрос, точечный прогноз продаж; это крайне ограниченно. Я полностью с вами согласен. Сверхитеративность в Lokad — именно то, что мы практикуем, и это поднимает ещё один вопрос, важную проблему — производительность инженеров, которых приходится привлекать для ускорения итераций.

В Lokad мы, как правило, решаем задачи стохастической оптимизации, определяя программные парадигмы. У нас есть набор таких парадигм. Они не едины, скорее, это небольшая библиотека инструментов, которыми можно воспользоваться. Эти парадигмы позволяют относительно быстро приступить к реализации вашего решателя. Здесь я полностью согласен с итеративным процессом. Проблема с точки зрения бизнеса в том, что мои клиенты крайне нетерпеливы.

Нам нужно проводить итерации очень быстро, но мы сталкиваемся с чем-то сложным, требующим серьёзной алгоритмической проработки. Им необходимо, чтобы их алгоритм был реализован в конечные сроки. Ещё один аспект, о котором практически не говорят, — многие методы, которые я видел в книгах, работают, если у вас есть суперумные университетские профессора с десятилетиями на реализацию алгоритма. В реальном мире, если у вас есть 100 часов на реализацию, некоторые методы невероятно сложно воплотить правильно. Вот почему использование этих программных парадигм помогает. Они предоставляют способ кодирования, который позволяет работать в продакшене в конечные сроки при постоянном совершенствовании решения.

Warren Powell: Ближе к концу главы 11, я думаю, в самом последнем разделе, у меня есть подраздел о мягких аспектах оценки стратегий. Так что по всей книге я всегда пишу, что оптимизация стратегий — это максимизация по стратегиям, математическое ожидание чего-либо. Ближе к концу главы 11, которую можно скачать с сайта, я привожу около пяти различных критериев, одним из которых является методологическая сложность. Когда вы рассматриваете метод, то, безусловно, то, что вы только что сказали, очень важно: вычислительная осуществимость, прозрачность. Мы все писали алгоритмы, и ответ получается каким-то образом, и мы чешем затылки, а клиент не понимает, и вы хотите иметь возможность объяснить: «Вот почему получилось так», потому что это мог быть сбой в данных или изменение правила.

То есть, в Optimal Dynamics мы получаем данные от транспортных компаний, и у нас происходят те же ситуации, с которыми вы сталкиваетесь, и когда им не нравится ответ, они хотят, чтобы его быстро исправили. Один из самых мощных и важных инструментов, который я разработал в своей университетской лаборатории, — это графический инструмент под названием Pilot View, в котором есть два модуля. Один — это карта, на которой вы можете наблюдать потоки и фильтровать их самыми изящными способами, а другой, который я называю своим электронным микроскопом, позволяет вывести на экран отдельных водителей и отдельные грузы, нажать на любой элемент и увидеть, какой водитель был назначен какому грузу, и не только это, но и какие грузы мы рассматривали, ведь если у меня есть тысяча водителей и тысяча грузов, я не могу рассматривать все возможные комбинации тысячи на тысячу, и это не имеет отношения к алгоритму — всё дело в генераторе сети.

Мы используем изысканные инструменты, но может быть, у меня есть водитель, которого я не назначил на груз, почему? Возможно, потому что штрафы оказались слишком высокими, возможно, потому что затраты были слишком велики, или потому что одно из моих правил отсечения его просто не учло, и такое уже происходило. И, конечно, когда клиент жалуется, нужен очень быстрый ответ, потому что как только вы оказываетесь в условиях реальной эксплуатации, для сложных алгоритмов это становится критичным.

Joannes Vermorel: Я чрезвычайно с этим согласен. Я не сам пришёл к этому наблюдению, я нашёл его в интернете, не помню точно, кто это сказал, но суть была в том, что для отладки алгоритма нужно быть в два раза умнее, чем при его реализации.

Так что если вы используете алгоритм, который при реализации уже максимально совершенен, то когда он перейдёт в эксплуатацию и вам потребуется отладка, вам придётся быть в два раза умнее, и это практически невозможно, ведь при реализации вы уже показываете всё, на что способны. Поэтому вам нужно решение, которое не отражает вас в лучшем свете, чтобы при отладке с ним можно было справиться. Также я полностью согласен с тем, что вы описали, а именно с этим вспомогательным инструментом. Роль инструментирования абсолютно фундаментальна, и я думаю, что это тоже важный, хоть и сложный аспект. В этой книге столько всего, и я должен отдать вам должное: это не книга, в которой не хватает идей, роль инструментирования имеет первостепенное значение.

Классическое сообщество оптимизации в детерминированном смысле просто говорит: сколько CPU-секунд вам нужно и какова производительность полученного решения — и всё. Но когда вы входите в область стохастической оптимизации, вам приходится использовать обширное вспомогательное инструментирование, чтобы понять, что происходит. И я думаю, что здесь существует своего рода парадигматический разрыв, поскольку это означает, что важна не только та система, которая позволяет сгенерировать решение, но и все инструменты, которые можно надстроить, чтобы вы смогли проанализировать процесс принятия решений — не только одно решение, но весь сам процесс, без чего люди будут выдвигать возражения, и вы окажетесь в ловушке, не способные просто сказать: «Доверьтесь, это работает». В стохастической оптимизации это работает не так хорошо, как в классической математической оптимизации.

Warren Powell: Да, работать с индустрией — это, безусловно, приятный вызов. У меня был такой опыт с самого начала карьеры. Лишь в 1990-х, когда я основал лабораторию и нанял нескольких профессиональных программистов — всех с докторскими степенями, которые были там исключительно для написания кода — без этих двух человек моя лаборатория так и не взлетела бы. Удивительно, как иногда оказывается, что ваш алгоритм предлагает решение, которое вам не нравится, и клиенту оно тоже не по вкусу, и все за столом чешут затылки, пытаясь понять, что не так. Сколько раз мы проводили такое упражнение, и у каждого человека была своя теория, отражающая его навыки. И вот я думаю: «О, Боже, алгоритм мог бы быть поизящнее», а один человек переживает из-за данных, другой — из-за программной ошибки, и сколько раз мы садились, чтобы выдвинуть гипотезы, и все оказывались неправы.

Это действительно удивительно. Конечно, я был бы рад однажды посидеть с вами и узнать больше о ваших проблемах с получением исходных данных. В моей отрасли грузовых перевозок мы работаем только с перевозчиками, которые уже используют какую-либо коммерческую TMS-систему, и это не значит, что она идеальна, но это означает, что мы на порядок выше. Но это вызов, и в этом много удовольствия. Одно, что я хотел бы делать чаще — бросать вызов академическому сообществу реальными задачами, и я в некотором роде отказался от академического сообщества.

Они там не для того, чтобы решать проблемы, а для того, чтобы доказывать теоремы и писать статьи. Я провёл в этом мире почти 40 лет и понимаю его, но считаю, что он фундаментально неисправен. Так что одно, что было у моих компаний по грузоперевозкам — все они были готовы делиться данными. С отправителями же это не так.

Я никогда не встречал перевозчика, который был бы готов поделиться данными о цепочке поставок. Это вообще не рассматривается, они не собираются это делать. Я выполнял крупный проект по цепочке поставок для Pratt and Whitney, производителя реактивных двигателей, который финансировался государством и имел благословение компании-владельца, под названием United Technologies, но они даже не слушали предложение поделиться их данными. Они говорили, “О боже, это слишком секретно.”

Итак, они с радостью взялись за проект, в котором нам пришлось написать наш собственный модный генератор данных и придумать случайные запросы по всему миру, и они сказали, “Нет, некоторые из наших поставщиков действительно секретны, понимаете, мы даже не можем позволить кому-то узнать, что где-то, в штате Коннектикут, есть поставщик, который это делает.” Они просто сказали нет, это было бы слишком много информации.

Таким образом, трудно решать реальные задачи в среде, где невозможно получить данные. Я подписался в Университете Рутгерса, теперь я являюсь приглашённым экспертом в их департаменте управления цепочками поставок, и надеюсь убедить их создать симулятор с фальшивыми данными и по крайней мере попробовать работать с имитацией реалистичных проблем.

Joannes Vermorel: Я вполне могу отождествить себя с рядом проблем, с которыми вы столкнулись. Я думаю, я исходил из другой стороны спектра в мире цепочек поставок. С одной стороны спектра у вас есть грузовые перевозки, которые почти представляют собой окончательные, относительно краткосрочные решения, а ещё более экстремальным примером были бы пилотируемые роботы — вот один конец спектра.

На другом конце спектра у вас есть S&OP: продажи и операции, супер макроплан, корпоративный уровень и тому подобное. А между ними — всё остальное. Мой собственный путь начинался с другой стороны — S&OP, очень стратегически ориентированного, ориентированного на прогнозирование. В первые несколько лет работы Lokad даже не принимались решения, всё сводилось к чистому прогнозированию.

Возвращаясь к вашему вопросу, моя проблема заключалась в том, что в академических кругах, кстати, я бросил аспирантуру, так что я не сделал своего научного руководителя гордым, и я бесстыдно бросил аспирантуру, чтобы создать Lokad. Академия сосредоточена на точности прогнозирования, публикуя 20,000 моделей для улучшения прогнозов продаж почти с незапамятных времен.

В промышленности у нас ситуация именно такая, как вы описываете: десять человек сидят за столом, смотрят на проблему с своей точки зрения, и когда речь идёт о прогнозировании, которое является предпосылкой принятия решения, непосредственно перед самим решением, сначала они хотят сделать прогноз. Люди борются за то, чтобы подтолкнуть прогноз вверх или вниз.

В S&OP у вас есть продавцы, которые стремятся занижать прогноз, чтобы их продажи оказались выше ожиданий. Затем есть производственники, которые хотят завышать прогноз, потому что если они завышают прогноз, то у них будет больший бюджет на производственные активы, и таким образом, любой заказ, который им в итоге придется произвести, с большей мощностью будет выполняться легче.

У вас происходит перетягивание каната: продажи хотят обрушить цифры на землю, производство – взмыть их до небес, и это не супер рационально. Любопытно, что в академических кругах люди публиковали статьи, в которых находили невероятно изощрённый способ, опираясь на малоизвестную русскую теорию, чтобы устранить 0.1% смещения.

Затем вы оказываетесь в этой комнате, где люди буквально говорят, “Я хочу минус 50%,” а другой человек говорит, “Я хочу плюс 50%.” Это создаёт определённый разрыв. Доступ к данным всегда был невероятно затруднённым.

Warren Powell: Один вопрос по прогнозированию, и мне хотелось бы узнать, что вы с этим делаете. Существует множество математических методов, основанных на исторических данных для прогнозирования будущего, но мы знаем, что во многих случаях будущее может значительно отличаться от прошлого по ряду причин, и особенно, я не знаю, пойдет ли будущее вверх или вниз, но я точно знаю, что оно может сильно отличаться от всего, что я видел ранее. Можно спросить, как вы с этим справляетесь?

Joannes Vermorel: Да, абсолютно. Типичный способ заключается в том, что мы хотим ввести некую макронеопределённость, которая не совсем обоснована. Это звучит странно. Вы могли бы подумать, хорошо, у нас есть прогноз спроса, замечательно, а теперь давайте добавим переменную, при которой каждый год есть 4% вероятность резкого падения спроса, активности, всего на 30%.

Затем люди говорят, “Вау, падение на 30% за один год — это огромно. Почему вы вообще об этом думаете?” На мой взгляд, если посмотреть на XX век, было две мировые войны и целая серия других войн. А затем, более недавно, у нас были глобальные локдауны и тому подобное. Так что утверждать, что каждые 25 лет вам в лицо прилетает астероид, наносящий ущерб вашей отрасли, я не считаю таким уж невероятным.

Но люди ожидают, что они прогнозируют то, что знают, а здесь мы говорим, нет, вам не обязательно знать всё точно. Вы можете просто сказать, что мы предполагаем большое нарушение, что бы это ни было, а затем будем подставлять цифры. Эти цифры полностью вымышленные, 4% годовой вероятности, 30%, вы можете изменить это, можете сказать пять, а можете сказать 50%.

Это заставляет вас постоянно учитывать возможное крупное нарушение. Мы, например, обслуживали клиентов в авиации. Люди говорили, “О, это не так часто происходит.” Но это частое явление, ведь если посмотреть на отрасль, то, например, Boeing 737 Max был приземлён. Для моего клиента, который обслуживал авиакомпанию с десятками таких самолётов, это было серьёзной проблемой.

В итоге, нужно принять включение в ваши модели невероятно пессимистичных предположений. Обычно это трудно продвигается, потому что оно не является консенсусным. Проблема не в недостатке математики, а в том, что это пугает, а люди не хотят испытывать страх. Но если вы не подготовитесь к этим значимым событиям, то окажетесь неподготовленными. Всё просто.

С другой стороны, это очень пессимистичная сторона; нужно учитывать эти крупные нарушения, смириться с ними и принять тот факт, что они произойдут со 100% вероятностью, если дать им достаточно времени. Это один аспект.

Другой аспект заключается в том, что большинство моих клиентов, когда они рассматривают неопределённость и неопределённость принятия решений, видят только худший исход. Я думаю, проблема заключается в вариативности. Люди отождествляют вариативность с плохими исходами. В производстве такие люди, как Деминг, популяризировали идею о необходимости постоянства. Это краеугольная добродетель. Вы должны быть абсолютно последовательными. Ничего страшного в том, чтобы производить некачественную продукцию, если она всегда будет одинаково некачественной. Она будет дешёвой, и люди будут знать, чего ожидать.

Что неприемлемо — это когда часть продукции хорошая, а часть плохая. Нет, вы должны быть абсолютно последовательными всё время. Таким образом, люди связывают вариативность в производстве с чем-то плохим. Но так ли это? Когда вы выходите из мира производства, является ли вариативность чем-то негативным? Естественно, нет.

Ярким примером является мода. В моде вы создаёте продукты, которые могут стать хитами или промахами. Если вы можете увеличить дисперсию ваших успехов и неудач за счёт того, что у вас распределение с “толстой хвостовой”, то, да, может быть больше промахов, но при этом у вас могут быть хиты, которые на порядок выше.

Вариативность в производстве плоха, но в цепочке поставок в целом она не так плоха. Если у вас есть практически идеально ровный поток возможностей, супер ровный, но если вас нарушат, это вас убьёт, по сравнению с чем-то несколько непредсказуемым, неровным, но где присутствует множество постоянных рисков, которые вы тщательно управляете посредством оптимизированных под неопределённость решений, так что когда вы совершите ошибку, она вас не погубит.

Вы можете оказаться в такой ситуации, когда, когда наступит нарушение, его воздействие будет не таким значительным. Например, если вы занимаетесь бизнесом, где ожидается, что 98% ваших продуктов будут повторно продаваться из года в год, то если закон изменится и 20% ваших продуктов будут признаны незаконными из-за того, что вы использовали неправильный продукт, неправильный процесс или что-то ещё, это будет огромным ударом.

Если вы занимались бизнесом, где всего 2% ваших продуктов менялись каждый год, а теперь 20% выводятся из-за регулирования, но если вы находитесь в бизнесе, где каждый год обновляется, скажем, 15% ваших продуктов, ну, возможно, наступит год, когда 20%, но вы сможете восстановиться намного быстрее, потому что у вас есть склонность к новинкам, которые вы сохраняете.

Не все неопределённости являются плохими. Иногда немного риска полезно. Например, большинство специалистов по прогнозированию ненавидят прогнозировать новые продукты, потому что у них нет истории для временных рядов. Если вы посмотрите литературу по прогнозированию временных рядов, то в 99% случаев люди исключают продукты без истории. С моей точки зрения, прогнозирование продуктов без истории — самое интересное дело.

Именно здесь происходят настоящие битвы в цепочке поставок. Это те продукты, которые новы, которые могут стать хитами и изменить ход развития компании. Так что ответ получился длинным.

Warren Powell: Заключу один комментарий. Одно из того, что я больше всего ценю в своей концепции с четырьмя классами политик, это то, что она позволяет мне говорить: не беспокойтесь о принятии решения. Мы выберем один из четырёх классов, выберем что-то разумное, не парьтесь. Это не основная проблема. Основная проблема — моделирование неопределённости. Если я смогу отвести людей от сложностей принятия решений в условиях неопределённости и заставлю их больше сосредоточиться на моделировании неопределённостей, это будет великим достижением.

Joannes Vermorel: Я полностью с вами согласен. Крупные корпорации, сталкиваясь с неопределённостью, часто делают одну из худших вещей — придумывают правила для её уменьшения. Вы изобретаете правила просто для того, чтобы упростить проблему. Например, они прочитали, что UPS совершает только повороты налево на своих маршрутах, и затем говорят, “хорошо, значит, мы сами будем совершать только повороты налево, потому что это что-то упрощает.”

Видите ли, когда у вас было столько потенциала и установлено столько вариантов, столько неопределённости, и я думаю, что один из самых неблагоприятных способов подхода к проблеме — это придумывать целую серию ограничений, которые являются полностью вымышленными, чтобы проблема становилась более управляемой. Переходя к вашим концепциям, я бы сказал, что это неверный подход, потому что существуют способы справиться с реальными проблемами.

Так что не начинайте придумывать ограничения просто ради этого, просто потому что вы боитесь, что не найдётся никакого решения для рассмотрения вашей проблемы. Решений предостаточно, поэтому вам нужно отложить изобретение правил и ограничений исключительно для упрощения процесса принятия решений.

Conor Doherty: Что ж, я всё ещё здесь, и это нормально. Я сделал три или четыре отдельные страницы заметок, но одна из вещей, и это продолжение, вы используете термин управления финансовым риском, а я писал о компромиссах, деловых вопросах, оценке эффективности и управлении финансовым риском.

Итак, Уоррен, как возможность обобщить вашу концепцию и подход к стохастической оптимизации, я знаю, что ваша точка зрения основывается на управлении деловыми аспектами и компромиссах, присущих процессу принятия решений. Так что не торопитесь, но как именно ваша концепция управляет финансовым риском, связанным с, будь то оптимизация маршрутов, управление запасами или прогнозирование и управление запасами для продуктов, по которым у нас нет истории?

Warren Powell: Конечно. Прежде всего, я думаю, что один из результатов, к которым пришли Йоханнес и я, заключается в том, что мы оба работаем над реальными задачами. И как только вы начинаете работать над реальными задачами, вы приходите к определённым выводам, с которыми мы все согласны, одним из которых является: сначала модель, потом решение. Вы должны понять проблему. Вы используете слово “риск”, и для меня это подчеркивает, что нужно говорить об неопределённости, и это гораздо сложнее, чем нормальное распределение.

Статистики любят так: когда речь идёт об неопределённости, первым делом они познакомят студента с нормальным распределением. Они скажут, “хорошо, у нас есть среднее значение, и есть дисперсия. Вокруг среднего есть случайность,” и при этом они, похоже, не осознают, что главным источником неопределённости является именно среднее. Мы не знаем, каким будет среднее значение. Среднее изменяется. Конечно, вокруг среднего есть шум, но именно движение среднего является самым худшим.

А затем эти события, которые на самом деле не вписываются в вероятностное распределение, являются форс-мажорами. Это типа, “посмотрите, я не знаю насчёт вероятности, но вот что может случиться. Что бы я сделал в таком случае?” И меня не волнует вероятность этого. Есть вещи, которые, как я думаю, могут произойти, и я должен знать, что делать, если корабль прибудет на месяц с опозданием. Что если этот порт закроется? Что если в Японии будет землетрясение? Это крупные события. Мне не обязательно знать точно, какое событие, но я должен планировать на форс-мажоры.

Вся эта область принятия решений в условиях неопределённости, одно из первых, что я люблю говорить, так это: “Боже, тут куча сложной математики,” но осознаёте ли вы, что мы, люди, принимаем решения в условиях неопределённости всё время? И в начале моей карьеры, когда я действительно мучился из-за проблем с грузовиками, я думал, “Но диспетчеры грузовиков уже так делают.” Мы должны напоминать себе, что человеческий мозг удивительно хорош в принятии решений в условиях неопределённости.

Многие из этих вопросов, люди скажут, “О, мне не нравится стохастика.” И всё же именно этот человек будет планировать на случайные события, неопределённости и форс-мажоры. Это просто что-то, что заложено в нашем мозге, потому что, полагаю, нам, животным, приходилось иметь дело с этим на протяжении всей нашей эволюции. Самая большая проблема — не в принятии решений в условиях неопределённости, а в обучении компьютеров тому, как принимать решения в условиях неопределённости.

Итак, я не думаю, что этот разговор когда-нибудь закончится. Нам действительно нужно количественно оценивать, нам действительно нужно использовать компьютеры, потому что идея помещений, наполненных людьми, принимающими решения, уже кажется устаревшей. В транспортных компаниях у Optimal Dynamics есть целый набор моделей — от стратегических до моделей реального времени. Но продукт, который действительно является основой того, что мы продаём, — это система диспетчеризации в реальном времени, поскольку нет ни одного руководителя грузоперевозок в Соединённых Штатах, который не считал бы диспетчерский округ своей компании главной проблемой, независимо от того, верно это или нет, таково их убеждение.

Я понял, что идея нахождения подходящего водителя для перевозки груза на самом деле не является самым важным моментом. Самое важное — это выбор правильного груза, и это похоже на управление доходами в авиалиниях. Вам приходится планировать немного в будущее, но найти подходящего водителя, который успеет вернуться домой и соблюсти нормы DOT и всё такое, настолько сложно, что все сосредотачиваются исключительно на проблеме диспетчеризации водителей.

Но на самом деле речь идёт о выборе правильного груза, потому что сложность выбора правильного груза в том, что мне, возможно, придётся планировать на несколько дней или неделю вперёд, и я не знаю, где окажутся мои водители и что я смогу обслужить. Поэтому необходимо уметь планировать в условиях неопределённости. Диспетчеры понимают это, и, возможно, у них нет изощрённых инструментов, но у них есть интуитивное чувство: “Эй, это хорошее место. Вероятно, там будет водитель.”

Я видел, как люди категорически заявляли, что мы не сталкиваемся с неопределённостью, потому что генеральные директора не понимают стохастики. Нет, они не понимают слово “стохастика”, они все понимают неопределённость. И, кстати, нам нужно отойти от их настойчивости в соблюдении прогноза.

Я думаю, что одной из самых больших проблем среди специалистов по транспорту, я говорю о людях из сферы цепочки поставок, является то, что у всех них есть бюджет на перевозки, в частности грузоперевозки, и никто из них не укладывается в бюджет. Это всегда какой-то оптимистичный прогноз их транспортных расходов, и они всегда умудряются потратить больше — и это просто особенность работы специалиста по цепочке поставок, который должен планировать транспортные активы.

Так что, много забавных задач. Я не думаю, что у нас когда-либо закончатся темы для разговора.

Joannes Vermorel: Да, и, если быть честным, возвращаясь к вашему случаю, когда речь идёт о том, как человеческий ум принимает решения в условиях определённости, я полностью согласен. И я наблюдаю очень странную ситуацию, когда самые трудные дискуссии возникают не с людьми, не обладающими математическим образованием, и не с теми, кто обладает глубокими знаниями в математике. Сложности возникают именно с теми, кто либо совершенно не образован, либо сверхобразован.

Сложное положение для меня занимают люди со скудным образованием, потому что забавно, но на самом деле довольно сложно заставить компьютер работать с неопределённостью. Я полностью согласен, и что это значит для человека, который немного разбирается в этом? Это означает Excel, Microsoft Excel.

Итак, проблема, с которой я сталкиваюсь очень часто, заключается в том, что люди знают немного, знают Excel, и возникает проблема смотреть на вселенную только через призму того решения, которое им известно. В итоге получается дилетант, который ничего не знает об Excel, и, как в покере, он стал хорош благодаря привычке. У него нет теоретических знаний, но ему удалось сыграть в покер и добиться достойных результатов.

И то же самое касается выбора правильного груза. Я уверен, что вы найдёте множество людей, у которых нет никакого представления о вероятностях, но которые благодаря опыту стали отличными игроками. У них есть интуиция, хотя у них нет формализма.

А между ними оказываются люди, которые знают Excel и говорят: “Ладно, мне нужно реализовать это в Excel.” И Excel — ужасный инструмент для этого, потому что Excel не работает с вероятностями. Excel не предназначен для чего-либо, подобного методу Монте-Карло, и Excel — худший инструмент для этих целей. Excel отлично подходит для бухгалтерии, но абсолютно непригоден для работы с какой-либо неопределённостью.

Итак, самая сложная ситуация для меня — это люди, приверженные решению с использованием Excel. Если дело выходит за рамки Excel — будь то интуитивное чувство, которое оказывается более верным, чем расчёт в Excel, или потому, что оно слишком сложное и уже не укладывается в рамки Excel — возникает сильное отторжение.

Таким образом, это очень интересно, и я полностью понимаю, о чём идёт речь, ведь я часто встречаю людей среднего звена, которые полностью отдали себя Microsoft Excel, и именно там возникает настоящая борьба.

И я думаю, что когда люди говорят, что генеральному директору это не нравится, я очень часто вижу, что это проекция их собственного восприятия проблемы. Генеральные директора почти неизбежно — то есть в компаниях определённого размера — являются людьми, превосходными в умении справляться с огромным количеством хаоса.

Я думаю, что очень трудно для кого-либо достичь позиции генерального директора в компании, скажем, с несколькими сотнями сотрудников и более, и при этом не оставаться абсолютно невозмутимым перед фактом, что мир чрезвычайно хаотичен. В конце концов, это ваша повседневная жизнь — постоянно иметь дело с абсурдом, который вам постоянно подсовывают.

Таким образом, по моему мнению, я часто слышу: “О, это слишком сложно. Генеральный директор не поймёт или что-то в этом роде”, но на самом деле это их собственный страх, проецируемый на то, что у генерального директора всё равно почти нет времени разбираться, что происходит в компании. Так что это будет лишь одна из тысячи вещей, которые этот человек не понимает в своей собственной компании, и это точно не будет последней. Вот мое мнение. А что вы думаете?

Warren Powell: Да, зачастую генеральные директора приходят с совершенно другого уровня. Они сосредоточены на глобальной картине финансов, особенно в крупных компаниях. Мелкие детали того, что происходит на операционном этаже, вероятно, они просто обходили стороной в своей карьере.

То есть, в старые времена, кстати, в моё время, когда я учился, многие даже выпускники Принстона могли пойти работать в Procter & Gamble, провести шесть месяцев на заводском этаже, а затем подняться по управленческой лестнице. Таким образом, они шли по быстрому карьерному пути, но им говорили, что нужно начинать с самого низа. Это закончилось в 1980-х.

В 1980-х, когда я начал преподавать в Принстоне, ни один студент-принстонец не пошёл работать в компанию. Модным было работать в консалтинговых фирмах по управлению. Так они получали практический опыт, работая в консалтинговой фирме, затем возвращались за степенью MBA, потом ещё несколько лет работали, а затем обычно уходили на высокую руководящую должность в одной из компаний. Таким образом, они обходили все эти детали.

Что касается Excel, когда я работал в грузовой отрасли, единственными людьми, с которыми я сталкивался, были водители грузовиков — то есть, извините, диспетчеры и низкоуровневые менеджеры. Очень немногие умели даже выполнять базовую работу в Excel. Тогда как в цепочке поставок их миллион, и все они занимаются очень простыми задачами.

А теперь посмотрите на книги. Когда я начал участвовать в настоящей программе по цепочке поставок в Rutgers, я изучал эти книги, и либо это были математические игры, либо они сильно упрощались. Таким образом, не только люди думают, что могут сделать всё в Excel, но и книги учат их только тому, что можно сделать в Excel.

Итак, я считаю, что у нас проблема не только с Excel. Мы должны задуматься, кто будет решать эти задачи и использовать эти инструменты. Я полностью согласен с вами: «Нам нужны хорошие инструменты, где под капотом они могут быть весьма сложными, но при этом простыми в использовании.»

В Optimal Dynamics, о боже, мы действительно сосредоточены на том, чтобы сделать наши инструменты простыми в использовании. Но под капотом, если работа идёт, люди действительно хотят получить максимально качественное решение. Что касается цепочки поставок, мне кажется, когда я начинаю заглядывать туда и наблюдать за работой людей, я слышу: “В этом интересном мире цепочки поставок дело обстоит так, что, знаете ли,” — я помню статистику: “93% людей планируют в электронной таблице.”

Ведь вы ограничены тем, что можно сделать в электронной таблице. И поэтому, когда вы начинаете говорить о том, чтобы даже запустить простые симуляции — я, конечно, могу создать простую симуляцию запасов в электронной таблице, но как только вы начинаете вводить длительные сроки поставки для нескольких поставщиков, это быстро выходит за рамки возможностей электронной таблицы. А также это выходит за рамки возможностей людей, которые создают эти таблицы и думают, что могут справиться самостоятельно.

У меня есть бывшая аспирантка, которая теперь наш главный аналитик, чрезвычайно умная, но она провела восемь лет, занимаясь операционным планированием в Kimberly Clark в Бразилии. За этим стоит длинная история, и в какой-то момент ей пришлось сталкиваться с обычными проблемами планирования запасов. Поэтому она обратилась за помощью — раньше она кратковременно работала в McKenzie, так что она позвонила своим старым друзьям из McKenzie, и, знаете что, McKenzie знали только то, что было в учебниках, и она сразу поняла, что они понятия не имеют, о чем говорят, и выгнала их. Мы даже не учим лучших и самых ярких тому, как решать проблемы. Я не говорю о какой-то странной математике, я говорю о решении практических задач, о том моделировании, которое абсолютно необходимо для решения проблемы. Это нигде не преподаётся.

Conor Doherty: Если можно, это преподаётся где-то. Беззастенчивая реклама.

Joannes Vermorel: Беззастенчивая реклама. В Lokad мы начали преподавать это в полудюжине университетов, в основном расположенных вокруг Парижа. Мы также начали серию публичных семинаров по решению проблем в цепочке поставок, и одним из наших крупнейших усилий, нашим самым большим вложением, является создание наборов данных.

Итак, мы создаём и публикуем соответствующие наборы данных, и, действительно, по моему мнению, создание полностью синтетического набора данных слишком сложно, поэтому нам просто нужно полностью анонимизировать данные существующих клиентов с их разрешения. Мы берём реальные данные, делаем их полностью анонимными, сохраняем странные закономерности и упаковываем в относительно небольшие, хорошо организованные наборы данных, чтобы студенты могли решать задачи, не тратя три месяца на разбор неструктурированных данных. Я полностью согласен, и, кстати, мои оба родителя начинали в Procter & Gamble, так что я очень хорошо понимаю это чувство.

Warren Powell: Так вы преподаёте, каким студентам вы обучаете в школах вокруг Парижа?

Joannes Vermorel: О, это очень классически. Французская система включает два года подготовительных классов, что по сути является национальным экзаменом. Вы учитесь два года, сдаёте национальные экзамены, у всех расставляются рейтинги, и ваши оценки публикуются в газетах, так что если у вас плохие оценки, они стали достоянием общественности — никакого давления. Затем есть так называемые Grandes Écoles, но можно считать их мини-французским Айви Лигой. Люди поступают в эти инженерные школы. Таким образом, я говорю только об трёх сегментах: инженерные школы, бизнес-школы и административные школы. Здесь я говорю только об инженерных школах.

Warren Powell: Инженеры, хорошо. Так, в Принстоне я преподавал инженерам. Теперь, когда я начинаю работать с Rutgers, это будет впервые в бизнес-школе, и меня уже мягко предупредили, что среди всех категорий студентов бизнес-школы те, кто выбирает управление цепочкой поставок, как правило, находятся внизу списка по уровню технических навыков. Более высококвалифицированные идут в финансы, и поэтому возникает эффект просачивания. Я ещё не начал, и не буду вести курс, я обучаю преподавателей, но буду рассчитывать на них, чтобы они сказали: “Смотри, Уоррен, с этим у нас просто не получится.”

Одно из направлений, на котором я сосредоточен, заключается в том, что я говорю: “Смотри, есть одна очень важная часть моей методологии, которая не включает никакой математики. Она включает следующие три вопроса, и если ты не сможешь на них ответить, то не сможешь построить модель.” Даже если ты не собираешься строить модель, если хочешь решить проблему, ты всё равно должен ответить на следующие три вопроса: каковы ваши метрики, какие решения вы принимаете, и какие виды неопределённостей существуют?

Проще говоря, так мы это формулируем, и я говорю: без математики, но эти вопросы, на которые мне всё равно нужны ответы, если я хочу построить математическую модель. Поэтому я решил: идёшь в бизнес-сообщество и спрашиваешь о метриках — все они знают о метриках, у них списка за списком. Потом переходишь к решениям и спрашиваешь: “У вас есть маленькая красная книжка со списком тех решений, которые вы принимаете?” — и тебе отвечают молчаливыми взглядами.

Так что после этого разговора, Жоаннес, я начинаю генерировать серию мыслей и заметок, которыми собираюсь поделиться с другими преподавателями Rutgers. Это документ Google Docs, который можно редактировать публично, и вы увидите, как я разрабатываю различные категории. Я только что начал раздел о решениях, и собираюсь отправить его вам, потому что думаю, что вам будет интересно. Это не для книги или чего-либо подобного, это просто болтовня, это мой способ обучения преподавателей, потому что я не могу им приказывать, что делать; профессора должны сами сказать: “О, это хорошая идея, думаю, я воспользуюсь этим.” Если они так не поступят, эта идея не попадёт в класс, но я должен доверять их знаниям о том, что делают студенты. Есть один курс по операционному анализу, на котором разбираются проблемы управления запасами. Думаю, вы можете представить, что там преподаётся — очень базовая презентация, и я думаю: “Извините, разве мы не должны хотя бы показать им, как, пусть даже в Excel, можно смоделировать очень простую проблему запасов.”

Итак, я отправлю вам ссылку на Google Doc. Одно из того, что я хотел бы собрать, и чего пока не сделал, я только начинаю об этом думать, но за всю свою карьеру я не занимался исключительно управлением цепями поставок, я работал над гораздо более широким кругом проблем. Я хочу составить список решений. Это не будет мелочь; решения бывают разных видов и категорий, это не просто инвентарь. Есть финансовые решения, есть информационные решения, и в итоге я хотел бы оформить это в виде таблицы, которую затем я мог бы разослать и просто пригласить людей: «Эй, какая у меня категория или какие примеры решений?» Потому что у меня была фраза: «Если хочешь управлять чем-либо лучше, называй это цепью поставок, и тебе нужно принимать лучшие решения.» Я ни разу не слышал, чтобы кто-то с этим не соглашался, все говорят: «Да, верно.» Ну, если хочешь принимать лучшие решения, то какой же у тебя список решений? А потом я получаю эти недоумённые взгляды.

Итак, я начну с очень неквантифицированного подхода, который апеллирует к вашему чувству: сначала нужно моделировать, и я думаю, что для MBA, который не полагается исключительно на количественные методы, это хороший вызов, потому что ответ связан с неопределенностями – целые карьеры строятся на выявлении источников неопределенности в цепях поставок – но мне действительно нравится то, что касается решений. Разве мы не должны уметь понимать, какие решения мы принимаем? Я понимаю, почему в бизнесе так не делают, ведь это выглядит так: «Ну, это проблема кого-то другого, я просто оцениваю, насколько хорошо он справляется.» Так что бизнес полностью строится на метриках, но не должна ли существовать маленькая «красная книжка» с решениями?

Joannes Vermorel: Да, я полностью согласен, и решения очень сложны, потому что крупные компании склонны зарывать решения и процессы принятия решений под рабочими процессами и процедурами. Фактически, они даже не замечают, что происходит принятие решения, поскольку применяется правило, которое фактически представляет собой процесс принятия решения. И оно уже настолько повсеместно, что его просто не замечают – оно просто управляет компанией. Это может быть плохая политика, она существует, управляет бизнесом, фактически обеспечивая потенциально тысячи решений в день, и никто этого даже не видит. Со временем, когда это укореняется, данное явление даже не имеет руководителя. Никто не отвечает за это, как за такое, что просто существует, как свежий воздух в здании – оно просто происходит, и люди даже не знают точно, почему так происходит, оно просто есть.

Я полностью согласен с вашей идеей о решении. Это сложно, потому что у людей неправильное представление о том, что такое решение. Они думают, что решение – это то, что принимается на собрании, где есть напряжение и присутствует начальник, на котором будут представлены аргументы, и он примет решение. Это один тип решения, но существуют намного более обыденные решения, которые имеют гораздо большее значение. Когда они становятся настолько обыденными, что их уже не замечаешь, это действительно интригует.

Warren Powell: Потому что, как вы сказали, они уже выбрали политику, так что как только вы фиксируете политику, это перестаёт быть решением. На самом деле, решение – это не само решение, а то, какая политика применяется.

Позвольте мне предложить ещё одно наблюдение. Вы знаете, я говорю о сложных и простых политиках. Одну строчку, которую я почти уверен, я использую в своей большой книге: цена простоты – это настраиваемые параметры. Практически любая простая политика, как, например, SS-политики, имеет настраиваемые параметры, а настройка – задача не из лёгких. Настройка – это одна из тех универсальных категорий решений. Это задача активного обучения.

Я выступаю с докладом на конференц-воркшопе по аналитике цепей поставок в Rutgers в июне, и одна из тем, посвящённых целому разделу, заключается в том, что существует нечто, что абсолютно каждый, независимо от области, должен понять. Существует класс последовательных задач принятия решений, который называется обучением.

Он называется по-разному. Это может быть интеллектуальный метод проб и ошибок, стохастический поиск или многорукий бандит, но всё это задачи обучения. Здесь нет ничего физического. Когда речь идёт о чем-то физическом, всё становится сложнее, но существует множество задач, где нет ничего физического – это просто обучение.

Вы пробуете одно, оно сработало или нет, а я попробую что-то другое. Это последовательное принятие решений, но единственное, что вы переносите из одного момента в следующий, – это то, что вы узнали, и ваше убеждение в том, что работает лучше всего.

Последовательное обучение должно преподаваться на уровне бакалавриата, не в рамках одного курса, а на протяжении всей учебной программы, как статистика, которая преподаётся в разных стилях. Активное обучение должно преподаваться всем, кто не является специалистом по английской филологии.

Если вы не изучаете гуманитарные науки, назовите любую область, где не приходится прибегать к какому-либо виду интеллектуального метода проб и ошибок. Это по своей сути человеческий процесс, и для него существуют достаточно простые инструменты, чтобы люди могли начать.

Существуют базовые политики, называемые UCB-политиками, которые можно обучить людей за минуту. Вы просто говорите: «Смотрите, у вас есть дискретные варианты, вот насколько я считаю каждый из них хорошим, но вот моя степень неопределенности.»

Существует простое упражнение, которое показывает, что если вы основываетесь только на том, насколько, по вашему мнению, нечто хорошо, это может быть серьезно неоптимально. Вы хотите целиться немного выше, стремиться к тому, каким что-то может быть. Это понимание можно передать за минуту, хотя существует множество тонкостей, делающих его гораздо более глубоким, и это действительно нужно преподавать.

Joannes Vermorel: Я полностью согласен. Это очень забавно, потому что с точки зрения машинного обучения, Lokad в основном занимался прогнозированием с помощью машинного обучения.

Типичная ситуация заключалась в том, что эти упрощённые политики с настраиваемыми параметрами на практике никогда не настраивались. Когда вы, наконец, получаете доступ к набору данных компании, оказывается, что всё гораздо сложнее, но в Lokad нам, наконец, удалось получить этот набор данных.

Вы применяете свои алгоритмы обучения и понимаете, что для обучения остается очень мало, потому что компания так долго работала по невероятно жёсткому автопилоту, что у вас может быть история на миллиарды долларов или евро, и при этом практически нечему научиться, поскольку всё время делается одно и то же без каких-либо вариаций.

Одна из проблем, с которой мы сталкиваемся, заключается в том, что зачастую, когда мы хотим учиться, нам приходится начинать эксперименты и добавлять немного шума. Этот шум нужен исключительно для обучения.

Вы должны убедиться, что это не слишком дорого, но идея отклонения от того, что считается оптимальным – ведь они понятия не имеют, оптимально это или нет, – однако это, безусловно, стандарт, статус-кво, принятое решение.

Отклоняться от практики, чтобы случайным образом исследовать нечто настолько абстрактное, как сбор информации о том, как выглядит ситуация, когда вы отклоняетесь от привычного, – это весьма озадачивающе.

Очень немногие, кто прошёл MBA и тому подобное, способны понять эту идею внесения крошечных изменений. Если вы крупная компания, даже небольшая доза экспериментов, если вы работаете в большом масштабе, со временем даст вам много информации.

В производстве отклонение считается плохим. Вы хотите быть предельно жёсткими и последовательными. Но в активном обучении, если вы поступаете так в мире цепей поставок и ваша политика остаётся неизменной, вы почти ничего не узнаёте.

Это очень странная концепция. Ознакомление с идеей активного обучения, в котором вы можете тщательно подбирать свои отклонения с целью получения максимальной информации – так, чтобы это не было просто случайным действием, а действием с намерением что-то узнать, – имеет решающее значение.

Warren Powell: Выводы, которые вы только что изложили, настолько фундаментально важны, что ими следует преподавать повсеместно, во всех областях, а не только в аналитических.

Это можно преподавать как на продвинутом аналитическом уровне, так и на базовом, в зависимости от студентов. Я не понимаю, почему это не преподаётся.

Я пишу статью для Princeton, чтобы отметить: «Эй, посмотрите, 40 лет в Princeton, угадайте, какой курс мы не преподаём.» Примерно половина университета участвует в факультетах, где существует возможность применять какой-либо метод проб и ошибок.

Мы могли бы продолжать ещё несколько часов.

Conor Doherty: Я собираюсь вернуться и закрыть один круг вопросов. Один из бесстыдных рекламных моментов: чтобы уточнить, когда речь идёт об обучении студентов цепям поставок, упомянутые вами воркшопы действительно доступны публично на нашем сайте.

Что касается обучения программированию для решения проблем цепей поставок, на нашем сайте docs.lokad.com доступны публично и абсолютно бесплатные ресурсы. Это пошаговые упражнения, разработанные нашими специалистами по цепям поставок, чтобы имитировать такие решающие деревья, о которых вы говорите.

Если вы хотите оценить эффективность, провести анализ поставщиков, у нас есть бесплатный пошаговый руководящий туториал, где вы можете увидеть все фрагменты кода, разработанные специально для подобных задач, а не просто приблизительную модель в Excel.

Warren Powell: Я знаю, что у Lokad есть собственный язык программирования. Это мне показалось очень интересным. Мне очень нравятся ресурсы, которые вы предоставляете. Мы пытаемся сделать нечто подобное для грузоперевозок, но грузоперевозки – это совсем другой бизнес.

Мы стараемся предоставлять очень образовательный материал. Мы бы никогда не попытались сделать нечто подобное. Во-первых, у нас нет такого простого битового кода, и в индустрии грузоперевозок никого нет, кто бы этим занимался.

Одно из интересных отличий грузовых перевозок на грузовиках заключается в том, что у нас не так много конкуренции. Это не охватывает масштабы бизнеса грузоперевозок, который в Соединённых Штатах оценивается примерно в 800 миллиардов долларов в год. То есть, это большой рынок, но лишь малая часть по сравнению с цепями поставок.

Цепь поставок – это настоящий океан, в то время как грузоперевозки на грузовиках – это что-то вроде моря. Но я собираюсь привлечь внимание кафедры в Rutgers к вашим ресурсам, потому что думаю, что это может быть очень интересно.

Я должен учитывать, что это бизнес-студенты, которых мне нужно обучить, и у них также есть кафедра промышленного инжиниринга, и у меня есть ощущение, что это будет более на инженерном уровне.

Я действительно считаю, что два этих отделения должны работать вместе, потому что первый шаг – ответы на те три вопроса – действительно сложен. Вы должны действительно понимать, о чём говорите. Так что вам нужно умное мышление в стиле управленческого консалтинга, чтобы ответить на эти вопросы.

Как только вы дадите на них ответы, вам понадобится другой набор навыков для превращения этих ответов в аналитику и использования компьютера для помощи. Поэтому я надеюсь, что в Rutgers, где я хорошо знаком с людьми из промышленного инжиниринга, а группу, с которой я не так хорошо знаком, составляет отдел управления цепями поставок, который, похоже, поддерживает мои взгляды, и я постараюсь предложить идею объединения их.

Conor Doherty: Думаю, это длится уже довольно давно, и я исчерпал все свои вопросы. Но в Lokad принято давать слово гостю в конце. Так что, Уоррен, я позволяю вам завершить с любым призывом к действию или бесстыдными упоминаниями. Нас это вовсе не смущает.

Joannes Vermorel: Есть явный призыв к действию – купить книгу. Это действительно очень качественная книга.

Warren Powell: Я рекомендую людям не начинать с большой книги, а начать с книги, которую можно скачать бесплатно.

Tinyurl.com/SDAmodeling – это книга, которую я написал для курса бакалавриата. Она называется «Последовательная аналитика и моделирование принятия решений». Я работаю с издателем – они мне ничего не платят, но позволяют распространять PDF бесплатно, опубликованную версию.

Это книга. Она использует стиль обучения на примерах. Так что, кроме первой главы, в которой представлена универсальная структура и есть примеры по запасам, каждая глава, кроме седьмой, просто содержит различные примеры, все написанные в одном и том же стиле с акцентом на моделирование.

Итак, у меня есть пять элементов: состояние, решение, информация, переход, цель. Я всегда начинаю с повествования, простого рассказа на понятном языке, а затем переходим к этим пяти элементам. Потом я немножко говорю о моделировании неопределённости. Затем я рассказываю о том, как мы можем принимать решения.

Когда я дохожу до седьмой главы, я привёл примеры всех четырёх классов политик. Так что седьмая глава говорит: давайте сделаем паузу, давайте посмотрим, что мы только что сделали. Оставшиеся главы, с восьмой по четырнадцатую, – это просто более продвинутые примеры, включая игру в пиво.

Игра в пиво – это моя возможность рассмотреть задачу с несколькими агентами. Одна из моих любимых глав в большой книге – последняя глава о многоагентных системах. Я написал эту главу и сказал: если бы я начинал карьеру заново сегодня, работа с многоагентными системами была бы настолько увлекательной.

И, конечно, в мире цепей поставок всё работает по многоагентной схеме. Это почти определяет проблему – у вас не один агент. Например, в моей работе с грузоперевозками, даже если есть разные менеджеры, мы примерно действуем так, как если бы грузоперевозочная компания была единым агентом.

В цепях поставок так не получится. Это просто не работает. Вы должны смоделировать тот факт, что у вас есть все эти взаимодействующие компоненты, что открывает возможности для моделирования чего угодно. Теперь вы моделируете организацию информации, а не просто заказ запасов.

Это такая удивительно богатая область. Я оглядываюсь на 70 лет написания учебников и понимаю, что наши книги кажутся настолько отстающими от того, что необходимо для реального решения проблемы. Я немного удивлён этим. Это отличная возможность. Хотелось бы быть на пару десятилетий моложе.

Так что, замечательно, что вы делаете этот телесериал. Я обязательно буду его продвигать. Я, безусловно, разошлю эту ссылку, а также направлю людей на ваш сайт, потому что мне очень нравится ваш академический стиль.

Optimal Dynamics – отличная компания. Я не могу сделать много бесстыдных упоминаний, потому что она действительно ориентирована на грузоперевозчиков, но я сделаю бесстыдное упоминание в адрес Lokad. Мне нравится ваш стиль. Я говорю о вас, потому что это говорит о том, что у вас очень академический подход.

Мне нравится, как вы любите делиться. Академики любят делиться. Да, мы хотели бы зарабатывать деньги, но всё равно не можем не делиться своими идеями и гордиться ими, как и вы должны. Я это ценю, потому что внимательно изучил ваш сайт, и он помогает мне учиться и перенимать ваш стиль.

Conor Doherty: Большое спасибо. Вопросов больше нет. Йоаннес, благодарю вас за ваше время, Уоррен, огромное спасибо за ваше время. И спасибо всем за просмотр. До встречи в следующий раз.