00:00:09 Дифференцируемое программирование и его влияние на цепочки поставок.
00:01:00 Неэффективность в цепочках поставок и нерешённые проблемы в различных отраслях.
00:02:06 Проблемы в индустрии моды и чувствительный к цене спрос.
00:04:20 Трудности в комбинировании существующих методов для совместной оптимизации.
00:05:51 Дифференцируемое программирование как потомок глубокого обучения для совместной оптимизации.
00:08:00 Обучение и оптимизация в управлении цепочками поставок.
00:09:24 Дифференцируемое программирование и нерешённые проблемы в различных отраслях.
00:10:27 Прогнозирование спроса и использование данных клиентов.
00:13:24 Сложные проблемы и вторичные последствия в промоакциях.
00:15:52 Адаптация к потребностям и ожиданиям клиентов.
00:17:03 Роль глубокого обучения и прогресса в аппаратном обеспечении при решении сложных задач.
00:19:20 Убывающая отдача в развитии ИИ и необходимость выразительности.
00:21:12 Дифференцируемое программирование, позволяющее устранить изоляцию в управлении цепями поставок.
00:23:23 Заключительные мысли.
Резюме
В этом интервью ведущий Киран Чендлер и Жоaнн Верморель, основатель компании Lokad, обсуждают потенциал дифференцируемого программирования для оптимизации цепочек поставок. Верморель объясняет, что традиционные методы принятия решений по запасам, закупкам и ценообразованию часто разрознены, что приводит к неэффективности. Дифференцируемое программирование может оптимизировать эти решения, учитывая несколько факторов одновременно. Этот подход, все еще относительно новый, может решить нерешённые задачи в различных отраслях, такие как прогнозирование спроса в розничной торговле и оптимизация в условиях неопределённости. Достижения в технологиях позволили создавать более сложные модели, что даёт возможность решать задачи в масштабах. Дифференцируемое программирование обладает потенциалом революционизировать оптимизацию цепочек поставок, разрушая организационные силосы и улучшая общую эффективность.
Расширенное резюме
В этом интервью ведущий Киран Чендлер обсуждает дифференцируемое программирование и его влияние на оптимизацию цепочек поставок с Жоанном Верморелем, основателем компании Lokad, специализирующейся на оптимизации цепочек поставок. Они исследуют нерешённые задачи и то, как эти проблемы решаются в различных отраслях.
Верморель объясняет, что нерешённая проблема — это не обязательно задача, для которой никогда не найдётся решения, а скорее задача, для которой пока не найдено удовлетворительного решения. Он отмечает, что, хотя цепочки поставок функционируют, они часто работают с существенной неэффективностью. Эта неэффективность может быть неочевидна, пока её не изучить в деталях, и могут быть переменные, которые можно отрегулировать для улучшения цепочки поставок, но которые традиционно не учитываются менеджерами по цепям поставок, такими как ценообразование и ассортимент.
Чендлер спрашивает о конкретных проблемах, которые сложно решить в индустрии цепочек поставок. Верморель отвечает, что в каждом сегменте есть свой набор слабо решённых задач, приводя в пример моду. Быстрая мода, которая очень чувствительна к цене, демонстрирует, что спрос сильно зависит от ценообразования. Однако большинство решений по планированию спроса в моде рассматривают спрос так, как если бы ценообразование не существовало, что создаёт огромный разрыв.
Верморель объясняет, что существует нерешённая задача совместной оптимизации спроса, запасов и ценообразования, поскольку эти факторы часто рассматриваются как разрозненные элементы. В ответ на вопрос Чендлера о том, можно ли объединить существующие методы для решения этой проблемы, Верморель говорит, что исторически большинство разработанных решений не давали возможности для их взаимного объединения. Подход Планирование продаж и операций (S&OP) пытался решить эту проблему на человеческом уровне, способствуя коммуникации между различными отделами, но это плохо работает в условиях программной автоматизации.
Когда речь заходит об автоматизации программного обеспечения, Верморель указывает на трудности, возникающие при попытках интегрировать отдельные системы, такие как основанное на спросе планирование потребностей в материалах (DDMRP), системы управления складами (WMS) и дополнения к системам управления информацией о продуктах (PIM) для ценообразования. Эти системы часто принимают независимые решения, что приводит к разобщённому подходу и потенциальной неэффективности.
Верморель объясняет, что традиционные методы принятия решений по запасам, закупкам и ценообразованию часто разрознены, что может привести к неидеальным результатам. Он предполагает, что дифференцируемое программирование может помочь оптимизировать эти решения, учитывая несколько факторов одновременно.
Дифференцируемое программирование концептуально схоже с глубоким обучением, но оно сосредоточено на сочетании обучения и оптимизации, а не только на распознавании шаблонов. Верморель отмечает, что глубокое обучение добилось значительных успехов в распознавании изображений, однако оно также привело к прорывам в численной оптимизации. Эти достижения позволили разработать более сложные модели с миллионами параметров, что, в свою очередь, улучшило процесс оптимизации.
В контексте управления цепями поставок дифференцируемое программирование может применяться как для изучения будущего спроса, так и для принятия оптимизированных решений в условиях неопределённости. Например, оно может помочь определить, сколько единиц купить у поставщика или когда сделать скидку на конкретный продукт. Верморель отмечает, что на покупателей часто влияет общий ассортимент товаров, что означает, что оптимизация решений для отдельных продуктов может быть недостаточной.
Несмотря на то, что дифференцируемое программирование является относительно новым подходом, Верморель считает, что его можно применять к широкому спектру нерешённых задач в различных отраслях. Он приводит в пример прогнозирование спроса в розничной торговле, где программы лояльности и данные о клиентах могут предоставить ценные сведения о покупательских паттернах. В настоящее время на рынке имеется немного решений, использующих эти данные, и дифференцируемое программирование может потенциально помочь использовать эту информацию для принятия более эффективных решений.
Ещё одной задачей, которую может решить дифференцируемое программирование, является оптимизация в условиях неопределённости. Традиционные методы оптимизации часто испытывают трудности с стохастическими, то есть случайными условиями, что привело к использованию упрощённых подходов, таких как MRP (планирование потребностей в материалах) и DDMRP (MRP, ориентированный на спрос). Верморель утверждает, что эти методы часто оказываются недостаточными, и что дифференцируемое программирование может предоставить более эффективный способ решения подобных задач.
Интервью с Жоанном Верморелем подчёркивает потенциал дифференцируемого программирования в решении различных задач оптимизации цепочек поставок. Объединяя обучение и оптимизацию, этот подход может помочь компаниям принимать более обоснованные решения, учитывающие множественные факторы и неопределённости. Несмотря на то, что дифференцируемое программирование всё ещё является относительно новой областью, Верморель считает, что оно обладает значительным потенциалом для улучшения управления цепями поставок и прогнозирования спроса в различных отраслях.
Они обсуждают роль дифференцируемого программирования в решении проблем цепочек поставок и потенциал в решении сложных, ранее неразрешимых задач.
Верморель объясняет, что дифференцируемое программирование является мощным инструментом для решения сложных задач цепочек поставок. Технический прогресс позволил оптимизировать модели с миллионами параметров, тогда как ранее было возможно лишь несколько сотен. Этот скачок в возможностях позволил решать задачи в масштабах, что особенно актуально для компаний с большим числом продуктов и магазинов.
Одной из основных проблем, которые помогает решать дифференцируемое программирование, является «сложная проблема». Эти задачи возникают, когда действия имеют вторичные последствия, например, когда акции в модном бренде приводят к тому, что клиенты делают покупки только во время распродаж. В настоящее время ни один алгоритм не способен справиться с этими сложными проблемами, но Верморель считает, что искусственный интеллект на уровне человека в конечном итоге сможет с ними справиться.
Последние успехи дифференцируемого программирования можно объяснить сочетанием аппаратных и программных достижений. Быстрый прогресс в вычислительной мощности, в сочетании с прорывами в алгоритмической эффективности, позволил оптимизировать модели с сотнями миллионов параметров. Верморель считает, что мы достигли точки убывающей отдачи в вычислительной мощности, и основная задача теперь заключается в повышении выразительности и адаптации сложных задач к оптимизируемой структуре.
Для специалистов в области цепочек поставок дифференцируемое программирование предоставляет возможность разрушить барьеры и совместно оптимизировать ранее изолированные задачи. Это может привести к значительному скачку в эффективности, требующему от компаний переосмысления своих организационных структур. По мере того как компании начинают внедрять дифференцируемое программирование, они могут следовать примеру, установленному Amazon, разрушая эти барьеры и оптимизируя процессы между разными сферами.
Дифференцируемое программирование обладает потенциалом революционизировать оптимизацию цепочек поставок, решая ранее неразрешимые задачи и разрушая организационные барьеры. Благодаря достижениям в аппаратном и программном обеспечении этот подход предоставляет специалистам по цепям поставок новые возможности для решения сложных задач и повышения общей эффективности.
Полная транскрипция
Kieran Chandler: Привет, сегодня на Lokad TV мы собираемся обсудить немного новую тему дифференцируемого программирования. Это захватывающее новое развитие — последний потомок глубокого обучения, который открыл серию задач, ранее считавшихся неразрешимыми. Сегодня мы узнаем немного больше об этом процессе и поймём, как он привёл к быстрому прогрессу в мире цепочек поставок. Итак, Жоанн, сегодня речь пойдёт о неразрешимых задачах, что звучит довольно сложно. Что мы подразумеваем под неразрешимой задачей?
Joannes Vermorel: Под неразрешимой задачей я подразумеваю задачу, для которой может не быть решения вообще, или задачу, для которой пока не найдено удовлетворительного решения. Это интересно, потому что в цепочках поставок все задачи, так или иначе, решены. Очевидно, что фабрики производят, а люди наслаждаются тем, что могут купить в магазинах, так что цепочка поставок на самом деле работает. Но она может работать с существенной неэффективностью, и если вы не вникнёте в суть, вы можете не заметить, насколько она неэффективна на различных уровнях. Особенно когда вы начинаете учитывать регулируемые параметры, которые, возможно, можно использовать, но которые традиционно не применяются менеджерами по цепям поставок, такими как ценообразование, ассортимент и различные способы манипулировать рыночным спросом, чтобы он приблизил рынок к тому, что вы предлагаете.
Kieran Chandler: Хорошо, так с какими именно проблемами мы сталкиваемся последние несколько лет?
Joannes Vermorel: Это зависит от отрасли, так как в каждом сегменте есть свой набор сложных, плохо решённых задач. Возьмём, к примеру, моду. В быстрой или доступной моде спрос очень чувствителен к цене. Вот почему люди стремятся попасть на акции, так как это момент, когда можно получить супер агрессивные цены. Очевидно, что из-за огромной популярности распродаж многие считают, что стоит часами ждать и ходить в переполненные магазины, чтобы воспользоваться этими ценами. Таким образом, люди хотят одежду и вещи, которые им нравятся, но по цене, которую они могут себе позволить. Однако практически каждое решение по планированию спроса в моде, которое мне известно, кроме Lokad, рассматривает спрос так, как если бы ценообразование не существовало, как если бы цена была всего лишь каталоговой, и всё. При этом, когда вы выводите продукт на рынок, существует целая стратегия ценообразования. Если продукт продаётся недостаточно, вы будете проводить распродажи и скидки, чтобы ликвидировать запасы и освободить место для следующей коллекции. Так что, если у вас есть система, которая в терминах организационной структуры процессов и программного обеспечения поддерживает всё это, рассматривая спрос и ценообразование как полностью разрозненные вещи, возникает огромный разрыв. И это, безусловно, нерешённая задача — совместная оптимизация спроса, запасов и ценообразования одновременно.
Kieran Chandler: Так как же решаются эти проблемы с использованием существующих методов? То есть, можем ли мы объединить существующие методы, чтобы получить удовлетворительный результат?
Joannes Vermorel: Нет, большинство рецептов, разработанных исторически, не предусматривали их объединения друг с другом. Именно это пытался сделать S&OP, но на человеческом уровне. Пусть люди общаются между собой. С людьми это может сработать, потому что они могут говорить и их понятия могут совпадать. Но когда речь идёт об автоматизации программного обеспечения, где DDMRP принимает решения, WMS принимает решения по запасам, а затем у вас есть дополнение к PIM (системе управления информацией о продуктах), которое контролирует цену, все эти системы не интегрируются
Kieran Chandler: Знаете, у них просто нет ничего, что бы естественным образом связывало их, и даже если есть, это не очень понятно. Учитывая те методы, которые используются для принятия решений, например, решения по запасам или закупкам с одной стороны и решения по ценообразованию с другой, можно ли создать что-то среднее, чтобы согласовать решения и совместно оптимизировать?
Joannes Vermorel: В основе этих систем лежит принцип разделяй и властвуй, при котором всё, что не входит в сферу, полностью игнорируется. Именно так можно создавать гораздо более простые методики. Дифференцируемое программирование заключается в двойной оптимизации, которая учитывает множество различных задач и объединяет их в одну.
Дифференцируемое программирование концептуально связано с глубоким обучением, но не так сконцентрировано на точности прогнозов. Это скорее другой взгляд на вещи. Последние достижения глубокого обучения в основном касаются стороны обучения, с огромным прогрессом в распознавании образов на изображениях и идентификации объектов или людей. Это очень круто, и успехи действительно значительны.
Однако существует и другая сторона, где глубокое обучение открыло массу отличных результатов — это численная оптимизация. Причина, по которой нам удалось распознавать сложные образы с большей точностью, заключается в том, что модели стали значительно сложнее и содержат намного больше параметров — десятки миллионов. Чтобы обучить эти модели и построить математическую модель, эффективную для вашего набора данных, нужен рецепт численной оптимизации, работающий в масштабах, ведь речь идёт о миллионах параметров, которые нужно оптимизировать.
Глубокое обучение и технологии ИИ принесли серию прорывов в области оптимизации в больших масштабах, что сделало возможными многие успехи в сфере обучения. Дифференцируемое программирование исходит из другой перспективы. Здесь важны как аспекты обучения, так и численные инструменты для проведения оптимизации в больших масштабах. Иногда требуется сочетание обучения и оптимизации.
В цепочке поставок важнее не столько предсказать будущий спрос, сколько принять оптимальное решение в условиях неопределённого будущего, например, сколько единиц закупать, если поставщик предлагает определённую цену. После того как единицы приобретены, когда стоит проводить акцию на конкретный продукт? Здесь важно и прогнозирование будущего спроса, и оптимизация переменных, где имеется значительная свобода действий.
В индустрии моды для одного продукта, одной цены и одного запаса товаров реальность такова, что клиенты не приходят в магазин за одним продуктом. У них есть потребности, желания и стремления, и они в итоге ориентируются на ассортимент. Если принимать решения для каждого продукта по отдельности, суть упускается. Именно поэтому брендам нужны коллекции — чтобы для клиентов имел смысл широкий ассортимент.
Kieran Chandler: Где этот подход работает действительно хорошо в реальном мире? Какие классические задачи он умеет решать?
Joannes Vermorel: Технологический стек достаточно нов, и в случае дифференцируемого программирования не скажешь, что уже выработана устоявшаяся практика, где оно работает идеально. Я имею в виду, что для этой области открыто так много возможностей для исследований.
Kieran Chandler: В различных отраслях встречается множество проблем. В одном из предыдущих разговоров мы обсуждали ограничения MRP и то, как DDMRP по сути скрепляет довольно сломанные системы MRP. Но в этой области какая проблема остаётся нерешённой?
Joannes Vermorel: Нерешённая проблема заключается в оптимизации в условиях неопределённости. Когда вы проводите оптимизацию, как решение головоломки, с фиксированным, статичным будущим и всеми вашими ограничениями, подобные задачи решались ещё с 1980-х. Однако, когда вводится высокая степень случайности, это уже совершенно другая задача. Все наши численные оптимизаторы перестают работать, и поэтому люди возвращаются к суперупрощённым методикам с точками разделения и разобщёнными элементами. MRP является следствием отсутствия надлежащих инструментов для решения проблемы.
Kieran Chandler: Можете ли вы привести ещё один пример, где отрасли в корне упускают суть?
Joannes Vermorel: Конечно. Если рассматривать прогнозирование спроса, каждая проданная единица связана с клиентом. Сегодня, благодаря программам лояльности, почти каждая розничная сеть и платформа электронной коммерции может идентифицировать своих клиентов и точно знать, кто, что, когда и при каких условиях покупал, а также какие товары были доступны. Они понимают, что выбор клиента был ограничен тем, что имелось в наличии в тот момент. Здесь содержится много информации, такой как ассортимент на момент принятия решения о покупке и история клиента. Однако я замечаю, что на рынке почти нет решений, использующих эти данные. Это явный разрыв, и огромный потенциал остаётся нераскрытым.
Kieran Chandler: Какие реальные вызовы в цепочках поставок не затрагиваются даже поверхностно дифференцируемым программированием?
Joannes Vermorel: Существуют «черные задачи», которые, вероятно, не будут решены до появления сильного ИИ или интеллекта уровня человека. Эти задачи связаны с учётом последствий вторичного порядка ваших действий. Например, когда вы проводите акции для модного бренда, вы делаете два шага: распродаёте запасы, что хорошо и может оптимизироваться с помощью дифференцируемого программирования, и одновременно должны учитывать последствия ваших действий с момента, когда вы делаете заказ.
Kieran Chandler: Поставили первые единицы, хорошо. Но какие затем последствия второго порядка? То, что когда вы проводите акции и распродажи, вы фактически приучаете клиентов покупать только в вашем магазине, вашей сети или на вашей электронной платформе только во время акций. И может случиться так, что за десятилетие происходит сдвиг: от того, что люди с удовольствием покупали постоянно, к тому, что большинство клиентов теперь покупают только на распродажах.
Joannes Vermorel: Это как самосбывающееся пророчество, и, явно, сейчас так и происходит. Именно поэтому это называют «черной задачей». Вы можете посмотреть страницу в Википедии. В основе лежит то, что мы имеем дело не с автоматами. Ваши клиенты не автоматизированы; они умны и способны к адаптации. По сути, нужно понимать, что когда вы что-то делаете, люди думают и приспосабливаются к вашим действиям. Вот что я называю последствиями второго порядка.
Когда люди узнают, что вы собираетесь что-то сделать, у них возникают ожидания, и они основывают свои действия на своих представлениях о вас. Это рекурсия, и это нечто очень человеческое, в чём люди действительно преуспевают. Всё это — те самые сложные последствия.
Например, предположим, что вы производитель автомобилей. Вы совершенствуете цепочку поставок для распределения автозапчастей и для собственной сети сервисных центров. Ваш сервис становится настолько хорош, что вы фактически отчуждаете своих исторических партнёров на рынке. Таким образом, вы оптимизируете одну сторону и при этом расстраиваете важных партнёров, которые были с вами всегда. Стоит ли отказываться от оптимизации цепочки поставок только для того, чтобы удовлетворить партнёров? Может быть, может нет. Опять же, это своего рода «черная задача», которая полностью выходит за рамки возможностей любого алгоритма, о котором я знаю; даже самые модные разработки в ИИ, о которых пишут в прессе, даже близко не подходят к решению такой задачи.
Kieran Chandler: Похоже, что эти «черные задачи» — это, вероятно, проблема для завтрашнего дифференцируемого программирования и Skynet, а не для терминаторов. Так почему же именно сейчас пришло время взглянуть на некоторые из этих неразрешимых проблем? Что изменилось в мире технологий, что сделало возможным прорыв дифференцируемого программирования?
Joannes Vermorel: Изменилось то, что мы перешли от технологий, где можно было оптимизировать модели с буквально несколькими сотнями параметров, к моделям, которые могут содержать сотни миллионов параметров. Именно это и дает современный глубокий подход к обучению, особенно для оптимизации в рамках глубокого и дифференцируемого программирования. Это принципиальное изменение, так как проблема многих клиентов, о которых мы говорим, заключается в том, что, если они не совсем маленькие компании, у них задачи набирают масштаб. Даже если это не Walmart, как только у вас появляется, скажем, 50 магазинов, необходимо решать задачи в масштабах. Если в каждом магазине 10 000 продуктов, то речь идёт о полумиллионе SKUs, то есть о полумиллионе переменных для определения цен и запасов каждый день.
Изменилось то, что мы смогли перейти от оптимизации задач с несколькими сотнями переменных к оптимизации миллионов. Вдруг стало возможным решать массу ранее невидимых проблем. Примечательно, что в случае глубокого обучения это было сочетание прогресса в аппаратном и программном обеспечении. ИИ по-прежнему ускоренно развивается, и процессоры с большим количеством ядер и сырой вычислительной мощностью продолжают совершенствоваться довольно быстро. Но помимо этого, ещё быстрее происходят серии прорывов, когда оборудование, которое через два года даст вам 10 единиц вычислительной мощности, уже сегодня изменяет правила игры.
Kieran Chandler: Возможно, скоро будет 20 единиц, или, может быть, это произойдёт через 3 года — замечательный экспоненциальный рост за период в три года или что-то в этом роде. Но если каждые шесть месяцев появляются программные или математические прорывы, которые удваивают эффективность имеющегося алгоритма, то прогресс становится драматически быстрее. Именно это и происходит с глубоким обучением. Аппаратное обеспечение росло постоянно, но этот рост был полностью усилен рядом прорывов в алгоритмах и математике, когда буквально из того же оборудования вы получали в два раза больше мощности. Ускорение происходило в течение последнего десятилетия, и результатом стало то, что мы перешли от моделей с несколькими сотнями переменных к моделям, содержащим сотни миллионов в считанные годы. Возможно, не буквально, но это дает общее представление. Так что, я бы сказал, что многое изменилось в том, что теперь можно решать задачи в масштабах быстро и недорого. Будет ли этот рост продолжаться или развивается настолько, насколько это необходимо?
Joannes Vermorel: На данный момент, я думаю, мы достигли точки убывающей отдачи. Большинство проблем, с которыми мы сталкиваемся сейчас, не связаны с дефицитом вычислительной мощности; у нас её избыток. Проблемы, которые мы могли бы решить, если бы вычислительная мощность была в десять раз дешевле, встречаются крайне редко, и когда существуют методы, позволяющие инвестировать гораздо больше вычислительной мощности для небольшого улучшения, выгода оказывается исключительно маргинальной. Вы можете добиться дополнительной точности на 0,2% при десятикратном увеличении ЦП, но это просто не стоит того. Лучше переосмыслить весь процесс. Я считаю, что основная проблема сейчас заключается в том, какую выразительность можно придать решаемым задачам, как вписать их в определённую схему. Дифференцируемое программирование не является противоположностью этого; оно стремится к максимальной выразительности, чтобы многие задачи, ранее оставшиеся нерешёнными, просто вошли в область того, что можно сделать с его помощью.
Kieran Chandler: Давайте попробуем подвести итоги, и что же, с точки зрения дифференцируемого программирования, это означает для специалиста по цепочке поставок? Какие преимущества он сможет увидеть и как это изменит его текущий подход?
Joannes Vermorel: Дифференцируемое программирование станет огромным шагом вперёд в устранении силосов. Мы выпускали эпизод, кажется, 20 эпизодов назад, о всех этих силосах — как вертикальных, так и горизонтальных. На самом деле, я говорил, что мы должны просто избавиться от этих силосов, но, возможно, у людей возникнут возражения. Да, это имеет смысл, ведь очевидно, что существуют неиспользованные возможности повышения эффективности, которые можно устранить и оптимизировать, если у нас будут для этого инструменты, но технология пока не готова. Поэтому пока мы вынуждены мириться с силосами из-за отсутствия альтернативы. Я считаю, что дифференцируемое программирование конкретно открывает дверь для объединения ценообразования с ассортиментом, обработки ассортимента, ценообразования ассортимента или закупок с ценообразованием. Можно видеть множество задач, которые ранее решались по отдельности, а теперь можно сказать: «Давайте решать их совместно». Это также потребует переосмысления того, как организованы компании, ведь старые силосы не выживут в новом мире, когда компании пойдут по пути Amazon, разрушая эти силосы и проводя кросс-оптимизацию между направлениями.
Kieran Chandler: Отлично, спасибо за ваше время сегодня. Это тема на эту неделю. Большое спасибо, что были с нами,
