00:00:08 A/B тестирование и его применение в маркетинге и цепях поставок.
00:01:47 Примеры A/B тестирования в маркетинге и цепях поставок.
00:03:41 Проблемы с A/B тестированием в цепях поставок и как оно замещает проблемы.
00:06:02 Проблемы замещения и взаимосвязь в A/B тестировании цепей поставок.
00:07:45 Цепи поставок как взаимосвязанные системы и вызовы A/B тестирования.
00:09:58 Ограничения A/B тестирования в управлении цепями поставок.
00:11:45 Обучение с подкреплением для цепей поставок.
00:13:22 Балансировка исследования и эксплуатации в принятии решений.
00:15:01 Случайность для более глубокого понимания цепей поставок.
00:17:08 Компании, исследующие альтернативных поставщиков и рынки.
00:19:39 Количественная оценка ценности знаний в принятии деловых решений.
00:20:52 Как Lokad оптимизирует деловые решения, учитывая вторичные эффекты.
00:23:42 Будущая важность исследования и количественная оценка его ценности для компаний.
Резюме
В этом интервью Киран Чандлер беседует с основателем Lokad Джоаннесом Верморелем о A/B тестировании и его ограничениях в оптимизации цепи поставок. Они обсуждают историю и применение A/B тестирования, которое популярно в маркетинге, но менее популярно в управлении цепями поставок. Верморель утверждает, что A/B тестирование недостаточно для оптимизации цепи поставок из-за взаимосвязанной природы цепей поставок и ограниченного обучения, которое оно предоставляет. Вместо этого он предлагает применение подхода машинного обучения и введение случайности в принятие решений. Путем непрерывного исследования альтернативных вариантов и количественной оценки знаний Верморель считает, что передовые компании могут улучшить свои процессы цепи поставок, обеспечивая оптимизацию и улучшение со временем.
Расширенное резюме
В этом интервью Киран Чандлер обсуждает A/B тестирование и его применение в оптимизации цепи поставок с Джоаннесом Верморелем, основателем компании Lokad, специализирующейся на оптимизации цепи поставок. Они начинают с объяснения, что такое A/B тестирование и его истории, прежде чем перейти к его применению, ограничениям и альтернативам.
A/B тестирование, являющееся частью экспериментального дизайна, включает тестирование двух вариантов друг против друга для определения их эффективности. Метод, вероятно, возник в конце 19 века, хотя записи неясны из-за его интуитивной природы. A/B тестирование является частью научного метода и более широкой области проектирования экспериментов, которая стремится получить истинные факты о высказываниях или гипотезах.
A/B тестирование особенно популярно в маркетинге, где оно используется для оценки эффективности рекламных материалов, таких как информационные бюллетени или реклама. Примером A/B тестирования в маркетинге является разделение базы данных клиентов на две случайные группы и отправка версии A информационного бюллетеня первой группе, а версии B - второй группе. Затем результаты измеряются для определения, какая версия показала себя лучше.
В начале 2000-х годов Google провел серию A/B тестов, чтобы определить оптимальное количество результатов поиска, отображаемых на странице результатов поиска. Тесты помогли компании балансировать время загрузки страницы и удовлетворенность пользователей, в конечном итоге приведя к решению отображать около 10 результатов на странице.
Хотя A/B тестирование менее популярно в управлении цепями поставок, Lokad часто просит, явно или неявно, проводить A/B тесты для своих клиентов. В контексте цепей поставок A/B тестирование обычно включает сравнение производительности набора магазинов, управляемых системой оптимизации запасов Lokad, с набором сравнимых магазинов, управляемых существующей системой клиента. Сравнение проводится в течение определенного периода, например, трех месяцев, и может называться эталоном или пилотом.
Верморель утверждает, что A/B тестирование может показаться рациональным подходом для сравнения двух методов, но оно может быть проблематичным для оптимизации цепей поставок из-за взаимосвязанной природы цепей поставок.
Верморель объясняет, что в цепи поставок проблемы часто перемещаются, а не решаются. При сравнении производительности двух разных методов оптимизации они могут быть не независимыми, так как они конкурируют за одни и те же ресурсы. Это приводит к ситуации, когда оптимизация одного метода может быть выполнена за счет другого. Взаимосвязанная природа цепей поставок также означает, что когда одна часть подвергается воздействию, это может повлиять на другие части, что затрудняет выделение и измерение влияния отдельной переменной.
Еще одной проблемой A/B тестирования в контексте цепей поставок является ограниченное количество получаемой информации. A/B тестирование проверяет только одну гипотезу за раз, генерируя небольшое количество информации. Это может быть достаточно, если вы ищете абсолютную уверенность в чем-то, во что вы сильно верите, но цепи поставок постоянно меняются, и медленный темп A/B тестирования может не успевать за изменяющимися потребностями.
Верморель также указывает на проблему сезонности, которая может повлиять на достоверность результатов A/B тестирования. Для учета этого тест может потребоваться проводить в течение 12 месяцев, но это часто неосуществимо, так как он дает только одну информацию о том, какая система лучше. Кроме того, разные системы могут быть лучше для разных типов продуктов или ситуаций, что дополнительно ограничивает полезность A/B тестирования.
Вместо полаганиясь на A/B тестирование, Верморель предлагает рассмотреть проблему с точки зрения машинного обучения. Этот подход сосредотачивается на активном извлечении информации из данных, что может быть более эффективным для понимания сложных и взаимосвязанных систем, таких как цепи поставок. Рассматривая, как решения влияют на наблюдения, становится возможным лучше узнать о спросе и оптимизировать операции цепи поставок.
Верморель объясняет, что бизнесам следует сбалансировать оптимизацию своих текущих процессов с исследованием альтернативных вариантов. Это может включать введение случайности в принятие решений, что может помочь предотвратить застревание компаний в локальном минимуме - ситуации, когда они считают, что нашли лучшее решение, но на самом деле существует более лучшее, если они отклонятся от своего текущего подхода.
Один из способов внести случайность - это экспериментировать с разными продуктами или поставщиками. Например, розничная сеть может добавить несколько случайных продуктов в свой ассортимент в каждом магазине или протестировать альтернативных поставщиков, чтобы оценить их надежность и предложения по продукции. Компании в отрасли автозапчастей даже реализовали такой подход, передавая часть своих заказов поставщикам, которые изначально не предлагают лучшие цены или условия, просто чтобы протестировать ситуацию.
Хотя может показаться, что компаниям не имеет смысла вводить такую случайность в свои процессы, Верморель утверждает, что такой подход на самом деле может улучшить прибыльность в долгосрочной перспективе. Постоянное изучение своего рынка позволяет бизнесам обнаруживать новые идеи, которые могут иметь значительное влияние на их финансовые показатели. Например, они могут обнаружить, что могут повысить или понизить цены без влияния на продажи, что приведет к увеличению доходов или экономии на масштабе.
Внедрение случайности в процесс принятия решений позволяет компаниям тестировать альтернативные рынки, поставщиков, ценовые точки и даже структуры организации цепочки поставок. Эта инвестиция в исследования помогает бизнесам обнаруживать незначительные вариации, которые лучше подходят для их операций, что в свою очередь может способствовать росту и улучшению общей производительности.
Йоанн Верморель, основатель Lokad, обсуждает важность исследования и количественной оценки знаний внутри компании. Он ссылается на статью, опубликованную более десяти лет назад, в которой представлен алгоритм под названием “цена покера знаний и ожидаемая награда”, который может помочь количественно оценить стоимость и вознаграждение от исследований. Верморель подчеркивает, что компании должны оптимизировать реальные выгоды, такие как доллары, а не произвольные цели. Он предсказывает, что передовые компании все больше будут вводить исследования и случайность в свои процессы цепочки поставок для оптимизации и улучшения со временем.
Полный текст
Киран Чандлер: Сегодня мы обсудим, почему эта техника является крайне слабой и попытаемся понять, какие альтернативные методы мы можем использовать для более эффективного тестирования наших цепочек поставок. Итак, Йоанн, может быть, вы начнете, как всегда, рассказав нам немного больше о том, что такое A/B-тестирование.
Йоанн Верморель: A/B-тестирование - это метод проверки гипотезы на истинность, обычно путем сравнения двух групп, но может быть и более двух групп. Точно неизвестно, когда оно было изобретено. Я бы предположил, что это произошло где-то в конце 19 века, но записи неоднозначны, и, вероятно, потому что это нечто настолько интуитивное, люди задумывались об этом намного раньше, просто это не было ясно задокументировано и не обязательно называлось A/B-тестированием. Интересно то, что это является частью научного метода, который относится к области проектирования экспериментов, научному способу получения истинных фактов о любом утверждении, которое можно сделать. Он не докажет, что любое утверждение истинно, но он может дать научный ответ на вопрос, является ли ваша гипотеза истинной или нет.
Киран Чандлер: Какие типы экспериментов мы здесь на самом деле обсуждаем?
Йоанн Верморель: A/B-тестирование чрезвычайно популярно в маркетинге. В сфере цепочки поставок оно гораздо менее популярно. В маркетинге оно широко используется для таких вещей, как рекламные рассылки. Например, если вы рекламируете один продукт первым, а другой продукт вторым, вы можете разделить свою базу клиентов на две случайные группы, отправить версию A вашей рассылки первой группе, а версию B - второй группе, а затем измерить результат. Это довольно эффективный способ проведения A/B-тестирования.
Киран Чандлер: Итак, идея заключается в том, чтобы отправить две вещи и посмотреть, какая из них работает лучше?
Йоанн Верморель: Именно. Вы проверяете гипотезу. Например, Google очень известно провел серию A/B-тестов в начале 2000-х годов, чтобы определить, сколько результатов поиска оптимально с точки зрения отображения. Они нашли баланс через A/B-тестирование, который составлял около 10 результатов на тот момент.
Киран Чандлер: Почему это интересно для нас здесь, в Lokad? Наши клиенты действительно просят об этом?
Йоанн Верморель: В сфере цепочки поставок нам часто задают вопросы, явно или иногда неявно, о проведении A/B-тестов. В сфере цепочки поставок A/B-тестирование принимает другую форму. Например, люди могут сказать: “Давайте пусть Lokad управляет 10 магазинами с помощью своей системы оптимизации запасов, в то время как 10 других сравнимых магазинов управляются через старую систему. Мы будем работать так в течение трех месяцев и сравним результаты”. Они могут называть это бенчмарком, но на самом деле это A/B-тестирование.
Киран Чандлер: Здесь происходит своего рода A/B-тестирование, и это звучит довольно разумно. Кажется, вам нужен способ сравнить эти два разных подхода. Как это работает на самом деле?
Йоанн Верморель: Суть проблемы в том, что это кажется очевидным и разумным. Вы можете сказать, что это разумный способ сравнить эти два метода. Я просто меняю одну переменную, например, программное обеспечение, управляющее запасами, и убеждаюсь, что мой эксперимент является репрезентативным. Поэтому я беру несколько магазинов и более длительный период, например, три месяца, чтобы обеспечить статистическую значимость. Все это выглядит довольно разумно и логично. Но есть “но” - это сложнее, чем кажется. Проблемы, которые я имею с этими бенчмарками, являются примерами наивного рационализма в моей книге. Это выглядит очень научно, но на самом деле это не совсем научно или рационально; это просто кажется таким.
Проблема в управлении цепочкой поставок заключается в том, что вы склонны перемещать проблемы, а не решать их. Например, у вас есть эти 20 магазинов в тесте. Это выглядит очень рационально. Проблема в том, что все эти магазины конкурируют с одним и тем же запасом на центре распределения. Если я, будучи Lokad, программным обеспечением, захочу сжульничать, я могу увеличить свои результаты, потребляя большое количество запасов, улучшая производительность моего магазина за счет других магазинов. И если у вас есть бенчмарк, который говорит, что целью является максимизация производительности этих десяти магазинов, математическая оптимизация сделает это за счет других магазинов. Таким образом, между магазинами существует обратная связь, потому что они конкурируют через одного и того же дистрибьютора за один и тот же запас на центре распределения. Это всегда происходит в цепочках поставок; это система, и она взаимосвязана по своему дизайну.
Цепочки поставок позволяют достичь огромных выгод в плане эффективности, надежности, стоимости и экономии масштаба. Но есть обратная сторона - поскольку это одна система, если вы касаетесь одной части, вы склонны влиять на другие части.
Киран Чандлер: Какой подход был бы лучше? Следует ли попробовать одну технику в течение шести месяцев в двадцати местах, а затем другую технику в течение шести месяцев?
Йоанн Верморель: Еще одна проблема, которую я имею с таким рода бенчмарками, заключается в том, что вы узнаете очень мало о своей системе. A/B-тестирование обычно недооценивается, потому что вы тестируете только одну гипотезу за раз. В терминах информации речь идет о небольшом количестве информации, всего лишь нуле или единице. Это даже не байт, а всего лишь бит. И это даже не полный бит, потому что у вас будет только степень уверенности в ваших результатах. Так что то, что вы узнаете, похоже на долю бита, что звучит очень мало, и на самом деле это очень мало. Основная критика A/B-тестирования заключается в том, что вы узнаете очень мало о своей системе.
Киран Чандлер: Тестирование хорошо, если вы хотите иметь абсолютную уверенность в чем-то, в чем вы очень уверены. Например, вы можете провести A/B-тестирование, чтобы окончательно подтвердить, что вы были правы, но проблема в том, что вы предполагаете, что вы уже знаете истину. Вот почему это очень хорошо работает для науки. В научных методах люди собирают улики очень косвенными способами, и когда они собрали гору улик, они проводят A/B-тестирование, чтобы подтвердить свою гипотезу более прямым способом. Но это будет очень дорого и медленно, и это будет окончательное подтверждение, поставившее точку вопроса и закрывшее дело навсегда.
Йоанн Верморель: Проблема с цепочками поставок в том, что все меняется постоянно. Ваша сеть - это постоянно меняющееся существо. Если вы хотите провести A/B-тестирование для оптимизации цепочки поставок, вам может понадобиться 12 месяцев вместо трех из-за сезонности. Но тогда, кто может позволить себе 12 месяцев, чтобы получить одну единицу информации о том, какая из двух систем лучше? На рынке есть так много других альтернатив, и вы можете провести только столько испытаний. Система A может быть лучше для медленно движущихся товаров, в то время как система B может быть лучше для быстро движущихся товаров. Иметь всего одну единицу информации - это очень слабо, и это не даст вам никакого представления о лучшем варианте.
Проблема с A/B-тестированием заключается в том, что вы тестируете только два возможных пути, а в цепи поставок существует миллионы возможных путей. Как мы можем получить информацию о всех этих возможностях?
Кирен Чандлер: Итак, в цепи поставок у нас есть миллионы возможных путей. Как мы можем получить информацию о всех этих возможностях?
Жоанн Верморель: Это очень интересный вопрос, и более современная перспектива на этот случай - это обучение с подкреплением. Когда вы думаете о том, как работает обучающий движок, вы можете извлекать информацию из данных пассивно, как если бы данные поступали, и вы хотите узнать, или активно, когда то, что вы делаете, влияет на то, что вы наблюдаете, что и является случаем в управлении цепями поставок. Например, если вы решите не продавать товар в магазине, вы никогда не увидите спрос на этот товар в этом магазине.
A/B-тестирование - это способ получения знаний, но оно невероятно медленное. Если бы вы должны были научиться ходить через A/B-тесты, это заняло бы миллион лет, чтобы научиться ходить. Оно очень мощно для научной уверенности, но оно не может быть процессом, который приводит к истине.
В управлении цепями поставок более современная перспектива - это обучение с подкреплением, где вы думаете о компромиссе между исследованием и использованием. У вас есть предположение о том, что хорошо, но вы не полностью уверены, что это всегда лучшее, поэтому вы хотите сделать то, что называется исследованием. Вы немного рандомизируете свои действия, чтобы узнать больше о системе.
Кирен Чандлер: У вас есть процесс оптимизации, который пытается оптимизировать, знаете ли, согласно определенным метрикам, некоторый алгоритм, который направляет вас к тому, что вы считаете оптимальным согласно вашим собственным измерениям. Но проблема в том, что если вы это делаете, вы можете застрять в способе делать вещи, который, знаете ли, математически это то, что люди называют локальным минимумом. Вы пытаетесь минимизировать свою функцию стоимости, и вы застреваете в области, похожей на локальный минимум, где это выглядит хорошо. Если вы отклонитесь от этой точки, кажется, что вы находитесь в оптимуме, но на самом деле, если вы хотите иметь что-то гораздо лучше, вам нужно отклониться.
Жоанн Верморель: Так что, в основном, мы говорим о введении определенного процента вашего решения, которое на самом деле может быть неправильным и может не соответствовать вашей оптимизации. Но это в основном введение этого определенного процента потенциальной ошибки, чтобы узнать больше о том, что могло бы возможно сработать. И, очевидно, это связано с экспериментированием. Вы не хотите делать безумные вещи, но, например, если у вас есть большая розничная сеть, идея заключается в том, чтобы изменить ваш ассортимент. Вы можете решить, что все время в каждом отдельном магазине вы будете вводить несколько товаров, которые обычно не входят в ассортимент, практически случайным образом. Очевидно, вы не будете пытаться сделать это с супер дорогими товарами, например, с дорогой садовой машиной, если у вас есть магазин, который находится в центре города. Вы не делаете вещи, которые совершенно абсурдны, но вы вводите некоторую случайность, чтобы попробовать, если некоторые товары неожиданно не получат большого спроса только потому, что вы попробовали их в центре города, и обычно вы думали, что этот товар не подходит для этой области. Оказалось, что, возможно, это так. Поэтому вы хотите ввести некоторую случайность.
Это можно сделать в цепи поставок, например, иногда попробовать других поставщиков, чтобы протестировать воду в терминах сроков поставки. У вас есть ваш постоянный поставщик, и вы просто передаете несколько заказов конкурентам, чтобы посмотреть, как это будет. И я даже видел компании, в автомобильной отрасли, например, которые автоматически внедряют это, где определенная часть заказов, передаваемых поставщикам, изначально не передается поставщикам, предлагающим лучшую цену и лучшие условия, а просто передается для проверки ситуации и увидеть, насколько надежен поставщик и соответствуют ли продукты ожиданиям в терминах процесса заказа, то есть когда вы заказываете определенную деталь, это действительно эта деталь, а не другая.
Кирен Чандлер: Это кажется очень удивительным, потому что компании, в целом, обычно так сильно ориентированы на прибыльность и действуют максимально эффективно, максимизируя эту конечную цифру. Они фактически вводят этих разных поставщиков только для тестирования вещей. Но это сложно внедрить?
Жоанн Верморель: Это, опять же, я бы сказал, наивный рациональный подход был бы сказать: “О, мы просто оптимизируем напрямую”. Но это ни рационализм, ни лучший подход. Если начать думать о вторичных эффектах, идея заключается в том, что вы всегда хотите узнавать о своем рынке. Вы хотите тестировать альтернативных поставщиков, альтернативные рынки для ваших клиентов, альтернативные ценовые точки, потому что идея заключается в том, что знание имеет цену и оно ценно. Вы можете получить большие вознаграждения.
Например, вы можете застрять и понять, что продаете свой продукт по определенной цене, но на самом деле вы можете повысить цену, и он все равно будет продаваться примерно так же. Просто вы никогда не пробовали; вы не думали, что люди воспринимают ваш продукт так ценным, как они есть.
Кирен Чандлер: Реальность заключается в том, что обычно вы застреваете в том, что делали до сих пор. Или, может быть, иногда наоборот – на самом деле вы продаете свой продукт по слишком высокой цене. И если бы вы попытались снизить цену, вы бы фактически значительно увеличили спрос, и тогда у вас были бы экономии масштаба, которые начали бы действовать. И тогда вы могли бы производить по более низкой цене и иметь вещи, которые набирают обороты в достижении большого роста для компании. Так что идея заключается в том, что эта случайность, которую можно внести, на самом деле является инвестицией, которую вы делаете в идею того, что вы собираетесь обнаружить небольшие вариации, которые лучше подходят для вашей компании. Это могут быть вариации в ваших ценовых точках, в ваших поставщиках или даже в организации вашей цепочки поставок, таких как то, какой склад обеспечивает какие заводы или наоборот. Есть ли способ количественно оценить это знание и фактически определить, сколько это знание стоит для компании?
Жоанн Верморель: Фактически, да. Я даже опубликовал статью более десяти лет назад под названием “POKER: Цена знания и ожидаемая награда”. Так что, если вы действительно хотите сделать это по-крупному, вы можете буквально количественно оценить стоимость исследования по сравнению с вознаграждением исследования, то есть то, что вы получаете, имея определенную перспективу. Потому что очевидно, что вам нужно продолжать играть – это идея повторяющейся игры, где вы играете в одну и ту же игру снова и снова. И когда вы исследуете, вы делаете вещи, которые обычно менее оптимальны, но иногда вы находите золотую середину, и затем вы можете использовать это открытие. Но идея заключается в том, что для этого вам нужно иметь алгоритм, особенно, я бы сказал, на стороне машинного обучения, который действительно может воспользоваться этим шумом в ваших данных и использовать его для изучения не только небольшой информации, но и гораздо большей. И снова, это не просто как тест A/B, где вы просто устанавливаете свой процент или что-то в этом роде. Это что-то, что способно улавливать, я бы сказал, гораздо более размытые паттерны, где у вас есть множество взаимосвязанных эффектов, которые могут повысить производительность в очень высокоразмерной ситуации.
Кирен Чандлер: Как этот подход соотносится с тем, что мы делаем здесь, в Lokad? Потому что то, что мы делаем здесь, в Lokad, это своего рода оптимизация бизнес-решений, которые могут быть приняты в любой момент. Мы внедряем этот вид шума, делаем вещи, которые намеренно немного неправильны.
Жоанн Верморель: Да, и это принципиально противоречит этой вере. Я имею в виду, не мою веру, но когда вы действительно хотите учесть вторичные эффекты. В Lokad мы действительно стараемся применять не иррационализм, а быть рациональными, учитывая эти другие эффекты, которые являются сложными. В течение первого десятилетия существования Lokad, для подавляющего большинства наших клиентов, они даже не оптимизировали ничего. Они оптимизировали проценты ошибок, что по моему мнению, даже не является оптимизацией. Если вы оптимизируете проценты ошибок, вы даже не знаете, что делаете для своей компании. Вам нужно оптимизировать доллары. Первый шаг - перейти к процессу оптимизации, где вы действительно пытаетесь оптимизировать, а не просто повторять цели, которые полностью произвольны. Теперь мы видим, что с нашими самыми продвинутыми клиентами, особенно в сфере электронной коммерции, сейчас, когда этот процесс оптимизации на месте, начинает появляться идея исследования. Обычно это начинается с таких вещей, как ценообразование, которое, снова же, с моей точки зрения, очень сильно входит в область цепочки поставок, потому что именно оттуда идет спрос. Вам нужно иметь хорошую цену, и цена объясняет спрос на значительную часть. Но цена - это, конечно, не единственная область, где вы хотите проводить исследования. Что я вижу на ближайшие несколько лет, так это то, что я думаю, что компании, чтобы оставаться передовыми, должны иметь амбиции быть передовыми в области своей цепочки поставок. Они будут все больше вводить идею некоторого исследования и рандомизации, просто чтобы генерировать результаты, которые улучшают сам процесс оптимизации со временем.
Кирен Чандлер: Итак, в заключение, можно сказать, что в будущем мы будем придавать гораздо большее значение этому виду исследования и значимости количественной оценки, которую это дает вашей компании в плане знаний.
Жоанн Верморель: Именно так, отлично.
Кирен Чандлер: Хорошо, мы должны закончить на сегодня. Спасибо за ваше время.
Жоанн Верморель: Это все на сегодня. Большое спасибо за внимание, и увидимся в следующий раз.
Кирен Чандлер: Спасибо за просмотр.
