00:00:08 A/B-тестирование и его применение в маркетинге и цепях поставок.
00:01:47 Примеры A/B-тестирования в маркетинге и цепях поставок.
00:03:41 Проблемы A/B-тестирования в цепях поставок и то, как оно смещает проблемы.
00:06:02 Проблемы смещения и взаимосвязь в A/B-тестировании цепей поставок.
00:07:45 Цепи поставок как взаимосвязанные системы и сложности A/B-тестирования.
00:09:58 Ограничения A/B-тестирования в управлении цепями поставок.
00:11:45 Применение обучения с подкреплением в цепях поставок.
00:13:22 Баланс между исследованием и эксплуатацией в принятии решений.
00:15:01 Использование случайности для получения лучших инсайтов в цепях поставок.
00:17:08 Компании, исследующие альтернативных поставщиков и рынки.
00:19:39 Оценка стоимости знаний в принятии бизнес-решений.
00:20:52 Как Lokad оптимизирует бизнес-решения, учитывая эффекты второго порядка.
00:23:42 Будущая важность исследования и оценка его ценности для компаний.
Резюме
В этом интервью Киран Чендлер беседует с Жоаннесом Верморелем, основателем Lokad, о A/B-тестировании и его ограничениях в оптимизации цепей поставок. Они обсуждают историю и применение A/B-тестирования, которое популярно в маркетинге, но используется реже в управлении цепями поставок. Верморель утверждает, что A/B-тестирование недостаточно для оптимизации цепей поставок из-за взаимосвязанной природы этих систем и ограниченного объема получаемых знаний. Вместо этого он предлагает использовать подход на основе машинного обучения и внедрять случайность в принятие решений. Постоянно исследуя альтернативные варианты и оценивая знания, Верморель считает, что передовые компании могут совершенствовать свои процессы в цепях поставок, способствуя оптимизации и улучшению со временем.
Расширенное резюме
В этом интервью Киран Чендлер обсуждает A/B-тестирование и его применение в оптимизации цепей поставок с Жоаннесом Верморелем, основателем Lokad — компании, занимающейся разработкой программного обеспечения для оптимизации цепей поставок. Они начинают с объяснения, что такое A/B-тестирование и какова его история, прежде чем перейти к его применению, ограничениям и альтернативным подходам.
A/B-тестирование, являющееся подмножеством экспериментального дизайна, заключается в сравнении двух вариантов друг с другом для определения их эффективности. Метод, вероятно, возник в конце XIX века, хотя данные об этом неясны из-за его интуитивной природы. A/B-тестирование является частью научного метода и более широкой области дизайна экспериментов, целью которой является получение крупиц истины относительно любого утверждения или гипотезы.
A/B-тестирование особенно популярно в маркетинге, где его используют для оценки эффективности рекламных материалов, таких как информационные бюллетени или объявления. Пример A/B-тестирования в маркетинге заключается в разделении клиентской базы на две случайные группы: первой группе отправляют версию A информационного бюллетеня, а второй — версию B, после чего измеряют результаты, чтобы определить, какая версия показала лучшие показатели.
В начале 2000-х годов Google провел серию A/B-тестов, чтобы определить оптимальное количество результатов поиска для отображения на странице результатов поисковой системы. Тесты помогли компании найти баланс между временем загрузки страницы и удовлетворенностью пользователей, что в конечном итоге привело к решению отображать около 10 результатов на странице.
Несмотря на то, что A/B-тестирование менее популярно в управлении цепями поставок, у Lokad часто просят, прямо или косвенно, провести A/B-тесты для их клиентов. В контексте цепей поставок A/B-тестирование обычно включает сравнение эффективности группы магазинов, управляемых системой оптимизации запасов от Lokad, с группой сопоставимых магазинов, управляемых существующей системой клиента. Такое сравнение проводится на протяжении определенного периода, например, трех месяцев, и может называться эталонным тестом или пилотным проектом.
Верморель утверждает, что A/B-тестирование может показаться рациональным способом сравнения двух методов, но оно может быть проблематичным для оптимизации цепей поставок из-за их взаимосвязанной природы.
Верморель объясняет, что в цепях поставок проблемы часто смещаются, а не решаются. При сравнении эффективности двух различных методов оптимизации они могут быть не независимыми, так как конкурируют за одни и те же ресурсы. Это приводит к ситуации, когда оптимизация одного метода достигается за счет другого. Взаимосвязанная природа цепей поставок также означает, что воздействие на одну часть системы может повлиять на другие, что затрудняет изоляцию и измерение влияния одной переменной.
Еще одной проблемой A/B-тестирования в контексте цепей поставок является ограниченное количество знаний, которые оно предоставляет. A/B-тестирование проверяет только одну гипотезу за раз, генерируя ограниченный объем информации. Это может быть достаточно, если требуется абсолютная уверенность в чем-то, во что вы твердо верите, но цепи поставок постоянно меняются, и медленный темп A/B-тестирования может не соответствовать эволюции потребностей.
Верморель также отмечает проблему сезонности, которая может повлиять на достоверность результатов A/B-тестирования. Для учета сезонности тест может потребовать проведения в течение 12 месяцев, но это часто нецелесообразно, поскольку предоставляет лишь единичную информацию о том, какая система лучше. Кроме того, разные системы могут быть более эффективны для различных типов продуктов или ситуаций, что дополнительно ограничивает полезность A/B-тестирования.
Вместо того чтобы полагаться на A/B-тестирование, Верморель предлагает рассмотреть проблему с точки зрения машинного обучения. Этот подход направлен на активное извлечение информации из данных, что может быть более эффективным для понимания сложных и взаимосвязанных систем, таких как цепи поставок. Учитывая, как решения влияют на наблюдения, становится возможным глубже понять спрос и оптимизировать операции цепей поставок.
Верморель объясняет, что предприятия должны находить баланс между оптимизацией текущих процессов и поиском альтернативных вариантов. Это может включать внедрение случайности в процесс принятия решений, что помогает компаниям избежать застревания в локальном минимуме – ситуации, когда кажется, что найдено наилучшее решение, хотя при изменении подхода может существовать более эффективное решение.
Один из способов внедрения случайности заключается в экспериментировании с различными продуктами или поставщиками. Например, розничная сеть может добавить несколько случайных продуктов в ассортимент каждого магазина или протестировать альтернативных поставщиков, чтобы оценить их надежность и ассортимент товаров. Компании в автомобильной послепродажной индустрии даже реализовали этот подход, перераспределяя часть заказов к поставщикам, которые первоначально не предлагали лучшие цены или условия, просто чтобы опробовать ситуацию.
Хотя может показаться противоречивым, что компании внедряют такую случайность в свои процессы, Верморель утверждает, что этот подход в долгосрочной перспективе может улучшить прибыльность. Постоянно изучая свой рынок, предприятия могут выявлять новые инсайты, способные значительно повлиять на их финансовые результаты. Например, они могут обнаружить, что возможно повысить или понизить цены, не влияя на объем продаж, что приведет к увеличению доходов или сокращению затрат за счет эффектов масштаба.
Внедрение случайности в процесс принятия решений позволяет компаниям тестировать альтернативные рынки, поставщиков, ценовые уровни и даже организационные структуры цепей поставок. Эти инвестиции в исследование помогают бизнесу обнаружить небольшие вариации, которые лучше подходят для их операций, что, в свою очередь, может стимулировать рост и улучшать общую эффективность.
Жоаннес Верморель, основатель Lokad, обсуждает важность исследования и количественной оценки знаний внутри компании. Он ссылается на статью, опубликованную им более десяти лет назад, в которой он представил алгоритм под названием “poker price of knowledge and estimated reward”, способный количественно оценить стоимость и вознаграждение за проведение исследований. Верморель подчеркивает, что компании должны стремиться к реальной выгоде, такой как увеличение доходов, а не к произвольным показателям. Он прогнозирует, что передовые компании все чаще будут внедрять элементы исследования и случайности в свои процессы цепей поставок для оптимизации и постоянного улучшения.
Полная транскрипция
Kieran Chandler: Сегодня мы обсудим, почему эта методика является крайне неэффективной, и рассмотрим некоторые альтернативные подходы, которые мы можем использовать для более эффективного тестирования наших цепей поставок. Итак, Жоаннес, начните, пожалуйста, как всегда, с того, чтобы рассказать нам немного больше о том, что такое A/B-тестирование.
Joannes Vermorel: A/B-тестирование — это метод проверки истинности гипотезы, обычно посредством сравнения двух групп, хотя может применяться и к большему количеству групп. Точное время его изобретения неясно. Я полагаю, что оно возникло где-то в конце XIX века, но данные об этом расплывчаты, вероятно, потому что идея настолько интуитивна, что о ней задумывались гораздо раньше, просто это не было четко задокументировано и не называлось A/B-тестированием. Интересно то, что этот метод является частью научного метода и относится к области дизайна экспериментов — научного способа получения крупиц истины о любом заявлении. Он не доказывает истинность какого-либо утверждения, но может дать научный ответ на вопрос, верна ли ваша гипотеза или нет.
Kieran Chandler: Так, о каких именно типах экспериментов мы здесь говорим?
Joannes Vermorel: A/B-тестирование чрезвычайно популярно в маркетинге. В цепях поставок оно используется гораздо реже. В маркетинге его активно применяют для таких вещей, как рекламные рассылки. Например, если вы сначала рекламируете один продукт, а затем другой, вы можете разделить базу клиентов на две случайные группы, отправив первой группе версию A, а второй — версию B рассылки, и затем оценить результаты. Это довольно эффективный способ проведения A/B-тестирования.
Kieran Chandler: То есть, идея в том, что вы разосылаете два варианта и смотрите, какой из них работает лучше?
Joannes Vermorel: Именно. Вы проверяете гипотезу. Например, Google провел серию известных A/B-тестов в начале 2000-х, чтобы определить, сколько результатов поиска оптимально отображать. С помощью A/B-тестирования они нашли баланс, который тогда составлял около 10 результатов.
Kieran Chandler: Почему это представляет интерес для нас в Lokad? Разве наши клиенты действительно спрашивают об этом?
Joannes Vermorel: В цепях поставок нас часто просят, то явно, то косвенно, провести A/B-тесты. В этом контексте A/B-тестирование принимает другую форму. Например, говорят: “Давайте позволим Lokad управлять 10 магазинами с их системой оптимизации запасов, а 10 другим сопоставимым магазинам — старой системой. Проведем тест в течение трех месяцев и сравним результаты.” Это может называться эталонным тестом, но на самом деле это A/B-тест.
Kieran Chandler: По сути, здесь проводится A/B-тест, и это звучит достаточно рационально. Кажется, что необходим способ сравнения этих двух подходов. Так как же это работает в реальном мире?
Joannes Vermorel: Суть проблемы в том, что все выглядит очевидно и разумно. Можно сказать, что это кажется логичным способом сравнения двух методов. Я просто изменяю одну переменную, например, программное обеспечение, управляющее запасами, и убеждаюсь, что мой эксперимент репрезентативен. Для этого я выбираю несколько магазинов и провожу тест в течение более длительного периода, скажем, трех месяцев, чтобы обеспечить статистическую значимость. Всё это выглядит достаточно разумно и логично. Но есть одно “но” — всё гораздо сложнее, чем кажется. Проблемы, которые я наблюдаю в этих эталонах, на мой взгляд, являются примерами наивного рационализма. Всё выглядит очень научно, но на самом деле это не так супернаучно и рационально; создается лишь впечатление.
Проблема управления цепями поставок заключается в том, что, как правило, проблемы смещаются, а не решаются. Например, в тесте участвуют 20 магазинов, что выглядит вполне рационально. Проблема в том, что все эти магазины конкурируют за одни и те же запасы на распределительном центре. Если бы я, будучи Lokad, программным обеспечением, захотел обмануть систему, я мог бы искусственно повысить свои показатели, потребляя большое количество запасов и улучшая результаты в своей зоне за счет других магазинов. И если эталонный тест ставит цель максимизировать эффективность этих десяти магазинов, математическая оптимизация достигнет этого за счет остальных. Таким образом, возникает обратная связь между магазинами, поскольку они конкурируют через одного и того же дистрибьютора за одни и те же запасы в распределительном центре. Это всегда происходит в цепях поставок; это система, которая по своей природе взаимосвязана.
Цепи поставок позволяют добиться значительных приростов в эффективности, надежности, снижении затрат и экономии за счет масштаба. Но отрицательная сторона в том, что, поскольку это единая система, изменение одной ее части неизбежно влияет на другие.
Kieran Chandler: Какой же подход был бы лучше? Следует ли попробовать один метод в течение шести месяцев в двадцати точках, а затем другой метод в течение шести месяцев?
Joannes Vermorel: Еще одна проблема такого эталонного теста заключается в том, что вы узнаете очень мало о своей системе. A/B-тестирование обычно недооценивается, поскольку вы проверяете только одну гипотезу за раз. По сути, речь идет о весьма малом объеме информации — всего лишь о нуле или единице. Это даже не байт, а бит. И даже не полный бит, поскольку вы получаете лишь определенную степень уверенности в результатах. Таким образом, вы узнаете лишь долю бита, что кажется очень незначительным, и на самом деле, это действительно очень мало. Основная критика A/B-тестирования заключается в том, что вы узнаете очень мало о своей системе.
Киран Чендлер: Тестирование полезно, если вы хотите быть абсолютно уверены в чем-то, в чем у вас очень сильные убеждения. Например, вы можете провести A/B-тест, чтобы окончательно подтвердить свою правоту, но проблема в том, что вы уже предполагаете знание истины. Именно поэтому этот метод отлично работает в науке. В научном подходе люди собирают доказательства весьма косвенными способами, а когда накопится гора данных, они проводят A/B-тест для более прямого подтверждения своей гипотезы. Однако это будет очень дорого и медленно, а результат станет окончательным подтверждением, закрывающим дело раз и навсегда.
Йоаннес Верморель: Проблема с цепями поставок в том, что всё постоянно меняется. Ваша сеть – изменчивая сущность. Если вы хотите провести A/B-тест для оптимизации цепочки поставок, вам может понадобится 12 месяцев вместо трёх из-за сезонных колебаний. Но тогда кто может позволить себе ждать 12 месяцев лишь для получения одного кусочка информации о том, какая из двух систем лучше? На рынке так много альтернатив, и испытаний можно провести только ограниченное число. Система А может лучше подходить для товаров с медленным оборотом, а система B — для товаров с быстрым оборотом. Получить всего лишь единичный фрагмент информации недостаточно, чтобы сделать правильный выбор.
Проблема A/B-тестирования в том, что вы проверяете всего два возможных варианта, в то время как в цепочке поставок может оказаться миллионы вариантов. Как можно собрать информацию обо всех этих возможностях?
Киран Чендлер: Итак, в цепочке поставок у нас есть миллионы возможных путей. Как же можно собрать информацию обо всех этих вариантах?
Йоаннес Верморель: Это очень интересный вопрос, и с современной точки зрения ситуация рассматривается через призму обучения с подкреплением. Когда вы думаете о том, как работает обучающийся механизм, вы можете извлекать информацию из данных пассивно, когда данные поступают, и вы учитесь, или активно, когда ваши действия влияют на наблюдения, как это происходит в управлении цепочками поставок. Например, если вы решите не выставлять товар на продажу в магазине, вы никогда не узнаете спрос на этот товар в данном магазине.
A/B-тестирование – способ получения знаний, но оно невероятно медленное. Если бы ребёнку пришлось учиться ходить посредством A/B-тестов, ему потребовался бы миллион лет, чтобы научиться ходить. Этот метод очень хорош для научной достоверности, но он не может служить процессом, ведущим к истине.
В управлении цепочками поставок более современный подход – обучение с подкреплением, когда вы рассматриваете компромисс между исследованием и эксплуатацией. У вас есть предположение о том, что может быть хорошо, но вы не уверены, что это всегда оптимально, поэтому хотите провести так называемое исследование. Вы немного рандомизируете свои действия, чтобы лучше узнать систему.
Киран Чендлер: У вас есть процесс оптимизации, который пытается оптимизировать, скажем так, исходя из заданных метрик, некий алгоритм, ведущий вас к тому, что вы считаете оптимальным по своим измерениям. Но проблема в том, что такой подход может привести к застреванию в определённом способе работы, который, математически, называют локальным минимумом. Вы стремитесь минимизировать свою функцию затрат и застреваете в области, где всё кажется оптимальным. Если вы отклонитесь от этой точки, может показаться, что вы достигли оптимума, но на самом деле, чтобы достичь гораздо лучших результатов, нужно отходить от привычного пути.
Йоаннес Верморель: По сути, речь идет о том, чтобы намеренно включать в свои решения определённый процент вариантов, которые могут оказаться неверными и не соответствовать текущей оптимизации. Это вводится для того, чтобы узнать больше о возможных вариантах. И, конечно, всё это связано с экспериментированием. Вы не собираетесь делать что-то абсурдное, но, например, если у вас большая торговая сеть, идея может состоять в том, чтобы менять ассортимент. Вы можете решить, что во всех магазинах время от времени будете предлагать несколько товаров, которые обычно не входят в ассортимент, практически случайным образом. Конечно, вы не станете применять это к крайне дорогим товарам, например, к дорогостоящей садовой технике, если магазин находится в центре города. Вы не делаете полностью абсурдных вещей, но вводите элемент случайности, чтобы проверить, не окажется ли какой-то товар неожиданно успешным, просто потому что вы попробовали его в центре города, хотя раньше считали, что он не подходит для этого региона. Оказалось, что, возможно, он подходит. Поэтому вы хотите внедрить некую рандомизацию.
Это можно реализовать и в цепочке поставок, например, время от времени пробуя других поставщиков, чтобы оценить, как они справляются с сроками поставки. У вас есть основной поставщик, и вы просто передаете несколько заказов конкурентам, чтобы посмотреть, как обстоят дела. Я даже видел компании, особенно на рынке автозапчастей, где это настроено автоматически: определенная доля заказов направляется не к поставщикам, предлагающим лучшую цену и условия, а используется для проверки, насколько поставщик надёжен и соответствуют ли товары ожиданиям в плане процесса заказа, то есть когда вы заказываете определённую деталь, вы действительно получаете именно ту деталь, а не что-то другое.
Киран Чендлер: Это кажется довольно удивительным, потому что компании в целом ориентированы на прибыльность и максимально эффективное использование ресурсов для увеличения чистой прибыли. А они всё же вводят различных поставщиков исключительно для тестирования. Но правда ли сложно это реализовать?
Йоаннес Верморель: Снова, можно сказать, что наивно-рациональный подход сказал бы: «О, просто оптимизируем напрямую». Но это ни рационально, ни оптимально. Если задуматься о вторичных эффектах, идея заключается в том, чтобы постоянно учиться о своём рынке. Вы хотите тестировать альтернативных поставщиков, альтернативные рынки для своих клиентов, альтернативные ценовые уровни, потому что знание имеет свою цену и является ценным. Это может принести большие выгоды.
Например, вы можете понять, что продаёте продукт по определённой цене, хотя на самом деле могли бы повысить цену, и продажи остались бы примерно на том же уровне. Просто вы никогда не пробовали: не думали, что люди воспринимают ваш продукт как достаточно ценный.
Киран Чендлер: Реальность такова, что обычно вы застряли в том, что делали до сих пор. Или, возможно, наоборот – вы продаёте продукт по завышенной цене. А если бы вы попробовали снизить цену, спрос резко вырос бы, и вы получили бы эффект масштаба, благодаря которому производство стало бы дешевле, а компания — стремительно росла. Таким образом, идея заключается в том, что введение элемента рандомизации — это инвестиция в возможность обнаружить небольшие вариации, которые лучше подходят для вашей компании. Это могут быть вариации в ценовых стратегиях, в выборе поставщиков или даже в организации цепочек поставок, например, какой склад обслуживает какие предприятия, или наоборот. Можно ли количественно оценить эти знания и определить, сколько они стоят для компании?
Йоаннес Верморель: На самом деле, да. Я даже опубликовал статью более десяти лет назад под названием “POKER: Price of Knowledge and Estimated Reward”. Так что если вы действительно хотите подойти к этому изящно, вы можете буквально количественно определить стоимость исследования по сравнению с его вознаграждением, исходя из заданного горизонта. Ведь, очевидно, нужно продолжать игру – это идея повторяющейся игры, где вы играете одну и ту же игру снова и снова. И когда вы проводите исследования, вы делаете зачастую менее оптимальные шаги, но иногда находите золотую середину, после чего можете использовать это открытие. Но для этого нужен алгоритм, особенно, я бы сказал, в области машинного обучения, который действительно сможет использовать шум в ваших данных не для получения небольшой информации, а для получения гораздо большего объёма знаний. И опять же, это не просто A/B-тест, где вы устанавливаете какой-то процент или подобное. Это нечто, способное уловить гораздо более нечеткие закономерности, где множество взаимосвязанных эффектов дают возможность добиться лучшей производительности в очень сложной системе.
Киран Чендлер: Как этот подход вписывается в то, что мы делаем здесь, в Lokad? Ведь наша работа в Lokad заключается в оптимизации бизнес-решений, которые можно принимать в каждый момент времени. Мы как бы вводим этот шум, делая вещи намеренно немного неправильными.
Йоаннес Верморель: Да, и это принципиально противоречит устоявшимся убеждениям. Не моим убеждениям, а тому, что когда вы действительно хотите учесть вторичные эффекты. В Lokad мы стараемся применять не иррационализм, а быть рациональными, принимая во внимание все эти дополнительные, порой запутанные эффекты. В течение первого десятилетия Lokad подавляющее большинство наших клиентов даже не оптимизировали ничего. Они оптимизировали процент ошибок, что, по моему мнению, даже не является настоящей оптимизацией. Если вы оптимизируете процент ошибок, вы даже не понимаете, чем занимаетесь для своей компании. Вам нужно оптимизировать в денежном выражении. Первый шаг — перейти к процессу оптимизации, где вы действительно оптимизируете, а не просто повторяете произвольные цели. Теперь мы видим, что у наших самых продвинутых клиентов, особенно в сфере электронной коммерции, когда процесс оптимизации налажен, начинает проявляться идея исследования. Обычно это начинается с ценовой политики, что, с моей точки зрения, очень связано с цепями поставок, потому что именно от них зависит спрос. Вам нужна хорошая цена, которая во многом определяет спрос. Но цена, безусловно, не единственная область для исследований. То, что я вижу на ближайшие пару лет, так это то, что для того чтобы компании оставались на передовой, им нужно стремиться к тому, чтобы их цепи поставок были на самом высоком уровне. Они всё чаще будут вводить элемент исследования и рандомизации, просто чтобы получать результаты, которые будут улучшать сам процесс оптимизации со временем.
Киран Чендлер: Таким образом, можно сказать, что в будущем на исследования и количественную оценку того, сколько знаний приносит это компании, будет уделяться гораздо больше внимания.
Йоаннес Верморель: Именно, идеально.
Киран Чендлер: Ладно, сегодня всё. Спасибо за ваше время.
Йоаннес Верморель: Это всё на сегодня. Большое спасибо за внимание, и до встречи в следующий раз.
Киран Чендлер: Спасибо за просмотр.
