00:00:07 Голые прогнозы и предыстория Lokad.
00:01:42 Высокий спрос на прогнозирование временных рядов.
00:03:14 Отсутствие успеха голых прогнозов, несмотря на статистическую точность.
00:05:03 Опыт Lokad в рамках бенчмарка с крупным европейским ритейлером.
00:07:19 Проблемы голых прогнозов и их влияние на бизнес.
00:09:25 Проблемы голых прогнозов при исполнении цепочки поставок.
00:12:38 Важность экстремальных сценариев и роль квантильного прогнозирования.
00:14:47 Проблемы использования хороших прогнозов в процессах S&OP крупных корпораций.
00:15:37 Отклонение от прогноза и необходимость учитывать альтернативные варианты будущего.
00:17:12 Проблемы представления вероятностных данных в большом объеме.
00:18:57 Ограничения Excel при работе с распределениями вероятностей.
00:20:25 Важность оптимизации решений на основе прогнозов.
00:21:48 Необходимость предиктивной оптимизации и её тесная связь с прогнозированием.
Резюме
В интервью Кайрен Чендлер и Йован Верморель обсуждают ограничения традиционных методов прогнозирования в оптимизации цепочки поставок. Верморель подчёркивает необходимость квантильных прогнозов, которые учитывают экстремальные сценарии, поскольку именно они оказывают наибольшее влияние на управление цепочками поставок. Он объясняет, что вероятностные прогнозы могут предоставить диапазон возможных исходов, но управление огромными объёмами данных, необходимыми для этого подхода, создаёт проблему “big data”. Традиционные инструменты, такие как Excel, не предназначены для работы с вероятностными данными, поэтому требуются специализированные инструменты. Верморель приходит к выводу, что предиктивная оптимизация, объединяющая прогнозирование и оптимизацию, является более эффективным подходом для управления неопределённостями в цепочках поставок.
Расширенное резюме
В этом интервью ведущий Кайрен Чендлер общается с Йованом Верморелем, основателем компании Lokad, специализирующейся на оптимизации цепочек поставок. Они углубляются в концепцию голых прогнозов и их эффективность в улучшении принятия решений в цепочке поставок.
Когда в 2008 году была основана компания Lokad, её целью стало предоставление услуги “прогнозирование как сервис”, основанного на статистических методах для прогнозирования временных рядов. Идея заключалась в использовании исторических данных, таких как прошлые продажи, для предсказания будущего спроса, который также имеет вид временного ряда. Этот подход вызвал интерес у многих компаний, ищущих точные прогнозы временных рядов для улучшения решений в цепочке поставок.
Существовал значительный спрос на прогнозирование временных рядов, и многие компании обращались в Lokad за более точными прогнозами на основе их исторических данных. Интересно, что, несмотря на предоставление весьма точных прогнозов с низкими показателями ошибок, эти улучшенные прогнозы, похоже, не приводили к лучшим решениям или результатам в цепочке поставок.
Верморель нашёл этот результат озадачивающим, поскольку можно было бы ожидать, что улучшенные прогнозы с низким уровнем ошибок приведут к лучшему принятию решений и, в конечном итоге, к повышению эффективности цепочки поставок. Ему потребовалось несколько лет, чтобы понять скрытую проблему за этим парадоксальным результатом.
Проблема была не в статистике; прогнозы, предоставляемые Lokad, были весьма точными, с минимальными проблемами, такими как переобучение. Верморель был уверен, что прогнозы статистически корректны, однако они, казалось, приводили к хаосу на стороне клиента.
Верморель рассказывает историю из 2011 года, когда Lokad участвовала в бенчмарке по прогнозированию спроса для 10 мини-маркетов, по 5000 продуктов в каждом. Lokad выиграла бенчмарк, достигнув на 20% большей точности, чем второй лучший конкурент. Однако они сделали это, используя “нулевой прогноз”, который предсказывал нулевой спрос для всех продуктов. Этот метод показал проблемы традиционного прогнозирования и зависимости от процентных показателей точности. Верморель утверждает, что существует слабая корреляция между снижением процентной ошибки и фактическими бизнес-выгодами, и что сосредоточенность на процентной точности может вводить в заблуждение.
Ведущий ставит под вопрос, почему компании до сих пор требуют традиционные прогнозы, несмотря на эти проблемы. Верморель предполагает, что на это сильно влияет иллюзия безграничных возможностей. Люди верят, что если бы у них были идеальные прогнозы, проблемы в цепочке поставок были бы решены, превращая процесс в простую задачу планирования и оптимизации. Однако Верморель подчёркивает, что ни один прогноз не может устоять при столкновении с рынком, поскольку реальность куда сложнее.
Традиционные прогнозы могут привести к хрупкости исполнения цепочки поставок, поскольку точность прогноза часто зависит от того, как он используется в компании. Это может привести к непредвиденным последствиям и проблемам. Верморель считает это “антипаттерном”, то есть намеренным решением, которое систематически проваливается предсказуемым образом.
Затем Верморель рассказывает о том, как Lokad изменил свой подход, сосредоточившись на укреплении плана цепочки поставок на основе прогнозов. Он приводит пример мини-маркетов, торгующих свежими продуктами, где высокие маржи оправдывают наличие большого запаса, даже если он медленно обновляется. В таких случаях для клиентов важнее найти нужный товар, чем для магазина оптимизировать запасы. Традиционные прогнозы ориентированы на средний спрос, в то время как затраты и выгоды фактически проявляются в крайностях.
Далее разговор переходит к идее создания прогнозов, учитывающих экстремальные сценарии, что и сделала Lokad, перейдя от классических прогнозов к квантильным. Квантильное прогнозирование вводит смещение в прогноз, сосредотачиваясь на крайних значениях, где заключаются реальные затраты и выгоды. Такой подход, по мнению Вермореля, эффективнее традиционных методов оптимизации цепочки поставок.
Они обсуждают сложности прогнозирования и важность учета разнообразных сценариев будущего в управлении цепочками поставок.
Верморель начинает с объяснения, что традиционные прогнозы, ориентированные на средний спрос, не являются достаточными для эффективного управления цепочками поставок. Вместо этого он предлагает использовать квантильные прогнозы, которые намеренно имеют смещение для учета экстремальных сценариев, таких как высокий или низкий спрос. Он подчёркивает важность понимания этих крайних ситуаций, так как именно они обычно оказывают самое существенное влияние на управление цепочками поставок.
Затем Чендлер спрашивает о роли внутренних команд планирования продаж и операций (S&OP) в крупных корпорациях при работе с прогнозами. Верморель отвечает, что даже при наличии хороших прогнозов команды S&OP не могут достичь желаемого результата, поскольку необходимая информация об альтернативных вариантах будущего недоступна. Он утверждает, что прогнозы могут предоставить лишь один возможный вариант будущего, в то время как фактические результаты всегда будут отличаться от предсказанных значений.
Верморель предлагает, что предоставление вероятностных прогнозов, охватывающих диапазон возможных результатов, может стать потенциальным решением. Однако этот подход предъявляет новый набор проблем. Во-первых, объём данных, необходимый для представления этих вероятностей, огромен, особенно если учитывать тысячи продуктов. Это создает проблему “big data”, для которой требуются инструменты, способные работать с большими объёмами данных.
Более того, традиционные инструменты, такие как Excel, не разработаны для работы с вероятностными данными. Верморель указывает, что в Excel невозможно представить распределения вероятностей в одной ячейке, что затрудняет манипулирование и анализ таких данных. В результате необходимы специализированные инструменты, способные выполнять базовые операции с вероятностными переменными, чтобы в полной мере использовать возможности вероятностных прогнозов.
Верморель заключает, что наличие хорошего прогноза, учитывающего различные сценарии, — это лишь половина дела. Другая половина заключается в эффективном использовании прогнозов для принятия обоснованных решений. Он подчёркивает важность тесной связи между процессами, генерирующими прогнозы, и процессами оптимизации решений, чтобы избежать проблем, связанных с масштабируемостью и обработкой данных.
Обсуждение подчеркивает необходимость переосмысления традиционных методов прогнозирования в управлении цепочками поставок. Верморель выступает за предиктивную оптимизацию, которая объединяет прогнозирование и оптимизацию, как более эффективный подход для управления неопределённостями и сложностями, присущими цепочкам поставок.
Полная стенограмма
Kieran Chandler: Сегодня в Lokad TV мы обсудим, почему голые прогнозы на самом деле не улучшают управление ресурсами, а наоборот могут привести к ряду различных проблем. Итак, Йован, тема голых прогнозов вызывает ассоциации с чем-то из тёмной стороны интернета. Прежде чем нас заблокируют на YouTube, не мог бы ты объяснить, что именно ты имеешь в виду?
Joannes Vermorel: Когда я основал Lokad в 2008 году, слоган компании был “прогнозирование как сервис”. Я только что закончил университет и искал области, где статистика могла бы применяться в бизнесе. Существовала идея просто использовать прогнозирование временных рядов. По сути, всё было очень просто: у вас есть входящий временной ряд, представляющий ваше прошлое, обычно ваши исторические продажи, а затем вы просто предсказываете будущее, которое также принимает форму временного ряда. Для бизнес-приложения это была очень чётко определённая задача и достаточно интересная, поэтому Lokad получила популярность. Множество людей были, и остаются, заинтересованы в решении своих проблем просто с помощью таких прогнозов временных рядов.
Kieran Chandler: Существует ли на самом деле спрос на решение такого рода? То есть, действительно ли оно работает?
Joannes Vermorel: Спрос на прогнозирование временных рядов был огромным. Нас об этом спрашивали снова и снова. Когда я начинал Lokad, один из ключевых элементов успешного стартапа — делать то, что нужно людям. С этой точки зрения, “голое” прогнозирование временных рядов пользовалось значительным спросом. Компании говорили: “Вот наши исторические данные в виде временных рядов, пожалуйста, дайте нам лучшие прогнозы”. Но проблема заключалась в том, что это не работало. Дело было не в статистике; ещё десятилетие назад мы были очень хороши с точки зрения точности прогнозирования. Проблема была не в неправильности метрик.
Kieran Chandler: Это кажется весьма удивительным, ведь можно было подумать, что если прогноз дает лучшие результаты с меньшей ошибкой, то это приведет к лучшим решениям в цепочке поставок и, в конце концов, к более эффективным действиям. Так почему же это не сработало?
Joannes Vermorel: Это был мой первоначальный вопрос: как я могу ошибаться? Все метрики показывали, что у меня лучший прогноз. Я предоставлял клиентам лучший прогноз, что же могло пойти не так? Прогноз был очень хорош, и я не говорю о таких проблемах, как переобучение. Всё было под контролем. Проблема заключалась в том, что даже статистически более точный прогноз мог привести к хаосу на стороне клиента. Понадобилось несколько лет, чтобы я это понял. В какой-то момент у нас появился крупный европейский ритейлер, который организовал бенчмарк среди полудюжины поставщиков программного обеспечения для прогнозирования.
Kieran Chandler: Итак, мы обсуждали решения и проблему прогнозирования спроса для 10 мини-маркетов, каждый из которых имеет по 5000 продуктов. Это было в 2011 году, и задача заключалась в предсказании спроса за три-четыре дня вперёд, поскольку каждый мини-маркет пополняется дважды в неделю. Как показала себя компания Lokad в этом бенчмарке?
Joannes Vermorel: Lokad с гордостью выиграла этот бенчмарк, превзойдя второго лучшего на 20% по точности. Критерием качества прогноза была абсолютная разница между прогнозом и реальностью. Однако мы достигли этого с помощью “нулевого прогноза”, который выдавал нули для всего спроса и продаж. Интересно, что прогнозирование нулевого спроса привело бы к нулевым запасам, а значит, и продажи быстро сократились бы до нуля. Это сделало бы прогноз не только более точным, но и 100% точным. Но, конечно, это полнейшая нелепость и не имеет смысла.
Kieran Chandler: То есть, ты говоришь, что существует разрыв между наличием более точного прогноза, выраженного в процентах, и достижением реальных бизнес-преимуществ. Почему же компании до сих пор требуют такие прогнозы, если они могут вводить в заблуждение?
Joannes Vermorel: Мое базовое объяснение заключается в том, что желание видеть лучшее часто сильнее всего. Если бы прогнозы были идеальными, у них была бы нулевая процента ошибок, ни один доллар ошибки, ни один евро ошибки. Идеальный прогноз решил бы все проблемы, и управление цепочками поставок превратилось бы в чистую задачу оптимизации и планирования. Но это не так, и люди не понимают, что голый прогноз, в котором предсказывается только одно будущее, оказывается боевым планом, который не выживает в первый же день при столкновении с рынком. Существует военная поговорка, что никакой боевой план не переживает первого контакта с врагом, и в цепочке поставок ситуация аналогична — ни один прогноз не выдерживает встречи с рынком.
Kieran Chandler: Итак, первый контакт с рынком, и, следовательно, что же происходит, когда у вас есть этот более точный прогноз?
Joannes Vermorel: В более общем плане происходит следующее: поскольку ваш прогноз точнее, вы создаёте план, который на самом деле становится более хрупким по отношению к отклонениям от прогноза, и таким образом делаете выполнение цепочки поставок более уязвимым. Это очень абстрактное представление. Суть в том, что у вас есть прогноз, но вы не знаете, как именно этот прогноз будет использоваться, а другие сотрудники вашей компании применят его так, как вы не ожидали, и это приведёт к катастрофическим последствиям. Именно поэтому «голые» прогнозы по сути являются плохой идеей. Их используют не так, как следовало бы, и поскольку это происходит постоянно, сегодня это можно назвать антипаттерном. Это что-то вроде преднамеренного решения, которое неизбежно проваливается в предсказуемом ключе.
Kieran Chandler: Значит, вы перешли к усилению плана, построенного на прогнозе, после того как осознали это?
Joannes Vermorel: Именно, а затем понимаешь, что прогнозирование – даже не самое главное. Если вернуться к истории с мини-маркетами, то понимаешь: если вы продаёте свежие продукты в небольшом магазине, у вас очень высокая маржа. Вы можете позволить себе держать большой запас, потому что главное – чтобы, когда клиент заходит, он нашёл то, что ищет. Маржа настолько высока, что инвестиция в большой запас, даже если он будет медленно оборачиваться, оправдана. Вам не важен средний спрос. Если появляется всего один клиент каждые десять дней, а вы продаёте йогурты, вы всё равно можете получать отличную прибыль, если продаёте продукт с 70% валовой маржой и срок годности йогуртов составляет один месяц. Итак, суть в том, что интерес представляют не средние показатели, а крайности. Затраты возникают именно на этих крайностях.
Kieran Chandler: Итак, почему же вы не можете просто создать прогноз, который учитывал бы эти крайние сценарии?
Joannes Vermorel: Вот в чём дело. Именно это мы и сделали. В истории компании Lokad мы начали с классического прогнозирования в 2008 году с сервисом Lokad Forecasting as a Service и перешли к кванильному прогнозированию. Кванильное прогнозирование было идеей, которая в 2012 году казалась весьма странной. Это было прогнозирование с предвзятостью. Большинство моих клиентов утверждали, что хороший прогноз – это прогноз без смещения. Это было прямо противоположно здравому смыслу в управлении цепями поставок.
Если вернуться к примеру с мини-маркетом, то вам не важен средний спрос. Интересует исключительно чрезвычайно высокий спрос, который на самом деле никогда не бывает высоким, но именно экстремальный случай имеет значение. Вопрос в том, что считается экстремально высоким? Это один случай из 30? Может, иногда даже четыре. Вот это и есть ваш экстремум. Кстати, это статистическая величина. Те прогнозы, у которых намеренно присутствует смещение, называются кванильными прогнозами. Вы можете получить прогноз с 99%-м квантилем, который означает: «Я даю вам число, и спрос с вероятностью 99% окажется чуть ниже него, а с 1% – выше». Таким образом, вы контролируете смещение, и это положило начало появлению более разнообразных прогнозов.
Kieran Chandler: На самом деле, давайте обсудим ситуации с риском на хвостах распределения, то есть экстремальные сценарии, когда вы сталкиваетесь с дефицитом товара или с избытком запасов. Я не понимаю, почему крупным корпорациям с их внутренними процессами S&OP не удаётся работать с хорошим прогнозом, чтобы в итоге добиться нужного результата. В чём же реальная проблема?
Joannes Vermorel: Это просто наивная мечта. Из прогноза, даже если он хороший, вы не получите правильный результат, потому что нужной информации просто нет. Когда вы говорите: «Вот будущее», вы показываете лишь одну возможность и ничего не говорите об альтернативах. Реальность такова, что будущее будет альтернативным. Всегда будет отклонение от вашего прогноза. Проблема в том, что вы считаете, будто можно преобразовать ограниченные знания об альтернативных будущих сценариях в решения о том, сколько покупать, производить или перемещать запасы с одного места на другое, и при этом не ухудшить качество принимаемых решений. Это как магия.
Kieran Chandler: Но что, если предоставить им вероятностный прогноз, дающий диапазон возможных факторов для работы?
Joannes Vermorel: Это интересная идея. В теории она могла бы сработать. Однако возникает другая, весьма обыденная проблема. Детеминированный прогноз лаконичен: для одного продукта, на год вперёд и при недельном уровне прогнозирования, у вас 52 числа. Это небольшой набор данных, который легко умещается в таблице Excel. Но при использовании вероятностного подхода у вас появляется масштабная гистограмма вероятностей для каждой недели. Эти вероятности не являются аддитивными, так что если вы хотите узнать спрос с 5-й по 10-ю неделю, то получите другую гистограмму вероятностей.
Мы можем предоставить вам эти данные, но тут же это превращается в проблему «больших данных», потому что у вас тысячи продуктов и десятки гигабайт вероятностных вычислений. Вам нужны инструменты, способные обрабатывать такие объемы данных.
Kieran Chandler: С технической точки зрения, насколько легко было бы манипулировать этими инструментами и объемом данных? Одна из проблем Excel в том, что он не предназначен для работы с вероятностными расчетами. Он отлично подходит для организации табличных данных, но не имеет возможности представлять распределения вероятностей.
Joannes Vermorel: Да, именно. Если вы хотите работать с данными, представленными в виде распределения вероятностей, в Excel нет ячейки, которая смогла бы хранить такое распределение. Excel не предназначен для работы с подобными вещами, и вы сталкиваетесь с множеством проблем, когда пытаетесь использовать вероятностный прогноз для планирования будущего.
Kieran Chandler: Верно, поэтому вам нужны инструменты, предоставляющие всевозможные операции для работы с вероятностными переменными. Основные операции, такие как сложение, умножение или деление случайных переменных, необходимы. Без этих базовых инструментов невозможно правильно работать с вероятностными прогнозами.
Joannes Vermorel: Да, и даже хороший прогноз, учитывающий все возможные сценарии, составляет лишь половину картины. То, что вы делаете с этим прогнозом, имеет куда большее значение. Когда вы хотите оптимизировать решения, процесс создания прогнозов и процесс оптимизации решения должны быть полностью взаимосвязаны.
Kieran Chandler: Понятно. Таким образом, обработка данных для таких больших матриц вероятностей может стать проблемой масштабируемости. Похоже, что для практической реализации нужно, чтобы всё было максимально интегрировано.
Joannes Vermorel: Именно. Чтобы получить практическое решение, необходимо, чтобы все эти компоненты находились очень близко друг к другу. Нужно начать мыслить в терминах предиктивной оптимизации. Прогнозирование и оптимизация идут рука об руку и не могут быть отделены друг от друга.
Kieran Chandler: Хорошо, это имеет смысл. Тогда, пожалуй, на этом мы закончим. Спасибо, что присоединились к нам сегодня, Joannes. Было очень приятно обсудить с вами вопросы оптимизации цепочки поставок.
Joannes Vermorel: Спасибо, что пригласили, Kieran. Было приятно.
