00:00:00 Точность прогнозирования отвлекает, монополизирует внимание руководства
00:03:30 Мышление, основанное на временных рядах, игнорирует агентство, ценообразование, замещение
00:07:00 Повышенная точность на практике может снижать прибыль
00:10:30 Точность слепа к пробелам в ассортименте и пороговым значениям
00:14:00 Детализация и привычки имеют значение помимо временных рядов
00:17:30 Улучшенные метрики часто проваливаются при практическом применении
00:21:00 Прогнозы создают рутинную работу; автоматизация остаётся заблокированной
00:24:30 Игнорируете скрытый спрос? Вы теряете экономику корзины
00:28:00 Стабильность важнее точности для жизнеспособных операций
00:31:30 Мифы планирования: фиксированный спрос, нормальные сроки поставки
00:35:00 КПЭ, связанные с прибылью, не являются «точностью» прогнозов
00:38:30 Экономические КПЭ важнее аккуратных статистических ошибок
00:42:00 Точность не связана с прибылью в определённом направлении
00:45:30 Сосредоточьтесь на решениях; количественно оцените экономические факторы
00:49:00 Пробуйте, итеративно совершенствуйте; стремитесь к решениям без безумия
00:52:30 Откажитесь от S&OP; отдайте приоритет решениям по распределению ресурсов
00:56:00 Унифицированные КПЭ с параметрами, специфичными для категорий
00:59:30 Если застряли, меняйте компании ради прогресса
01:03:00 Изменение подачи с учетом P and L; краткие предложения
Резюме
Компании стремятся к «точности» прогнозов, потому что это можно измерить, а не потому, что это приносит деньги. Метрики — MAPE, MAE — вознаграждают реактивность и точечные оценки, игнорируя агентство, цены, каннибализацию, изменчивость сроков поставки и эффекты корзины. Вы можете улучшить точность и ухудшить принимаемые решения: нули «выигрывают» при прерывистом спросе; нестабильные прогнозы приводят к резким колебаниям заказов в жестко зафиксированных цепях поставок. FVA и S&OP добавляют затрат и задержек. Начните с решений и экономики: маржи, штрафы за дефицит товара, риск избыточных запасов, альтернативные издержки — смоделированные вероятностно — затем итеративно достигайте «нулевого безумия». Используйте унифицированные КПЭ, основанные на P&L; если компания не готова меняться, стройте обоснование или меняйте компании.
Расширенное резюме
Фиксация на «точности прогнозирования» — это классический пример измерения удобного, а не действительно важного. Компании вкладывают управленческое время и деньги в сокращение ошибок, таких как MAPE, MAE и подобных метрик, исходя из предположения, что меньшие ошибки означают большую прибыль. Однако реальные данные говорят об обратном: корреляция часто слаба или отрицательна. Вы можете добиться «более высокой» точности и при этом принимать худшие решения.
Почему? Потому что точность временных рядов рассматривает будущее как безжизненное продолжение прошлого. Она исключает агентство, изменения в ценообразовании, каннибализацию, замещение и операционные трения, такие как изменчивость сроков поставки и возвраты. Это как смотреть через микроскоп, в то время как слоны — дизайн ассортимента, поведение клиентов, перекрёстные эффекты корзины — топчут пол. В розничной торговле точный прогноз, предсказывающий, что неправильно разработанная коллекция потерпит неудачу, всё равно является провалом управления, а не триумфом математики.
Стремление к точности часто поощряет нестабильность. Сделав модели гиперреактивными, вы получите более привлекательные статистические показатели, но заказам придётся совершать резкие колебания в цепочках поставок с жесткими ограничениями. При прерывистом спросе алгоритм, прогнозирующий нулевой спрос, может «выигрывать» по метрике, но бизнес страдает. Особенно там, где экономические реалии имеют значение: дефицит товара, который отбирает всю корзину у конкурента, избыточные запасы, приводящие к списанию скоропортящихся товаров, или $20 винт, который может остановить самолёт.
Институциональные дополнения — программы FVA, собрания, ритуализирующие «согласованность» (S&OP) — накладывают дополнительные затраты поверх отвлечения. Медленные, ручные циклы синхронизации являются налогом на гибкость. Тем временем, целые отряды планировщиков вынуждены «переводить» точечные прогнозы в практические решения, потому что исходные данные заданы с неверной детализацией и не учитывают истинные неопределённости.
Альтернатива не мистична, а управленческая. Начните с решений, а не с прогнозов: что купить, куда разместить, по какой цене — и всё это сегодня. Привяжите денежные показатели к каждому решению — маржи, штрафы за нехватку товара, риски избыточных запасов, альтернативные издержки, ограничения по персоналу — и рассматривайте неопределенность в вероятностном ключе. Проводите итерации с практиками через «экспериментальную оптимизацию», пока не достигните цели: не нулевой неточности, а нулевого безумия. Придерживайтесь единой экономической формулы для всех категорий, настраивая параметры по мере необходимости, ведь все категории конкурируют за одни и те же денежные средства и мощности.
Что касается КПЭ, если математик распознаёт вашу формулу как «точность», то, вероятно, вы не имеете дело с экономикой. Реальные, связанные с прибылью КПЭ являются сложными, специфичными для бизнеса и многословными — потому что такова реальность. И если фирма структурно привержена фетишу точности, рациональный выбор сводится к двум вариантам: либо составьте обоснование изменений, основанное на P&L, чётко представленное для руководства, либо смените компанию. Мотиваторы, а не лозунги, определяют результаты.
Полная расшифровка
Conor Doherty: Это Supply Chain Breakdown, и сегодня мы разберём скрытую стоимость точности прогнозирования. Вы знаете, кто я.
Я Конор, директор по маркетингу в Lokad. А слева от меня — неутомимый Joannes Vermorel, основатель и CEO Lokad. А теперь, перед началом, оставьте комментарий ниже: считаете ли вы, что повышение точности прогнозирования — это КПЭ, за которым стоит охотиться? Если да, то почему?
Оставляйте комментарии ниже. Вы говорите со мной напрямую сегодня. Всё, что вы спросите, любые комментарии, любые вопросы, я задам напрямую Joannes примерно через 20 минут. И, извините, а теперь — Joannes, начнём. Первый вопрос: чем мы сегодня недовольны? В чём наша проблема с точностью прогнозирования, краеугольным камнем бизнеса?
Joannes Vermorel: Я бы не сказал, что точность прогнозирования является основой бизнеса — скорее, основой управления цепями поставок. На самом деле настоящая проблема в том, что для почти всех компаний, учитывая то, чем они сейчас занимаются, это является полным отвлечением. Это огромное отвлечение, которое продолжается десятилетиями.
Когда мы говорим о скрытой стоимости, я бы сказал, что проблема — то, что меня возмущает в точности прогнозирования, — в том, что, опять же, для почти всех компаний, управляющих цепями поставок, этот артефакт потребляет более половины управленческих ресурсов при очень, очень небольшой выгоде. Моя мысль в том, что это огромное отвлечение, которое может еще усугубляться, когда люди начинают внедрять системы, усложняющие процесс, связанный с точностью прогнозирования, ради, опять же, очень, очень небольшой выгоды.
Conor Doherty: Если вы утверждаете, что концепция точности прогнозирования монополизирует ресурсы, ограничиваете ли вы критику — или затраты — только абстрактными понятиями вроде времени, внимания? Ведь многие утверждают, я уверен, что существует и конкретное финансовое измерение этого вопроса.
Joannes Vermorel: Да. Во-первых, когда вы начинаете смотреть в будущее — и, опять же, для почти всех — в будущем есть так много «слонов», которые полностью игнорируются. Вы принимаете клиентскую перспективу, чтобы увидеть каннибализацию и замещение? Если нет, то я не вполне понимаю, что именно вы делаете со своим прогнозом.
Joannes Vermorel: Учитываете ли вы ценообразование? Ведь когда вы хотите заглянуть в будущее, необходимо учитывать ваши собственные цены и цены ваших конкурентов. Видите ли, странность моего отношения к точности прогнозирования заключается в том, что традиционное мышление в цепях поставок смотрит в будущее так же, как астроном наблюдает за будущим положением планет. Между прошлым и будущим существует полная симметрия — симметрия обращения времени — и предполагается, что будущее является лишь продолжением прошлого.
Joannes Vermorel: Что крайне странно, так это то, что в классическом подходе к взгляду в будущее — и, соответственно, в прогнозировании точности — создаётся впечатление, будто у компании вообще нет возможности влиять на будущее. Это просто перспектива временных рядов. Мы видели, что каннибализация и замена являются проблемами. Есть эффект ценообразования. Также компании тратят почти все усилия на прогнозирование спроса, но что насчёт других источников неопределённости — сроков поставки, возвратов и т.д.?
Joannes Vermorel: Далее можно задаться вопросом: а что насчёт детализации, с которой вы строите прогноз? Даже если мы признаем, что будем делать эти прогнозы, о какой детализации идёт речь?
Joannes Vermorel: Детализация временных рядов, которая предполагает, что можно смотреть в будущее по равномерно распределённым интервалам — ежедневно, еженедельно, ежемесячно — не обязательно разумна. Есть множество бизнесов, для которых это не подходит. А ещё вы игнорируете неопределённость. Это проблема точечных прогнозов.
Joannes Vermorel: Это огромный набор. Это как стадо слонов — я не уверен, как правильно назвать большое количество слонов на английском.
Conor Doherty: Либо стадо, либо толпа. Думаю, что-то вроде толпы слонов.
Joannes Vermorel: В этой комнате так много слонов, которых просто игнорируют, и многие компании хотят сосредоточиться на точности. Это действительно вызывает вопросы. Для меня это выглядит так, будто у вас есть целая комната, о которой вы ничего не знаете. У вас есть микроскоп; вы смотрите на крошечный квадратный миллиметр и говорите: «Хорошо, мне нужен больший микроскоп». Я серьёзно сомневаюсь в том, что именно больший и лучше микроскоп решит проблему.
Conor Doherty: Два ключевых момента: во-первых, это стадо слонов; а во-вторых — чтобы быть, по крайней мере, благосклонным — вы в самом начале говорили о том, что почти все компании тратят чрезмерные суммы, скажем так, денег, внимания и ресурсов — распределяя их — ради очень небольшой выгоды.
Joannes Vermorel: Вы имеете в виду возврат на инвестиции? Хорошо.
Conor Doherty: Прежде чем мы слишком подробно это разберём, какова же оптимистичная позиция? Во что компании, по крайней мере, верят, что они получают в итоге?
Joannes Vermorel: Они верят, что когда они смотрят в будущее через точечные прогнозы временных рядов и используют одномерную метрику, такую как средняя абсолютная процентная ошибка (MAPE) или средняя абсолютная ошибка (MAE) или одну из типичных метрик, они предполагают, что минимизация этого критерия как-то положительно коррелирует с прибылью. Я серьёзно оспариваю эту позицию.
Joannes Vermorel: Очень часто корреляция либо чрезвычайно слаба, либо отсутствует, а иногда даже обратна, что означает, что прогноз, который может быть менее точным, на самом деле может сделать компанию более прибыльной. Кстати, это было одним из первых открытий, которое я сделал в Lokad 15 лет назад. Мы поставляли прогнозы с превосходной точностью, и очень часто это на самом деле приводило к хаосу и вредило бизнесу тех первых клиентов. Это нелогично, но такое случается.
Joannes Vermorel: Например, один из самых простых способов улучшить точность процесса прогнозирования — сделать алгоритм прогнозирования чрезвычайно реактивным, то есть так, что при небольших колебаниях последних данных он будет реагировать очень сильно. Проблема в том, что в результате получается прогноз, который постоянно резко колеблется. Таким образом, прогноз становится точнее, но при этом очень нестабилен.
Joannes Vermorel: В реальной цепочке поставок эффекты защёлкивания проявляются повсюду. Как только вы передаёте заказ поставщику за рубежом, если на следующий день ваш прогноз спроса внезапно падает из-за того, что предыдущий рост был лишь колебанием, вы остаётесь привязанными к этому заказу. Обычно это ситуация, когда повышение точности не приводит к увеличению прибыли; наоборот, повышение точности снижает вашу прибыль.
Joannes Vermorel: Еще один момент — именно такая ситуация привела нас к вероятностным прогнозам полторы декады назад: когда спрос прерывист, если вы прогнозируете ноль, это обычно считается очень точным прогнозом. Очень часто при прерывистом спросе модель прогнозирования просто предсказывает нулевой спрос. Со статистической точки зрения, это будет считаться очень точным прогнозом. Но с точки зрения бизнеса, если вы прогнозируете ноль, то пополнение происходит нулевое, и продажи равны нулю. Прибыль в этом случае невелика.
Joannes Vermorel: Вот такого рода проделки случаются, когда вы гонитесь за точностью. У вас появляются десятки других проблем. Снова повторяю: вера в наличие прямой корреляции между точностью прогнозирования и прибыльностью ошибочна. Это действительно заблуждение.
Conor Doherty: То, что вы сказали ранее, звучало как «это может показаться нелогичным», и я думаю — после обсуждений не только с вами, но и с другими людьми — что понимание цели того, что вы пытаетесь достичь, помогает снизить степень кажущейся нелогичности.
Conor Doherty: Например, если вы считаете, что повышение точности прогнозирования — это оптимизируемая метрика, то утверждение, что менее точный прогноз не обязательно более прибыльный, кажется нелогичным. Если же речь идёт о том, чтобы принимать лучшие решения — и это конечная цель оптимизации — мы не одни указывали на это: несколько лет назад в Foresight Стефан Коласса упомянул идею «нечувствительности к решению». Может быть, у вас есть и более точный, и менее точный прогноз, но они приводят к одному и тому же решению из-за, скажем, MOQ. Таким образом, дополнительная точность прогноза вам ничего не дала. Менее точный прогноз оказался более прибыльным с точки зрения чистой прибыли, чем рыночный.
Joannes Vermorel: С точечной перспективой временных рядов у вас возникает так много проблем. Вы в итоге гонитесь за тем, что обычно называют заблуждением Макнамары. Вы выбрали неправильную парадигму. Вы используете неверные метрики. Аудитория может найти информацию об этом; в Wikipedia есть страница об этих ошибках — о заблуждённых генералах, возглавлявших усилия США во Вьетнаме.
Давайте рассмотрим пример. Вы — модная компания, модный бренд, и ваша проблема в том, что коллекция, которую вы собираетесь вывести на рынок, полностью лишена той самой характеристики, которая идеально соответствовала бы текущему тренду. Давайте представим, что это и есть проблема. У нас есть коллекция, которая вот-вот выйдет на рынок, и она полностью игнорирует ту ткань, стиль, узор — или что угодно — что было бы супер-трендовым.
Conor Doherty: Звонкие штаны в 70‑х.
Joannes Vermorel: И ваш прогноз очень точен. Он предсказывает, что ваша грядущая коллекция покажет плачевные результаты. Спасибо. Хорошо, у вас очень точный прогноз. Большое вам спасибо.
Видите ли, прогноз будет предсказывать — снова, мы говорим о классической парадигме, временных рядах — он будет предсказывать только те данные, которые у вас уже есть. А что насчёт продукта, которого у вас нет, но который должен быть? Как это будет отражено в вашей метрике точности? Ответ таков: этого не происходит.
Основная проблема в том, что эта парадигма очень слабая и игнорирует так много вещей, что для почти всех компаний это является полным отвлечением, поскольку они не провели предварительную работу, чтобы сделать её релевантной метрикой. Если бы мы говорили о компании, которая была бы чрезвычайно зрелой, способной оценивать спрос в терминах абстрактного спроса, полностью отделённого от фактического ассортимента, который у вас имеется; которая уже учитывала бы множество вариантов неопределённостей — спроса, сроков поставки, цен, возвратов и т.д.; которая уже принимала бы вероятностное видение; которая уже опиралась бы на функциональное видение — функциональное в том смысле, что будущее зависит от решений, которые ещё не приняты — мы вернёмся к последовательным процессам принятия решений и т.д.
Если вы берёте компанию, которая сделала всё это, то, возможно, именно тогда можно начинать задаваться вопросами о метриках точности, которые, кстати, будут довольно странными, потому что, скорее всего, речь идёт о вероятностных прогнозах. Но прежде нужно заложить множество основ.
Когда я говорю «скрытая стоимость точности прогноза», я имею в виду, что это полное отвлечение, потому что этих основ совершенно не хватает, и, следовательно, компании гонятся за метриками, которые чрезвычайно узколобы и не отражают долгосрочные интересы их бизнеса.
Conor Doherty: Развивая розничный пример, который вы привели — я помню, вы упоминали об этом некоторое время назад в контексте оптимизации ассортимента. Вы привели пример: если вы розничный продавец модной одежды, сколько ярко-жёлтых футболок или ярко-розовых футболок вы хотите видеть в своей коллекции? Вы не собираетесь — ну, это действительно зависит от того, зачем они вам. Если они у вас, потому что вы думаете, что продадите их, то, возможно, этого не произойдёт, потому что вы не продадите их много. Но отсутствие их делает ваш ассортимент некрасивым, потому что тогда у вас останутся только белые рубашки и чёрные или синие джинсы, и магазин будет выглядеть довольно скучно.
Попытка отразить ценность этой розовой или жёлтой футболки через временной ряд — слово «с потерями», как вы говорите, — это потерянное представление ценности, или что-то в этом роде. Я, конечно, не очень точно выражаюсь.
Joannes Vermorel: Да, действительно, это очень потерянное представление информации о вашем магазине. И вот здесь я говорю: какова гранулярность? Проблема этих прогнозов в том, что они обычно принимают точку зрения, которая не является особо разумной.
Если вы хотите думать о магазине, вам бы хотелось подумать: как я могу на самом деле оптимизировать свои решения по управлению запасами и ассортименту — решения по ассортименту, по запасам, по ценам — чтобы максимально эффективно обслуживать спрос именно этого магазина? Это была бы одна перспектива. Другой подход мог бы заключаться в том, как я могу максимизировать долгосрочную ценность каждого отдельного клиента.
Это имеет значение, например, в моде: если вы предоставляете скидку клиенту, это формирует дурную привычку. Клиент внезапно начинает ожидать возврата. Когда этот клиент возвращается, он или она будут ожидать снова скидку. Опять же, мы смотрим в будущее. Мы неявно делаем прогноз.
Когда люди начинают обсуждать точность прогноза, они пытаются выразить суждение о качестве своего предвидения будущего. Что я хочу сказать, так это то, что те характеристики, которые вы наблюдаете в практически всех компаниях — зацикленных на исключительно узкой парадигме точечных прогнозов временных рядов — настолько ограничены и ошибочны, что любые цифры, полученные в рамках этой парадигмы, просто являются тратой времени. Это пустая трата времени, и любое улучшение, которое вы думаете, что получите, является лишь иллюзией.
Я также видел множество анекдотичных свидетельств — десятки и десятки за годы — команд специалистов по данным, которым удавалось получить «на 20% более точный» прогноз согласно MAPE, MAE или чему-либо ещё, но который так никогда и не вводился в производство, потому что создавал кучу проблем. Lokad, ещё полутора десятилетия назад, был частью тех компаний, возглавляемых специалистами по данным, сталкивающихся с подобными проблемами. Кажется, проблема всё ещё остаётся, и такие последние разработки, как FVA — Forecast Value Added — только усугубляют ситуацию.
Conor Doherty: Пришел личный вопрос. Вы можете отправить его лично, если не хотите комментировать публично; я задам его в конце. Но я вернусь к идее FVA и точности — ведь об этом меня только что спросили. Я продолжу немного, потому что, опять же, тема — скрытая стоимость точности прогноза.
Ваша книга лежит на столе. Экономика — огромная часть вашего общего взгляда на мир, и вы неоднократно подчеркиваете важность как прямых, так и косвенных затрат, при этом косвенные — это альтернативные издержки. Итак, в довольно конкретных терминах, каковы на практике затраты предприятия, сосредоточенного на погоне за точностью? Как это сказывается на ежедневных расходах или потерях?
Joannes Vermorel: Это проявляется в том, что ваши менеджеры по управлению запасами или производственные менеджеры — или те, кто принимает фактические решения — тратят огромное количество времени, чтобы «подкрутить» цифры, и в конце концов прийти к какому-то полуразумному решению. Иногда компании удивляются: «Это очень странно, у нас есть, предположительно, точный прогноз, а затем существуют простые правила для принятия решений — что закупать, что производить, как распределять запасы, какие цены устанавливать? Оказывается, на перевод этих прогнозов в реальные решения уходит огромное количество человеческих ресурсов.»
Почему так происходит? Потому что прогнозы настолько бессмысленны, что требуется масса человеческих ресурсов, умственных усилий, чтобы выполнить всю ту работу, которую прогноз не выполняет должным образом. Эти люди, эти целые команды на самом деле выполняют всю работу по правильному осмыслению будущего, чтобы принятые решения действительно имели смысл.
Это одна из скрытых затрат: почему ваша цепочка поставок не полностью автоматизирована с точки зрения процессов принятия решений от начала до конца? Краткий ответ: ваши прогнозы чрезвычайно неэффективны, и это гораздо серьёзнее, чем просто их неточность.
Они неэффективны в том смысле, что даже не выражены таким образом, который способствовал бы процессам принятия решений. Это не та гранулярность, которая вам нужна. Они не сосредоточены на нужных аспектах. У них нет необходимой тонкости и т.д. Так что у вас возникает иллюзия количественно измеримого будущего, но это всего лишь иллюзия. Когда мы говорим о точности прогнозирования — опять же, с классической точки зрения — вы просто гонитесь за этой иллюзией количественного описания будущего.
Conor Doherty: Я начну с того, что скажу, что мы не будем уходить в диатрибут о FVA, но в качестве примера конкретных затрат: часто известно, что компании тратят значительные суммы денег, как напрямую, так и косвенно, на программные продукты для внедрения FVA. Снова, мы не комментируем, работает ли FVA или нет; всё дело в том, что это добавочная стоимость в погоне за метрикой, типа: нам нужно увидеть, что добавляет, что уменьшает или увеличивает точность.
Так что дело не только во внимании; есть ещё зарплаты, верно? Есть внимание, есть альтернативные издержки, и во многих случаях — мы знаем примеры — существует и затраты на программное обеспечение. Вы, поставщики, платите за это и т.д. Так что это многое.
Joannes Vermorel: Да. И также, например, если вы добавляете людей в процесс, как это делается в S&OP — часть идеи S&OP заключается в том, чтобы каким-то образом увеличить синхронизацию, повысить точность. Вы хотите, чтобы люди производили то, что команда продаж собирается продать, и то, что маркетинг собирается продвигать. Вы хотите, чтобы по всей компании была синхронизация. В некотором смысле, это связано с погоней за точностью, чтобы между всеми этими элементами было меньше рассинхронизации.
Но это оборачивается огромными затратами: эта ручная синхронизация чрезвычайно медленная. Для большинства компаний она происходит лишь раз в квартал, а некоторые компании делают это раз в месяц, но это уже очень медленно. Даже если вы находитесь среди лучших компаний, практикующих S&OP, это будет ежемесячный цикл. По моим меркам, это чрезвычайно, чрезвычайно медленно. Это ещё одна издержка, связанная с погоней за этой точностью: внезапно всё, что вы делаете, отстаёт на 30 дней или более. Это нехорошо.
Conor Doherty: Я согласен, и я только что записал дополнение к этому. Опять же, когда мы говорим о фокусе — KPI, часто точности прогноза — вы упомянули, что это делает вас фактически слепыми к многим другим источникам неопределенности, потому что, по сути, речь идёт о спросе. Мы прогнозируем спрос, и мы делаем это очень специфическим способом, а именно через призму данных, по которым у вас есть временные ряды.
Joannes Vermorel: Именно. Речь идёт не обо всём спросе. Речь идёт о том, что фактически, вы почти исключительно прогнозируете продажи, опираясь на свои исторические данные. Мы находимся очень далеко от вопроса, например: как вообще можно думать о точности, когда в прошлом у вас были серьёзные дефициты запасов, и, следовательно, вы не наблюдали реальный спрос? Имела место цензура, потому что вы продали только столько, сколько могли из-за нехватки.
Очень частый пример: что бы сказало большинство поставщиков — а также консультанты и многие учебники? Они бы сказали: «О, просто игнорируйте ту часть истории, где у вас были эти проблемы». Мой ответ: ни за что. Если вы столкнулись с дефицитом запасов — скажем, вы проводите промоакцию в гипермаркете, и у вас заканчиваются запасы через два часа в понедельник утром — вы открываете магазин, и вуаля, через два часа запасы закончились. Это информация, которая имеет огромное значение. Если промоакция должна длиться десять дней, то закончиться запасам к концу девятого дня — совершенно другая ситуация.
Таким образом, тот факт, что вы оказались в дефиците запасов, не аннулирует всё остальное. Вы всё равно можете использовать эту информацию, даже если она сопряжена с определёнными осложнениями. Снова, проблема, которую я вижу с «точностью», заключается в том, что эта концепция практикуется на основе дефектной парадигмы практически везде. Таким образом, когда вы гонитесь за этой точностью, как это делают 99% компаний, это сопровождается огромными затратами и очень незначительными выгодами — если вообще есть выгода.
Conor Doherty: Возьмём ваш собственный пример и разберём его по частям с точки зрения скрытых затрат: вы привели пример события дефицита запасов. Традиционная точка зрения была бы такова: «Вы в магазине; у вас нет яиц. Ну, я потерял продажу яиц». А как насчёт того, что большинство товаров покупаются в комплекте?
Вы прогнозировали определённый уровень спроса на яйца; произошёл дефицит яиц. «Ну, я потерял стоимость этих яиц». А как насчёт хлеба, сыра, молока, ветчины, кондиционера для белья, стирального порошка? Вероятно, всё это оказывалось бы в корзине. Что касается яиц — я, например, ем их много. Посмотрите на меня. Если в магазине нет яиц, я пойду в магазин, где яйца есть, и потрачу все деньги, которые я бы изначально потратил на все эти другие товары.
Joannes Vermorel: Это типичный пример для вероятностного прогнозирования: основная экономическая ценность в цепочке поставок сосредоточена на крайних значениях. Это может быть неожиданно высокий спрос, который приводит к дефициту запасов, или, наоборот, неожиданно низкий спрос, который приводит к избыточным запасам и, возможно, в случае скоропортящихся товаров, к их списанию.
Для почти всех компаний, ориентированных на классическую точность, это останется незаметным, потому что они сосредотачиваются на среднем или медиане. Это также верно для авиации: у вас есть AOG — самолёты на земле. Вам не хватает винта стоимостью 20 долларов, и вуаля, ваш A320 простаивает целый день, потому что не хватает крошечной детали.
Идея о том, что ваша точность — точечные прогнозы — отразит или будет коррелировать с экономикой, просто неверна в большинстве случаев. Для этой аудитории важно помнить, что очень часто корреляция оказывается отрицательной. Улучшая точность, вы усугубляете ситуацию. Это происходит чрезвычайно часто.
В противном случае, контраргумент будет: «Мы улучшаем точность, потому что, по крайней мере, это не вредит». Мой ответ таков: о да, оно может навредить. Это очень часто так. Это одна из ключевых причин, почему так мало из тех проектов по специалистам по цепям поставок, возглавляемых командами специалистов по данным, когда-либо воплощаются в производство: эти «более точные» прогнозы создают настолько много проблем, что их отклоняют. Это вызывает огромное разочарование среди команд специалистов по данным: «Но посмотрите, наш прогноз оказался на 20% точнее!» Практики не безрассудны; они интуитивно понимают, что эти цифры вызовут массу проблем для компании. Они не обязательно проводят сквозной количественный анализ, чтобы объяснить, почему так происходит, поэтому типичный планировщик запасов смотрит на эти прогнозы — предположительно более точные, но создающие множество неочевидных проблем — и говорит: «Нет, мне это не нравится. Я просто хочу оставить свой трёхлетний скользящий средний и придерживаться его».
Для команды специалистов по данным это кажется безумием — зачем нужен этот трёхлетний средний показатель? Это выглядит глупо. То, что они не видят, так это то, что сложная модель с её временными рядами полностью сломана и создаёт множество проблем. Для менеджера по запасам этот очень наивный трёхлетний скользящий средний обладает интересными свойствами: высокой стабильностью, понятностью и т.д. Потому что приходится выполнять столько дополнительной работы по правильному предвидению будущего, по крайней мере, этот входной показатель не мешает всей остальной работе, которую менеджеры по запасам, производственные менеджеры, менеджеры по распределению, управляющие магазинов и т.д. должны выполнять для принятия решений в реальном мире.
«Конор Дохерти»: Ты буквально только что сказал «захват будущего», а суть в основном заключается в прямых и косвенных затратах, связанных с прогнозированием спроса, особенно через временные ряды. Ты упомянул ранее важность сроков поставки, возвратов и т.д. Почему, по-твоему, практически все компании так увлечены прогнозированием спроса и достигают суперточности в этом, в то время как о другом огромном, очень распространённом, широко известном источнике неопределенности — о котором мы не говорим — молчат?
«Йоаннес Верморель»: Именно здесь я должен внести свою лепту с помощью книги — глава 7 «Будущее». Практически все компании на самом деле используют, с технической точки зрения, телеологическое видение, которое предполагает, что можно, как Госплан для СССР, спроектировать спрос на год вперёд (или, как в Госплане, на пять лет вперёд) и затем его зафиксировать. После этого мир становится игрой распределения ресурсов. Всё сводится к тому, как организовать ресурсы для этого, и ты предполагаешь, что всё будет выполнено надёжно. Если нет — это проблема, которую нужно решить.
Например, срок поставки: классическая теория говорит: «Не прогнозируйте срок поставки. Просто найдите поставщиков, которые надёжны и доставят вовремя». Выживает ли такое представление в реальном мире? Нет. Тем не менее, такая точка зрения присутствует практически во всех книгах. Есть ещё более нелепые взгляды: иногда авторы признают, что сроки поставки могут варьироваться, и говорят: «Давайте примем нормальное распределение», что приводит к положительной вероятности для отрицательных сроков поставки — это суперстранно, если задуматься. Вы встретите в учебниках авторов, которые говорят: «Давайте возьмём нормальное распределение срока поставки», что означает, что отрицательный срок в один день допустим: ты заказываешь сейчас, а получаешь товар вчера. Это не имеет никакого смысла. Тем не менее, это присутствует в программном обеспечении и литературе.
«Конор Дохерти»: Йоаннес, спасибо. Должен отметить, что мой компьютер в фоновом режиме начал сбоить. Я думал, что вопросов нет, а потом он просто перезагрузился во время твоей речи, а вопросов оказалось много. Я и не подозревал, а затем вдруг увидел, что их довольно много. Дайте мне момент на обработку — Microsoft провёл обновление Windows в самый подходящий момент, невероятно. Как раз в нужный момент. Компьютер работает идеально, а потом мы проводим прямой эфир.
Мы вернёмся к заключительному комментарию позже. Я перейду сразу к комментарию. Это от Тимура: «Когда прогнозные KPI не коррелируют с прибылью, это значит, что именно эти прогнозные KPI необходимо изменить. У нас есть хороший опыт в переопределении KPI на те, где мы видим корреляцию». Что ты об этом думаешь, Йоаннес?
«Йоаннес Верморель»: Да. Но тогда нам действительно следует поставить под сомнение: если ты применишь все необходимые изменения, чтобы твой KPI стал коррелировать с прибылью, можно ли всё ещё называть это «точностью прогнозирования»? Является ли это тем, что называют точностью прогнозирования в литературе? Или тем, что называется точностью прогнозирования в современных системах планирования или корпоративных планировочных решениях? Мой ответ: нет.
Итак, что если мы скажем, что можно ввести KPI, который действительно коррелирует с прибылью? Абсолютно. Но его уже не назовут точностью прогнозирования. Никто, взглянув на этот расчёт, не скажет: «О, это вариант точности». Да, можно связать качество твоего предвидения будущего с прибылью. Но когда ты это делаешь, результат становится настолько иным, что ни один статистик уже не назвал бы это точностью. Мы ушли так далеко, что это стало чем-то совершенно иным.
«Конор Дохерти»: Следующий вопрос от Вивека: «Нужно ли измерять точность или ошибку в объёмах, или ошибку в процентах — точность в объёмах или ошибка в объёмах?»
«Йоаннес Верморель»: Проблема не в том, чтобы иметь абсолютную метрику, выраженную в единицах, или что-то, выраженное в процентах. Это совершенно несущественная техническая деталь. То же самое, если ты хочешь выбрать квадратный корень ошибки или что-то подобное. Всё это математические инструменты с математическим определением. Они ни в коей мере не коррелируют с прибылью компании.
Если у тебя есть корректный KPI, то это будет что-то такое — своего рода лакмус: если статистик или математик узнает формулу твоего показателя эффективности как нечто, называемое точностью, то это уже не экономический критерий. Когда в расчёт вступают экономические факторы, всё становится очень запутанным и чрезвычайно специфичным для бизнеса. Это становится чем-то, что нельзя перенести на другой бизнес. Это становится сильно привязанным к стратегическим амбициям именно этого бизнеса и сопровождается множеством особых случаев. Существует множество нюансов, специфичных для бизнеса.
Те показатели эффективности индикаторы, которые экономически обусловлены, очень полезны. Если ты хочешь их распознать, они, как правило, довольно многословны, потому что им необходимо учитывать множество факторов бизнеса. У них нет математической элегантности чисто математических критериев, таких как MAPE или MAE. Это не то, что можно написать в одной строке кода. Обычно это займёт сотни, если не несколько тысяч строк кода, поскольку нужно учитывать массу факторов.
«Конор Дохерти»: Я вернусь к вопросу, присланному ранее. Это был ответ на твои комментарии о том, что негативный — или, точнее, менее точный — прогноз может быть более прибыльным. Цитирую дословно: «Хорошо, на 10% более точный прогноз может не принести больше денег, но на 20% менее точный точно приведёт к потерям. Значит, коррелирует ли точность хоть как-то с прибыльностью?»
«Йоаннес Верморель»: Нет, не коррелирует. Это была моя ошибка в первые несколько лет работы Lokad. Бизнес-модель Lokad заключалась в том, что мы предоставляем более точные прогнозы. И мы это сделали. Мы до сих пор довольно хороши в точности прогнозирования. Несколько лет назад, на конкурсе прогнозирования M5 на данных Walmart, Lokad заняла первое место в мире по уровню SKU и пятое место в общем зачёте, в то время как ни один из наших конкурентов — сосредоточившихся на «более точных прогнозах с помощью ИИ» и тому подобном — не попал в топ-100.
Может ли прогноз, на 20% менее точный, сделать вашу компанию более прибыльной? Да, абсолютно. Это был жёсткий и болезненный урок первых лет работы в Lokad. Как получить на 20% более точный прогноз? Сделав прогноз более нестабильным. У тебя есть алгоритм, который очень чувствителен к последним изменениям в данных. Это один из самых простых способов сделать прогноз более точным. Но когда ты применяешь такое нестабильное, более точное предсказание в реальной цепочке поставок, производительность ухудшается. Возвращение к прогнозу, который на 20% менее точный, на самом деле улучшает ситуацию.
Один из самых простых способов сделать прогноз «более точным» при прерывистом спросе — предсказывать нули большую часть времени. Исторически сложилось так, что мы даже выиграли крупный тендер для большого европейского дистрибьютора, предсказывая исключительно нули. Мы прогнозировали спрос для мини-маркетов — по каждому продукту, на каждый день, для каждого мини-маркета — на пять дней вперёд. Критерием была абсолютная разница между прогнозом и реальностью. Я использовал свою модель «нулевого прогнозирования» — возвращал везде ноль — и она показала результат на 20% лучше, чем у второй по значению компании в этом тендерном конкурсе.
Да, можно улучшить бизнес, сделав прогноз менее точным. Временные ряды совершенно неадекватны, и когда используются временные ряды, постоянно происходят безумные вещи. Вот почему так много людей занимается подгонкой чисел, корректировкой и работой с электронными таблицами поверх прогнозов — потому что нельзя прямо перевести прогнозы временных рядов в решения. Это одна из основных причин, почему с конца 70-х годов автоматизация цепочек поставок так и не произошла: нельзя автоматизировать процессы принятия решений на основе анализа временных рядов. В этом и заключается проблема.
«Конор Дохерти»: Следующий вопрос от Дмитрия — и спасибо тебе за помощь с администрированием, Дмитрий, и за репост. Сначала комментарий, затем вопрос: точность прогнозирования широко используется, потому что это просто. Как ты, Йоаннес, объясняешь свои концепции другим бизнес-стейкхолдерам — не обязательно крутым ботанам, которые всё сразу понимают?
«Йоаннес Верморель»: Наш подход таков: забудьте про прогноз. Это числовой артефакт, значение, которое является лишь временным. Это средство для достижения цели. Какова цель? Принятие решения: что купить, что произвести, где разместить запасы, по какой цене.
Давайте рассмотрим решения. Для каждого решения давайте количественно оценим — в евро или долларах — полдюжины действующих сил и обсудим, насколько правильно то, что мы видим через эти силы. Например: мы размещаем одну единицу в этом магазине — какую дополнительную маржу мы, по нашему мнению, получим, разместив эту дополнительную единицу в магазине сегодня? Есть ли у нас приблизительная оценка? Какие штрафы за отсутствие товара мы избегаем — каково улучшение качества обслуживания? Каков риск создания избыточных запасов? Какова альтернативная стоимость занятого в магазине пространства, которое могло бы быть использовано для лучшего продукта?
Нам нужно прийти к согласию относительно этих экономических факторов. В зависимости от отрасли их будет много. Полдюжины или дюжины экономических сил будут существенно различаться от компании к компании, поскольку бизнес-модель и стратегические намерения разные. Тем не менее, метод в Lokad таков: выразить это через экономические драйверы, которые отражают будущее — будущее, встроенное в эти экономические оценки в денежном выражении — а затем обсудить, находимся ли мы в правильной области с практиками.
Очень часто мы получаем более качественную обратную связь, когда рассматриваем вопрос с чисто финансовой точки зрения. Люди говорят: «О, ты забыл: ты говоришь о том, чтобы продать эту единицу сегодня, но сегодня в магазине не хватает персонала. У них нет ресурсов, чтобы выставить товар на полку. Если ты всё же что-то продвигаешь, кто-то на точке продажи должен будет что-то делать, и клиенты получат плохое обслуживание. Поэтому должен быть штраф.» Ладно, мы включаем это как дополнительный фактор.
Столько всего сводится к предвидению будущего. Речь идёт о том, чтобы всё было правильно для будущего. Вот почему я говорю «качество предвидения», а не «точность прогнозирования», последняя относится к точечным прогнозам временных рядов.
«Конор Дохерти»: Дмитрий слушал, и есть уточняющий вопрос: можешь рассказать, как применить все эти экономические факторы к портфелю из 5 000 SKU? Ты же имел дело с гораздо большим количеством.
«Йоаннес Верморель»: Да, значительно больше — мы применяем это к более чем 50-миллионному количеству SKU. Важно составить числовой рецепт. То, как ты работаешь с практиками, — это выборка. Ты позволяешь себе руководствоваться анекдотическими данными. Забудь о средней точности, среднем показателе и т.д. — это не должно быть определяющим.
Этот метод — также описанный в книге — называется экспериментальной оптимизацией. Ты берёшь пример, и планировщик говорит «следующий, следующий», смотрит на SKU и говорит: «А, нет, с этим я не согласен». Если начать этот метод с реальными людьми, они смотрят на твой рецепт — не на код, не на результат, не на экономические факторы — и быстро возражают: «Я не согласен с этим. Например, этот продукт: ты говоришь, что штраф за отсутствие товара составляет столько, но это подгузники. Для молодых родителей это критично. Если они не найдут подгузники нужного бренда в гипермаркете, они сразу пойдут в другой гипермаркет». Ладно, значит, штраф здесь существенно занижен.
Они дают тебе обратную связь. Это анекдотически. Затем задача специалиста по цепочке поставок — понять общее правило и докопаться до сути. Наш опыт в Lokad — экспериментальная оптимизация на практике — таков: ты делаешь первый проход, и планировщики возражают против 90% твоих строк. Независимо от того, какой SKU или решение ты выберешь, возражений будет масса. Затем ты итеративно повторяешь процесс. Очень часто это занимает у нас несколько сотен итераций за два месяца — иногда по пять итераций в день — корректируешь, повторяешь, корректируешь, повторяешь. Представь это как Excel-таблицу, где ты что-то подгоняешь — гибкий процесс.
Иногда клиенты даже ведут живые обсуждения со специалистом по цепочке поставок по телефону. Специалист исправляет код во время разговора и сразу запускает его, чтобы увидеть результат. Ты итеративно повторяешь процесс. В какой-то момент практик говорит: «У меня больше нет возражений». Они смотрят на решения: они выглядят хорошо и последовательно; никакой безумности. Наша цель в производстве — 0% безумия. Мы не стремимся к 0% неточности; мы стремимся к 0% безумия. Это совершенно другая перспектива.
Ты делаешь это посредством выборки. Нет смысла говорить, что ты хочешь среднюю производительность, потому что, усредняя по множеству SKU, ты не видишь проблем. Ты не замечаешь анекдотов, особых случаев, требующих внимания. Даже если смотреть на прибыльность, у тебя есть много SKU, которые супер прибыльны. Если усреднить, может получиться, что какой-то SKU работает ужасно — безумно — но он утонет среди множества других прибыльных и нормальных SKU. Вот почему необходимы экспериментальная оптимизация и анекдотическая перспектива для быстрой корректировки кода.
«Конор Дохерти»: Ещё два вопроса. Мне нужно прокрутить вверх — много комментариев. Дмитрий, надеюсь, это помогло. Ладно, от — извини, надеюсь, я правильно это произношу — Алиф (или Лейф): «С твоей точки зрения, какие подходы могут помочь организациям выявить и устранить скрытые затраты в рамках циклов при сохранении баланса между гибкостью и эффективностью затрат?» Примечание: под циклами подразумевается S&OP.
«Йоаннес Верморель»: Откажитесь от S&OP. Эти процессы имеют только одну положительную сторону: они делают консультантов богаче. Просто отбросьте их. Сосредоточьтесь на решении. Определите, какие решения принимаются. В книге я определяю решение в цепочке поставок очень просто: это распределение ресурсов, которое поддерживает поток физических товаров. Вот и всё.
Ты превращаешь один доллар в сырьё для своей цепочки поставок — это распределение ресурсов. Ты берёшь одну единицу сырья и превращаешь её в полуфабрикат — распределение ресурсов. Ты перемещаешь одну единицу запасов из одного места в другое — распределение ресурсов. Сосредоточься на распределении ресурсов; вот какие решения принимаются. Исходи от этого.
Не позволяйте числовым артефактам — промежуточным шагам — определять ваш процесс. Прогнозы являются частью этого; они совершенно преходящи. Они одноразовые. Вы можете избавиться от них, заменить их чем-то лучшим. Они не являются фундаментальными, в отличие от решений. Решения являются фундаментальными. Посмотрите на свой бизнес через 50 лет — у вас по-прежнему будет проблема: один доллар превращается в купленные товары посредством производственного процесса. Эти решения чрезвычайно стабильны, в отличие от числовых артефактов, которые совершенно преходящи.
Conor Doherty: На самом деле, это длинный комментарий с множеством контекста. Я намеренно свожу его к одному вопросу — мы пришлем более развернутый ответ позже. В общем: считаете ли вы, что ключевые показатели эффективности (KPI) должны различаться для разных категорий цепочки поставок, отражая различия в ограничениях закупок и производства, а также в сроках поставок?
Joannes Vermorel: Как правило, нет. Вам нужны KPI, которые отражают экономику вашей компании. Это может включать множество факторов, зависящих от категории. Существуют компании — некоторые очень крупные — с поразительно разнообразными направлениями бизнеса. Если у вас есть компания, занимающаяся игрушками и авиационными деталями, это два абсолютно разных бизнеса. Вероятно, KPI будут совершенно разными.
Но если у нас есть нечто относительно однородное — скажем, авиационная электроника — следует ли определять KPI по-разному в зависимости от типа авиационной электроники? Вероятно, нет. Скорее всего, у вас есть код — логика ваших KPI — которая одинакова для всех, но имеет параметры, специфичные для каждой категории. Это типичный подход Lokad. Иногда у нас даже есть параметры, зависящие от конкретного продукта или SKU. Это нормально. Мой совет: постарайтесь сохранить числовой алгоритм как можно более единым.
Почему? В конечном итоге, всё, что вы делаете, конкурирует за одни и те же ресурсы. Все категории ваших закупок в итоге конкурируют за те же доллары на банковском счете компании. Всё, что вы храните на складе, в конечном итоге борется за одно и то же место в одном и том же складе. У вас есть ограничения, действующие по всей компании. Если объекты не однородны, крайне сложно провести правильный арбитраж между распределениями. Это также проблема классического подхода к оптимизации цепочки поставок: они, как правило, работают в изоляции, категория за категорией. Это полностью упускает с виду суть. Если вы хотите оптимизировать свою цепочку поставок, она должна быть сквозной, чтобы видеть, где можно распределить ресурсы с наивысшей доходностью с экономической точки зрения.
Conor Doherty: Надо сказать, что в вопросе Тимура было огромное количество контекста. Если бы он слушал, он, возможно, вырывал бы волосы, думая: «Конор, ты упростил мой вопрос». Мы пришлем более подробный ответ позже. Жоаннес не видел полного контекста. Это было импровизационное замечание.
Мы уже работаем час. Я думаю, что мы ответили на все вопросы и комментарии, но есть еще один: многие, похоже, заинтригованы этой темой. Многие работают в рамках, где они хотят произвести изменения, но при этом обязаны соблюдать свои ограничения. Мы работаем с числовыми рецептами; мы имеем ограничения. У них проходят S&OP совещания. У них есть программное обеспечение Forecast Value Added, с которым им, по крайней мере пока, приходится работать или обходить его. Какой ваш совет людям, которые хотят начать вносить изменения, о которых вы говорите, но работают в этой системе?
Joannes Vermorel: Смените компанию — в буквальном смысле.
Conor Doherty: Ну вот, друзья. Спасибо, что приняли нас.
Joannes Vermorel: Я говорю серьёзно. Проблема в том, что когда вы говорите: «Ладно, эта система, эта организация совершенно не работает. Есть нечто очевидное, что должно происходить, но не происходит», вам следует сменить компанию. Это приведёт к катастрофе. В какой-то момент конкурент разберется, внедрит изменения, а для компании, которая этого не сделает, будут проблемы.
Подумайте обо всех тех розничных торговцах, которые обанкротились перед лицом Amazon. Они буквально не могли понять, что происходит. Когда я основал Lokad, я вел переговоры в Европе с множеством розничных компаний — многие с тех пор обанкротились. Они говорили мне — поскольку я представлял Amazon как угрозу — «О, мистер ML, Amazon — это всего лишь ниша, эта крошечная вещь в интернете. Это не серьёзно. Никто никогда не купит» — вставьте здесь — «телевизор, диван, платье, автомобиль, бла-бла-бла — через интернет. Люди любят выходить на улицу». Они говорили: «Они никогда не купят то или иное онлайн. Представьте, что вы покупаете дорогую камеру онлайн — нет, конечно, нет», и так далее. Всё завершилось полным крахом.
Если вы работаете в организации, где у вас много рутинной работы, представьте, что ваш конкурент решает сделать смелый ход и автоматизировать этот процесс. Всё это исчезнет. Как долго просуществует ваша компания, если она этого не сделает? Думаете, что ваша позиция всё еще останется?
Я вижу, что многие застряли. Одно из преимуществ современности заключается в том, что вы не привязаны к одному месту — особенно для людей с количественными или аналитическими навыками; они крайне востребованы. Множество компаний нанимают сотрудников. Lokad испытывает трудности с наймом; это сложно. Зачем тратить годы жизни в компании, которая использует вас неправильно из-за неэффективного процесса? Это безумие.
Мой совет: очень вежливо и конструктивно пытайтесь продвигать идеи для перемен. Часто люди удивляются: причина, по которой изменения не происходят, в том, что никто даже не пытается их инициировать. Люди по умолчанию считают, что перемены будут отвергнуты.
Мой ограниченный опыт таков: у вас есть большой простор для обращения к начальству. Если у вас есть аргументированное, хорошо оформленное и разумное, осуществимое предложение, изменения возможны. Это мой совет.
Но если вы застряли в устаревшем процессе, срочно нужно перейти в другую компанию, которая сможет лучше вас использовать. В противном случае, представьте, что через десять лет вы все еще на той же устаревшей позиции. В вашем резюме будет указано десять лет рутинной работы над чем-то устаревшим. Продать себя следующему работодателю будет очень сложно.
Conor Doherty: Это не теоретически. Некоторые друзья канала недавно сменили работу именно по этой причине, и они поделились этим — и пусть так будет.
Joannes Vermorel: Это также способ создать те изменения, которые вы хотите видеть на рынке. Вы видите что-то устаревшее и говорите: «Я не собираюсь этому способствовать». Вы переходите в компанию, которая делает что-то умнее — скажем, Amazon, которая, к тому же, очень прибыльна — и шансы на получение значительно более высокой зарплаты через некоторое время очень велики.
Conor Doherty: В качестве завершающей мысли, Тимур с вами согласен: «Я согласен с советом Жоаннеса сменить компанию. Не тратьте своё время, если вам не позволяют внедрять то, что имеет смысл для вас».
Joannes Vermorel: Да, и если вы хотите перемен, приложите серьёзные усилия для подготовки вашего предложения — то есть, действительно, структурированного по принципу пирамиды. Вам нужен краткий документ не длиннее половины страницы для начальника вашего начальника, что-то легко усваиваемое. Затем — развернутая версия, может быть, на двух страницах, а потом, возможно, на десяти, и конкретный пример. Если вы сможете привести цифры, выраженные в П&L (прибыль и убытки), это заденет высшее руководство.
Не будьте тем самым data scientist, который говорит: «Нам нужно перейти к глубокому обучению, и я думаю, что нам действительно следует внедрить разложение низкого ранга; я считаю, что это будущее». Руководство скажет: «О чем ты вообще говоришь?» Всё должно быть очень приземлено. Я не припоминаю, чтобы я встречал руководителя, который, получив бизнес-план, выраженный в долларах или евро, сказал: «Я даже не хочу это слушать». Я видел множество ситуаций, когда люди говорили: «Ваш план интересен, но полностью ошибочен, потому что вы сделали неверное предположение», и ваши расчёты оказались неверными. Но я редко видел, чтобы высшее руководство отказывалось участвовать в чем-то, что имеет финансовую мотивацию.
Conor Doherty: Жоаннес, мы уже говорим и стоим 70 минут. Вопросы закончились. Я занимался бегом сегодня, так что я довольно устал. Вопросы закончились; время вышло. Спасибо, как всегда, за все ваши идеи. И всем, кто присутствовал и задавал вопросы, как лично, так и публично — огромное спасибо.
Если вы хотите продолжить беседу, не стесняйтесь связаться с нами лично — без проблем. Или если вы смотрите это видео в режиме повторного воспроизведения — а оно доступно для повторного просмотра — оставьте комментарий ниже, и кто-нибудь из нас ответит вам. На этом всё, увидимся на следующей неделе. И да, возвращайтесь к работе.
