Прогнозирование с добавленной стоимостью

00:00:08 Обзор прогнозирования с добавленной стоимостью как метода управления.
00:01:29 Объяснение процесса прогнозирования с добавленной стоимостью и причины его возникновения.
00:02:06 Важность метрик для определения точности процесса прогнозирования.
00:03:37 Обсуждение причин, по которым многопроходные прогнозы не работают при участии нескольких команд.
00:07:55 Идея совместной работы нескольких команд для повышения точности привлекательна, но не подтверждена научными исследованиями.
00:08:01 Недостатки голосования общественности за следующий ход шахматного чемпиона.
00:10:31 Неэффективность прогнозирования с добавленной стоимостью в цепи поставок.
00:12:17 Неэффективность ручного вмешательства в повышение точности прогнозирования.
00:14:50 Сложность доверия науке перед субъективным суждением в прогнозировании.
00:15:55 Детализация понимания и анализа клиентов продавцом.
00:16:00 Критика идеи о том, что прогноз должен быть результатом совместных усилий.
00:17:02 Недавнее возрождение популярности методологии оценки прогноза.
00:17:23 Возможность финансовой выгоды от создания метрик и платы за обновления.
00:19:10 Важность определения, предоставляет ли консультант реальную ценность для компании или занимается только хлопотами.
00:23:36 Необходимость выявления радикальной несостоятельности и использование прогнозирования с добавленной стоимостью в качестве литмус-теста.

Резюме

Прогнозирование с добавленной стоимостью (FVA) - это недостаточно эффективный подход к прогнозированию в цепи поставок, который предполагает сотрудничество различных команд внутри организации для повышения точности. Йоанн Верморель, основатель Lokad, утверждает, что FVA добавляет дополнительный уровень сложности в управление цепями поставок без явной выгоды для компании и не подтверждается научными исследованиями. Верморель предлагает компаниям сосредоточиться на поиске более простых и эффективных решений для своих задач в области цепей поставок и доверять специалистам в различных областях. Компании должны использовать FVA в качестве литмус-теста для выявления радикальной несостоятельности у поставщиков или консалтинговых агентств, продвигающих совместное прогнозирование.

Расширенное резюме

В этом интервью ведущий Киран Чандлер и Йоанн Верморель, основатель Lokad, обсуждают концепцию прогнозирования с добавленной стоимостью (FVA) и его эффективность в оптимизации цепи поставок. FVA появился в начале 2000-х годов как метод для повышения точности прогнозов путем определения, какие шаги в процессе прогнозирования вносят положительный или отрицательный вклад в конечный результат. Этот подход обычно предполагает сотрудничество различных команд внутри организации, таких как маркетинг, продажи и производство.

Идея FVA заключается в том, что, измеряя точность каждого шага в процессе, можно определить команды, вносящие положительный или отрицательный вклад в точность прогноза. Это делается через ретроспективное тестирование, сравнивая точность базового прогноза с точностью прогнозов с дополнительными входными данными от разных команд.

Однако Верморель указывает на то, что этот подход не работает на практике и не подтверждается научными исследованиями. Статистическая литература по прогнозированию не рекомендует многоэтапный процесс, при котором прогнозы переходят от подразделения к подразделению внутри компании. Фактически, соревнования по прогнозированию показывают, что победители не полагаются на такие техники.

Несмотря на свои недостатки, FVA получила широкое распространение, потому что это привлекательное решение, которое позволяет каждому внести свой вклад и почувствовать себя включенным в процесс. Верморель сравнивает это с идеей группы людей, пытающихся помочь шахматному чемпиону сделать следующий ход, что, скорее всего, приведет к отвлечению, а не к улучшению результатов.

Прогнозная добавленная стоимость - популярный, но недостаточно обоснованный подход к прогнозированию в цепи поставок. Он предполагает сотрудничество между различными командами внутри организации с целью повышения точности. Однако этот метод не подтверждается научными исследованиями, и эмпирические данные свидетельствуют о том, что он не приводит к лучшим прогнозам. Привлекательность FVA может быть связана с желанием коллективного участия и удовлетворением, получаемым от участия в процессе принятия решений.

Они обсудили концепцию добавленной стоимости прогноза и ее недостатки. Он считает, что это бюрократическая идея, которая добавляет дополнительный уровень сложности в управление цепью поставок, замедляя процессы и усложняя операции, не принося явной пользы компании.

Верморель утверждает, что предположение о том, что прогнозирование является коллективным усилием, неверно, так как наука и прошедшие соревнования по прогнозированию не подтверждают эту идею. Он подчеркивает, что человеческий разум плохо справляется с статистическим шумом, и ручные вмешательства обычно снижают точность прогнозирования. Он предлагает сосредоточиться на улучшении числового алгоритма, лежащего в основе прогноза, а не на ручной корректировке прогнозов.

Он сомневается в способности неспециалистов выполнять сложные числовые задачи лучше, чем эксперты, которые многие годы разрабатывали разумные числовые алгоритмы. Верморель указывает на то, что команды по продажам, например, обычно работают на гораздо более крупной гранулярности, чем требуется для прогнозирования спроса на отдельные SKU. Вместо этого их идеи следует использовать для пересмотра числового алгоритма, что приведет к более точным прогнозам.

Несмотря на опасения Вермореля, он отмечает, что прогнозная добавленная стоимость в последние годы стала популярной, и многие консультанты и поставщики программного обеспечения продвигают эту методологию. Однако он остается критически настроенным по отношению к этому подходу и считает, что это не самый эффективный способ повысить точность прогнозирования в управлении цепью поставок.

Верморель выражает свои опасения относительно поставщиков программного обеспечения, которые зарабатывают деньги, предлагая сложные решения проблем цепи поставок, которые не всегда приносят реальную пользу. Он предлагает, чтобы многие поставщики использовали отвлечения для продажи своих товаров и услуг, что затрудняет клиентам определение реальной ценности.

Верморель подчеркивает важность избегания сложности ради сложности. Он указывает на то, что добавление лишних измерений к процессу может сделать проблему квадратично более сложной, что может не быть полезным для компании. Более того, он считает, что поставщики часто берут больше денег за эти сложные решения, включая обновления и консультационные услуги.

Чтобы отличить ценных консультантов от тех, кто просто производит метрики, Верморель предлагает компаниям задать себе вопрос, действительно ли услуга или решение, предоставленное, добавляет ценность или просто создает лишнюю работу. Он подчеркивает важность сосредоточиться на решениях, направленных на внешний мир, а не на внутренний, так как добавление дополнительных уровней сложности в процессе может не привести к лучшим результатам.

В контексте управления цепями поставок Верморель возражает против идеи о том, что прогнозирование должно быть коллективным усилием. Он сравнивает это с наличием электроэнергии в здании, которое не считается командной работой. Он утверждает, что нет причин, чтобы прогнозирование было коллективным процессом, и что компании должны сосредоточиться на поиске более простых и эффективных решений для своих вызовов в цепях поставок.

Верморель подчеркивает важность доверия специалистам в различных областях, таких как электрические установки или прогнозирование цепей поставок. Он указывает на то, что коллективные методы прогнозирования часто являются контрпродуктивными, ссылаясь на ряд статей, демонстрирующих, что ручное вмешательство в прогнозы может быть вредным. Это связано с плохим восприятием людьми случайности; в то время как люди отлично справляются с выявлением закономерностей, им трудно понять случайность.

Верморель утверждает, что пока коллективный подход к прогнозированию не будет доказан превосходящим, на него нельзя полагаться. Он отмечает, что ведущие исследователи в этой области, такие как участники прогнозных соревнований, не используют коллективные методы. Верморель предлагает бизнесам быть более скептичными по отношению к поставщикам и консалтинговым агентствам, которые продвигают такие коллективные методы прогнозирования, так как они могут не обладать компетентностью в этой области.

Основное сообщение интервью заключается в том, что бизнесам следует сосредоточиться на выявлении областей радикальной несостоятельности в управлении цепями поставок, а не пытаться улучшить прогнозы через сотрудничество. Верморель рекомендует использовать добавленную прогнозную стоимость в качестве литмусового теста для выявления радикальной несостоятельности у поставщиков или консалтинговых агентств, продвигающих коллективное прогнозирование. Он сравнивает это с обнаружением поставщиков, продвигающих методы, основанные на астрологии или искусственном интеллекте, не понимая их истинных последствий.

Верморель советует бизнесам быть осторожными при работе с поставщиками и консалтинговыми агентствами в области оптимизации цепей поставок, используя добавленную прогнозную стоимость в качестве инструмента для выявления несостоятельности. Доверие специалистам и избегание коллективных методов прогнозирования может привести к более эффективному управлению цепями поставок.

Полный текст

Кирен Чандлер: Сегодня мы обсудим, насколько хорошо это работает и почему разложение прогноза может привести к более сложным решениям. Итак, Джоаннес, в чем суть добавленной прогнозной стоимости?

Джоаннес Верморель: Добавленная прогнозная стоимость - это процесс, возникший в начале 2000-х, возможно, в 90-х. Я не нашел публикаций ранее, но так как это не очень сложная идея, я подозреваю, что она уже практиковалась в 90-х годах, вероятно, под разными названиями и формами. В основном это процесс, направленный на количественное улучшение точности прогноза путем определения, улучшают ли определенные шаги, предпринятые при составлении конечного продукта, то есть прогноза, его точность.

Для иллюстрации у нас есть команда прогнозирования, которая составляет базовый прогноз. Затем вступает маркетинговая команда и корректирует этот базовый прогноз на основе своих дополнительных маркетинговых идей, например, того, что они намереваются сделать в рамках кампаний. Затем вступает команда продаж и добавляет свой собственный уровень коррекции из-за дополнительных продажных идей, которые они имеют. Затем вступает производство и так далее. Мы возвращаемся к команде прогнозирования, которая в конечном итоге завершает план, и это в основном то, что делается в рамках процесса SNLP. Процесс добавленной прогнозной стоимости состоит в установлении метрик для изменения, внесенного каждым отдельным шагом процесса прогнозирования в терминах того, улучшает ли он точность или ухудшает точность, и неявно идея заключается в удалении вкладов, которые фактически ухудшают точность прогнозирования в конце концов.

Кирен Чандлер: Итак, почему эта идея возникла? Потому что вовлечение такого большого количества заинтересованных сторон может усложнить вещи.

Жоанн Верморель: Да, на самом деле, по крайней мере ранние статьи 2000-х годов указывают на то, что создание прогнозов с участием множества людей обычно приводит к обратному результату, а именно к снижению точности прогнозирования. Их вывод заключается в том, что придерживание наивного базового прогноза, который часто представляет собой скользящее среднее плюс сезонность, оказывается более точным, чем то, что вы получаете, когда разрешаете множеству разных людей вносить изменения в эти прогнозы. Но логика говорит о том, что мы должны попытаться отфильтровать плохие вклады, чтобы сохранить хорошие, чтобы у нас было лучшее из обоих миров: начальная точность, которая далее улучшается благодаря дополнительным вкладам, но тщательно фильтруется через процесс добавления прогнозной ценности.

Кирен Чандлер: Итак, как определить, какие команды вносят хороший вклад, а какие команды вносят плохой вклад?

Жоанн Верморель: Очень просто, с помощью обратного тестирования.

Кирен Чандлер: Какова точность базового прогноза за последний квартал? Какова точность базового прогноза плюс вклад команды по продажам? А затем у нас есть два разных прогноза: базовые и прогнозы с первым уровнем коррекции. Мы можем увидеть, улучшили ли мы точность прогноза или нет. И затем мы можем повторить этот эксперимент для каждого отдельного этапа, чтобы сравнить с точностью предыдущего этапа. Таким образом, мы можем выделить результаты.

Жоанн Верморель: Это очень похоже на процесс обратного тестирования, за исключением того, что вы добавляете дополнительный уровень детализации в анализ. Вы хотите проанализировать и сравнить соответствующую точность до и после изменений, рассматривая ключевые этапы процесса прогнозирования. И когда я говорю о ключевых этапах, я определяю этапы с точки зрения организации, где прогноз передается команде, команда вносит корректировки, а затем передает его другой команде. Вся эта цепочка проходит внутри компании, пока не вернется к исходной команде прогнозирования, ответственной за весь процесс прогнозирования.

Кирен Чандлер: Логически это имеет смысл; вы получаете все больше и больше экспертизы людей, поэтому, вероятно, точность будет выше. Так в чем же проблема?

Жоанн Верморель: Проблема в том, что это просто не работает, и это не подтверждается никакими научными доказательствами. Это то, что выглядит интуитивно и звучит хорошо, но если мы начнем изучать научную литературу по прогнозированию, то ни один исследователь не работает с такими методиками. Даже если у них есть прогнозные модели с несколькими этапами, все эти этапы интегрированы в одну алгоритмическую среду, то есть в одно программное обеспечение. Идея, что вы можете улучшить статистический прогноз, позволяя ему переходить от подразделения к подразделению внутри компании, в основном является безумием. Если мы посмотрим на прогнозные соревнования, которые проходят уже давно, например, организованные профессором Макридакисом, то люди, которые победили в этих соревнованиях, не прибегали к многоэтапному процессу прогнозирования, где прогноз переходил бы от специалиста к специалисту. По моему мнению, это то, что очень привлекательно, потому что это делает всех счастливыми; каждый может внести свой вклад, и это создает чувство позитивных эмоций.

Жоанн Верморель: В этом процессе, да, но это не работает. Это как если вы представите себе чемпиона по шахматам и скажете: “Хорошо, теперь мы попытаемся помочь этому чемпиону, устроив большое голосование людей, пытающихся помочь ему сделать следующий ход”. Ответ - нет, это не сделает этого чемпиона лучше. Скорее всего, это просто отвлечет его. Если вы хотите иметь лучшего из лучших, просто позвольте ему играть в игру так, как видят это чемпионы, и все.

Кирен Чандлер: Итак, почему эта идея получила такое большое распространение? Это потому, что это то, что делает многих людей счастливыми, и они чувствуют, что вносят свой вклад? Я имею в виду, почему люди слышали о добавленной прогнозной ценности?

Жоанн Верморель: Я считаю, что это своего рода очень бюрократическая идея, которая имеет большое привлекательное воздействие, потому что она очень зациклена на себе. Как только вы начинаете решать реальные проблемы, такие как управление рисками, которое заставляет вас перейти к вероятностному прогнозированию, все становится очень сложным. Добавленная прогнозная ценность тривиальна. Уровень математики, которая в ней задействована, соответствует уровню средней школы. Это то, что выглядит хорошо, и никто не будет интеллектуально вызван добавленной прогнозной ценностью. Это действительно очень просто.

Жоанн Верморель: Очень соблазнительно просто добавить еще один уровень бюрократии в вашу цепочку поставок, чтобы люди занимались этим процессом, который выглядит хорошо и звучит разумно. Это просто будет занято всеми, и вы будете в этом довольно хороши. Как вы можете потерпеть неудачу в чем-то таком простом и прямолинейном, как добавленная прогнозная ценность? Реальность в том, что вы потерпите неудачу в том смысле, что вы добавите дополнительный уровень сложности, который, скорее всего, замедлит все, усложнит все и запутает все. Но ваши краткосрочные показатели эффективности немного улучшатся, и никто не имеет ни малейшего представления, принесет ли это какие-либо деньги в компанию. С супер узкой перспективы ваших очень краткосрочных показателей эффективности это может немного улучшить.

Кирен Чандлер: Разве нет какого-то элемента истины в том, что если мы сосредоточимся на конкретных основных областях, мы сможем увидеть значительные улучшения?

Жоанн Верморель: Первое, что нам нужно разобрать, это то, что предпосылка этого предложения совершенно неверна. Предпосылка заключается в том, что прогнозирование должно быть коллективным усилием. Это не так. Наука абсолютно не поддерживает эту предпосылку, и все прогнозные соревнования, которые проходили в последние десятилетия, тоже не поддерживали эту предпосылку. Также мои прочитанные мной статьи не поддерживают эту предпосылку. Таким образом, у нас есть предпосылка, которая совершенно неверна. Прогнозирование не становится лучше, когда оно выполняется как коллективное усилие. Таким образом, идея о том, чтобы все были вовлечены и вносили свой вклад, просто неправильна.

Кирен Чандлер: И, в основном, в Lokad мы провели оценку вклада ручных корректировок в прогноз, и, по сути, они всегда были неправильными. Они всегда снижали точность прогнозирования. Однако, чтобы добиться этого, вам нужно сначала иметь такое мышление, при котором, когда кто-то видит статистический прогноз, который глубоко ошибочен, вы не хотите вручную корректировать прогноз, вы хотите исправить основной числовой рецепт. Я предполагаю, что мы говорим о разумном числовом рецепте для прогноза, который был проверен на практике. Таким образом, если есть очевидные вещи, которые не учитываются в прогнозе, эти проблемы были решены. Например, если вы не учитываете дефицит товара, вы будете путать отсутствие продаж с отсутствием спроса, что совершенно неправильно.

Жоанн Верморель: Да, вам нужно сделать ваш числовой рецепт осведомленным о дефиците товара. Я предполагаю, что после того, как вы решили все эти проблемы, которые являются скорее проблемами отладки, и после того, как модель была проверена на практике и отлажена, мы провели в Lokad, по просьбе многих клиентов, много сравнительных анализов, где мы смотрели на точность прогноза до и после ручного вмешательства. И каждый раз ручные вмешательства ухудшали точность прогноза. Оказывается, человеческий разум не очень хорошо справляется с статистическим шумом. Статистический шум - это не то, что мы воспринимаем; мы видим везде паттерны. Фактически очень сложно увидеть статистический шум таким, каким он есть, и поэтому даже простые статистические методы, такие как скользящая средняя, обычно превосходят человеческое суждение, хотя они едва лучше скользящей средней, и все же они уже лучше.

Кирен Чандлер: Итак, то, что вы предлагаете, это своего рода единственный чемпион, который будет составлять прогноз. И почему, по вашему мнению, людям так трудно доверять науке? Почему это такой прыжок веры?

Жоанн Верморель: Это не прыжок веры; наука не требует от вас верить в это. Речь идет о понимании того, что происходит. Вопрос в том, почему люди, не являющиеся специалистами, могут лучше справиться с сложной числовой задачей в своей голове или с помощью случайных электронных таблиц, чем люди, которые на протяжении многих лет пытаются найти разумные числовые методы для этого? Какая магия здесь может быть? И если люди говорят, что у них есть понимание рынка, да, но на каком уровне детализации? Представьте себе, что у типичной компании есть около 20 000 SKU, и вы просите людей из команды продаж - скажем, пять человек - предоставить свои идеи, дав им электронную таблицу с 20 000 SKU.

Кирен Чандлер: Ваши входные данные о том, должны ли эти очереди увеличиваться или уменьшаться, так что команда продаж не знает. Я имею в виду, если вы являетесь частью команды продаж, то управляете, возможно, полдюжиной важных VIP-клиентов, если вы работаете в бизнесе B2B. Эти клиенты заказывают тысячи товаров каждый квартал в разных количествах. Это не тот уровень детализации, с которым вы работаете, если вы продавец. Ваш уровень детализации заключается в том, что ваш клиент - это организация, и в этой организации вы знаете ряд людей. Вот ваш уровень детализации в плане мышления и анализа. И я знаю, что эта организация имеет тягу, и люди могут быть заинтересованы в том, чтобы приблизиться к тому, что я предлагаю, или, наоборот, отойти от этого. Но детали о 20 000 SKU, я имею в виду, они просто не знают, поэтому они просто будут догадываться и притворяться, что работа сделана.

Жоанн Верморель: Вот иллюзия. Проблема в том, что если у вас есть важные идеи, то почему бы не явно пересмотреть числовой метод так, чтобы он мог использовать эти дополнительные элементы в качестве входных данных? Работа будет выполнена с гораздо меньшими усилиями и гораздо большей точностью.

Кирен Чандлер: Так вы бы сказали, что это проблема, которая все еще существует, или вы бы сказали, что люди приходят к этой идее, что прогнозирование - это не только ответственность одного человека?

Жоанн Верморель: Оценка прогноза стала популярной в последние несколько лет. Множество консультантов, и даже некоторые довольно заблужденные поставщики программного обеспечения, теперь поддерживают эту методологию. Если быть честным, для таких поставщиков, как Lokad, здесь есть огромные деньги. Это то, что может стать полной отвлекающей миссией. Хорошо для поставщика с полной отвлекающей миссией в том, что вы никогда не можете потерпеть неудачу. Во-первых, вы не получили никакой выгоды, но, с другой стороны, нет явной потери, которая могла бы произойти. Так что вы никогда не можете потерпеть неудачу. Это очень хорошо. Отвлекающая миссия - это миссия, в которой вы не можете потерпеть неудачу.

Вы можете потратить недели или месяцы на создание целой стены метрик, которая дает вам еще одну размерность, чтобы все, что вы делали раньше, можно было добавить еще одну размерность, которая показывает, как каждая отдельная вещь, которую вы уже делаете, выигрывает или теряет на каждом этапе процесса. Я имею в виду, вы делаете проблему квадратично более сложной, а не более сложной, потому что это очень просто, это всего лишь одна дополнительная размерность, но вы делаете ее значительно более сложной. Если у вас большая компания с десятью различными этапами, у вас буквально в десять раз больше метрик для каждой вещи, которую вы измеряли раньше. И, таким образом, вы можете взимать соответствующую плату. Вы можете брать плату за обновления, консультационные услуги и т. д.

Кирен Чандлер: Как же тогда отличить консультантов, которые действительно приносят ценность, от тех консультантов, которые просто создают эти метрики ради них самих?

Жоанн Верморель: Я считаю, что вам просто нужно задать себе вопрос: вы делаете что-то реальное? Вы делаете что-то, что имеет реальное влияние?

Кирен Чандлер: Итак, вы считаете, что этот коллективный подход к прогнозированию имеет внутреннюю ценность для компании, или вы просто занимаетесь бесполезной работой и заняты бюрократией?

Жоанн Верморель: В качестве проверки на прочность, я упоминал ранее, когда говорил о бюрократическом ядре цепочки поставок, важно определить, смотрите ли вы внутрь или наружу. В данном случае это в значительной степени архетип взгляда внутрь. Если вы берете существующий процесс прогнозирования, разбиваете его на составные части и добавляете еще один уровень сложности внутри него, чтобы сделать его лучше, это не работает в реальном мире. Вы не получаете что-то лучшее в организационном плане, смотря внутрь и добавляя дополнительные слои артефактов. С этой абстракцией не приносится никакой дополнительной ценности. Простая идея должна заключаться в том, чтобы убрать предположение о том, что прогноз должен быть коллективным усилием; для этого нет никакой причины.

Есть много вещей, например, наличие электроэнергии в вашем здании, которые не являются командным делом. Вы бы не подумали, что для наличия электроэнергии в здании каждому нужно быть вовлеченным. Это довольно очевидно, что если вы хотите надежную электрическую систему, вы доверяете специалистам, которые выполнят работу и убедятся, что ваше здание не сгорит из-за небезопасной электрической системы. Идея о том, что вы можете получить лучшую электрическую систему с помощью командного усилия, является абсурдной, и оказывается, что то же самое верно и для прогнозирования.

Когда я говорю “верьте науке”, я имею в виду, что есть ряд статей, демонстрирующих, что ручное вмешательство в прогнозы вредно. Эти статьи примерно 20 лет назад, и их результаты не удивительны, потому что есть целая область психологии, которая тестирует людей на их восприятие случайности. Оказывается, что человеческий разум плохо понимает случайность. Мы очень хороши в обнаружении закономерностей, но не в понимании самой случайности.

Кирен Чандлер: Итак, я считаю, что у нас есть очень веская причина сказать, пока вы не сможете доказать, что коллективный прогноз превосходит другие методы, мы не должны вам доверять. И когда мы видим, что у нас есть конкуренция, где каждый, кто побеждает, попадает в топ-100, не использует никакой коллективный метод, и ведущие исследователи в этой области, такие как Форман, тоже не используют его, и вы можете прочитать их книгу от корки до корки, вы не найдете ничего похожего на это. Довольно разумно предположить, что это полная ерунда. Есть много вещей, которые выглядят очень хорошо, кажутся очень разумными, но на самом деле являются абсолютно неправильными, и, как вы знаете, если посмотреть вокруг, Земля плоская.

Жоанн Верморель: Если мы подведем итоги сегодня, основное сообщение гораздо более радикальное. Если вы хотите улучшить свою цепочку поставок, вам нужно определить места радикальной несостоятельности, людей, которые совершенно не имеют понятия, что они делают, буквально Бозо-клоуна. В бизнесе такие люди могут выглядеть серьезными и прочим. Добавленная стоимость прогноза должна рассматриваться как проверка на радикальную несостоятельность. Так что если поставщик прогнозов продвигает это на своем веб-сайте, считайте этого поставщика полностью несостоятельным. Если консалтинговое агентство настаивает на этом, вы можете считать их полностью несостоятельными. Это то же самое, что с блокчейном или искусственным интеллектом, вы знаете, это тот же самый тест, где если они настаивают на искусственном интеллекте, хорошо, они совершенно не имеют понятия, что они делают. Мы можем считать, переходить к следующему. Просто представьте себе, что если бы поставщик на самом деле настаивал на методе, основанном на астрологии, вы бы сказали, хорошо, эти люди не заслуживают доверия, вы отстранены. Я даже не хочу слушать ваши рассуждения. Я знаю, что есть 99,9% шанс того, что вы полный мошенник. Ну вот, добавленная стоимость прогноза дает вам проверку на радикальную несостоятельность компании или консалтинговых фирм, которые просто доказывают свою полную несостоятельность. Будьте благодарны и используйте это как фильтр.

Кирен Чандлер: Хорошо, мне придется остановиться на этом, но несколько компаний нужно исключить из списка. Это все на этой неделе. Большое спасибо за внимание, и увидимся в следующем эпизоде. Спасибо за просмотр.