Добавленная ценность прогноза

00:00:08 Обзор ‘Добавленной ценности прогноза’ как управленческого инструмента.
00:01:29 Объяснение процесса ‘Добавленной ценности прогноза’ и причин его возникновения.
00:02:06 Важность метрик для определения точности процесса прогнозирования.
00:03:37 Обсуждение того, почему многоступенчатые прогнозы, созданные несколькими командами, не работают.
00:07:55 Идея о том, что совместная работа нескольких команд для повышения точности привлекательна, но не подтверждается научными данными.
00:08:01 Недостатки того, чтобы публика голосовала за следующий ход шахматного чемпиона.
00:10:31 Неэффективность метода ‘Добавленной ценности прогноза’ в цепочке поставок.
00:12:17 Неэффективность ручного вмешательства в улучшение точности прогноза.
00:14:50 Трудность доверять науке вместо человеческого суждения в прогнозировании.
00:15:55 Детализация понимания и анализа клиентов со стороны продавца.
00:16:00 Критика идеи, что прогнозирование должно быть совместным процессом.
00:17:02 Недавнее возрождение популярности методики ‘Добавленной ценности прогноза’.
00:17:23 Потенциал финансовой выгоды от создания метрик и взимания платы за обновления.
00:19:10 Важность определения, предоставляет ли консультант реальную ценность компании или создает лишь формальную занятость.
00:23:36 Необходимость выявления радикальной некомпетентности и использования метода ‘Добавленной ценности прогноза’ в качестве лакмус-теста.

Резюме

Добавленная ценность прогноза (FVA) — это ошибочный подход к прогнозированию в цепочке поставок, предполагающий сотрудничество различных команд внутри организации для повышения точности. Йоаннес Верморель, основатель Lokad, утверждает, что FVA добавляет дополнительный уровень сложности в управление цепями поставок, при этом не принося очевидной пользы компании, и не подтверждается научными исследованиями. Верморель предлагает, чтобы бизнес сосредоточился на поиске более простых и эффективных решений для своих проблем в цепочке поставок и доверял специалистам в различных областях. Компании должны использовать FVA в качестве лакмус-теста для выявления радикальной некомпетентности среди поставщиков или консалтинговых агентств, продвигающих совместное прогнозирование.

Расширенное резюме

В этом интервью ведущий Киран Чендлер и Йоаннес Верморель, основатель Lokad, обсуждают концепцию добавленной ценности прогноза (FVA) и её эффективность в оптимизации цепочки поставок. FVA возник в начале 2000-х как методика повышения точности прогнозов путем определения того, какие этапы процесса прогнозирования положительно или отрицательно влияют на итоговый результат. Этот подход обычно предполагает сотрудничество различных команд внутри организации, таких как маркетинг, продажи и производство.

Идея FVA заключается в том, что измеряя точность каждого этапа процесса, можно определить, какие команды вносят положительный или отрицательный вклад в точность прогноза. Это осуществляется посредством ретроспективного тестирования, при котором точность базового прогноза сравнивается с точностью прогнозов, дополненных данными от различных команд.

Однако Верморель указывает, что этот подход не работает на практике и не подтверждается научными исследованиями. Литература по статистическому прогнозированию не поддерживает многоступенчатый процесс, при котором прогнозы передаются от одного подразделения компании к другому. Фактически, соревнования по прогнозированию последовательно показывают, что победители не полагаются на такие методики.

Несмотря на свои недостатки, FVA получила распространение, так как является привлекательным решением, позволяющим каждому внести вклад и почувствовать себя участником процесса. Верморель сравнивает это с идеей группы людей, пытающихся помочь шахматному чемпиону сделать следующий ход, что, скорее всего, приведет к отвлечению внимания, а не к улучшению результатов.

Добавленная ценность прогноза — это популярный, но ошибочный подход к прогнозированию в цепочке поставок. Он подразумевает сотрудничество различных команд внутри организации с целью повышения точности. Однако этот метод не подтверждается научными исследованиями, и эмпирические данные свидетельствуют о том, что он не приводит к более точным прогнозам. Привлекательность FVA может быть обусловлена желанием коллективного участия и удовлетворения от участия в процессе принятия решений.

Они обсудили концепцию добавленной ценности прогноза и её недостатки. Он считает, что это бюрократическая идея, добавляющая дополнительный уровень сложности в управление цепями поставок, замедляющая процессы и усложняющая операции, без явной выгоды для компании.

Верморель утверждает, что предпосылка, согласно которой прогнозирование должно быть совместным усилием, неверна, так как наука и результаты предыдущих соревнований по прогнозированию не поддерживают эту идею. Он подчеркивает, что человеческий разум не приспособлен для работы со статистическим шумом, и ручное вмешательство, как правило, снижает точность прогнозов. Он предлагает, что гораздо эффективнее сосредоточиться на улучшении числовой модели, лежащей в основе прогноза, вместо того чтобы вручную корректировать прогнозы.

Он ставит под сомнение способность неспециалистов выполнять сложные числовые задачи лучше, чем эксперты, потратившие годы на разработку адекватных числовых моделей. Верморель указывает, что, например, команды продаж обычно действуют с гораздо большей детализацией, чем требуется для прогнозирования спроса на отдельный SKU. Вместо этого их идеи следует использовать для пересмотра числовой модели, что приведет к более точным прогнозам.

Несмотря на озабоченность Вермореля, он отмечает, что методика добавленной ценности прогноза вновь стала популярной в последние годы, при этом многие консультанты и поставщики программного обеспечения продвигают эту методику. Однако он продолжает критиковать этот подход и считает, что он не является самым эффективным способом повышения точности прогнозов в цепочке поставок.

Верморель выражает озабоченность тем, что поставщики программного обеспечения зарабатывают деньги, предлагая сложные решения проблем цепочки поставок, которые не обязательно приносят реальную ценность. Он предполагает, что многие поставщики используют отвлекающие факторы для продажи своих продуктов и услуг, что затрудняет клиентам определение реальной ценности.

Верморель подчеркивает важность избегания сложности ради самой сложности. Он отмечает, что добавление лишних измерений в процесс может фактически сделать проблему квадратично более сложной, что может не принести пользы компании. Более того, он считает, что поставщики часто устанавливают более высокую цену за эти сложные решения, включая обновления и консультационные сборы.

Чтобы различать ценных консультантов и тех, кто просто генерирует метрики, Верморель предлагает, чтобы компании задавались вопросом, действительно ли предоставляемый сервис или решение добавляет ценность, или же это лишь создание формальной занятости. Он подчеркивает важность фокусирования на внешне ориентированных решениях, а не на внутренних, так как добавление лишних уровней сложности в процесс может не привести к лучшим результатам.

В контексте управления цепями поставок Верморель выступает против идеи, что прогнозирование должно быть совместным процессом. Он сравнивает это с наличием электричества в здании, что не считается командной работой. Он утверждает, что нет причин для того, чтобы прогнозирование было коллективным процессом, и что компании должны сосредоточиться на поиске более простых, эффективных решений для своих проблем в цепочке поставок.

Верморель подчеркивает важность доверия специалистам в различных областях, таких как электромонтаж или прогнозирование в цепочке поставок. Он отмечает, что совместные методы прогнозирования зачастую оказываются контрпродуктивными, ссылаясь на серию работ, демонстрирующих, что ручное вмешательство в прогнозы может быть вредным. Это связано с тем, что люди плохо воспринимают случайность; в то время как люди отлично распознают закономерности, им трудно понять случайность.

Верморель утверждает, что до тех пор, пока коллективный подход к прогнозированию не будет доказан как превосходящий, ему не следует доверять. Он отмечает, что ведущие исследователи в этой области, такие как участники соревнований по прогнозированию, не используют коллективные методы. Верморель предлагает, чтобы бизнес был более скептичен по отношению к поставщикам и консалтинговым агентствам, продвигающим такие коллективные методы прогнозирования, так как у них может не хватать компетенции в этой области.

Основное сообщение интервью заключается в том, что бизнесу следует сосредоточиться на выявлении областей радикальной некомпетентности в управлении цепями поставок, а не пытаться улучшить прогнозы посредством сотрудничества. Верморель рекомендует использовать метод ‘Добавленная ценность прогноза’ в качестве лакмус-теста для обнаружения радикальной некомпетентности среди поставщиков или консалтинговых агентств, продвигающих коллективное прогнозирование. Он сравнивает это с выявлением поставщиков, продвигающих методы, основанные на астрологии или искусственном интеллекте, без понимания их истинных последствий.

Верморель советует бизнесу проявлять осторожность при взаимодействии с поставщиками и консалтинговыми агентствами в области оптимизации цепей поставок, используя метод ‘Добавленная ценность прогноза’ как инструмент для выявления некомпетентности. Доверие специалистам и отказ от коллективных методов прогнозирования могут привести к более эффективному управлению цепями поставок.

Полная транскрипция

Kieran Chandler: Сегодня мы обсудим, насколько это работает и почему декомпозиция прогноза фактически может привести к более сложным решениям. Итак, Йоаннес, в чем суть идеи ‘Добавленной ценности прогноза’?

Joannes Vermorel: Методика ‘Добавленной ценности прогноза’ — это процесс, который возник в начале 2000-х, возможно, в 90-х. Я не нашел публикаций раньше, но учитывая, что идея несложная, полагаю, что она уже практиковалась в 90-х, вероятно, под разными названиями и формами. По сути, это процесс, направленный на количественное повышение точности прогноза путем определения, улучшают ли определенные шаги, предпринятые при составлении итогового продукта, то есть прогноза, фактически его точность.

Для иллюстрации, представим, что есть команда прогнозистов, которая составляет базовый прогноз. Затем вмешивается команда маркетинга и корректирует этот базовый прогноз, опираясь на дополнительные маркетинговые инсайты, например, на то, что они планируют проводить в рамках кампаний. Затем вмешиваются продажи и вносят свой слой коррекции, исходя из дополнительных инсайтов в области продаж. Затем приступает производство и так далее. Мы возвращаемся к команде прогнозистов, которая окончательно формирует план, и это, по сути, то, что делается в рамках процесса SNLP. Процесс добавленной ценности прогноза состоит в установлении метрик для определения разницы, вносимой каждым этапом процесса прогнозирования, в терминах улучшения или ухудшения точности, и, по сути, идея заключается в том, чтобы исключить те вклады, которые в конечном итоге приводят к ухудшению точности прогноза.

Kieran Chandler: Так почему же возникла эта идея? Потому что привлечение стольких различных заинтересованных сторон, безусловно, может усложнить процесс.

Joannes Vermorel: Да, действительно, по крайней мере, ранние статьи 2000-х годов указывают на то, что составление прогнозов с участием многих людей обычно приводит к обратному эффекту, то есть ухудшению точности прогноза. Их вывод заключается в том, что придерживаться наивного базового прогноза, который очень часто представляет собой что-то вроде скользящего среднего плюс сезонность, оказывается более точным, чем тот, который получается, когда многим людям дают возможность корректировать эти прогнозы. Но логика подсказывает, что мы должны попытаться отсеять плохие вклады, чтобы оставить хорошие, таким образом обеспечив лучшее из обоих миров: первоначальную точность, дополнительно улучшенную за счет дополнительных вкладов, но тщательно отфильтрованных посредством процесса добавленной ценности прогноза.

Kieran Chandler: Так как же определить, какие команды вносят положительный вклад, а какие — негативный?

Joannes Vermorel: Совсем просто — посредством проведения ретроспективного тестирования.

Kieran Chandler: Какова была точность базового прогноза за последний квартал? Какова была точность базового прогноза с учетом вклада команды продаж? А затем у нас есть два разных сценария прогноза: базовый и тот, в который внесена первая корректировка. Мы можем увидеть, улучшилась ли точность прогноза или нет. И затем мы можем повторить этот эксперимент для каждого этапа, чтобы сравнить с точностью предыдущего шага. Таким образом, мы фактически можем изолировать результаты.

Joannes Vermorel: Это очень похоже на процесс ретроспективного тестирования, за исключением того, что вы добавляете дополнительный уровень детализации в анализ. Вы хотите проанализировать и сравнить точность до и после изменений, рассматривая ключевые этапы процесса прогнозирования. И когда я говорю о ключевых этапах, я имею в виду шаги с точки зрения организации, когда прогноз передается команде, команда вносит корректировки и передает его другой команде. Весь процесс циркулирует внутри компании, пока не вернется к исходной команде прогнозистов, отвечающей за весь процесс прогнозирования.

Kieran Chandler: С логической точки зрения это имеет смысл: вы получаете опыт от большего числа людей, так что, вероятно, это приведет к повышению точности. Так в чем же заключается основная проблема?

Joannes Vermorel: Проблема в том, что это просто не работает, и это не подтверждено никакими научными доказательствами. Это нечто, что выглядит интуитивно понятным и звучит хорошо, но если мы обратимся к литературе по статистическому прогнозированию, ни один научный исследователь фактически не использует такие методы. Даже если у них есть модели прогнозирования с несколькими этапами, все эти этапы интегрированы в одну алгоритмическую систему, то есть в одну часть программного обеспечения. Идея о том, что можно усовершенствовать статистический прогноз, передавая его от подразделения к подразделению внутри компании, в основном безумна. Если мы посмотрим на конкурсы по прогнозированию, которые проводятся уже долгое время, например, те, что организованы профессором Макридэкисом, то люди, оказавшиеся победителями, не прибегали к многоступенчатому прогнозному процессу, при котором прогноз передавался бы от специалиста к специалисту. По моему мнению, эта идея привлекает, потому что она делает всех счастливыми; каждый может внести свой вклад, и это создает ощущение положительных эмоций.

Joannes Vermorel: В этом процессе, да, но так оно не работает. Это как если представить, что у вас есть чемпион по шахматам, и вы говорите: “Хорошо, теперь мы попытаемся помочь этому чемпиону, проведя общее голосование среди людей, которые пытаются помочь ему сделать следующий ход.” Ответ: нет, это не сделает чемпиона лучше. Скорее всего, это просто будет полным отвлечением. Если хотите иметь лучшего из лучших, просто позвольте ему играть в игру так, как считают нужным чемпионы, и все.

Kieran Chandler: Так почему же такого рода идея так прижилась? Это потому, что она делает многих людей счастливыми, давая им ощущение, что они вносят свой вклад? То есть, почему люди слышали о понятии дополнительной ценности прогноза?

Joannes Vermorel: Я считаю, что это своего рода крайне бюрократичная идея, которая привлекает внимание, потому что она ориентирована исключительно на внутренние процессы. Как только вы начинаете решать реальные проблемы, например, управление рисками, которое вынуждает вас совершенствовать свои методы в сторону вероятностного прогнозирования, всё становится крайне сложным. Понятие дополнительной ценности прогноза — банальность. Уровень математики, задействованный здесь, соответствует уровню средней школы. Это нечто, что выглядит хорошо, и никто не будет интеллектуально стимулирован таким показателем. Это буквально чересчур просто.

Joannes Vermorel: Очень заманчиво просто добавить еще один уровень бюрократии в вашу цепочку поставок, чтобы люди занимались этим процессом, который выглядит хорошо и звучит разумно. Это просто будет держать всех занятыми, и вы станете в этом довольно хороши. Как можно потерпеть неудачу в чем-то таком простом и понятном, как дополнительная ценность прогноза? Но на самом деле вы потерпите неудачу в том смысле, что добавите лишний уровень сложности, который, скорее всего, замедлит всё, усложнит всё и запутает всё. При этом ваши краткосрочные KPI могут немного улучшиться, хотя никто не знает, принесет ли это хоть какие-то деньги компании. С узкой точки зрения ваших довольно краткосрочных KPI это может немного сработать.

Kieran Chandler: Разве нет в этом какой-то доли правды, что если бы мы сфокусировались на конкретных ключевых областях, мы могли бы достичь значительных улучшений?

Joannes Vermorel: Первое, что нужно опровергнуть — это предпосылка данного утверждения, которая абсолютно неверна. Предпосылка заключается в том, что прогнозирование должно быть совместным усилием. Это не так. Наука абсолютно не поддерживает это утверждение, и все конкурсы по прогнозированию за последние десятилетия также не подтверждали его. Статьи, которые я читаю, также не подтверждают это утверждение. Таким образом, предпосылка полностью ложна. Прогнозирование не становится лучше, когда оно выполняется коллективно. Следовательно, идея вовлечения всех и каждого для внесения своего вклада просто ошибочна.

Kieran Chandler: И, в принципе, в Lokad мы проводили сравнения вклада ручных корректировок в прогноз, и, по сути, они неизменно оказывались ошибочными. Ручное вмешательство неизменно снижало точность прогноза. Однако для этого нужно сначала принять установку, при которой, когда кто-то видит статистический прогноз, который сильно ошибочен, вы не хотите вручную корректировать прогноз; вы хотите исправить базовую числовую формулу. Я предполагаю, что речь идет о разумной числовой формуле прогноза, проверенной в боевых условиях. Так что если есть очевидные моменты, которые не были должным образом учтены в прогнозе, эти проблемы уже решены. Например, если не учитывать дефицит товаров, вы перепутаете отсутствие продаж с отсутствием спроса, что совершенно неверно.

Joannes Vermorel: Да, ваша числовая формула должна учитывать дефициты. Я предполагаю, что как только вы решите все эти проблемы, связанные с отладкой, и как только модель будет проверена и отлажена, мы в Lokad, по запросу многих клиентов, провели множество тестов, сравнивая точность прогноза до и после ручного вмешательства. И каждый раз ручное вмешательство ухудшало точность прогноза. Оказывается, человеческий мозг не очень хорошо справляется со статистическим шумом. Статистический шум — это не то, что мы воспринимаем; мы видим закономерности повсюду. На самом деле очень сложно распознать статистический шум таким, какой он есть, и поэтому даже простейшие статистические методы, такие как скользящая средняя, зачастую превосходят человеческое суждение, хотя и едва ли лучше самой скользящей средней, но все же лучше.

Kieran Chandler: Итак, вы выступаете за единственного чемпиона, который будет составлять прогноз. И почему, по-вашему, людям так сложно доверять науке? Почему это требует такого прыжка веры?

Joannes Vermorel: Это не прыжок веры; наука не требует от вас просто верить. Речь идет о понимании происходящего. Вопрос в том, почему люди, не являющиеся специалистами, смогли бы взять большой набор данных и выполнить сложную числовую задачу в уме или с помощью случайных таблиц лучше, чем те, кто годами пытается подобрать разумные числовые алгоритмы именно для этого? Какое же здесь может быть волшебство? И если люди говорят, что у них есть инсайты о рынке, да, но с какой степенью детализации? Представьте типичную компанию с примерно 20,000 артикулов, и затем вы просите людей из отдела продаж — скажем, их пятеро — дать свои соображения по таблице с 20,000 артикулами.

Kieran Chandler: Вы спрашиваете, должны ли эти показатели расти или падать, так, чтобы отдел продаж даже не знал. То есть, если вы работаете в отделе продаж, то управляете, может быть, полудюжиной важных VIP-клиентов, если вы в B2B-бизнесе. Эти клиенты заказывают тысячи товаров в квартал в разных количествах. Это совсем не та степень детализации, с которой работает продавец. Ваш масштаб — это то, что ваш клиент — организация, и в этой организации вы знаете несколько человек. Это и есть та детализация, с которой вы мыслите и анализируете. А вот детали более чем 20,000 артикулов — они просто не в состоянии их оценить, поэтому будут делать приблизительные догадки и изображать, что работа выполнена.

Joannes Vermorel: Это иллюзия. Проблема в том, что если у вас есть важные инсайты, то почему бы не пересмотреть числовую формулу так, чтобы она могла использовать эти дополнительные данные в качестве входных? Работа будет выполнена с гораздо меньшими усилиями и с гораздо большей точностью.

Kieran Chandler: Значит, вы считаете, что эта проблема всё ещё существует или, наоборот, люди начинают принимать идею о том, что за прогноз отвечает не один человек?

Joannes Vermorel: За последние пару лет оценка прогнозов вновь становится популярной. Многие консультанты, а также некоторые довольно заблуждающиеся поставщики программного обеспечения, сейчас продвигают эту методологию. Честно говоря, для таких поставщиков, как Lokad, здесь можно заработать целое состояние. Это то, что станет полным отвлечением. Преимущество такого отвлечения для поставщика в том, что он никогда не может потерпеть неудачу. Изначально никакой выгоды и не было, но, наоборот, не может возникнуть очевидного ущерба. Таким образом, вы никогда не потерпите неудачу. Это очень хорошо. Отвлечение — это миссия, в которой нельзя потерпеть неудачу.

Вы можете тратить недели или месяцы, создавая целую стену метрик, что добавляет еще одно измерение, позволяющее ко всему, что делалось раньше, добавить дополнительное измерение, показывающее, как каждая ваша деятельность приносит пользу или вредит на каждом этапе процесса. То есть, вы делаете проблему квадратично сложнее, а не сложнее, потому что она очень проста — это всего лишь одно дополнительное измерение, но вы делаете её чрезвычайно сложной. Если у вас большая компания с десятью разными этапами, у вас буквально в десять раз больше метрик для каждой вещи, которую вы измеряли раньше. И таким образом, вы можете взимать оплату соответственно. Вы можете брать плату за обновления, консалтинговые услуги и так далее.

Kieran Chandler: Так как же тогда можно различить консультантов, которые действительно приносят пользу, и тех, кто просто создает метрики ради метрик?

Joannes Vermorel: Я считаю, что вам просто нужно задать себе вопрос: делаете ли вы что-то реальное? Оказываете ли вы реальное влияние?

Kieran Chandler: Так вы думаете, этот коллективный подход к прогнозированию имеет внутреннюю ценность для компании или это просто рутинная работа, загружающая бюрократию?

Joannes Vermorel: В качестве проверочного теста, как я уже упоминал при обсуждении бюрократического ядра цепочки поставок, стоит задать себе вопрос, смотрите ли вы внутрь или наружу. В данном случае это яркий пример внутреннего подхода. Если вы берёте существующий процесс прогнозирования, разбираете его внутренние компоненты и добавляете еще один уровень сложности для его улучшения, в реальном мире так не работает. Вы не получите ничего лучше с организационной точки зрения, заглядывая внутрь и добавляя лишние уровни артефактов. Эта абстракция не приносит дополнительной ценности. Простая идея должна состоять в устранении предпосылки, что прогнозирование должно быть коллективным усилием; для этого нет оснований.

Существует множество вещей, например, обеспечение электричеством вашего здания, которые не являются командной работой. Вы бы не подумали, что для наличия электричества в здании нужны все. Очевидно, что если вы хотите получить достойную электропроводку, вы доверяете специалистам, которые выполнят работу и позаботятся о том, чтобы здание не сгорело из-за небезопасной проводки. Идея о том, что можно получить лучшее электроснабжение за счет командной работы — абсурдна, и то же самое справедливо для прогнозирования.

Когда я говорю «верьте науке», я имею в виду, что есть ряд исследований, демонстрирующих, что ручное вмешательство в прогнозы вредно. Эти исследования около 20-летние, и их выводы не удивительны, потому что целая область психологии изучает, как люди воспринимают случайность. Оказывается, человеческий разум ужасно воспринимает случайность. Мы прекрасно умеем видеть закономерности, но не способны понять саму случайность.

Kieran Chandler: Итак, я считаю, что у нас есть веская причина сказать: до тех пор, пока вы не докажете, что коллективный прогноз превосходит всё остальное, мы не должны вам доверять. И когда мы увидим, что в соревнованиях, где все победители, знаете, попадают в топ-100, не используют никакой коллективной методики, и что ведущие исследователи в этой области, такие как Фореман, также не применяют её, и если вы прочтете их книгу от начала до конца, вы не найдете в ней ничего подобного, можно вполне предположить, что всё это — полная чепуха. Существует множество вещей, которые выглядят очень хорошо и кажутся разумными, но на самом деле абсолютно ошибочны, и, как известно, если оглядеться, можно подумать, что Земля плоская.

Joannes Vermorel: Если подвести итоги на сегодня, основное послание оказывается гораздо более радикальным. Чтобы улучшить вашу цепочку поставок, вам нужно выявить очаги радикальной некомпетентности — тех людей, которые понятия не имеют, что делают, буквально, как клоун Бозо. В бизнесе такие люди могут казаться серьезными. Дополнительная ценность прогноза должна использоваться как индикатор для выявления радикальной некомпетентности. Так что если какой-либо поставщик прогнозов продвигает это на своем сайте, считайте его полностью некомпетентным. Если консалтинговое агентство продвигает это, его тоже можно считать полностью некомпетентным. Это хорошо, потому что подобное напоминает ситуацию с блокчейном или искусственным интеллектом — тот же тест, где, если кто-то продвигает ИИ, значит, они понятия не имеют, что делают. Мы можем их просто отсеять и перейти к следующему. Представьте, если бы поставщик реально продвигал метод, основанный на астрологии, вы бы сказали: «Ладно, эти люди недостоверны, вас нет». Я даже не хочу слышать ваши доводы. Я знаю, что вероятность в 99,9% того, что вы — полный мошенник. Ну, это к лучшему. Дополнительная ценность прогноза дает тест для отсеивания компаний или консалтинговых агентств, которые доказывают свою полную некомпетентность. Так что будьте благодарны и используйте это как фильтр.

Kieran Chandler: Ладно, на этом я закончу, но пару компаний придется вычеркнуть из списка. Вот и все на этой неделе. Большое спасибо за внимание, увидимся в следующем эпизоде. Спасибо за просмотр.