00:00:00 Упадок традиционных консультантов
00:02:33 Проблемы с инфомаркетингом, ориентированным на поставщиков
00:05:05 Проблемы с делением на квадранты
00:07:11 Отчеты, не ставящие под сомнение заявления поставщиков
00:09:30 Важность технических достоинств
00:11:11 Поставщики ИИ улучшают глубокое исследование
00:13:22 Агенты ИИ организуют поиск в сети
00:15:36 Улучшение LLM посредством инструкций
00:17:27 Преувеличенные заявления на руку и поставщикам, и клиентам
00:19:55 Ранжирование отчетов LLM на основе обоснованности
00:21:56 Быстрое создание подробных отчетов
00:23:21 LLM опережают консультантов в технических знаниях
00:26:03 Точность исследований с использованием LLM
00:28:09 Поставщики предоставляют нейтральные рыночные обзоры
00:30:46 Проблемы с мусорными данными в LLM
00:33:51 Преимущества LLM в исследовании программного обеспечения
00:36:19 Смещение запросов подрывает объективность LLM
00:39:35 Быстрое освоение навыков составления запросов
00:42:15 Снижение риска распространения дезинформации
00:45:21 Эффективность в проведении быстрых исследований рынка
00:47:37 Консультанты в роли корпоративных компаньонов
00:50:40 Компетентность консультантов важнее предвзятости
00:52:07 Обучение ИИ повышает эффективность выполнения задач
00:54:51 Руководители предпочитают четкий и хорошо написанный анализ
00:57:27 ИИ сокращает время и затраты на исследования
00:57:55 Интервью завершается благодарностью
Резюме
В беседе на LokadTV, Конор Доэрти и Жоаннес Верморель обсуждают исследования рынка в управлении цепями поставок, критикуя традиционные методологии и исследуя преобразующую роль ИИ и больших языковых моделей (LLM). Верморель ставит под сомнение предвзятость традиционных исследований рынка, обусловленную интересами поставщиков, и превозносит способность ИИ предоставлять комплексные, объективные отчеты. Диалог подчеркивает обещание ИИ быстро предоставлять подробные выводы по сравнению с традиционными подходами, несмотря на опасения относительно качества данных и технологической предвзятости. Верморель и Доэрти размышляют о возможном устаревании традиционных консалтинговых компаний, выступая за инновационное сотрудничество между ИИ и человеческим опытом для переосмысления интеллекта цепей поставок.
Расширенное резюме
В недавней беседе на LokadTV, Конор Доэрти, директор по коммуникациям в Lokad, общается с Жоаннесом Верморелем, генеральным директором и основателем Lokad, чтобы раскрыть сложности, связанные с исследованиями рынка в области управления цепями поставок. Этот увлекательный разговор сосредоточен на традиционных методах исследования рынка, преобразующей роли ИИ, в частности больших языковых моделей (LLM), и меняющемся ландшафте для поставщиков программного обеспечения и консультантов.
Доэрти начинает дискуссию, затрагивая постоянные дилеммы, с которыми сталкиваются компании при выборе поставщиков программного обеспечения, отмечая потенциальные подводные камни, вызванные конфликтами интересов с разработчиками ПО. Верморель критикует традиционные подходы к исследованиям рынка, подчеркивая, как финансовые стимулы часто искажают отчеты в пользу поставщиков корпоративного программного обеспечения. Такие отчеты, как правило, полны недостатков из-за отсутствия глубоких знаний у аналитиков, что приводит к анализам, лишенным проницательности и полноты.
Доэрти пытается понять, находит ли критика Вермореля отклик в отрасли. Верморель подчеркивает, что основные отчеты по исследованиям рынка часто не способны предоставить значимые данные о конкурентной среде, характеризующиеся слабым анализом, служащим лишь для распространения предвзятых в пользу поставщиков нарративов. Эта критика также распространяется на популярные инструменты оценки рынка, такие как квадранты, которые, по мнению Вермореля, поверхностны и лишены дальновидных идей, за исключением случаев, как у Brightwork.
Далее, обсуждая Brightwork, Верморель объясняет его выдающийся подход использованием настоящих инженеров-программистов, которые независимо оценивают сложные корпоративные решения, оставаясь невосприимчивыми к предвзятости поставщиков. Затем акцент смещается на потенциал ИИ радикально изменить исследования рынка, что побуждает Доэрти спросить, как ИИ, в частности LLM, решает существующие проблемы. По мнению Вермореля, достижения в области ИИ теперь поддерживают асинхронный анализ, способствуя созданию комплексных отчетов, превосходящих предыдущие версии LLM.
Верморель представляет LLM как эффективные и действенные инструменты, способные выявлять обоснованные заявления поставщиков, отбрасывая слабые. Доэрти поддерживает преимущества этой возможности ИИ благодаря простоте составления запросов, приводящих к неожиданно детальным рыночным выводам. Верморель восхваляет достоинства исследований, управляемых ИИ — выполнение со скоростью молнии, экономичное масштабируемое исследование, не имеющее аналогов у традиционных фирм.
Однако, признавая многообещающие возможности ИИ, и Доэрти, и Верморель осознают технологическую предвзятость, присущую этим цифровым инструментам, в сравнении с недостатками рыночных исследований, проводимых неопытными аналитиками. Они утверждают, что ИИ охватывает широкое понимание, благодаря чему создает более всесторонние отчеты, в отличие от методов, ограниченных человеческой специализацией.
Доэрти переходит к сценарию, связанному с системами авиации, исследуя, как обратная связь поставщиков, интегрированная в запросы LLM, может улучшить исследования рынка, касающиеся серийного управления запасами. Верморель углубляется в потенциал настройки результатов на основе мнений поставщиков, подчеркивая, как такие необходимые функции, как отслеживание отдельных единиц, могут стать ключевыми элементами в экономичных отчетах, управляемых ИИ.
Появляются опасения, что качество входных данных влияет на результаты LLM. Верморель утверждает, что даже данные низкого качества могут дать достоверные результаты благодаря способности LLM анализировать и сравнивать существующую информацию. Он считает, что превосходные инженерные команды неизбежно создают лучший онлайн-контент, благоприятно влияя на оценки LLM. Несмотря на возможную предвзятость, быстрые, итеративные возможности ИИ предлагают богатые детали быстрее, чем традиционные методы.
В обсуждении поднимается вопрос надежности LLM на фоне опасений относительно неточностей, вызванных «галлюцинациями», что побуждает Вермореля пояснить, что, несмотря на факт наличия ошибок, извлечение онлайн-информации с помощью LLM позволяет этим инструментам опережать человеческие ошибки в ходе более глубоких исследований.
В анализе избыточности консалтинговых фирм Верморель утверждает, что многие компании могут устареть, если не переопределят свои технические возможности за пределами ИИ, который остается редким и дорогим. Тем не менее, незаменимый человеческий элемент, который консультанты предоставляют в корпоративной поддержке, остается важным аспектом.
Доэрти ставит под сомнение легитимность компетентности консалтинговых фирм, намекая на исторические преувеличения. Верморель признает, что существуют эксперты, хотя и немногие, которые справляются с масштабом, необходимым для точной оценки разнообразного корпоративного программного обеспечения. Он ставит под сомнение реалистичность ожиданий, что консультанты могут последовательно овладевать различными областями.
Обращаясь к инновационным сотрудничествам, которые раскрывают потенциал ИИ, Верморель комментирует несоответствие между возможностями ИИ и существующими бизнес-моделями консалтинга, где быстрые, управляемые ИИ рабочие процессы подрывают традиционные источники дохода. Доэрти размышляет о продолжающемся предпочтении бизнеса устоявшихся брендов в ущерб техническому совершенству, иллюстрируя стратегическое различие между традиционными путями успеха и новыми, управляемыми ИИ альтернативами.
Диалог возвращается к эффективной коммуникации, при этом Верморель высказывается за экспериментирование с исследованиями, управляемыми LLM. Хотя эти выводы, полученные с помощью ИИ, предлагают эффективный, экономящий средства потенциал, Верморель признает, что традиционные методологии также имеют свою ценность, особенно в контексте конфликтных исследований, где проводятся более глубокие проверки заявлений.
Завершая с благодарностью и вдумчивой признательностью, Доэрти заключает эпизод, выражая благодарность Верморелю за его глубокие знания. На фоне меняющихся тенденций в исследованиях рынка, взгляды Вермореля побуждают к глубокому размышлению о том, как объединить преобразующий потенциал ИИ с традиционными, ориентированными на человека аналитическими структурами, что сигнализирует о наступлении эпохи возможностей, готовых переопределить интеллект цепей поставок.
Полная транскрипция
Конор Доэрти: С возвращением на LokadTV. Определение подходящего поставщика программного обеспечения — задача непростая и часто требует значительных исследований рынка. Раньше рыночные консультанты помогали людям ориентироваться в этом сложном вопросе.
Жоаннес Верморель: К сожалению, по словам Жоаннеса Вермореля, не только существует множество потенциальных конфликтов интересов, но благодаря достижениям в области ИИ это может даже не иметь значения, так как эпоха рыночных консультантов, возможно, уже пришла и ушла.
Конор Доэрти: Как всегда, если вы хотите поддержать нашу работу, ставьте лайк видео, подписывайтесь на нас в LinkedIn и на нашем YouTube-канале. Итак, представляю вашему вниманию сегодняшнюю беседу об исследованиях рынка цепей поставок с Жоаннесом Верморелем. Жоаннес, спасибо, что присоединились ко мне снова.
Мы уже косвенно обсуждали это раньше, обсуждали идеи эффективности и даже этики традиционных исследований рынка, и, как мне кажется, вы выражали значительный скептицизм, мягко говоря. Теперь, прежде чем мы углубимся в то, как ИИ может повлиять на будущее исследований рынка цепей поставок, не могли бы вы дать обзор ваших проблем с нынешним состоянием исследований рынка?
Жоаннес Верморель: Ах, думаю, у нас есть три часа, чтобы углубиться в эту тему, или, можно сказать, как матрешка — знаете, у вас есть проблема, вы её открываете, а там оказывается еще одна, и еще одна, и вы продолжаете обнаруживать все новые и новые проблемы.
Слово «традиционный» здесь, пожалуй, лучше заменить на «основной», и он так же дисфункционален, как и прочие. Какие же большие проблемы на самом высоком уровне? У нас есть стимулы, которые совершенно фиктивны. Короче говоря, консалтинговые фирмы по исследованиям рынка получают оплату от поставщиков. Их стимулы, естественно, направлены на то, чтобы делать всё, что выгодно их клиентам, и их клиентами ныне являются, как минимум, 90% поставщиков корпоративного программного обеспечения.
Конор Доэрти: То есть, вы говорите, что есть прямые и косвенные клиенты. Таким образом, большая часть их доходов поступает от поставщиков?
Жоаннес Верморель: Да, не от компаний, ищущих руководство. В такой ситуации вы получаете рекламные ролики в виде инфомерчейлов. Опять же, если практически весь ваш доход поступает от поставщиков корпоративного сектора, значит, вы им служите; вне зависимости от всего, стимулы просто слишком сильны. Это, можно сказать, основная проблема на самом высоком уровне.
Прежде всего, факт в том, что средний аналитик не обладает глубокими знаниями в области программных технологий. Между тем, у нас есть и множество других проблем, но это действительно крайние случаи. Таким образом, у нас возникают неправильные стимулы в руках людей, которым в конечном итоге не хватает навыков, опыта и даже базового понимания программного обеспечения, и вы получаете документы, которые оставляют желать лучшего. Вкратце, вот что не так с основными исследованиями рынка.
Конор Доэрти: Это касается только вас, или, по вашему мнению, такое мнение достаточно распространено в наши дни?
Жоаннес Верморель: Я думаю, что люди, как я, имеющие опыт работы с поставщиками программного обеспечения, видели эти системы изнутри. Я бы сказал, что в целом согласен. Не думаю, что кто-либо из моих коллег смотрит на эти отчеты и думает: «О, это очень интересно; я обнаружил что-то интересное или релевантное о своем конкуренте». Если бы исследования рынка проводились правильно, анализ своих конкурентов вызывал бы огромный интерес.
На мой взгляд, уровень анализа даже у крупнейших компаний по исследованиям рынка ниже того, что я ожидал бы от стажера в Lokad. Это плохо; это очень плохо.
Конор Доэрти: Вы говорите, например, о квадрантах и разделении на такие категории, как «лидер» и «не лидер».
Жоаннес Верморель: Да, и опять же, это отражает, как я уже говорил, проблему матрешки, заключающуюся в том, кто же в конце концов составляет эти отчеты. Эти отчеты создаются не визионерами или людьми с невероятным талантом, а людьми, действующими как журналисты — в худшем смысле — в области корпоративных программных технологий.
Конор Доэрти: Похоже, что сразу может быть правдой несколько вещей одновременно. Например, может случиться так, что у консультантов прямые клиенты — поставщики, которые рекомендуют этих поставщиков, но при этом эти поставщики на самом деле могут быть лучшими решениями на рынке. Значит, вы утверждаете, что состояние исследований ужасно, и результаты плохи из-за конфликта интересов?
Жоаннес Верморель: Да, но, к сожалению, список проблем настолько длинный. Методология, как правило, совершенно фиктивна, именно потому что люди — за редким исключением, как исследование Brightwork с человеком по имени Шон Снапп, который выполняет работу очень высокого качества, — не способны на это.
Когда люди, проводящие исследования рынка, не понимают, как устроены эти программные технологии, получается крайне поверхностная методология, которая почти слепо принимает заявления поставщиков, и вы получаете отчеты, которые крайне неглубоки, по сути — рекламные ролики для поставщиков.
Правильная методология должна предполагать глубокое опровержение технических аргументов каждого поставщика, но для этого нужен человек, способный на такой вызов. Часто, когда вы читаете эти отчеты по исследованиям рынка, методология вовсе не ставит под сомнение действительность заявлений поставщиков.
Столько всего идёт не так — кейс-стадии принимаются как данность, ведь они произведены поставщиками, что приводит к конфликту интересов, так что им нельзя доверять и т.д. Список проблем очень длинный.
Конор Доэрти: Потому что вы упомянули, я полагаю, Brightwork, чем же методология этого человека отличается от описанного вами основного подхода?
Joannes Vermorel: Всё начинается с одного человека, который на самом деле является достойным инженером-программистом, человеком, понимающим, как работает корпоративное программное обеспечение. Первый шаг – составить отчёт с участием кого-то, кто достаточно умен для выполнения задачи. Если этого не сделать, проблемы с итоговым отчётом неизбежны, независимо от выбранной методологии и системы мотивации.
Поскольку этот человек полностью компетентен, он может начать применять осмысленную методологию, например, проводить технологические оценки, анализируя, насколько ценна технология сама по себе. Есть ли у неё достоинства? Хорошо ли она разработана? Как она выглядит по сравнению с альтернативными современными технологиями?
Если вам нужен корпоративный продукт — решение в области корпоративного программного обеспечения очень сложно, состоит из множества компонентов — изучите различные части и оцените, как каждая из них соотносится с передовыми альтернативами. Вам необходим подход «разделяй и властвуй», требующий понимания технологии.
Этот случай является пограничным исключением, подтверждающим правило, что в большинстве случаев фирмы по исследованию рынка довольно сомнительные. Эта небольшая фирма имеет заслуживающую доверия миссию, заявляя, что не получает деньги от поставщиков, что решает многие проблемы.
Исследование рынка можно проводить правильно, но большинство традиционных исследований рынка оставляют желать лучшего.
Conor Doherty: Как в эту схему вписываются искусственный интеллект и, в частности, большие языковые модели (LLM)? Потому что я знаю, что вы их довольно сильно поддерживаете и цените их применение в исследованиях рынка.
Joannes Vermorel: Да, это вопрос, который возник относительно недавно после того, как ряд поставщиков ИИ выпустили возможности для глубоких исследований. Два года назад, когда такие инструменты, как ChatGPT, были впервые представлены, они имели ограниченные возможности поиска в интернете и работали весьма неэффективно. Проблема заключалась в том, что большие языковые модели (LLM) медленны, и если вы хотите выполнить интересную задачу в сети, вы не можете делать это интерактивно. Это означает, что вы не можете сказать: “ChatGPT, сравни мне самое актуальное программное обеспечение для управления запасами” и активировать функцию поиска, потому что LLM пытается дать ответ за, скажем, 30 секунд, что на практике означает, что модель может просмотреть всего около трёх-четырёх веб-страниц. Этого даже близко недостаточно, поэтому результаты были в основном мусорными.
Теперь, несколько недель назад, OpenAI выпустила режим глубоких исследований. Некоторые другие конкуренты уже имели такой режим. Google уже представил свой собственный режим глубоких исследований с Gemini, и идея заключается в том, чтобы отказаться от интерактивного характера ответа. Таким образом, LLM будет работать асинхронно, а вы потом вернётесь к результатам. Вы можете вернуться через полчаса, и ваш отчёт будет готов. То, что происходит “под капотом”, напоминает работу специализированного агента. Это нечто, что указывает LLM: “Хорошо, вам поручено провести глубокое исследование в интернете. Сначала вам нужно организовать сбор результатов поисковой выдачи через поисковую систему, скажем, Bing, где вы соберёте релевантные страницы.” Затем вы проанализируете каждую страницу, чтобы определить, есть ли на ней что-то ценное, и, наконец, соберёте все эти частичные анализы в синтетический отчёт, который отвечает на вопрос или задачу пользователя. Это работает прекрасно. Я был приятно удивлён. По сути, это те же LLM, но с элементами автоматизации, которые делают их действительно стоящими.
И, как правило, OpenAI, когда вы проводите глубокие исследования, проверяет примерно 50-60 страниц. Это довольно значительный объем, и я подозреваю, что она просматривает гораздо больше страниц, но отбрасывает многие из них. Так что я бы сказал, что, вероятно, она просматривает около 200 страниц. Из этих страниц подавляющее большинство отбрасывается, так как они не являются достаточными источниками для анализа.
Conor Doherty: Если вы укажете ему быть достаточно надёжным.
Joannes Vermorel: Нет, нет, нет, он делает это сам. Видите, всё зависит от калибровки того, что они сделали. Похоже, что на данном этапе он выбирает около 200 наиболее релевантных страниц, оставляет, скажем, не более 50, а затем составляет отчёт, проводя глубокий анализ найденных наиболее значимых фрагментов этих страниц. Может быть, через пять лет это будет 2000 страниц и в 200 раз больше, так что есть предел. Видно, что всё зависит от размера контекстного окна LLM.
Я подозреваю, что это по-прежнему является основным фактором при сборе источников для вашего финального отчёта. Но если вернуться к исследованию рынка, эти методы работают великолепно, если добавить дополнительные инструкции, чтобы они заработали. В частности, вам нужно предоставить LLM определённое руководство, поскольку модели, когда их используют “из коробки”, оказываются довольно наивными. Когда я говорю о моделях, я имею в виду, что LLM очень наивны, когда дело доходит до работы с корпоративным программным обеспечением.
Таким образом, вам необходимо составить команду, которая включает множество элементов методологии, чтобы получился достаточно приличный отчёт. На самом деле это очень просто. Вы должны добавить уточнения вроде: “Я хочу максимально правдивый отчёт, без маркетинговых прикидок, будьте крайне скептичны, не принимайте ни одно утверждение поставщиков за чистую монету. Убедитесь, что каждое утверждение, которое вы оцениваете как положительный элемент решения, подкреплено доказательствами, и что вы не отвергаете все утверждения, которые являются просто необоснованными заявлениями.”
Точно, как и просто заявления, которые очевидно сделаны с явным конфликтом интересов. Например, если поставщик говорит: “Для программного обеспечения по управлению запасами мы достигаем 50%-го прироста производительности”—
То есть, это именно те утверждения, которым следует подходить с большой осторожностью. Когда вы смотрите, какой был базовый уровень, знаете, по сравнению с чем? С ручкой и бумагой? Это не является хорошей базой. Более того, когда дело касается кейс-стади по корпоративному программному обеспечению, клиент имеет не меньший интерес заявлять о колоссальной прибыли, ведь тогда менеджер, отвечающий за проект, выглядит героем, что благоприятно сказывается на его или её карьерном росте.
Таким образом, не думайте, что если заявление о преимуществах сопровождается упоминанием клиента, оно не содержит предвзятости. Оно имеет столько же, если не больше, предвзятости, чем когда это делается исключительно поставщиком программного обеспечения. Итак, в итоге, вам нужно в команде указать: “Будьте максимально правдивыми. Будьте крайне скептичны. Отбросьте утверждения о преимуществах, если вы не можете понять их обоснование.” Основное заключается в том, что если поставщик заявляет о преимуществах, то объясняет ли он, как он этого достигает, как он приходит к этим измерениям? Если да, то исследование можно считать достоверным. Если же утверждение основано просто на его словах или потому, что его клиент, являющийся его знакомым, так сказал, то нет. Видите, команда, в конечном итоге, не бывает слишком сложной.
Просто нужно добавить несколько мер предосторожности, особенно если у вас есть опыт в данной области по выявлению “красных флажков” или утверждений, которые просто безумны. Например, если в команде вы скажете, что любой, кто утверждает, что может снизить запасы на 50%, — это клоун. Это невозможно, даже близко к реальности не является таковым. Так что, пожалуйста, в вашем отчёте понизьте оценку тех, кто делает такие безумные заявления, так как это не работает в их пользу. Это как красный флажок, свидетельствующий о некомпетентности.
Conor Doherty: Также, не хочу перебивать, но должен отметить, что любой, кто знаком с этой областью, наверное, сейчас думает то же самое, что и я. Вы фактически дисквалифицировали всё, что когда-либо печатали в истории цепи поставок, потому что, даже если вы пропустили 99% этих подводных камней, уверен, что в какой-то момент вы наткнётесь на один из них.
Joannes Vermorel: Да, и всё сводится к пропорциям, и LLM в этом деле весьма успешны. Видите ли, вы указываете, что это считается негативом. А затем LLM — и очень интересно наблюдать, как формируются такого рода отчёты — появляется оценка: “О, этот поставщик, похоже, всё, что он говорит, — это чисто необоснованные маркетинговые заявления, и подавляющее большинство из них просто абсурдны.” Но при этом они часто ранжируются, и выходит: “Вот этот показатель был лучшим, а этот — самым слабым из-за необоснованных заявлений.”
Именно так. Поэтому важно включить в команду несколько подсказок о том, как выявлять положительные и отрицательные стороны. И что интересно, отрицательные стороны работают очень хорошо. Так что перечислите те моменты, которые кажутся слишком непрозрачными, утверждения, которые невероятно расплывчаты, которые кажутся слишком хорошими, чтобы быть правдой, и так далее. Опять же, возможно, вам придётся вносить корректировки; результаты могут немного варьироваться. Но примерно за 20 минут вы можете составить команду. Знаете, речь идёт не о команде на 10 страниц — те команды, которые я использовал, были примерно на четверть страницы. Так что это то, что можно сделать за 20 минут, и у вас будет исследование рынка практически по любой теме. И это работает. Я бы сказал, что то, что вы получаете, уже значительно лучше того, что создают профессиональные исследовательские фирмы или даже консалтинговые компании.
Conor Doherty: Ну, в крайнем случае, это также будет дешевле. Даже если качество окажется неотличимо высоким, чего вы не утверждаете, но даже если бы так было, всё равно быстрее и дешевле.
Joannes Vermorel: Да, именно. Суть в том, что вы получаете отчёт в течение 20–30 минут, и он уже представляет собой детально проработанный документ примерно на 20 страниц с точными ссылками, указывающими, откуда взята информация. И это огромный объём работы. Самое интересное заключается в том, что с этими возможностями глубоких исследований, предоставляемыми, можно сказать, современными специалистами по ИИ, вы можете за несколько часов сделать то, что ассистенту потребовались бы недели для подготовки. Это действительно впечатляет, и качество, как я уже упоминал, особенно удивляет: если вы сформулируете задачу как “будьте максимально правдивыми”, то, да, можно утверждать, что у LLM есть предвзятость, но, по моему опыту, они достаточно неплохо справляются с поиском истины. Это не значит, что они идеальны, конечно, но они довольно хороши. Они довольно хороши. И я бы сказал, что, возможно, они не превосходят человека, но… — Я имею в виду, есть компромиссы. Снова: сколько вы готовы потратить? Сколько времени хотите инвестировать?
Я говорил, что проблема в том, что большинство этих отчётов составляются людьми, которые не имеют никакого понимания технологии. Волшебство в том, что эти LLM обладают достаточно хорошим пониманием всех технологий. Да, они не волшебники в области баз данных, но демонстрируют выше среднего владение дизайном баз данных, а также решением связанных с ними проблем.
Когда вы проводите исследование рынка, проблема в том, что существует так много областей, о которых вы знаете очень мало. Прелесть в том, что когда это делается с помощью LLM, они почти никогда не бывают полностью неосведомлёнными ни об одной области бизнеса, которую вы рассматриваете. Это делает такие отчёты очень полными. Я много экспериментировал, и в целом остался весьма впечатлён качеством того, что может быть создано. Это немного ошеломляет.
Conor Doherty: Ну, ещё раз, чтобы попытаться сделать это более понятным для слушателей, приведу пример. Исторически, знаю, что это пример, к которому я возвращаюсь много раз, — ваше различие или категоризация типов корпоративного программного обеспечения на системы учёта, системы отчетности и системы интеллекта: ERP, системы отчетности с инструментами BI, а затем системы интеллекта с программным обеспечением для принятия решений. Вы отметили, что чтобы преуспеть в одной области, жертвуешь другой — невозможно блестяще справляться со всеми этими задачами одновременно.
Теперь к вопросу: если бы вы проводили исследование рынка с использованием LLM, смогла бы она разобрать отдельные утверждения? Например, поставщик ERP, который заявляет: “Наша ERP-система отлично справляется с учетом, и мы также умеем проводить невероятное прогнозирование и оптимизацию принятия решений”, что, как эксперт, вы знаете, по сути, является абсурдной чепухой. Большинство людей не смогли бы с первого взгляда понять, что с точки зрения структуры и дизайна программного обеспечения невозможно блестяще выполнять все эти функции одновременно.
LLM смогла бы это разобрать, я бы сказал, практически бесплатно.
Joannes Vermorel: Вероятно, нет. Но если вы осведомлены об этой классификации, которую я представил, вы можете сообщить об этом LLM, и она выполнит ваше намерение. Вы можете просто сказать: “Кстати, я ищу систему учёта, которая строго исключает прочие функции.” Вы даже можете предоставить ссылку на страницу и сказать: “Пожалуйста, учтите эту классификацию в вашей оценке.” Это сделает анализ более тщательным.
Но я бы сказал, что это такая вещь, когда даже не обязательно использовать эту возможность, потому что, по моему мнению, исследование рынка с помощью LLM — это всего лишь первый шаг для сверхбыстрого анализа. Моё предложение по-прежнему заключается в проведении адверсариального исследования рынка, когда вы просите самих поставщиков объяснить, кто их конкуренты, что они считают хорошим или плохим в сравнении со своими конкурентами, и кого они уважают больше всего, а также, если существуют какие-то подводные камни, которые нужно учитывать.
Вы можете провести исследование рынка за 30 минут, реально за два часа, и затем получить первые надёжные результаты — при этом за эти 30 минут вы даже не сидите за компьютером. Вы пишете команду и, возможно, задаете один или два уточняющих вопроса, например: “Как вы это хотите? В виде отчёта?” Затем вы возвращаетесь, идёте выпить кофе — как угодно.
Вам потребуется немного времени, чтобы усвоить отчёт, скажем, два часа. Затем вы переходите к адверсариальному исследованию рынка.
Вы отправляете несколько писем этим различным поставщикам, выбираете, скажем, троих, и те поставщики отвечают вам — это часть методологии адверсариального исследования рынка — с несколькими идеями о том, как стоит рассматривать вашу проблему.
Если найдётся поставщик, такой как Lokad, который придёт к вам с заявлением: “Осторожно, проблема, которую вы рассматриваете, на самом деле заключается в нескольких взаимодополняющих продуктах, но эти продукты существенно различаются”, и если обоснование вас убедит, то вам следует просто повторить исследование рынка с использованием LLM снова.
С другой стороны, можно сказать: “Хорошо, у меня есть это понимание, предоставленное поставщиком, но оно не является полностью нейтральным; это просто понимание рынка, которое не благоприятствует исключительно этому поставщику.” Вы также можете взять уже составленные отчёты и подвергнуть их оценке.
Например, допустим, вы — компания, занимающаяся запасными частями для самолётов, и вам нужна система управления запасами. Тогда первый поставщик, к которому вы обращаетесь, говорит: “Осторожно, вам нужна система, которая поддерживает последовательное управление запасами.” Это означает, что речь не о хранении десяти единиц на складе; это значит, что для каждой единицы на складе существует определённый номер, и его необходимо отслеживать.
Существуют системы управления запасами, которые поддерживают последовательное управление, и те, которые этого не делают. Среди тех, кто поддерживает управление запасами, некоторые рассматривают его как первостепенный функционал, тогда как товары без серийного номера становятся своего рода второстепенными.
Также есть системы управления запасами, где всё наоборот. Поставщик может сказать, что эта функция очень важна, если вы хотите реализовать последовательное управление запасами. Это совершенно отличается от обычного управления запасами.
Допустим, поставщик говорит вам это, а вы об этом не знали. Тогда я снова проведу исследование систем управления запасами, заявив: “Эй, мне действительно нужно обратить внимание на возможность последовательного управления запасами. Это критически важно, потому что я занимаюсь авиацией.” Проведите новое исследование рынка с этим критерием и пересоздайте отчёты.
Я считаю, что большие языковые модели (LLM) отлично дополняют такое конкурентное исследование рынка. Получая отдельные отзывы от поставщиков, вы можете добавить эти дополнительные соображения о том, как следует подходить к проблеме, в свой запрос к LLM и просто повторять процесс, пересоздавая результаты. Это дешево, относительно быстро, и вы получите нечто, что всё больше соответствует вашему случаю.
Конор Дохерти: Конечно, теоретически это звучит неплохо. Но не сталкиваетесь ли вы с уже существующим барьером, что LLM обучаются на наборах данных? Вы уже критиковали текущее состояние литературы по цепочке поставок, так что если вы захотите провести исследование рынка с использованием LLM, задав все эти очень точные параметры, подсказки и уточнения, ей всё равно придётся опираться на общедоступную информацию. Если общедоступная информация — ерунда, не приведёт ли это к тому, что результат тоже будет ерундой?
Йоаннес Верморель: Нет, я имею в виду, что тут всё возвращается к проблеме LLM: одна из самых поразительных особенностей LLM состоит в том, что при мусорном вводе они выдают качественный результат, что весьма странно. Именно поэтому, я думаю, даже сообществу разработчиков потребовалось много времени, чтобы это обнаружить; это полностью противоречит интуиции и кардинально расходится с догмой десятилетней давности “мусор на вход — мусор на выход.”
Оказывается, когда вы загружаете в эти модели всю сеть, они выдают нечто действительно достойное, что удивительно. Ведь если подумать, ChatGPT поглотил весь бред с Reddit и всё ещё остаётся здравомыслящим — это поистине замечательно.
Здесь я бы сказал: нет, это работает. Проблема в том, что, да, у поставщиков иногда бывают материалы очень низкого качества, но LLM всё равно используют их для сравнительной оценки.
Если все одинаково плохи, тогда действительно сложно, но чаще всего случается так, что некоторые поставщики значительно уступают другим. Возможно, даже ведущий поставщик не является вашим идеалом; в нём чего-то не хватает. Но кто-то должен быть лучшим.
Именно, и, по моему наблюдению, когда речь идёт о качестве продуктов, качестве программного обеспечения, технологиях, существует огромная корреляция между качеством материалов, опубликованных на сайте поставщика, и тем, что происходит “под капотом”.
Компании с достойными инженерными командами размещают на своих сайтах контент, объясняющий, что делает продукт, как он это делает и т.д., и этот контент неизменно качественный. И наоборот, если команда небольшая и её работы отданы на аутсорсинг в какую-нибудь дешёвую, слаборазвитую страну, то, как ни удивительно, качество сайта и технического контента тоже оставляет желать лучшего.
Неудивительно, что такие вещи идут рука об руку. Вот что делает случай с LLM для исследования рынка таким мощным, по крайней мере в сфере программного обеспечения. Существует огромная корреляция между качеством онлайн-контента и качеством продукта; они действительно неразрывны. За всю мою карьеру я не видел исключений из этого правила.
Конор Дохерти: Ладно, и не только, у меня возникает мысль, что то, что вы описываете, а также то, что уже доступно, может, на самом деле, дать объективно лучшее исследование рынка всего набора доступных вариантов, но вопрос тогда в следующем: действительно ли это то, чего конечный пользователь, в данном случае клиентские компании, на самом деле хотят? Например, представьте, что вы проводите мысленный эксперимент: у компании Йоаннеса есть фирма под названием Lokad, и вы хотите найти поставщика, проводите полное исследование рынка, в котором есть 10 вариантов, девять из которых — это крупные игроки, имена которых всем известны, а номер 10 — ERP Коннора. А ERP Коннора — лучший, но о нём никто не слышал; однако, согласно вашим метрикам, это лучший вариант. У него лучшее программное обеспечение, самая лучшая публичная документация, он объясняет, как всё устроено — просто фантастика. Вы затем показываете это внутри компании, и они говорят: “Кто, чёрт возьми, такой Конор? Дайте мне одного из крупных известных поставщиков.” Ведь люди хотят работать с известными именами.
Йоаннес Верморель: Нет, я имею в виду, во-первых, LLM удивительно хороши. Знаете, это компания без имени. Что может характеризовать компанию без имени, если у неё очень мало материалов, очень малая документация, очень мало всего — функций, возраста, престижных клиентов, да, но это, опять же, отражается в том, насколько глубоко она выполняет свою работу.
Если посмотреть на OpenAI, то до недавнего времени это была компания без имени, верно? В 2023 году она полностью взорвалась. До этого это была очень малоизвестная, хорошо финансируемая, но весьма неприметная компания Силиконовой долины. Так что, по моему мнению, LLM довольно хорошо справляются с такого рода оценками и учитывают это. Они также принимают во внимание и тысячи других факторов.
Так что не думайте, что когда я говорю быть максимально правдивым и так далее, LLM вдруг окажется идиотом и предложит что-то вроде ультра-секретного поставщика из Бастоана или чего-то подобного. Это не то, что вы получите от них. А если у вас уже сформировались определённые представления, и вы точно знаете, чего хотите, тогда не стоит использовать LLM для оправдания своих решений.
Знаете, это просто мечтательные рассуждения. Если вы считаете, что хотите провести подлинное исследование рынка, тогда вам действительно стоит временно приостановить свои предпочтения к определённым поставщикам. Иначе зачем вообще проводить это исследование? Если вы уже решили, что выберете определённого поставщика, то выберите его напрямую и избавьте себя от такого фальшивого процесса, чтобы как бы оправдать уже принятые решения. Вы сэкономите компании время и деньги.
Таким образом, если вы уже приняли решение, а затем проводите исследование рынка, это абсурд. Нет логического обоснования для подобного подхода, поэтому нужно рассматривать проблему с той точки зрения, что решение ещё не принято, а ваша задача с помощью LLM — получить максимально достоверное, объективное описание.
И опять же, я считаю, что эти инструменты весьма эффективны, и если вы действительно опасаетесь их ограничений, или если вам кажется, что LLM упускает какого-то поставщика, на которого следовало бы обратить внимание, вы можете просто это указать. Вы буквально можете сказать: “Я хочу, чтобы помимо поставщиков A, B, C, D, F и прочих, были учтены те, кого LLM считает наиболее релевантными.”
Так что видите, здесь нет жестких правил. Вы буквально можете подправлять свой запрос, и LLM просто скорректирует состав, но старайтесь делать это так, чтобы не вносить сильную предвзятость. Например, если вы хотите явно указать поставщика, будьте осторожны, чтобы не намекнуть, кого именно вы хотите видеть победителем в выборе.
Потому что если вы зададите LLM запрос в духе: “Мне кажется, что это лучший вариант, выполните кейс-стади, проведите исследование рынка программного обеспечения для управления запасами и не забудьте учитывать этого одного поставщика, который, по моему мнению, номер один”, вы внесёте огромную дозу предвзятости. Так что здесь, опять же, не нужно быть сверхумным, чтобы это понять. Всё сводится к тому, чтобы сформулировать запрос нейтрально. Иначе вы получите предвзятый отчёт.
Конор Дохерти: Итак, Йоаннес, я думаю, стоит здесь чётко обозначить позицию. Мы уже немного касались этого раньше, но чтобы всё расписать: когда речь идёт о навыках, о цифровой грамотности, необходимой для создания такого рода информации, это не что-то сложное. Мы ведь не говорим о программировании на Python или чем-то подобном. Это базовые вещи, правда?
Йоаннес Верморель: Да, я думаю, если кто-то решит ввести диплом по составлению запросов или сертификацию по работе с LLM, то это те навыки, которые можно освоить за два дня. Вы можете получить сертификат по составлению запросов всего за два дня. Да, это несложно. Это абсолютно понятно.
И опять же, вы можете даже взаимодействовать с инструментом, чтобы выяснить, что не так в вашем запросе. Это довольно интерактивный процесс, который также дает обратную связь о том, как можно улучшить свои навыки, если вы запросите её. А второй момент, поскольку первый касался необходимых для этого навыков, а второй — надёжности, как вы упоминали совсем недавно, касается надёжности.
Возможно, вы не имели это в виду в данном контексте, но это поднимает вопрос, который, я уверен, есть у некоторых, когда они слушают это: исторически надёжность LLM подвергалась сомнению. Например, галлюцинации, или, как я знаю, вам нравится термин “конфабуляция”. Вы просите LLM сделать что-то: “Эй, найдите этот фрагмент информации”, а она не хочет сказать: “На самом деле, я не знаю” или “Нет такой информации”, а просто выдумывает данные почти из воздуха.
Насколько обоснованным или валидным является этот вопрос в контексте глубоких исследований, которые, конечно, не являются той же моделью, о которой люди обычно думают, когда говорят об LLM?
Это та же модель, но дело в том, что, как правило, когда она проводит глубокое исследование, LLM запрашивают перейти и найти информацию в интернете. Вот опять: LLM не являются базами данных фактов и знаний. Они были на этом обучены, но если вы спросите: “Какова точная высота Эвереста?” — они будут примерно помнить, а если смогут действительно найти информацию онлайн, инструменту будет гораздо проще быть абсолютно уверенным.
По моему опыту, уровень конфабуляций или галлюцинаций при использовании глубокого исследования OpenAI довольно низок. Вы действительно видите, что модель использует информацию с найденных страниц для формирования собственной оценки, и таким образом вы не просите модель просто выдумать или вспомнить всё, что она знает об obscure поставщиках. Она даже не пытается.
Она просто скажет: “Хорошо, вот список страниц, которые я нашёл у этого поставщика. Что говорят эти страницы?” Вот как это работает. Конечно, LLM всё же может что-то выдумать, но, я бы сказал, в гораздо меньшей степени, чем настоящий человек. Например, если на странице поставщика написано “У нас более 1000 клиентов”, а затем в отчёте LLM напишет “Они утверждают, что у них 1,000 клиентов”.
Это тонкое приближение: в одном случае, когда говорилось “более 1000”, это исказилось до ровно 1000. Ладно, опять же, по моему опыту, это довольно незначительное искажение. Искажения случаются редко, и когда они возникают, то относительно несерьёзны, в отличие от, например, выдумывания целого поставщика из воздуха и приписывания ему качеств и слабостей из ниоткуда. Такого не произойдёт.
Такого не произойдёт. 100% поставщиков имеют веб-сайты с указанными источниками и прочей информацией. Я не видел отчёта, где что-то выдумывалось бы грандиозно. Такое случалось, но было тонким и порой даже находилось на грани интерпретации. Знаете, выглядит так, будто у них есть та или иная информация, и вы просто делаете вывод по наитию, но это не вполне ясно. Когда вы смотрите на документацию, многое подразумевается, и LLM попадается на этот ход.
Конор Дохерти: Ну да, конечно. С другой стороны, даже если бы вы наняли консалтинговую фирму для составления отчёта, вы всё равно, предположительно, сами бы его прочитали и оценили. Так что утверждать, что можно просто использовать выводы глубоких исследований и принимать их за абсолютную правду, неверно. Вам всё равно нужно подвергнуть их критическому анализу.
Йоаннес Верморель: Именно, нужно подвергать себя критике. Вы не можете просто приостановить свои суждения. Их нужно анализировать. И опять же, я считаю, что то, где эти инструменты действительно блестят, — это скорость итераций, которая просто невозможна даже с лучшими консультантами. Это как если бы вы могли повторить исследование, которое у человека заняло бы месяц, но выполненное вручную за 30 минут. Это чрезвычайно впечатляет. Мы говорим о создании 20-страничного отчёта, суперструктурированного и полностью адаптированного под ваш запрос, за 30 минут. Это полностью меняет правила игры, когда речь идёт о вашей способности к итерациям.
Вы можете фактически провести 20 исследований рынка подряд, при этом каждое основано на предыдущем, так что вы всё больше фокусируетесь на том, что вам действительно нужно.
Конор Дохерти: Итак, вы только что упоминали выводы. Разумно ли для слушающих сделать вывод, что вы считаете роль рыночного консультанта и консалтинговых фирм избыточной или уже ставшей избыточной в результате этой технологии?
Йоаннес Верморель: Если говорить о конечном результате и принять, что им является исследование рынка, то действительно многие, если не большинство, фирм по исследованию рынка и консультантов, предоставляющих подобные услуги, становятся полностью устаревшими, если только они не смогут доказать, что способны выполнить анализ лучше, чем машина. Всё начинается с того, что у людей должны быть гораздо более высокие технические возможности для создания анализа, умнее того, что может сделать LLM.
Это существует, но будет абсолютно нишевым, просто потому что людей такого калибра в этих отраслях не так много, и сейчас это медленнее и дороже. Да, мы говорим о чем-то, что действительно будет намного медленнее. Эти поставщики программного обеспечения не покупают у них маркетинговые исследования; они покупают рекламу. Так что, пока поставщики корпоративного программного обеспечения готовы тратить деньги на эти компании, занимающиеся маркетинговыми исследованиями, те справляются прекрасно, и это не связано с наличием LLM, способных создавать маркетинговые исследования.
Но это не то, за что платят поставщики корпоративного программного обеспечения; они платят за рекламу. Это всего лишь канал. Они могут в качестве альтернативы тратить деньги на рекламу в Google; они просто решают тратить их на маркетинговые исследования или небольшую часть своего бюджета на эту область.
Что касается консультантов, то, на мой взгляд, очень часто консультанты — за них платят компании или, точнее, руководители — за товарищество или моральную поддержку, а это не то, что LLM может вам дать. Кажется немного глупым так говорить: “О, зачем ты заплатил за этот миссион за $100,000?” “Я чувствовал себя одиноким, неуверенным, мне нужен был кто-то, кто бы меня поддержал, и я просто нанял их. Они хорошие ребята; они меня поддерживают.” Это звучит несколько нелепо, но да, думаю, в значительной степени это объясняет такое отношение, объясняет большую часть консалтингового бизнеса.
То, что вы покупаете маркетинговое исследование, — это всего лишь предлог, чтобы сформулировать задачу так, чтобы она не звучала так глупо, как “Я ищу корпоративного коуча.” Но, помимо этого, я думаю, что всё может остаться неизменным. Существование LLM и их возможности могут не изменить ситуацию существенно, потому что в конечном итоге это уже не было тем, что покупалось. Отчет был лишь предлогом для чего-то другого. Это не было тем, что на самом деле оправдывало оплату консультантов руководством.
Conor Doherty: Итак, если читать между строк, после всего услышанного, можно ли сказать, что вы не видите в маркетинговых консалтинговых фирмах ценной экспертизы для непосредственного проведения маркетинговых исследований? То есть их экспертиза не заключается в этой области, ни сейчас, ни исторически, можно даже утверждать, и вы очень скептически относитесь к тому, что консультант — профессиональный консультант — не может привнести ценную экспертизу, ту неуловимую качественность, из этих 8 миллиардов человек и, вероятно, из миллиона консультантов по всему миру.
Joannes Vermorel: Да, конечно, должно быть десятки, сотни людей, способных на это. Теперь вопрос в том, сколько из них действительно способны на это? Каков процент? На мой взгляд, процент людей, способных, в консалтинговых кругах, проводить такого рода оценку в сфере корпоративного программного обеспечения лучше, чем LLM, просто ничтожно мал.
И этически, или в смысле отсутствия предвзятости — да, именно. То есть, и то, и другое. Но я считаю, что предвзятость больше свойственна агентствам маркетинговых исследований. Что касается консалтинговых групп, то, я думаю, у большинства из них эта проблема не настолько выражена; у них она есть, но проблема относительно небольшая. Более значительная проблема — это просто навыки и компетенции для проведения такой оценки в первую очередь.
И опять, это потому что, будучи консультантом, вы постоянно занимаетесь настолько разнообразными вещами. Знаете, это очень сложно. Сегодня вас просят быть экспертом по программному обеспечению для управления запасами; завтра — быть экспертом по коэффициенту выхода для химической производственной линии. Объем разнообразия задач просто ошеломляющий, и поэтому малореалистично ожидать, что у вас будет много людей, высококвалифицированных в этих вопросах.
Conor Doherty: Итак, Джоан, интересно, потому что, слушая вас и этот разговор о маркетинговых консалтинговых фирмах, я вспоминаю, примерно полтора-два года назад — и опять же, исправьте меня, если я ошибаюсь — хотя документ, если не ошибаюсь, написал я, мы рассмотрели документ Гарвардской школы бизнеса, я полагаю, он назывался “Navigating the Jagged Technological Frontier.” И, если я правильно помню, он был интересно подготовлен в сотрудничестве с BCG Boston Consulting Group.
В нем, и я собираюсь его сильно обобщить, и прошу кого угодно указать, если я ошибаюсь, ведь я вспоминаю в реальном времени, что люди, прошедшие обучение с использованием LLM или генеративного ИИ, показывали лучшие результаты в ряде задач, как качественных, так и количественных, чем те, кто не прошел такое обучение. Так что мой вопрос к вам сейчас: любой, кто это слушает, может так же легко сказать: “Ну, Джоан, если мы просто предоставим эти инструменты, которые за последние 18 месяцев стали лучше, высококвалифицированным консультантам, не начнут ли они производить величайшие в мире консалтинговые отчеты?”
Joannes Vermorel: Да, действительно. То есть, безусловно, в руках консультантов можно создать фантастические отчеты. Но теперь вопрос в том, что это бизнес-модель консалтинговых компаний. Вы не можете взимать с крупной консалтинговой фирмы, такой как BCG или McKinsey, плату за две часа работы, и это несколько ставит под сомнение бизнес-модель. Но снова, если мы вернемся к идее, что именно отчет является тем, что приобретается, я действительно ставлю под сомнение это предположение.
На мой взгляд, это не то, за что платят, поэтому наличие технологий не имеет значения, потому что это не то, за что покупается практически большинство консалтинговых проектов.
Conor Doherty: Одно из тех вещей, с которым я действительно склонен согласиться, заключается в том, что чем дольше я работаю в этой сфере и чем больше слушаю, чем больше общаюсь с профессионалами на выставках и конвенциях, тем яснее мне становится, что люди, как правило, ищут одобрения от известных имен. В качестве завершающего слова в разговоре есть фраза: “Лучше потерпеть неудачу традиционным путем, чем добиться успеха нетрадиционным”, что в крупных компаниях воспринимается как: “Я не хочу быть той компанией, которая рискнет, выбрав эту неизвестную фирму, которая на бумаге может оказаться, по мнению консультанта или LLM, лучшим вариантом. Я предпочту ограничиться проверенным списком известных и успешных имен.” Каковы ваши мысли по этому поводу?
Joannes Vermorel: Я, опять же, все относительное. Большинство компаний, занимающихся корпоративным программным обеспечением, не являются совершенно новыми; даже если говорить о Lokad, речь идет о компании с 15-летней историей. Она не является ультра-новой. На мой взгляд, проблема скорее в том, что вам нужно иметь что-то, что выглядит убедительно.
И типичная проблема, с которой, возможно, столкнется высшее руководство, заключается в том, что они получают сообщения от подчиненных, совершенно неясные, а навыки письма могут быть на низком уровне, анализ проблем — тоже может быть на низком уровне. Консультанты предоставляют ужасающе длинную презентацию PowerPoint из 80 слайдов, которая не имеет никакого смысла или имеет очень мало смысла, и это становится настоящей головной болью для топ-менеджмента. Им нужно принять решение, и поэтому они предпочитают что-то, что кажется не слишком рискованным.
Но опять же, я не думаю, что большинство людей, которые поднимаются до высокопоставленных руководителей, являются идиотами. Если что-то выглядит убедительно, если это объяснено довольно аккуратно, они просто согласятся. Вот где, на мой взгляд, LLM меняют правила игры — в способности создавать очень качественное обоснование в письменной форме в поддержку одного варианта против другого.
Это то, что, если я правильно наблюдаю в большинстве крупных компаний, обычно навыки письма довольно слабы. Некоторые компании, например Amazon, печально известны тем, что их менеджеры могут писать качественные пятистраничные меморандумы. Это очень редкость, и я думаю, что во многом успех Amazon обусловлен именно этой способностью решать проблемы в письменной форме, а не в презентациях PowerPoint, и действительно глубоко обдумывать что-то. Здесь интересная особенность LLM заключается в том, что они внезапно делают это задание гораздо более доступным для людей, у которых нет всех этих навыков письма. Конечно, умение писать сделает вас еще лучше, но в целом это огромный помощник.
Conor Doherty: Итак, в качестве заключительной мысли и совета, вы бы рекомендовали использовать LLM, по крайней мере, для создания более содержательной коммуникации?
Joannes Vermorel: Я бы сказал, если вы задумываетесь о чем-то, связанном с маркетинговыми исследованиями, начните с глубоких исследовательских возможностей вместе с полудюжиной поставщиков AI-чатботов, которые поддерживают такие возможности глубоких исследований. Это, скорее всего, станет для вас прорывным опытом, и вы поймете, что можете сделать за несколько часов то, что обычно занимало бы месяцы и стоило бы дорого, и при этом будет очень дешево.
Да, это будет очень дешево. Вот и все; посмотрите сами, вы приятно удивитесь. Затем следующий шаг — это обратиться к консультациям по маркетинговым исследованиям, что также довольно легковесно, но речь идет о чем-то, что может занять несколько дней, а не только несколько часов.
Conor Doherty: Ладно, Джоан, у меня больше нет вопросов. Большое спасибо за ваше время и за то, что поделились хорошими идеями, и большое спасибо за просмотр. До встречи в следующий раз.
