00:00:00 Краткое содержание исследования Гарварда
00:00:32 Исследование ChatGPT-4 с консультантами BCG
00:01:31 Изучение влияния ИИ на производительность
00:02:31 Потенциал замещения ИИ и критика
00:03:47 Более широкие эффекты ИИ на занятость
Резюме
Конор Дохерти из Lokad анализирует исследование Гарварда о влиянии ИИ на офисные рабочие места, выявляя тонкие эффекты. Исследование, в котором участвовали 758 консультантов, оценивает роль ИИ в повышении производительности, особенно в управлении цепями поставок. Оно показывает, что ИИ повышает эффективность в выполнении некоторых задач, особенно при наличии обучения, но может давать сбои в сложных сценариях. Дохерти критикует узкое представление об ИИ как о вспомогательном инструменте для человеческого труда, аргументируя его потенциал к полной автоматизации задач, что революционизирует производительность и переопределит офисную работу. Он предупреждает об излишней уверенности в безопасности рабочих мест, поскольку полные возможности ИИ могут кардинально изменить рынок труда.
Полная транскрипция
Конор Дохерти: Исследуя изломанный технологический рубеж, исследовательская работа, выпущенная Гарвардской школой бизнеса, стремится дать представление о влиянии ИИ как на производительность, так и на занятость.
Сегодня я рассмотрю три аспекта: во-первых, гипотезу и методы исследования; во-вторых, основные результаты и выводы исследования; и в-третьих, мнение Lokad. Приступим.
Исследование рассматривает последствия внедрения ИИ в выполнение сложных, реалистичных и требующих глубоких знаний задач. Использованный ИИ – ChatGPT-4, большая языковая модель.
Подразумеваемая гипотеза заключалась в том, что внедрение ИИ в рабочие процессы высококвалифицированных специалистов приведет к росту производительности. 758 участников исследования были консультантами из Boston Consulting Group (BCG).
Исследователи разделили участников на две группы, при этом каждой группе была задана уникальная задача. Одна задача была направлена на проверку аналитических способностей, креативного письма, убедительности и навыков написания, а другая — на решение проблем путем сочетания количественных и качественных данных.
Все участники изначально выполнили базовую задачу без использования ИИ. После этого участники были подразделены на три группы: контрольная группа без ИИ, группа с ИИ и третья группа, которая использовала ИИ совместно с обучением по оптимальному его применению.
На выполнение задач у участников было от 30 до 90 минут; задачи были разработаны так, чтобы имитировать процессы, применяемые в престижных консалтинговых компаниях.
Несмотря на то, что задачи были спроектированы с равной сложностью, влияние ИИ оказалось весьма различным, что привело ученых к термину “изломанный технологический рубеж”.
Это означает, что ИИ способен значительно улучшить человеческую эффективность в некоторых задачах, находящихся внутри этого рубежа, но ухудшать результаты в других, находящихся за его пределами.
Для задач, находящихся внутри рубежа, ИИ привел к значительному росту производительности. Обе группы с ИИ показали лучшие результаты по сравнению с контрольной группой, причём группа, получившая дополнительное обучение по использованию ИИ, продемонстрировала самые высокие показатели.
Рост производительности был особенно заметен среди участников, получивших более низкие оценки на базовой задаче, что указывает на то, что ИИ может быть особенно полезен для работников с более низкой квалификацией.
Однако для задач за пределами рубежа, таких как сочетание количественного и качественного анализа, группа, использовавшая ИИ совместно с обучением, показала худшие результаты. Фактически, контрольная группа превзошла обе группы с ИИ, при этом разница между контрольной группой и группой, получившей и ИИ, и обучение, оказалась значительной.
Авторы предполагают, что для задач, находящихся внутри рубежа, ИИ может значительно повысить как производительность, так и качество, а возможно, и вытеснить человека. Однако для задач, определяемых как находящиеся за пределами рубежа, ИИ может оказаться значительно менее эффективным.
Несмотря на доступный стиль изложения, работа основывается на серьезном методологическом недостатке. Она не исследует прирост производительности, достигаемый посредством автоматизации с помощью ИИ. Вместо этого ИИ рассматривается как некий “второй пилот”, которым управляют люди.
Это имеет серьезные недостатки, поскольку искусственно ограничивает возможности ИИ, особенно в сочетании с такими техниками, как генерация с дополнительным извлечением информации.
ИИ способен автоматически составлять запросы, используя всю необходимую информацию, полученную из базы данных, аналогичной тем, что используются в престижных консалтинговых компаниях. Это значительно превосходило бы результаты, достигаемые одним человеком, и оказалось бы гораздо более прибыльным при масштабном применении.
Даже если качество ответов будет сопоставимо с результатами контрольной группы, они всё равно будут значительно дешевле благодаря крайне низкой стоимости больших языковых моделей (LLM) по сравнению с шестизначной зарплатой одного выпускника Гарварда.
Это и есть настоящее воздействие ИИ как на цепочки поставок, так и на занятость: беспрецедентный рост производительности за счет автоматизации как количественных, так и качественных задач при масштабном применении. Это, скорее всего, превзойдет человеческие возможности как в качестве, так и, безусловно, в окупаемости инвестиций.
Игнорируя этот очевидный сценарий использования, работа создает ложное и, можно утверждать, опасное чувство безопасности у людей, уже обеспокоенных потенциальным влиянием ИИ на цепочки поставок и другие аналитические профессии.
