00:00:00 Обсуждение волатильности и представление Питера Коттона.
00:01:22 Выступление Питера на конкурсе M6 и его структура.
00:03:21 Тема конкурса M6 и исследование гипотезы эффективных рынков.
00:06:01 Подход Питера к прогнозированию волатильности с использованием рынка опционов.
00:08:10 Сравнение финансов и цепей поставок в понимании волатильности.
00:09:20 Вероятностные прогнозы в цепях поставок и финансах.
00:10:01 Сложность заставить людей мыслить стохастически.
00:12:26 ИИ как модное слово и его влияние на прогнозирование.
00:14:55 Простота и надежность перед лицом сложности.
00:17:01 Сравнение алгоритмов прогнозирования временных рядов и их производительность.
00:18:58 Обсуждение того, как искаженное представление о производительности модели может привести к переобучению и P-hacking.
00:20:14 Цель конкурсов прогнозирования в предотвращении переобучения и манипуляций с данными.
00:21:27 Критика системы академических стимулов и призыв к постоянному тестированию алгоритмов в реальных условиях.
00:22:55 Сравнение финансов с управлением цепями поставок и необходимость рациональности и эффективности.
00:27:15 Потенциал рынков прогнозирования для получения точных прогнозов и преодоления предвзятости.
00:28:14 Обсуждение будущих вероятностей и механизмов обнаружения.
00:29:34 Сравнение проверенных механизмов с компенсированными взвешенными мнениями.
00:31:40 Несоответствие цифр во время конкурса M6 и финансового кризиса 2006 года.
00:32:25 Искажение ожиданий и влияние акций в розничной торговле.
00:36:31 Количественные трейдеры, преодолевающие барьеры и автоматизирующие процессы в цепях поставок.
00:38:09 Важность дисциплины на рынках прогнозирования.
00:39:58 Влияние регулирования на рынки прогнозирования.
00:40:44 Проблема статистических моделей на примере выборов Дональда Трампа.
00:42:57 Необходимость обратной связи и реальных последствий.
00:46:10 Успех модели Филипа на конкурсе M6 благодаря поиску дополнительных данных.
00:47:20 Легковесные механизмы для прогнозов в потоках данных.
00:48:41 MicroPrediction.org и его уникальная микроструктура для прогнозов.
00:50:47 Эволюция концепций цепей поставок и логистики.
00:52:35 Культурный вызов в принятии неопределенности в управлении цепями поставок.
00:54:46 История науки о данных в финансах и её связь с вероятностями.
00:56:41 Побеждать на фондовом рынке и сравнение с Уорреном Баффетом.
00:58:36 Конкурс M6, индивидуальные усилия и коллективная активность.
01:00:08 Нравственный вывод из конкурса M6 и использование рыночной силы в других областях.
Резюме
В интервью Питер Коттон, главный специалист по данным в Intech, и Йоаннес Верморель, основатель Lokad, обсуждают вероятностное прогнозирование, конкурс прогнозирования M6 соревнование по прогнозированию и различия между финансовой и цепочечной перспективами на волатильность и неопределенность. Они подчеркивают, что совершенные прогнозы невозможны, и вероятностное прогнозирование может помочь принимать более обоснованные решения в условиях волатильности. Оба соглашаются в ценности простоты и надежности при работе с комплексными системами, будь то финансовые рынки или цепи поставок. Они также обсуждают такие вопросы, как P-hacking, прозрачность ошибок моделей прогнозирования и рыночные механизмы для улучшения прогнозов. Верморель подчеркивает культурные вызовы в управлении цепями поставок, в то время как Коттон акцентирует внимание на важности рынков для улучшения общего прогнозирования.
Расширенное резюме
В этом интервью Питер Коттон, главный специалист по данным в Intech и количественный трейдер, специализирующийся на прогнозировании, приглашён ведущим Конором Дохерти и ведёт беседу с Йоаннесом Верморелем, основателем Lokad — компании, разрабатывающей программное обеспечение для оптимизации цепей поставок. Обсуждение вращается вокруг вероятностного прогнозирования, конкурса прогнозирования M6 и различий между финансовой и цепочечной перспективами на волатильность и неопределенность.
Питер Коттон, занявший место в топ-10 на конкурсе прогнозирования M6, рассказывает, что цель конкурса заключалась в проверке гипотезы эффективных рынков и способности хороших прогнозистов создавать разумные диверсифицированные портфели, показывающие хорошие результаты. Он объясняет, что его подход к конкурсу отличался от подходов других участников: он использовал данные с рынка опционов для прогнозирования волатильности, а не делал прямой прогноз сам. Он воспринимал конкурс M6 как схватку между специалистами по данным, прогнозистами и профессионалами количественных финансов против рынка опционов. Несмотря на высокое место, Питера удивило, насколько успешно он выступил по сравнению с другими участниками.
Йоаннес Верморель добавляет, что финансы значительно опережают цепи поставок в признании и управлении волатильностью и неопределенностью. Он отмечает, что специалисты по цепям поставок все еще часто стремятся к идеальным прогнозам, что нереалистично. Первый шаг в решении этой проблемы — признать, что совершенные прогнозы невозможны, а второй — понять, что неопределенность не означает, что вещи непознаваемы. Вероятностное прогнозирование может помочь количественно оценить структуру неопределенности и принимать более обоснованные решения в условиях волатильности.
И Питер, и Йоаннес соглашаются, что ещё предстоит проделать большую работу по тому, чтобы побудить мир мыслить более стохастически и внедрить это понимание в процессы принятия решений. В то время как финансы имеют долгую историю борьбы с неопределенностью и рисками, для цепей поставок признание и использование этих концепций потребовало гораздо больше времени.
Верморель отмечает, что ИИ стал модным словом, которое часто маскирует некомпетентность. Он считает, что когда профессионалы компетентны, они называют свои методы по их техническим названиям, таким как гиперпараметрические модели или градиентный бустинг деревьев.
Верморель и Коттон обсуждают сложность и хаотичность цепей поставок, а также лучший подход к управлению такими системами. Оба соглашаются, что вместо того чтобы утяжелять систему сложностью, разумнее найти что-то простое и надёжное. Коттон делится своим опытом микропрогнозирования, которое сосредоточено на поддержке пакетов с открытым исходным кодом для прогнозирования временных рядов. Он подчеркивает, что самые успешные модели часто являются самыми простыми, например, усреднённые с учётом точности по последним результатам.
Участники интервью также затрагивают проблему P-hacking, когда исследователи манипулируют данными для поддержки желаемого результата. Они утверждают, что конкурсы прогнозирования, такие как M5, могут смягчить эту проблему, выпуская данные только после того, как участники представят свои результаты, что предотвращает возможность корректировки моделей для создания фальшивых выводов.
Коттон критикует академическую литературу за проведение закрытых конкурсов, организованных одним и тем же человеком, который одновременно участвует и судит результаты. Он предлагает, вместо публикации статей, запускать алгоритмы вечно, позволяя им самостоятельно определять свою эффективность в различных бизнес-задачах. Коттон выступает за более ориентированный на данные подход, например, превращая всё в конкурс M6 или рынок опционов, чтобы повысить рациональность и эффективность.
Верморель также сравнивает безжалостную среду финансов с инерцией, присущей цепям поставок, где компании могут оставаться неэффективными в течение длительного времени, не сталкиваясь с серьезными последствиями. Он ставит под сомнение практику планирование продаж и операций (S&OP), которая подразумевает сбор людей для обсуждения и голосования по прогнозам, полагая, что этот метод не является самым эффективным способом предсказания.
Верморель делится своим опытом работы с крупными ритейлерами по прогнозированию влияния промоакций. Он отмечает, что ожидания часто завышены, и простая модель усреднения на основе исторических данных может дать более точные прогнозы. Однако представление этих более консервативных оценок иногда встречает сопротивление, так как это может восприниматься как подрыв энтузиазма или умаление человеческого интеллекта.
Коттон подчеркивает важность дисциплины в построении точных прогнозов, которую можно развивать с помощью рыночных подходов. Он предлагает побуждать людей к большей прозрачности в отношении ошибок их моделей прогнозирования и рассмотреть возможность использования легковесных рыночных механизмов в их потоках данных. Рынки прогнозирования, хотя и интересны, были ограничены регулированием и озабоченностью по поводу азартных игр.
Коттон рассказывает о разногласии с командой, стоявшей за моделью выборов The Economist перед президентскими выборами в США 2016 года, которая назначила намного ниже вероятность победы Трампа по сравнению с букмекерскими рынками. Этот обмен мнениями подчеркивает необходимость лучших методов оценки точности моделей и ограниченность полагаться исключительно на мнение экспертов.
Участники соглашаются, что рыночные механизмы оказались более надёжными, чем альтернативные методы прогнозирования, но подчеркивают важность поиска способов внедрения рыночной дисциплины в другие области, такие как оптимизация цепей поставок и розничное прогнозирование.
Верморель указывает на проблему традиционных упражнений по прогнозированию, которые часто проводятся отдельными командами, не связанными с остальной частью компании. Это приводит к таким практикам, как «занижение прогнозов», когда сотрудники отдела продаж занижают свои цифры, чтобы превышать квоты и получать бонусы. Производственные отделы, напротив, склонны переоценивать прогнозы для обеспечения больших бюджетов на наращивание производства. Верморель предполагает, что создание обратной связи с реальными последствиями может помочь укоренить предиктивные модели и сделать их более эффективными.
Коттон обсуждает роль рынков прогнозирования в улучшении моделей прогнозирования. В то время как традиционные рынки прогнозирования могут быть громоздкими, легковесные альтернативы могут оказаться более эффективными в потоке данных. Коттон также упоминает свою книгу о микропредсказательных механизмах, способных получать или запрашивать прогнозы и служить для поддержки бизнес-приложений.
Участники интервью признают культурные вызовы в управлении цепями поставок, особенно учитывая, что концепция цепей поставок возникла из области логистики в 1990-х годах. Логистика ориентирована на операционную уверенность, тогда как управление цепями поставок включает долгосрочное планирование и работу с неопределённостью. Верморель задаётся вопросом, сколько времени потребовалось финансам, чтобы принять вероятностные модели будущего, в то время как Коттон отмечает, что наука о данных существует уже как минимум 40 лет.
Коттон также касается различия между победой над рынком и предоставлением точных вероятностных оценок. Он объясняет, что хотя такие личности, как Уоррен Баффет, постоянно побеждают на рынке, они не могут создать автономные модели, дающие более точные вероятностные оценки, чем сам рынок. Он подчеркивает важность рынков как совокупности индивидуальных усилий по созданию вероятностей и улучшению общего прогнозирования.
Полная стенограмма
Conor Doherty: С возвращением на Lokad TV, я ваш ведущий Конор, и, как всегда, со мной основателем Lokad Йоаннес Верморель. Сегодня наш гость — Питер Коттон, старший вице-президент и главный специалист по данным в InTech Investment. Сегодня он расскажет нам о вероятностном прогнозировании и, возможно, о том, как победить фондовый рынок. Питер, добро пожаловать на Lokad.
Peter Cotton: Спасибо, что пригласили меня.
Conor Doherty: В Lokad нам нравится знать, с кем мы общаемся. Так что, Питер, расскажите нам немного о своём опыте и о том, чем вы занимаетесь в InTech Investment?
Peter Cotton: Ах, конечно. Я бы описал себя как профессионального кванта. Я работал как на стороне покупателей, так и на стороне продавцов, и у меня был краткий опыт в качестве предпринимателя по созданию компании, занимающейся данными. Сейчас я трачу время на попытки предсказать события, что, думаю, вас не удивит, а также на развитие теории портфеля.
Conor Doherty: Надо сразу сказать: поздравляю с вашим недавним выступлением на конкурсе M6. Насколько я помню, вы вошли в топ-10, так ли это?
Peter Cotton: Да. Я не уверен, заслуга ли это моя или всех тех трейдеров по опционам и квантов, которые их поддерживают. В некотором роде, это была не моя работа вовсе; я был всего лишь проводником от одного источника предсказательной силы к другому.
Joannes Vermorel: Для аудитории, M6 на самом деле был шестой итерацией очень известной серии конкурсов по прогнозированию, где цель буквально заключалась в составлении прогнозов. Конкурс проходил следующим образом: публикуется набор данных, затем устанавливается определённый набор правил, и участники должны делать прогнозы, как правило, в форме прогнозов временных рядов. В данном случае последние две итерации конкурса, M5 и M6, имели вероятностный аспект. Это была итеративная игра с 12 раундами, где участникам нужно было присылать свои результаты, и конкурс продвигался далее. Существовало множество правил для определения того, кто показал наилучшие результаты и фактически превзошёл рынок. Это было очень требовательное и жесткое испытание, поскольку практически не оставалось возможностей подделать свои результаты.
Conor Doherty: Насколько я понимаю, каждая итерация конкурса M отличается. Итак, Питер, какова была тема M6? То есть, какова была основная цель?
Peter Cotton: Цель организаторов, в широком смысле, заключалась в изучении гипотезы эффективных рынков, которая утверждает, в различных её формах, что опередить рынок очень сложно. Причина, по которой сложно опередить рынок, заключается в том, что существует огромный финансовый стимул для этого, и много умных людей, последние 40 лет своей карьеры, пытались сделать именно это, создавая команды и используя все доступные данные. Несомненно, правда, что, скорее всего, самым предсказуемым на Земле явлением является цена акций Google или что-то подобное. Всё остальное уступает этому по уровню прогнозирования, так что это была одна из заявленных целей организаторов. Другая заключалась в изучении того, смогут ли люди, хорошо прогнозирующие, также превратить это в разумные диверсифицированные портфели, которые показывали бы результаты согласно некоторому критерию, который мы можем оспаривать. Так что, думаю, это были две основные цели организаторов, по крайней мере, насколько я их понял. А что именно сделала ваша модель, чего не смогли сделать другие участники?
То, что отличало мою заявку, заключалось в том, что с философской точки зрения я рассматривал проблему как поиск любых релевантных данных. Конечно, другие могли бы смотреть на это так же, но я думаю, отличие в том, что иногда люди упускают из виду тот факт, что данные могут принимать форму подразумеваемых чисел или чисел, которые неявно содержатся в существующих рынках.
Теперь, если посмотреть на конкурс M6, нам было предложено попытаться предсказать вероятность того, что данная акция или ETF покажут доходы, скажем, во втором квантиле по сравнению с 100 подобными активами через один месяц. Так что вы задаетесь вопросом, что же на самом деле влияет на то, что акция окажется во втором квантиле своих аналогов? Конечно, если у вас есть мнение о направлении движения акции, это, очевидно, увеличивает вероятность её попадания в два верхних квантиля. Но если у вас нет мнения по поводу акции, чего я, лично, не имел, то основным фактором, который будет влиять на то, окажетесь ли вы в первом или третьем квантиле, является волатильность акции.
Таким образом, я бы сказал, что этот конкурс по сути был конкурсом по прогнозированию волатильности, а не направления акции, возможно, несколько противоречащим заявленной гипотезе организаторов, но это нормально, ведь это лабораторный эксперимент. Поэтому я подумал: «Посмотрите, существует уже источник невероятно качественной информации о волатильности акций. Это называется рынок опционов.» Поэтому я просто обратился к рынку опционов, и вместо того чтобы самостоятельно прогнозировать волатильность, я использовал эти данные. Это практически всё, что я сделал.
Таким образом, можно рассматривать мою заявку просто как рыночный ориентир, возможно, не тот же самый рыночный ориентир, который ожидали бы участники. Организаторы установили другой, менее сильный рыночный ориентир. Но это был мой ориентир, и я сказал: «Посмотрите, очень сложно придумать лучшие прогнозы будущей волатильности движения акции, чем те, что подразумеваются рынком опционов, потому что если бы вы могли это сделать, вы могли бы зарабатывать деньги на покупке и продаже опционов.» Конечно, некоторые люди зарабатывают, продавая, покупая и снова продавая опционы, я зарабатываю, но это приводи́т рынок к очень эффективному состоянию, и именно это мне казалось интересным в этом конкурсе.
Это был способ объединить сообщество специалистов по данным, прогнозистов и некоторых квантов, и сказать: «Смотрите, вот такой бой, и я подумал, что будет действительно интересно это сделать.» Так что я это и сделал, и теперь меня на самом деле немного удивило, как высоко я поднялся в рейтинге. Думаю, мой показатель по метрике Брайера оказался всего на 0.002 от того, чтобы выиграть деньги, то есть, я был ужасно близко. Но основная идея заключалась просто в том, чтобы выяснить, знаете ли, обойду ли я 70% участников, или 80%? В итоге оказалось, что я обошёл 96% участников. Честно говоря, это меня несколько удивило.
Joannes Vermorel: Интересно для меня, пришедшего из сферы цепочек поставок, что я всегда невероятно впечатлён тем, как финансы буквально на десятилетия опережают цепочки поставок во всех вопросах.
Моя главная борьба в Lokad заключается в том, что волатильность действительно существует. Мы до сих пор ведем борьбу за признание её существования, потому что в кругах цепочек поставок много людей говорят: «Давайте прогнозировать с точностью до четырёх знаков после запятой, сколько мы продадим в следующем году». Если бы у вас был идеальный прогноз продаж, всё сводилось бы к постановке задач по координации. Вы могли бы точно определить, сколько произвести, сколько закупить и сколько распределить запасов. То есть, если у вас были идеальные прогнозы и всё выполнение заказа превращалось бы просто в дело рутинной координации.
Когда Lokad начал продвигать вероятностные прогнозы в цепочках поставок десять лет назад, это было не ново, ведь финансы уже занимались этим с использованием Value at Risk не менее трёх-четырёх десятилетий. Ключевая идея заключалась, прежде всего, в том, чтобы отказаться от идеи о том, что у нас будет идеальный прогноз. Первый шаг — признать, что вы не можете знать всего о будущем. Это кажется очевидным для людей из финансов, но в цепочках поставок до сих пор не все признают, что идеальный прогноз недостижим.
Как только вы принимаете наличие неопределенности, это не означает, что вы ничего не знаете. Вы можете иметь неопределенность и при этом количественно характеризовать её структуру посредством волатильности. То, что что-то является неопределенным, не значит, что оно непознаваемо. Есть аспекты, которые можно узнать о структуре неопределенности, и именно тогда мы говорим о вероятностных прогнозах. С точки зрения цепочек поставок, мы используем это для того, чтобы сказать, что вы не принимаете одинаковых решений в условиях огромного разброса или очень сконцентрированной неопределенности. Когда вы сталкиваетесь с огромной волатильностью, ваш количественный подход к риску существенно отличается от подхода в ситуациях, когда исход практически определён.
Peter Cotton: Верно, до сих пор требуется десятилетия, чтобы донести это сообщение. Есть специалисты в области управленческих наук, которые пытались популяризировать это понятие, такие как Сэм Сэвидж с «Ошибка средних» (The Flaw of Averages), и убеждать людей, что выбор одного пути или среднего значения приведёт к проблемам. В финансах у вас уже много лет существуют невероятно детализированные понятия риска выпуклости. Поразительно, насколько это отличается.
Я тоже это заметил, ведь некоторые участники должны предоставлять распределённые прогнозы, и если вы пришли с Kaggle или откуда-то ещё, вы, возможно, не знакомы с мотивацией для этого. Так в чем же решение? Как побудить мир мыслить в более стохастических терминах и внедрить это в принятие решений или работу с электронными таблицами? Это не так просто.
Joannes Vermorel: Абсолютно. И я считаю, что одним из факторов, усложняющих ситуацию, является то, что, по крайней мере, из моего опыта в enterprise software для цепочек поставок, модным словом десятилетия был AI. Интересно, что, как только у вас появляется AI, считается, что вы обладаете превосходящим пониманием будущего.
С моей личной точки зрения, AI — это всего лишь модное слово, которое используется, чтобы скрыть вашу собственную некомпетентность чем-то другим. Как только вы становитесь действительно компетентным, вы начинаете называть это иначе, например, гиперпараметрической моделью или градиентно-усиленными деревьями. Когда вы говорите AI, это просто тарабарщина того, чего не понимаешь.
Интересно то, что очень часто, когда вы сталкиваетесь с чем-то невероятно хаотичным и сложным, мой опыт и наши результаты с M5 показывают, что Lokad добился отличных результатов с методом, который на порядки проще методов, основанных на AI. То, что я нашёл интересным в вашем подходе микро-прогнозирования, заключается в том, что, как я полагаю, вы сделали нечто очень похожее в своей простоте. Так что, сталкиваясь с чем-то невероятно сложным, лучше ли иметь систему, отражающую всю эту сложность, или, наоборот, иметь что-то очень простое, что поможет вам пройти через бурю?
Joannes Vermorel: Я провёл несколько экспериментов в этом направлении. Я стремился собрать как можно больше хороших алгоритмов из открытых источников для прогнозирования временных рядов. Я стараюсь поддерживать эти open-source пакеты, которые значительно упрощают проведение бенчмаркинга или определение того, какой временной ряд подходит для вашей задачи. Некоторые из них существуют самостоятельно и пытаются доказать, что они хорошо предсказывают какие-либо показатели. Микро-прогнозирование — это своего рода M6 для алгоритмов, но обычно на более высокой частоте.
Peter Cotton: Конечно, со временем мы начали формировать мнение о том, что на самом деле работает и что является устойчивым в различных ситуациях. Я провёл офлайн-тестирование одномерных временных рядов, и существует, вероятно, 20 или 50 Python-пакетов для прогнозирования временных рядов. Большинство из них оборачивают другие пакеты, такие как TSA и statsmodels. Но когда вы сравниваете их с классическими методами, оказывается, что простые средневзвешенные по точности недавние показатели множества простых моделей оказываются на вершине. Простые модели включают такие как Auto ARIMA и его варианты или даже более простые методы.
Joannes Vermorel: Для аудитории я думаю, что вы указываете на то, что проблема P-hacking является очень реальной. Когда вы окунаетесь в область сложных моделей, вы почти всегда можете найти модель, которая случайно показывает хорошие результаты. Это может привести к переобучению и P-hacking, когда вы избирательно подбираете параметры и гипотезы, чтобы пройти какой-либо статистический тест достоверности. Прогнозирующие конкурсы предотвращают это, выпуская данные только после того, как участники подают свои результаты, чтобы они не могли подправить свои модели для получения фальшивых результатов.
Peter Cotton: Верно. Большая часть академической литературы состоит из крошечных закрытых конкурсов, проводимых одним и тем же человеком в качестве участника. Они решают, кто ещё имеет право участвовать, проводят испытание 10 раз, а затем публикуют результат. Это нелепо. Смысл конкурсов по прогнозированию в том, чтобы предотвратить подобное.
Я согласен. Это абсолютно нелепо. Зачем вообще существует эмпирическая литература? Я не знаю. Я тратил своё время, пытаясь высмеять само понятие эмпирической литературы. Зачем вам публиковать статью об эффективности модели в реальном времени, если статья не будет обновляться сама по себе, верно? Я не знаю, что мы можем сделать, чтобы от этого избавиться, к сожалению. Как все мы знаем, и как говорит The Economist, суть шутки о стимулах в том, что проблема не в том, что они не работают, а в том, что работают слишком хорошо. Так что, если единственный стимул — публикация статей, вот что вы получите. Если единственный стимул — несколько странная метрика для M6 в инвестиционной части конкурса, вы обнаружите, что найдется, знаете, три из 200 человек, которые найдут способ обмануть систему, верно? Вот так всё и происходит.
Таким образом, я считаю, что вместо публикации статей люди должны просто запускать свои алгоритмы на постоянной основе. И мы должны способствовать созданию инфраструктуры, в которой компании смогут делиться, что позволит этим алгоритмам переходить от одной бизнес-задачи к другой и определять, действительно ли они работают хорошо. И если эти методы, которые появляются в наши дни, некоторые из которых весьма изобретательны и основаны на машинном обучении, способны действительно показывать хорошие результаты на независимой выборке, и если для них достаточно данных, чтобы это подтвердить, то будет достаточно данных для автономного определения их эффективности. Итак, нам на самом деле не нужны люди с их твёрдыми мнениями, твердыми априорными убеждениями, личными интересами и стремлением быть «вратарями», чтобы определить, какой алгоритм должен работать для конкретной бизнес-задачи. Часто, по крайней мере в моей области, а ваша область немного сложнее, поскольку ваши прогнозы рассчитаны на более длительный период, но в моей области, если речь идёт о том, что сработает для вас — знаете, прогнозирование того, сколько клиентов придёт в ближайшие пять минут или сколько машин проедет перекресток в следующие две минуты — это задача большого объёма данных. Нам не нужно, чтобы люди со своими PDF и прочими вещами мешали. На мой взгляд, давайте просто превратим всё в M6, ускорим этот процесс или, что ещё лучше, превратим всё в рынок опционов.
Joannes Vermorel: Да, и интересный момент заключается в том, что, опять же, для меня финансы — это своего рода практика, и я говорю это в хорошем смысле, потому что существует общее мнение в обществе, что если в фильме есть злодей, то это обязательно финансист и опционы. Но моя точка зрения такова: эти рынки представляют собой упражнение в рациональности. То есть, если вы глубоко иррациональны, вы просто обанкротитесь. И только те люди, которые способны поддерживать очень высокий уровень рациональности в том, что они делают на протяжении длительного времени, не обанкротятся. Это чрезвычайно беспощадная среда. Даже незначительные неэффективности очень быстро эксплуатируются. Если у вас есть конкуренты, которые год за годом на несколько процентов эффективнее вас, люди перераспределят свои средства в их пользу, и тогда вы буквально обанкротитесь. Так что это буквально быстрый дарвинизм в действии, довольно жестокий.
В некотором роде, эти, как бы, долгосрочные прогнозы – это именно то, чего люди не осознают в цепочках поставок: существует множество компаний, которые могут выживать десятилетиями не потому, что они исключительно хороши, а потому что существует невероятная инерция в создании инфраструктуры, обновлении практик и тому подобном; можно оставаться крайне неэффективными на протяжении десятилетия или более, прежде чем это начнет давать хоть какие-то результаты. Например, многие розничные торговцы запустили свои интернет-магазины на двадцать лет позже Amazon, и они сильно пострадали, вместо того чтобы просто исчезнуть. В финансах было множество примеров – если вы опаздываете на вечеринку на два десятилетия, это просто невыносимо. Таким образом, исходя из опыта цепочек поставок, когда речь заходит о будущем, одним из самых популярных методов всё ещё остаётся S&OP, то есть Продажи и Операции. Это подразумевает, что все люди собираются в комнате и обсуждают, так чтобы в ходе обсуждения появился правильный прогноз. С вашей точки зрения количественного трейдера, кажется ли это разумным вариантом? То есть, мы хотим добиться хороших результатов, так что давайте соберем 20 человек в комнате, посмотрим на эти графики, а затем проведем голосование, чтобы определить прогноз, с бонусными баллами, если у вас более высокий ранг в организации.
Peter Cotton: Честно говоря, я не завидую людям, которым приходится делать прогнозы на один или два года вперёд. Очевидно, что это сложная задача. Вопрос коллективного интеллекта среди людей в такого рода прогнозировании и то, как это осуществлять, безусловно, имеет интересную литературу. Но мне кажется, что иногда простая истина в том, что пуританская предвзятость США просто мешает достаточно очевидному решению. То есть, я вырос в Австралии, и если вы хотите узнать, какая из двух мух, ползущих по стене, доберется первой, вы позволяете людям делать на это ставки. Всё действительно просто. Давайте не будем усложнять.
Лучший инструмент для прогнозирования, первое великое устройство для прогнозирования, было создано размером с здание на ипподроме Эллерсли и, кажется, открыто в 1913 году. Это была первая в мире механическая тотализаторная машина. Люди могли делать ставки на лошадей, и эти гигантские поршни медленно поднимались в воздух, чтобы дать понять, сколько поставлено на каждую лошадь. И благодаря этому удивительному механическому устройству появилась вероятность – первый пример нейтральной по риску вероятности, определённой в системе обработки информации в реальном времени. На протяжении 100 лет это до сих пор единственный по-настоящему разумный способ получения будущих вероятностей событий, насколько мне известно. Я не думаю, что было изобретено что-то лучше.
Joannes Vermorel: Да, и один момент, который меня очень интересует, заключается в том, что вы указываете на то, что здесь работает механизм обнаружения. Именно об этом мы говорим, и в этом есть изобретательность. На самом деле ценится не столько модель, которая с этим идёт, или мысль о человеческом интуитивном понимании, сколько подход, при котором вы думаете: “Каков мой механизм обнаружения, чтобы получить более надёжную информацию об этом будущем? Существует ли вообще что-то, что действует как механизм обнаружения, или я просто выдумываю и заявляю, что те утверждения, которые я даю неявно о будущем, являются хорошими и валидными, прежде чем я вообще подумаю, что может потребоваться некоторое путешествие, чтобы добраться туда?” Это нечто, созданное с учетом возможности обнаружения, и это отличный способ выразиться.
Peter Cotton: Вот у вас механизм, который был проверен тысячу раз в разных местах на протяжении века, и он просто продолжает работать. Люди постоянно подступают и говорят: “Ну, подождите, можем ли мы сделать что-то ещё”, как отличный пример компенсированных взвешенных мнений в комнате, наблюдающих за спредом. Может, это и есть правильный механизм для прогнозирования, кто знает? Посмотрите на историю. Я начал свою карьеру в 2001 году в области кредитования и пережил опыт 2006 года. Был рынок, который предоставлял подразумеваемое значение корреляции, показывающее, каково мнение рынка относительно взаимозависимости судеб одной компании и другой. Допустим, это число было 30. Рейтинговые агентства применили актуарный подход, как и участники M6. Они проигнорировали рыночную информацию и представили свою собственную модель, зачастую не имея даже представления о математике, необходимой для распознавания информации. Они сказали институциональным инвесторам, что число было не 30, даже не 20, а 5 процентов. Это огромное расхождение. Так чем же это закончилось, кроме глобального финансового кризиса и других катастроф в цепочках поставок? Сколько ещё нам потребуется примеров, чтобы понять, что рынок – это единственный путь? Сколько примеров нам надо?
Joannes Vermorel: Забавно, но происходит нечто вроде частичного безумия. Просто, к примеру, в розничной торговле, компания Lokad работает со многими крупными ритейлерами. Обычно, когда речь идёт о прогнозировании влияния акций, например, шоколадного батончика со скидкой 30%, люди с энтузиазмом относятся к эффекту. Они хотят изменить ситуацию и завоевать долю рынка. Но когда мы смотрим на прогнозы по акциям, цифры почти всегда завышены. Люди думают, что продажи будут в три-четыре раза выше обычного уровня. Однако, когда вы применяете супер-базовую модель усреднения и смотрите на прошлые акции, реальность оказывается более консервативной. Это интересно, потому что когда вы показываете им более консервативную модель, они ощущают, что их энтузиазм и человеческий интеллект принижаются.
Peter Cotton: В информатике есть максима: сначала напиши тест. Но никто не пишет тест сначала, когда речь идёт о прогнозировании или предсказании будущего, верно? И только примерно в пяти процентах случаев тест пишут позже, если вообще когда-нибудь строго возвращаются и смотрят, что на самом деле было сделано.
Да, это правда. Рынки, несмотря на все свои недостатки, обладают невероятной способностью обеспечивать дисциплину. Есть причина, по которой некоторые ведущие хедж-фонды, например, организуют покерные лагеря. Я вырос, пытаясь понять азартные рынки различных видов, и если у вас нет этой дисциплины, вы не станете лучше в прогнозировании. Так как же создать эту дисциплину?
Мы не хотим, чтобы ЕС обязал всех размещать остатки своих моделей в блокчейне, поскольку это было бы неэффективно по ряду причин. Однако, мы, возможно, можем побудить людей задуматься над тем, как они могли бы использовать нечто вроде рынков, но более легковесных, и начать думать о том, как они могут вписаться в существующие конвейеры обработки данных.
Мы могли бы начать побуждать людей говорить: “Эй, посмотрите, что вы делаете с ошибками в ваших моделях прогнозирования? Куда они уходят? Выбрасываются ли они? Сделайте их публичными — действительно ли они настолько собственные?” Большинство людей даже не знает, что такое ваша модель, что вы моделируете или как вы это когда-то делали, и вы создаёте нечто, что заявляете, что является шумом.
Ну, чего вы боитесь? Это может быть одним из подходов. Сфера прогнозных рынков, безусловно, интересна, и, по крайней мере, в США за эти годы её практически парализовали регуляции. Разные люди пытались использовать эту дисциплину, но затем отступали, когда её относили к азартным играм. Чтобы всё работало хорошо, иногда нужна ставка, так что это может иметь свою цену. Мы не хотим превращать мир в покерные автоматы, но без какого-либо рыночного механизма дисциплины я не вижу, чтобы ситуация когда-либо улучшалась. Я просто вижу повторение одного и того же.
Joannes Vermorel: Я думаю, вы затрагиваете нечто очень важное, и также то, за что я выступаю уже десятилетиями: если у вас нет обратной связи с реальным миром, когда вы оперируете в вашем математическом пространстве с помощью статистических моделей и алгоритмов, вы не можете знать, занимаетесь ли вы чем-то безумным или нет.
Математика показывает только внутреннюю согласованность, то есть, насколько то, что вы делаете в этом математическом пространстве, согласуется само с собой, а не с миром. Если у вас нет обратной связи, вы не знаете. В лучшем случае, если вы статистически и графически верны, это просто означает, что вы последовательны сами с собой, что хорошо, но это ничего не говорит о мире в целом.
Когда вы говорили: “Готовы ли вы поставить пару евро или долларов на это?”, это буквально и есть обратная связь. Это и наказание, и вознаграждение, и личное участие. В цепочках поставок одна из проблем таких упражнений по прогнозированию заключается в том, что они, как правило, совершенно не связаны с тем, что делают люди.
Проблема, которую я выявил, заключается в том, что в большинстве компаний есть одна команда, занимающаяся прогнозированием, создающая прогнозы временных рядов, а остальная часть компании сталкивается с последствиями. В итоге возникают весьма странные практики. Например, продавцы, когда им приходится вносить вклад в прогноз продаж, значительно занижают прогноз в процессе, который называется sandbagging. Почему? Потому что если они прогнозируют свою норму в 100, но уверены, что продадут 200, они превысят норму и получат бонус.
С другой стороны, в производстве прогноз высокого спроса позволяет получить больший бюджет для наращивания производственных мощностей. Если у вас есть завод, способный производить вдвое больше, чем необходимо, производство идёт гладко, потому что ваши возможности значительно превышают реальные потребности. Проблема не в том, что люди играют в эти игры; проблема в том, чтобы встроить обратную связь таким образом, чтобы люди несли последствия. Вы хотите, чтобы прогнозные модели были обоснованы, а финансовые инструменты, такие как ставки, могут быть невероятно прямолинейным и надежным способом для достижения этого. Оперативно это также относительно просто реализовать.
Peter Cotton: В конкурсе M6 был хороший участник, которого я назову “модель Филипа”. Важной частью его подхода было нахождение дополнительных данных. Его не устраивали акции и ETF, предоставленные организаторами, поэтому он искал больше данных, строил модели и проверял, как они работают на более широком наборе. Это делало его менее склонным к переобучению на конкретной истории. Хотя прогнозные рынки могут быть громоздкими, лёгкие альтернативы без ставок всё ещё могут быть эффективными. Например, Microprediction.org позволяет сливкам подниматься наверх без ставок.
В моей книге я говорю о “микроменеджерах”, то есть об автономных механизмах, которые получают или запрашивают прогнозы и служат исходной цели для бизнес-приложения. Существует множество различных механизмов для этого. Например, Microprediction.org использует систему непрерывной лотереи с коллективным распределением будущего значения переменной. Вы можете получить вознаграждение за то, что направляете коллективное распределение в сторону истинного. Существует множество публикаций по оценке и характеристикам точечных и распределённых оценок. Проблема больше связана с культурой: хотят ли бизнесы обладать той дисциплиной, которая сложилась в финансах за последние 40 лет?
Joannes Vermorel: Это действительно забавная задача, и культура играет значительную роль. Цепочка поставок – это недавняя концепция, возникшая в 90-х, тогда как ранее доминировала логистика. Превосходство в логистике означает отсутствие аварий, устранение опасностей и обеспечение безопасности на рабочем месте. В этой области достигнут значительный прогресс, и опасные профессии стали намного безопаснее. Цепочка поставок, однако, ориентирована на долгосрочную перспективу, на реализацию дел в реальном мире, что представляет собой совсем иной вызов.
И дело в том, что когда вы начинаете об этом думать, вот что я слышал: все эти концепции, например, расстояние Кульбака–Лейблера – это, по сути, все инструменты, позволяющие принять неопределенность будущего и работать с ней, и у вас даже есть математический инструмент для этого.
Вот в чем интересный момент. Культурный вызов для цепочки поставок заключается в том, что он невероятно сложен. Логистика, из которой и возникла цепочка поставок, была направлена на устранение неопределенности. Вы не хотите, чтобы вероятность того, что кто-то умрёт на вашей вахте, имела какое-либо значение – вы хотите, чтобы эта вероятность была равна нулю или была настолько стремительно мала, что её практически невозможно предотвратить. Поэтому люди, и это хорошо, хотят иметь уверенность в своих процессах. Но когда вы переходите к менталитету цепочки поставок, где думаете о событиях за несколько лет вперёд, вы внезапно не можете получить такие гарантии для событий, которые произойдут через несколько лет. Существует культура, которую необходимо переосмыслить, потому что полная уверенность очень важна для текущей работы, но это совершенно другая игра, когда вы начинаете думать о будущем, особенно не о ближайшем будущем, а о более отдалённом.
Conor Doherty: Оцените, пожалуйста, сколько времени потребовалось финансам, чтобы за 20 век принять более сложное вероятностное видение будущего? Я полагаю, что инструменты Value at Risk были введены в 80-х, но я не на 100% уверен в сроках.
Peter Cotton: Это хороший вопрос. Рынки опционов существовали задолго до этого, и многие люди прекрасно понимали, что происходит. Всегда находились умные люди, и они много публиковались. Data science не существует 10 лет; ей, по крайней мере, 40 лет, если читать биографию Джима Саймонса. Идея, что вероятность выражается в долларах, очень стара, и понятие того, что вероятность ненадежна, если она не выражается в долларах, также имеет давние корни.
Conor Doherty: Ещё один последний вопрос для подведения итогов. Продемонстрировал ли конкурс M6, что можно обыграть рынок и сделать это лучше, чем другие на протяжении более шести десятилетий?
Peter Cotton: Проблема в том, и это очень важное различие, что Уоррен Баффетт не смог бы войти в топ-10. Уоррен Баффетт имел бы ужасно некалиброванные оценки вероятности. Есть разница между тем, чтобы суметь обыграть рынок, и тем, чтобы формировать такие же или лучшие вероятностные оценки, как способен рынок. Ни Уоррен Баффетт, ни Джим Саймонс, ни какой-либо отдельный хедж-фонд не могут этого сделать. M6 — это конкурс и совокупность индивидуальных усилий по созданию вероятностей, а рынок — это нечто большее. Это коллективная деятельность, и обыграть эту коллективность невозможно. От M6 я ожидал найти умных людей, и всё уважение Филипу, который честно победил меня. Но если посмотреть на числовое моделирование, невозможно сказать, что Филип был на самом деле лучше меня или наоборот.
Общая результативность рынка опционов в M6 просто ошеломляет. Сначала была пилотная стадия, а затем первый квартал, второй квартал, третий квартал и четвертый квартал. В каждом случае, каждый раз из пяти, мой вход приходился на верхний квартиль. Если это не удача, то, надеюсь, M6 показывает людям, что дисциплина на рынке находится на совершенно другом уровне по сравнению с той, к которой они привыкли в своих работах по машинному обучению, конференциях или чем-либо ещё.
Надеюсь, мораль такова: людям не стоит избегать рынков только потому, что их слишком трудно обыграть. Я надеюсь на другую мораль — чтобы люди начали задумываться о том, как они могут использовать мощь рынков или подобных им механизмов, или эти обратные связи, в своих собственных процессах и компаниях. Вот что я хочу, чтобы они извлекли из этого урока. Не уверен, что им это удастся, но можно только надеяться.
Conor Doherty: Думаю, это, вероятно, конец. Я подведу итоги. Хочу поблагодарить тебя за твое время, Peter, и огромное спасибо, Joannes, за твою экспертизу, а также еще раз поздравляю с M6. Спасибо всем, кто смотрит из дома. До встречи в следующий раз.
