00:00:00 Обсуждение волатильности и представление Питера Коттона.
00:01:22 Участие Питера в конкурсе M6 и его структура.
00:03:21 Тема конкурса M6 и исследование гипотезы об эффективных рынках.
00:06:01 Подход Питера к прогнозированию волатильности с использованием рынка опционов.
00:08:10 Сравнение финансовой сферы с цепочками поставок в понимании волатильности.
00:09:20 Вероятностные прогнозы в цепях поставок и финансах.
00:10:01 Сложность в том, чтобы заставить людей мыслить стохастически.
00:12:26 Искусственный интеллект как модное слово и его влияние на прогнозирование.
00:14:55 Простота и надежность в условиях сложности.
00:17:01 Бенчмаркинг алгоритмов прогнозирования временных рядов и их производительность.
00:18:58 Обсуждение того, как искаженное представление о производительности модели может привести к переобучению и P-хакингу.
00:20:14 Цель конкурсов прогнозирования в предотвращении переобучения и манипулирования данными.
00:21:27 Критика академической структуры стимулов и пропаганда непрерывного тестирования алгоритмов в реальном мире.
00:22:55 Сравнение финансовой сферы с управлением цепями поставок и необходимость рациональности и эффективности.
00:27:15 Потенциал прогнозирования рынков для получения точных прогнозов и преодоления предубеждений.
00:28:14 Обсуждение будущих вероятностей и механизмов открытия.
00:29:34 Сравнение протестированных механизмов с взвешенными мнениями.
00:31:40 Различия в цифрах во время конкурса M6 и финансового кризиса 2006 года.
00:32:25 Искажение ожиданий и влияние акций в розничной торговле.
00:36:31 Квантовые трейдеры преодолевают преграды и автоматизируют процессы в цепи поставок.
00:38:09 Важность дисциплины в прогнозировании рынков.
00:39:58 Влияние регулирования на прогнозирование рынков.
00:40:44 Проблема статистических моделей и пример выборов Трампа.
00:42:57 Необходимость обратной связи и последствий в реальном мире.
00:46:10 Успех модели Филипа в конкурсе M6 за счет нахождения большего количества данных.
00:47:20 Легкие механизмы для прогнозирования в научных пайплайнах.
00:48:41 MicroPrediction.org и его уникальная микроструктура для прогнозирования.
00:50:47 Эволюция концепций цепи поставок и логистики.
00:52:35 Культурные проблемы в принятии неопределенности в управлении цепями поставок.
00:54:46 История науки о данных в финансах и ее связь с вероятностями.
00:56:41 Победа на фондовом рынке и сравнение с Уорреном Баффетом.
00:58:36 Конкурс M6, индивидуальные усилия и коллективная деятельность.
01:00:08 Моральный вывод из M6 и использование рыночной силы в других областях.
Резюме
В интервью Питер Коттон, главный специалист по данным в Intech, и Йоанн Верморель, основатель Lokad, обсуждают вероятностное прогнозирование, конкурс прогнозирования M6 и различия между финансовым и логистическим подходами к волатильности и неопределенности. Они подчеркивают, что идеальные прогнозы невозможны, а вероятностное прогнозирование может помочь принимать лучшие решения в условиях волатильности. Оба соглашаются о ценности простоты и надежности в управлении сложными системами, будь то финансовые рынки или цепи поставок. Они также обсуждают такие вопросы, как P-хакинг, прозрачность ошибок моделей прогнозирования и рыночные механизмы для улучшения прогнозов. Верморель подчеркивает культурные проблемы в управлении цепями поставок, в то время как Коттон подчеркивает важность рынков в общем улучшении прогнозирования.
Расширенное резюме
В этом интервью Питер Коттон, главный специалист по данным в Intech и квантовый трейдер, специализирующийся на прогнозировании, приглашен Конором Доэрти, ведущим, и беседует с Йоаннесом Верморелем, основателем Lokad, компании-разработчика программного обеспечения, специализирующейся на оптимизации цепей поставок. Обсуждение касается вероятностного прогнозирования, конкурса прогнозирования M6 и различий между финансовым и логистическим подходами к волатильности и неопределенности.
Питер Коттон, занявший место в топ-10 конкурса прогнозирования M6, рассказывает, что цель конкурса заключалась в исследовании гипотезы об эффективных рынках и в том, могут ли хорошие прогнозисты создавать разумные диверсифицированные портфели, которые показывают хорошие результаты. Он объясняет, что его подход к конкурсу отличался от других, так как он использовал данные с рынка опционов для прогнозирования волатильности, а не прогнозировал ее самостоятельно. Он рассматривал конкурс M6 как схватку между специалистами по данным, прогнозистами и профессионалами в области квантовых финансов против рынка опционов. Несмотря на свое высокое место, Питер был удивлен, насколько хорошо он выступил по сравнению с другими участниками.
Йоаннес Верморель добавляет, что финансы далеко опережают цепи поставок в признании и учете волатильности и неопределенности. Он отмечает, что профессионалы в области цепей поставок все еще часто стремятся к идеальным прогнозам, что нереалистично. Первый шаг в решении этой проблемы - признание того, что идеальные прогнозы невозможны, а второй - понимание того, что неопределенность не означает, что все непознаваемо. Вероятностное прогнозирование может помочь количественно оценить структуру неопределенности и принимать лучшие решения в условиях волатильности.
И Питер, и Йоаннес соглашаются, что еще много работы нужно сделать, чтобы побудить мир мыслить в более стохастических терминах и внедрить это понимание в процессы принятия решений. В то время как финансы имеют долгую историю работы с неопределенностью и риском, для цепей поставок потребовалось гораздо больше времени, чтобы эти концепции были широко признаны и использованы в промышленности.
Верморель замечает, что искусственный интеллект стал модным словом, которое часто скрывает неумение. Он считает, что когда профессионалы компетентны, они называют свои методы своими техническими названиями, такими как гиперпараметрические модели или градиентный бустинг деревьев.
Верморель и Коттон обсуждают сложность и хаотичность цепей поставок и лучший подход к управлению такими системами. Оба согласны в том, что вместо удвоения сложности более разумным путем вперед является поиск чего-то простого и надежного. Коттон делится своим опытом работы с микропрогнозированием, которое фокусируется на поддержке пакетов с открытым исходным кодом для прогнозирования временных рядов цепей поставок. Он подчеркивает, что наиболее успешные модели часто являются самыми простыми, такими как взвешенные по точности средние значения последних показателей.
Интервьюеры также затрагивают проблему P-взлома, когда исследователи манипулируют данными, чтобы поддержать желаемый результат. Они утверждают, что прогнозные соревнования, такие как M5, могут смягчить эту проблему, публикуя данные только после того, как участники представят свои результаты, предотвращая их манипуляции моделями для создания фальшивых результатов.
Коттон критикует академическую литературу за то, что часто проводится закрытый конкурс, организуемый тем же человеком, который участвует и оценивает соревнование. Он предлагает, чтобы исследователи вместо публикации статей запускали свои алгоритмы навсегда и позволяли им автономно определять их эффективность в различных бизнес-проблемах. Коттон выступает за более ориентированный на данные подход, такой как превращение всего в конкурс M6 или рынок опционов, чтобы повысить рациональность и эффективность.
Верморель также сравнивает беспощадную среду финансов с инерцией, присутствующей в цепях поставок, где компании могут оставаться неэффективными в течение длительного времени без серьезных последствий. Он ставит под сомнение практику планирования продаж и операций (S&OP), которая включает сбор людей для обсуждения и голосования по прогнозам, указывая, что этот метод не является наиболее эффективным способом делать прогнозы.
Верморель делится своим опытом работы с крупными розничными компаниями по прогнозированию влияния акций. Он отмечает, что ожидания часто завышены, и простая модель усреднения, основанная на исторических данных, может давать более точные прогнозы. Однако представление этих более консервативных оценок иногда может вызывать сопротивление, так как это может быть воспринято как подрыв энтузиазма или ума человека.
Коттон подчеркивает важность дисциплины в создании точных прогнозов, которую можно развивать с помощью рыночных подходов. Он предлагает поощрять людей быть более прозрачными в отношении ошибок своей модели прогнозирования и рассмотреть возможность использования легких рыночных механизмов в своих научно-исследовательских процессах. Рыночные прогнозы, хотя и интересны, ограничены регулированием и опасениями относительно азартных игр.
Коттон рассказывает о разногласиях с командой, стоящей за моделью выборов The Economist перед президентскими выборами в США 2016 года, которая присвоила гораздо меньшую вероятность победе Трампа по сравнению с букмекерскими рынками. Этот обмен мнениями подчеркивает необходимость лучших методов оценки точности модели и ограничений, связанных с полным полаганием на экспертное мнение.
Участники соглашаются в том, что рыночные механизмы оказались более надежными, чем альтернативные методы прогнозирования, но подчеркивают важность поиска способов внедрения рыночной дисциплины в другие области, такие как оптимизация цепей поставок и прогнозирование в розничной торговле.
Vermorel выявляет проблему с традиционными упражнениями по прогнозированию, которые часто включают отдельные команды, оторванные от остальной компании. Это приводит к таким практикам, как занижение прогнозов продаж с целью превышения квот и получения бонусов. С другой стороны, производство, как правило, завышает прогнозы, чтобы обеспечить более высокие бюджеты для наращивания производства. Vermorel предлагает создание обратных связей с реальными последствиями, которые могут помочь укоренить прогностические модели и сделать их более эффективными.
Cotton обсуждает роль прогнозных рынков в улучшении моделей прогнозирования. В то время как традиционные прогнозные рынки могут быть громоздкими, более легкие альтернативы могут быть более эффективными в научно-практическом пайплайне. Cotton также упоминает свою книгу о механизмах микропрогнозирования, способных получать или запрашивать прогнозы и служить вышестоящим целям для бизнес-приложений.
Интервьюируемые признают культурные проблемы в управлении цепями поставок, особенно в свете того, что управление цепями поставок возникло из сферы логистики в 1990-х годах. Логистика сосредоточена на операционной уверенности, тогда как управление цепями поставок включает долгосрочное планирование и работу с неопределенностью. Vermorel задается вопросом, сколько времени потребовалось финансам, чтобы принять вероятностные модели будущего, в то время как Cotton отмечает, что наука о данных серьезно занимается уже как минимум 40 лет.
Cotton также затрагивает разницу между превосходством на рынке и предоставлением точных вероятностных оценок. Он объясняет, что, хотя отдельные личности, такие как Уоррен Баффетт, постоянно превосходят рынок, они не могут создать автономные модели, которые предоставляют более точные вероятностные оценки, чем сам рынок. Он подчеркивает важность рынков как комбинации индивидуальных усилий для создания вероятностей и улучшения общего прогнозирования.
Полный текст
Conor Doherty: Добро пожаловать на Lokad TV, я ваш ведущий Конор, и как всегда, меня сопровождает основатель Lokad Жоанн Верморель. Сегодняшний гость - Питер Коттон, он является старшим вице-президентом и главным научным сотрудником InTech Investment. Сегодня он расскажет нам о вероятностном прогнозировании и, возможно, о том, как победить фондовый рынок. Питер, добро пожаловать в Lokad.
Питер Коттон: Спасибо, что пригласили меня.
Conor Doherty: В Lokad нам нравится знать, с кем мы разговариваем. Итак, Питер, расскажите нам немного о вашем опыте и о том, чем вы занимаетесь в InTech Investment?
Питер Коттон: О, конечно. Я бы описал себя как карьерного кванта. Я работал на стороне покупателя и продавца, и у меня был кратковременный опыт предпринимателя, создававшего компанию по обработке данных. В настоящее время я трачу свое время на попытки предсказать вещи, что, вероятно, вас не удивит, и также продвигаю границы теории портфеля.
Conor Doherty: Мы должны сказать сразу, поздравляем вас с вашим недавним выступлением на конкурсе M6. Я полагаю, что вы заняли место в топ-10, это правда?
Питер Коттон: Да, это так. Я не уверен, заслуга ли это моя или просто заслуга всех тех трейдеров опционами и квантов, которые их поддерживают. В некотором смысле это была не моя работа вообще; я был всего лишь простым посредником между одним источником прогностической силы и другим.
Жоанн Верморель: Для аудитории M6 на самом деле была шестой итерацией очень известной серии конкурсов по прогнозированию, где целью является буквально делать прогнозы. Конкурс работает следующим образом: есть набор данных, который становится общедоступным, затем есть определенный набор правил, и люди должны делать прогнозы, обычно в форме прогнозов временных рядов. В этом случае последние две итерации конкурса, M5 и M6, имели вероятностный аспект. Это была итерационная игра с 12 итерациями, где люди должны были представлять свои результаты, и конкурс продвигался вперед. У них было много правил, чтобы определить, кто лучше всего справился и действительно превзошел рынок. Это очень требовательное и жестокое упражнение, потому что есть очень мало места для подделки результатов.
Conor Doherty: Мое понимание заключается в том, что каждая итерация конкурса M отличается. Итак, Питер, какая была тема M6? Я имею в виду, какова была основная цель?
Peter Cotton: Цель организаторов, в широком смысле, заключалась в исследовании гипотезы об эффективности рынка, которая утверждает, в различных ее формах, что сложно побить рынок. Причина, по которой сложно побить рынок, заключается в том, что существует много финансовых стимулов для этого, и есть много умных людей, которые потратили последние 40 лет своей карьеры, пытаясь это сделать, создавая команды для этого и собирая все данные, которые они могут найти. Безусловно, самое лучшее, что можно предсказать на планете Земля, вероятно, это цена акций Google или что-то в этом роде. Все остальное находится на уровне ниже в терминах прогнозирования, поэтому это была одна из заявленных целей организаторов. Другая цель заключалась в исследовании того, смогут ли люди, которые могут хорошо предсказывать, также превратить это в разумно диверсифицированные портфели, которые будут действовать в соответствии с некоторой метрикой, с которой мы можем спорить. Так что, я думаю, это были основные две цели организаторов, по крайней мере, так, как я их понимал. И что именно ваша модель сделала, чего другим участникам не удалось сделать хорошо?
Что отличало мою работу заключается в том, что с философской точки зрения я рассматривал проблему как поиск всех данных, которые могут быть актуальными. Конечно, другие люди тоже рассматривали это с этой точки зрения, но я думаю, что отличие заключается в том, что люди иногда не замечают тот факт, что данные могут принимать форму подразумеваемых чисел или чисел, которые являются неявными на существующих рынках.
Теперь, если вы посмотрите на конкурс M6, то вам предлагается попытаться предсказать вероятность того, что данная акция или ETF будет иметь доходность, скажем, во втором квантиле по сравнению с другими акциями из 100 через один месяц. Итак, вы задаете себе вопрос, что на самом деле влияет на то, будет ли акция находиться во втором квантиле среди своих конкурентов? Что ж, если у вас есть мнение о направлении акции, это, очевидно, повысит вероятность попадания в два верхних квантиля. Но если у вас нет мнения об акции, что лично меня касается, то главным фактором, который будет влиять на то, окажетесь ли вы в первом или третьем квантиле, является волатильность акции.
Таким образом, я бы сказал, что это действительно был конкурс по предсказанию волатильности, а не направления акции, возможно, в некотором противоречии с, возможно, заявленной гипотезой организаторов, но это нормально, это лабораторный эксперимент. Так что я сделал так: я сказал: “Ну, вот уже есть источник невероятно хорошей информации о волатильности акций. Это называется опционный рынок.” Так что я просто посмотрел на опционный рынок и, вместо того чтобы самостоятельно прогнозировать волатильность, я просто использовал эти числа. Вот и все, что я сделал.
Так что вы можете представить мою работу как рыночный эталон, возможно, не такой же рыночный эталон, какой ожидали люди. Организаторы предложили другой, более слабый рыночный эталон. Но это был мой выбор, и я сказал: “Смотрите, очень сложно предложить более точные прогнозы о том, насколько далеко акция собирается двигаться, чем это может быть подразумеваемо опционным рынком, потому что если бы вы могли это сделать, вы могли бы зарабатывать, покупая и продавая опционы.” Конечно, есть люди, которые зарабатывают, покупая и продавая опционы, я в том числе, но это приводит рынок в очень эффективное состояние, и вот что мне показалось интересным в этом конкурсе.
Это был способ собрать сообщество дата-сайентистов, прогнозистов и некоторых квантов и сказать: “Вот этот своего рода бой, и я думал, что это действительно интересно.” Вот что я сделал, и теперь я был действительно немного удивлен, насколько высоко я оказался в рейтинге. Я думаю, что я был в пределах 0,002 балла Бриера от того, чтобы получить деньги, фактически выиграть немного денег, так близко. Но главная цель была просто увидеть, знаете ли, побью ли я 70% участников, будет ли это 80%? Оказалось, что это будет 96% участников. Я был немного удивлен этим, честно говоря.
Joannes Vermorel: Интересно для меня, имея опыт в сфере цепей поставок, что я всегда очень впечатлен тем, насколько финансы на десятилетия опережают цепи поставок во всех отношениях.
My main battle at Lokad is that volatility exists. We are still in the battle of whether it does exist at all because in supply chain circles, there are plenty of people who say, “Let’s forecast down to four decimals how much we are going to sell next year.” If you had a perfect sales forecast, everything becomes a matter of orchestration. You can decide exactly how much you’re going to produce, how much you need to buy, and how much you need to allocate in terms of inventory. So, if you had perfect forecasts and all the execution to deliver the goods and services becomes just a pure matter of mundane orchestration.
When Lokad started to push for probabilistic forecasts in supply chain a decade ago, it was not new, as finance has been doing that with value at risk for at least three or four decades. The key idea is, first, we have to give up on the idea that we will have a perfect forecast. The first step is acknowledging that you don’t know all there is to be known about the future. It seems obvious to people coming from finance, but in supply chain, it’s still not widely acknowledged that you can’t get to a perfect forecast.
Once you accept that you have uncertainty, it doesn’t mean that you don’t know anything. You can have both uncertainty and quantify the structure of this uncertainty with volatility. It’s not because it’s uncertain that it’s unknowable. There are things to be known about the structure of uncertainty, and that’s when we say probabilistic forecasts. From a supply chain perspective, we use it to say that you don’t take the same decisions facing immense spread or very concentrated uncertainty. When you’re facing enormous volatility, you’re not approaching the risk quantitatively the same way as when it’s almost a sure thing comparatively.
Peter Cotton: It’s true that it’s still taking decades to try to get that message through. There are people in managerial science who’ve tried to popularize this notion, like Sam Savage with the Flaw of Averages, and encourage people to understand that taking one path or an average value will lead you into trouble. In finance, you’ve had all these incredibly fine-grained notions of convexity risk for years. It’s amazing how different that is.
I’ve noticed it too because some competitors have to provide distributional predictions, and if you’re coming from Kaggle or somewhere else, you might not be familiar with the motivation for it. So, what’s the solution? How do we encourage the world to think in more stochastic terms and get that working in people’s decision-making or spreadsheets? It’s not so easy.
Joannes Vermorel: Absolutely. And I believe one of the ingredients that is muddying the picture further is that, at least from my background in enterprise software in supply chain, the buzzword of the decade has been AI. It’s interesting because, as soon as you have AI, you’re supposedly having a superior grasp of the future.
From my personal take, AI is just a buzzword to mask your own incompetence with something. Once you’re very competent, you tend to call it something else, like a hyper-parametric model or gradient-boosted trees. When you’re saying AI, it’s just the mumbo-jumbo of something you don’t understand.
The interesting thing is that, very frequently, when you’re facing something that is incredibly chaotic and complex, my experience and our results with the M5 show that Lokad did very well with a method that was orders of magnitude simpler than AI-driven methods. What I found interesting with your micro prediction approach is that I believe you did something very similar in its simplicity. So when facing something incredibly complex, is it better to have a system that reflects all that complexity or, on the contrary, to have something very simple to steer you through the storm?
Joannes Vermorel: I undertook a couple of experiments in this regard. I was keen to have as many good algorithms as I could find from the open-source world for time series prediction. I try to maintain these open-source packages that make it fairly easy to benchmark things or figure out what’s a good time series for your purpose. Some of those have an autonomous life of their own and they try to see if they’re good at predicting something. Micro prediction is sort of like the M6 for algorithms, but typically on higher frequencies.
Peter Cotton: Конечно, мы начали разрабатывать взгляды на то, что на самом деле работает и что является устойчивым в различных ситуациях. Я провел некоторые офлайн-тесты на одномерных временных рядах, и, вероятно, существует 20 или 50 пакетов Python для прогнозирования временных рядов. Большинство из них оборачивают другие пакеты, такие как TSA и статистические модели. Но когда вы сравниваете их с классическими методами, вы обнаруживаете, что простые взвешенные средние показатели последних результатов нескольких простых моделей оказываются на первом месте. Простые модели включают в себя такие вещи, как Auto ARIMA и их варианты или даже более простые вещи.
Joannes Vermorel: Для аудитории я думаю, что вы указываете на то, что P-хакинг - это очень реальная проблема. Когда вы занимаетесь изысканными моделями, вы почти всегда можете найти модель, которая случайно хорошо справляется. Это может привести к переобучению и P-хакингу, когда вы выбираете измерения и гипотезы, чтобы пройти некоторый статистический тест на уверенность. Прогнозные соревнования предотвращают это, выпуская данные только после того, как люди представляют свои результаты, чтобы они не могли настраивать свои модели, чтобы создать фальшивые результаты.
Peter Cotton: Верно. Большая часть академической литературы состоит из небольшого, закрытого конкурса, организованного тем же человеком, что и участник. Они решают, кто еще может участвовать, проводят гонку 10 раз и затем публикуют результат. Это смешно. Цель прогнозных соревнований - предотвратить это.
Я согласен. Это абсолютно смешно. Зачем вообще нужна эмпирическая литература? Я не знаю. Я потратил время, пытаясь высмеять саму идею эмпирической литературы. Зачем вам это, знаете ли, почему публиковать статью о эффективности модели в реальном времени, если статья не будет обновляться, верно? К сожалению, я не знаю, что мы можем сделать, чтобы избавиться от этого. Как мы все знаем, и как говорит The Economist, шутка о стимулах заключается в том, что проблема не в том, что они не работают, а в том, что они работают слишком хорошо. Так что если единственным стимулом является публикация статей, то это и получите. Если единственным стимулом является несколько странная метрика для M6 для инвестиционной части конкурса, вы найдете, знаете ли, трех из 200 человек, которые считают, что это способ обмануть систему, верно? Вот как это работает.
Итак, да, я имею в виду, что вместо публикации статей люди должны запускать свои алгоритмы навсегда. И нам следует поощрять инфраструктуру, которая позволит компаниям делиться этими алгоритмами и использовать их для решения различных бизнес-проблем, чтобы узнать, насколько они действительно хороши. И если эти методы, которые сейчас появляются, и некоторые из них очень изобретательны и используют машинное обучение, способны действительно хорошо справляться с задачами вне выборки, и если для них есть достаточно данных, чтобы это действительно сделать, то будет достаточно данных, чтобы автономно определить, хороши они или нет. И поэтому нам действительно не нужны люди со своими категоричными мнениями, сильными предубеждениями и личными интересами, которые будут определять, какой алгоритм должен работать для данной бизнес-проблемы. Часто, по крайней мере в моей области, и ваша область немного сложнее, потому что у вас есть прогнозы на долгосрочную перспективу, но в моей области, если вы говорите, что сработает для вас, знаете, предсказание, сколько клиентов придет в следующие пять минут или сколько машин пройдет перекресток в следующие две минуты, это проблема больших данных. Нам не нужно, чтобы люди со своими PDF-файлами и всем остальным встали на пути. Это, по моему мнению, давайте просто превратим все в M6, но ускорим или лучше превратим все в рынок опционов.
Joannes Vermorel: Да, и интересно то, что, снова же, для меня финансы - это просто практика, и я говорю это в хорошем смысле, потому что есть такое общее восприятие у публики, что, знаете, если в фильме есть злодей, то это будет финансист и опционы. Но мое мнение заключается в том, что эти рынки - это упражнение в рациональности. Я имею в виду, если вы глубоко иррациональны, вы просто обанкротитесь. И только люди, которые могут поддерживать очень высокий уровень рациональности в своей деятельности на протяжении длительного времени, не обанкротятся. Это очень непрощающая среда. Даже небольшие неэффективности очень быстро используются. Если у вас есть конкуренты, которые год за годом на несколько процентов эффективнее вас, то люди перераспределяют свои средства в пользу этих людей, и вы буквально обанкротитесь. Так что это буквально быстрый дарвинизм в действии, в довольно жесткой форме.
В тех случаях, когда речь идет о долгосрочных прогнозах, это также то, о чем люди не осознают в цепях поставок, что есть много компаний, которые могут существовать десятилетиями не потому, что они очень-очень хороши, а потому, что существует такая невероятная инерция в создании инфраструктуры, обновлении практик и тому подобном, вы можете оставаться крайне неэффективными десятилетие или даже больше, прежде чем это сделает хоть какое-то влияние. Например, многие розничные компании перешли в интернет, чтобы создать свой веб-магазин, спустя два десятилетия после Amazon, и они много пострадали, вместо того чтобы просто исчезнуть. В финансовой сфере было много таких вещей - если вы опоздали на два десятилетия на вечеринку, это просто невыносимо. Итак, с точки зрения цепей поставок, одним из самых популярных методов для мышления о будущем все еще является S&OP, что означает Продажи и Операции. Это предполагает, что все люди собираются вместе в комнате и обсуждают, чтобы через обсуждение выработался правильный прогноз. С точки зрения квантитативного трейдера, это звучит как разумный вариант? То есть, мы хотим хорошо справляться, поэтому давайте привлечем 20 человек в комнату, давайте посмотрим на эти графики и проголосуем, чтобы принять прогноз, с бонусными баллами, если у вас высокий ранг в организации.
Peter Cotton: О, боже, честно говоря, я не завидую людям, которые находятся в положении делать прогнозы на один или два года вперед. Очевидно, это сложная игра. Вопрос коллективного интеллекта среди людей в такой задаче прогнозирования и как его достичь, конечно, имеет интересную литературу. Но я чувствую, что иногда есть простой факт, что пуританское предубеждение в США просто мешает очевидному решению. Я вырос в Австралии, и если вы хотите знать, какая из двух мух заберется на стену первой, вы позволяете людям делать на это ставки. Это на самом деле так просто. Давайте не усложнять это.
Лучшее устройство для прогнозирования, первое великое устройство для прогнозирования, было построено размером с здание на ипподроме Эллерсли и, по-моему, открыто в 1913 году. Это была первая в мире механическая машина для тотализатора. Люди могли делать ставки на лошадей, и эти гигантские поршни медленно поднимались в воздух, чтобы люди знали, сколько было поставлено на каждую лошадь. И благодаря этому удивительному механическому аппарату возникла вероятность - первый пример рисково-нейтральной вероятности, определенной в системе обработки информации в реальном времени. За 100 лет это все еще единственный действительно разумный способ получить будущие вероятности событий, насколько мне известно. Я не думаю, что было придумано что-то лучше.
Joannes Vermorel: Да, и один интересный момент для меня заключается в том, что вы указываете на то, что здесь действует механизм открытия. Об этом мы говорим, и в этом есть изобретательность. Здесь действительно стоит не столько модель или мысль человека, сколько подход, при котором вы задаете себе вопрос: “Какой механизм открытия у меня есть, чтобы получить более надежную информацию о будущем? Есть ли вообще что-то, что действует как механизм открытия, или я просто выдумываю и делаю эти утверждения, которые я делаю неявно о будущем, хорошими и действительными, прежде чем даже подумать о том, что может быть путь, чтобы туда попасть?” Что-то, что было создано с учетом этого открытия, и это отлично сказано.
Peter Cotton: Здесь у вас есть один механизм, который был испытан в тысяче разных мест в течение столетия, и он просто продолжает работать. Люди постоянно приходят и говорят: “Ну, подождите, есть что-то еще, что мы можем сделать”, например, отличный пример компенсированных взвешенных мнений в комнате, рассматривающей распределение. Ну, может быть, это правильный механизм для прогнозирования, кто знает? Посмотрите на историю. Я начал свою карьеру в 2001 году в кредитах и пережил опыт 2006 года. У вас был рынок, который предоставлял подразумеваемое число корреляции, которое говорило вам о рыночном мнении относительно взаимозависимости судьбы одной компании и другой. Допустим, это число было 30. Рейтинговые агентства применяли актуарный подход, как и участники M6. Они игнорировали рыночную информацию и разработали свою собственную модель, даже не зная иногда математики, необходимой для распознавания информации. Они говорили институциональным инвесторам, что число не равно 30, даже не 20, а 5 процентов. Это огромное расхождение в числе. Итак, как все это сложилось, кроме глобального финансового кризиса и других катастроф в цепочке поставок? Сколько нам потребуется времени, чтобы понять, что рынок - это единственный способ? Сколько примеров нам нужно?
Joannes Vermorel: Забавно, что здесь происходит своего рода частичное безумие. Приведу пример из розничной торговли: Lokad сотрудничает с многими крупными розничными компаниями. Когда дело доходит до прогнозирования влияния акций, например, скидки на шоколадный батончик в 30%, люди в восторге от эффекта. Они хотят изменить ситуацию и завоевать рыночную долю. Но когда мы смотрим на прогнозы акций, числа почти всегда завышены. Люди думают, что продажи будут в три или четыре раза больше обычного. Однако, когда вы применяете очень простую модель усреднения и смотрите на прошлые акции, реальность оказывается более консервативной. Это интересно, потому что, когда вы показываете им более консервативную модель, они чувствуют, что их энтузиазм и человеческий интеллект умаляются.
Peter Cotton: В компьютерных науках есть принцип: сначала напишите тест. Но никто не пишет тест сначала, когда дело доходит до прогнозирования или предсказания будущего, верно? И только примерно в пять процентов случаев они пишут тест после, если вообще возвращаются в строгом порядке и смотрят на то, что они сделали на самом деле.
Да, это правда. Рынки, несмотря на все их недостатки, обладают невероятной способностью обеспечивать дисциплину. Есть причина, по которой некоторые ведущие хедж-фонды, например, включают в свою работу такие вещи, как покерные лагеря. Я вырос, пытаясь понять различные виды азартных игр, и если у вас нет этой дисциплины, вы не станете лучше в прогнозировании вещей. Так как мы можем создать эту дисциплину?
Мы не хотим, чтобы ЕС требовал от всех размещать остатки модели на блокчейне, так как это было бы неэффективно по разным причинам. Однако мы можем, возможно, побудить людей задуматься о том, как они могут использовать вещи, похожие на рынки, но более легкие, и начать думать о том, как они могут вписаться в свои существующие научные пайплайны.
Мы могли бы начать побуждать людей сказать: “Эй, а что вы делаете с ошибками в ваших прогностических моделях? Куда они идут? Выкидываются ли они в мусор? Сделайте их общедоступными, настолько ли они действительно являются собственностью?” Большинство людей даже не знают, что такое ваша модель, или что вы моделируете, или как вы это делали, и вы производите что-то, что вы называете шумом.
Что вас пугает? Это может быть один подход. Область прогнозирования рынка, конечно, интересна, и по крайней мере в США она была довольно сильно ограничена регулированием. Всевозможные люди пытались использовать эту дисциплину, но затем отступали, когда она сталкивалась с ярлыком азартных игр. Для того, чтобы все работало хорошо, иногда нужно ставить, поэтому может быть и стоимость. Мы не хотим превратить мир в игровые автоматы, но без какой-либо рыночной дисциплины я не вижу, как это может улучшиться. Я просто вижу повторение вещей.
Joannes Vermorel: Я думаю, вы затрагиваете очень важный вопрос, и также то, о чем я говорю уже десятилетия: если у вас нет обратной связи из реального мира, когда вы работаете в математическом пространстве с статистическими моделями и алгоритмами, вы не знаете, делаете ли вы что-то безумное или нет.
Математика говорит вам только о согласованности, о том, согласуется ли то, что вы делаете внутри этого математического пространства, с самим собой, а не с миром. Если у вас нет обратной связи, вы не знаете. В лучшем случае, если вы статистически и графически правильны, это просто означает, что вы согласованы с самим собой, что хорошо, но это ничего не говорит о мире в целом.
Когда вы говорили: “Вы готовы поставить несколько евро или долларов на дело?”, это буквально обратная связь. Это наказание, вознаграждение и интерес в игре. В цепи поставок одной из проблем с такими прогнозными упражнениями является то, что они обычно полностью оторваны от того, что делают люди.
Проблема, которую я выявил, заключается в том, что большинство компаний имеют одну команду, занимающуюся прогнозированием, производящую прогнозы временных рядов, а затем остальная часть компании занимается последствиями. В результате возникают очень странные практики. Например, продавцы, когда им нужно внести вклад в прогноз продаж, будут значительно недооценивать в процессе, называемом занижением. Почему? Потому что, если они прогнозируют свою квоту как 100, но уверены, что продадут 200, они превысят свою квоту и получат бонус.
С другой стороны, в производстве прогнозирование высокого спроса позволяет получить больший бюджет для расширения производственного аппарата. Если у вас есть завод, который может производить в два раза больше, чем вам нужно, производство идет гладко, потому что ваша мощность значительно превышает то, что вам действительно нужно. Проблема не в том, что люди играют в эти игры; проблема в том, чтобы обратная связь была организована таким образом, чтобы люди несли последствия. Вы хотите, чтобы прогнозные модели были обоснованными, и финансовые привязки, такие как ставки, могут быть невероятно простым и обоснованным способом достижения этого. Операционно это также относительно просто выполнить.
Peter Cotton: В конкурсе M6 был хороший участник, которого я назову “моделью Филипа”. Важной частью его подхода было поиск дополнительных данных. Он не ограничивался акциями и ETF, предоставленными организаторами, поэтому он искал больше данных, создавал модели и видел, как они работают в более широкой вселенной. Это заставило его быть менее склонным к переобучению на конкретную историю. Хотя прогнозные рынки могут быть неудобными, легкие альтернативы без ставок все же могут быть эффективными. Например, microprediction.org позволяет лучшим подняться наверх без ставок.
В моей книге я говорю о “микроменеджерах”, которые являются автономными механизмами, получающими или запрашивающими прогнозы и служащими в качестве предшествующего этапа для бизнес-приложения. Есть много разных механизмов для этого. Например, microprediction.org использует непрерывную лотерейную систему с коллективным распределением будущей стоимости переменной. Вы можете быть вознаграждены за то, чтобы двигать коллективное распределение в сторону истинного. Есть много литературы о оценке и характеристиках точечных и распределительных оценок. Проблема скорее в культуре: хотят ли бизнесы иметь дисциплину, которая присутствует в финансах последние 40 лет?
Joannes Vermorel: Это действительно интересная проблема, которую нужно решить, и культура играет значительную роль. Цепочка поставок - это относительно новая концепция, возникшая в 90-х годах, преобладающей областью до этого была логистика. Превосходство в логистике означает отсутствие аварий, устранение опасностей и обеспечение безопасности на рабочем месте. В этой области был сделан большой прогресс, и опасные профессии стали намного безопаснее. Однако цепочка поставок фокусируется на долгосрочной перспективе, на осуществлении вещей на практике, что представляет собой другой вызов.
И дело в том, что, когда вы начинаете об этом думать, вот что я слышал, вы знаете, все эти концепции, например, вы знаете, расстояние Кульбака-Лейблера, это все снова, это буквально все концептуальные инструменты, где вы принимаете во внимание, что будущее неопределенно, и поэтому вы можете работать с неопределенностью, и у вас даже есть математический инструмент для работы с этим.
Вот интересно. Культурный вызов для цепочки поставок заключается в том, что это невероятно сложно. Логистика, где возникла цепочка поставок, была направлена на устранение неопределенности. Вы не хотите, чтобы вероятность смерти кого-то на вашем контроле была ненулевой, вы хотите, чтобы эта вероятность была нулевой или настолько мала, что, когда это происходит, это действительно что-то, что было почти невозможно предотвратить. Поэтому люди, и это хорошо, хотят иметь определенность в своих процессах. Но когда вы переходите к мышлению в рамках цепочки поставок, где вы думаете о годах вперед, и внезапно вы не можете получить эти уверенности для вещей, которые должны произойти через несколько лет. Здесь требуется переосмысление культуры, потому что полная уверенность очень хороша на практике для вашей операции, но это совершенно другая игра, когда вы начинаете думать о будущем, особенно не о ближайшем будущем, а о немного более отдаленном.
Conor Doherty: Не могли бы вы оценить, сколько времени потребовалось финансовой сфере, чтобы принять эту более сложную вероятностную концепцию будущего в течение 20-го века? Я думаю, что инструменты Value at Risk были введены в 80-х годах, но я не уверен на 100% в своих временных рамках.
Peter Cotton: Это хороший вопрос. Рынки опционов существовали задолго до этого, и у многих людей было довольно хорошее представление о том, что происходит. Всегда были умные люди, и они много публиковали. Data science не является 10-летним, это по крайней мере 40-летняя область, если вы прочитаете биографию Джима Саймонса. Идея того, что вероятность - это доллары, очень старая, и представление о том, что вероятность ненадежна, если это не доллары, тоже очень старое.
Conor Doherty: Просто последний вопрос, чтобы все связать воедино. Доказал ли M6, что возможно обыграть рынок и быть лучше, чем это делали другие люди на протяжении шести десятилетий и более?
Peter Cotton: Проблема в том, и это очень важное различие, что Уоррен Баффетт не был бы в топ-10. У Уоррена Баффетта были ужасно калиброванные оценки вероятности. Есть разница между способностью обыграть рынок и созданием таких же или лучших вероятностных оценок, какие может предоставить рынок. Ни Уоррен Баффетт, ни Джим Саймонс, ни какой-либо одиночный хедж-фонд не могут этого сделать. M6 - это соревнование и совокупность индивидуальных усилий по созданию вероятностей, но рынок - это гораздо больше, чем это. Это коллективная деятельность, и вы не можете победить эту коллективную деятельность. Из M6 я ожидал найти умных людей, и все заслуги Филиппу, который справедливо меня обошел. Но если вы посмотрите на численное моделирование, невозможно сказать, что Филипп был действительно лучше меня или наоборот.
Общая производительность рынка опционов в M6 впечатляет. Был пилотный этап, а затем первый квартал, второй квартал, третий квартал и четвертый квартал. В каждом из них мое участие было в верхнем квартиле. Если это не удача, я думаю, что, надеюсь, M6 учит людей тому, что дисциплина рынка находится на совершенно другом уровне по сравнению с дисциплиной, которую они привыкли видеть в своих статьях или конференциях по машинному обучению или чему-либо еще.
Надеюсь, мораль не будет заключаться в том, что людям следует держаться подальше от рынков, потому что их слишком сложно обыграть. Надеюсь, мораль будет другой, что люди начнут задумываться о том, как они могут использовать силу рынков или подобные им вещи, или эти обратные связи, в своих собственных процессах и компаниях. Вот что я надеюсь, чтобы люди усвоили. Я не уверен, сделают ли они это, но надеяться можно.
Конор Доэрти: Думаю, это, наверное, конец. Я закрою все. Хочу поблагодарить вас за ваше время, Питер, и большое спасибо, Йоаннес, за вашу экспертизу и еще раз поздравляю с M6. Спасибо всем, кто смотрел дома. Увидимся в следующий раз.
