00:00:00 変動性の議論とPeter Cotton氏の紹介。
00:01:22 Peter氏のM6コンテストでの成績とその構造。
00:03:21 M6コンテストのテーマと効率的市場仮説の調査。
00:06:01 オプション市場を利用した変動性予測へのPeter氏のモデルアプローチ。
00:08:10 変動性理解の観点での金融とサプライチェーンの比較。
00:09:20 サプライチェーンと金融における確率的予測。
00:10:01 人々に確率的に考えることの難しさ。
00:12:26 AIという言葉のブームと予測への影響。
00:14:55 複雑さに対するシンプルさと堅牢性。
00:17:01 時系列予測アルゴリズムのベンチマークとその性能。
00:18:58 モデルの性能の歪んだ見方が過学習とPハッキングにつながることについての議論。
00:20:14 過学習とデータ操作を防ぐための予測コンテストの目的。
00:21:27 学術的なインセンティブ構造の批判と現実世界での継続的なアルゴリズムテストの提唱。
00:22:55 金融とサプライチェーン管理の比較と合理性と効率性の必要性。
00:27:15 正確な予測を得るための予測市場の可能性とバイアスの克服。
00:28:14 将来の確率と発見のメカニズムに関する議論。
00:29:34 テストされたメカニズムと報酬付き重み付き意見の比較。
00:31:40 M6と2006年の金融危機時の数字の相違。
00:32:25 期待の歪みと小売業における昇進の影響。
00:36:31 サプライチェーンにおける量的トレーダーの障壁の破壊とプロセスの自動化の重要性。
00:38:09 予測市場における規律の重要性。
00:39:58 予測市場への規制の影響。
00:40:44 統計モデルの問題とトランプ大統領選挙の例。
00:42:57 フィードバックループと現実世界の結果の必要性。
00:46:10 M6コンテストでのPhilipモデルの成功とより多くのデータの発見。
00:47:20 データサイエンスパイプラインにおける予測のための軽量メカニズム。
00:48:41 MicroPrediction.orgと予測のためのユニークなマイクロストラクチャ。
00:50:47 サプライチェーンと物流の概念の進化。
00:52:35 サプライチェーン管理における不確実性を受け入れる文化的な課題。
00:54:46 金融におけるデータサイエンスの歴史と確率との関係。
00:56:41 株式市場の打ち負かしとウォーレン・バフェットとの比較。
00:58:36 M6コンテスト、個々の取り組み、および集団活動。
01:00:08 M6からの道徳的な教訓と他の領域での市場力の利用。
要約
インタビューで、Intechの最高データサイエンティストであるPeter Cotton氏と、Lokadの創設者であるJoannes Vermorel氏が、確率的予測、M6予測競争、および金融とサプライチェーンの視点の変動性と不確実性の違いについて話し合っています。彼らは完璧な予測は不可能であり、確率的予測は変動性の中でより良い意思決定を支援するのに役立つと強調しています。両者は、金融市場やサプライチェーンなどの複雑なシステムを扱う際に、シンプルさと堅牢性の価値についても同意しています。彼らはまた、P-hacking、予測モデルの誤差の透明性、および予測の改善のための市場メカニズムなどの問題についても議論しています。Vermorel氏はサプライチェーン管理における文化的な課題を強調し、Cotton氏は予測全体の改善における市場の重要性を強調しています。
詳細な要約
このインタビューでは、Intechの最高データサイエンティストであり、予測に特化した量的トレーダーであるPeter Cotton氏が、ホストであるConor Doherty氏によって招待され、サプライチェーン最適化に特化したソフトウェア会社であるLokadの創設者であるJoannes Vermorel氏と話をしています。議論は確率的予測、M6予測競争、および金融とサプライチェーンの視点の変動性と不確実性を中心に展開しています。
M6予測競争でトップ10にランクインしたPeter Cotton氏は、競争が効率的市場仮説を調査し、優れた予測者が合理的な分散ポートフォリオを作成して良いパフォーマンスを発揮できるかどうかを目指していたと説明しています。彼は競争へのアプローチが他と異なり、自身で予測するのではなく、オプション市場のデータを使用して変動性を予測しました。彼はM6競争を、データサイエンティスト、予測者、および量的金融専門家とオプション市場との戦いと見なしていました。彼は自身の高いランキングに驚いたと述べています。
Joannes Vermorel氏は、金融がサプライチェーンに比べて変動性と不確実性を認識し対処する点ではるかに先行していると述べています。サプライチェーンの専門家はまだ完璧な予測を目指すことが多く、これは現実的ではありません。この問題に対処するための第一歩は、完璧な予測は不可能であることを認めることであり、第二のステップは、不確実性は事物が知り得ないことを意味しないと理解することです。確率的予測は不確実性の構造を数量化し、変動性に直面してより良い意思決定をするのに役立ちます。
PeterとJoannesの両者は、世界により確率的な考え方を促進し、この理解を意思決定プロセスに取り入れるためにはまだ多くの作業が必要であるとの意見で一致しています。金融は不確実性とリスクに対処する長い歴史を持っている一方で、これらの概念がサプライチェーン業界で広く認識され、利用されるまでにはずっと時間がかかりました。
Vermorel氏は、AIがしばしば無能力を隠す言葉となっていると指摘しています。彼は、プロフェッショナルが能力を持っている場合、ハイパーパラメトリックモデルや勾配ブースティングツリーなどの技術的な名前で自分の技術を参照すると考えています。
VermorelとCottonは、サプライチェーンの複雑さと混沌とした性質、およびそのようなシステムを扱うための最善のアプローチについて議論しています。両者は、複雑さに固執するのではなく、より合理的な進むべき道は、何かシンプルで堅牢なものを見つけることだと同意しています。Cottonは、時系列予測のためのオープンソースパッケージの維持に焦点を当てたマイクロ予測の経験を共有しています。彼は、最も成功したモデルはしばしば最もシンプルなものであり、最近のパフォーマンスの精度重み付き平均値などです、と強調しています。
インタビュー対象者は、P-hackingという問題にも触れています。これは、研究者がデータを操作して望ましい結果を支持するために行う行為です。彼らは、M5などの予測コンテストが、参加者が結果を提出した後にのみデータを公開することで、この問題を緩和できると主張しています。これにより、モデルを操作して偽の結果を作り出すことができなくなります。
Cottonは、学術文献がしばしば同じ人物によって実施および審査される閉じたコンテストを行っていることを批判しています。彼は、研究者が論文を発表する代わりに、アルゴリズムを永遠に実行し、それらが異なるビジネスの問題に対して自律的に効果を判断することを提案しています。Cottonは、合理性と効率を高めるために、すべてをM6の競争やオプション市場に変えるなど、よりデータ駆動型のアプローチを提唱しています。
Vermorelは、金融の厳しい環境と、効率の低いままで長期間存続することができるサプライチェーンに存在する慣性を比較しています。彼は、セールスアンドオペレーションズプランニング（S＆OP）という予測を議論し、予測を行うための最も効果的な方法ではないと指摘しています。
Vermorelは、大手小売業者との協力によるプロモーションの影響を予測する経験を共有しています。彼は、期待値がしばしば過大評価され、歴史的データを参考にしたシンプルな平均モデルがより正確な予測を行うことができると述べています。ただし、より保守的な見積もりを提示することは、熱意を損なうか人間の知性を減じると見なされることがあるため、抵抗を受けることもあると指摘しています。
Cottonは、正確な予測を行うための規律の重要性を強調し、市場ベースのアプローチを通じてそれを育むことを提案しています。彼は、人々に予測モデルのエラーについてより透明性を持たせ、データサイエンスパイプライン内で軽量な市場メカニズムの使用を検討することを提案しています。予測市場は興味深いものの、規制やギャンブルに関する懸念によって妨げられています。
Cottonは、2016年の米国大統領選挙前にThe Economistの選挙モデルチームとの意見の相違について言及しています。そのモデルは、賭け市場と比較してトランプの勝利の確率をはるかに低く評価していました。このやり取りは、モデルの精度を評価するためのより良い方法と、専門家の意見にのみ頼ることの制約を示しています。
参加者は、市場メカニズムが他の方法よりも予測を行うためにより信頼性があることを認識していますが、サプライチェーンの最適化や小売予測など他の領域に市場の規律を導入する方法を見つけることの重要性を強調しています。
Vermorelは、従来の予測演習に関する問題を指摘しています。これは、通常、会社の他の部署とは切り離された別々のチームが関与するものです。これにより、セールス担当者は自分の予測を過小評価してノルマを超え、ボーナスを受け取るというような慣行が生まれます。一方、生産部門は予測を過大評価し、生産の拡大に向けた予算を確保しようとします。Vermorelは、現実世界の結果につながるフィードバックループを作成することが、予測モデルを具体化し、より効果的にするのに役立つと提案しています。
Cottonは、予測市場の役割について議論しています。従来の予測市場は煩雑な場合がありますが、軽量な代替手段はデータサイエンスパイプラインでより効果的です。Cottonはまた、予測を受け取るか予測を依頼し、ビジネスアプリケーションの上流目的に役立つマイクロ予測メカニズムについての彼の本についても言及しています。
インタビュー対象者たちは、サプライチェーン管理における文化的な課題を認識しています。特に、サプライチェーンは1990年代に物流分野から生まれたものであるため、ロジスティクスとは異なります。ロジスティクスは運用の確実性に焦点を当てていますが、サプライチェーン管理は長期的な計画と不確実性との取り組みを含みます。Vermorelは、金融が将来の確率モデルを受け入れるまでにどれくらい時間がかかったのか疑問に思っていますが、Cottonはデータサイエンスが少なくとも40年間真剣に取り組んできたと指摘しています。
Cottonはまた、市場を打ち負かすことと正確な確率推定を提供することの違いに触れています。彼は、ウォーレン・バフェットのような個人が市場を一貫して打ち負かすことができる一方で、市場自体よりも優れた確率推定を提供する単独のモデルを作成することはできないと説明しています。彼は、市場が個々の努力の組み合わせであり、確率を作成し、全体的な予測を改善することの重要性を強調しています。
フルトランスクリプト
Conor Doherty: Lokad TVへようこそ。ホストのConorです。いつものように、Lokadの創設者であるJoannes Vermorelが一緒にいます。今日のゲストはPeter Cottonで、彼はInTech Investmentのシニアバイスプレジデント兼最高データサイエンティストです。今日は確率予測と株式市場の打ち負かし方について話していただく予定です。Peter、Lokadへようこそ。
Peter Cotton: ご招待いただきありがとうございます。
Conor Doherty: Lokadでは、話す相手を知りたいと思っています。だから、Peter、あなたのバックグラウンドとInTech Investmentでの仕事について少し教えていただけますか？
Peter Cotton: ああ、もちろんです。私はキャリアクォンタムと言えるでしょう。私は売り手側と買い手側で働いたことがあり、データ会社を立ち上げるという短い期間もありました。現在は、予測することに時間を費やしており、ポートフォリオ理論のフロンティアを押し進めることにも取り組んでいます。
Conor Doherty: まず最初に、M6コンペティションでの最近の成績におめでとうございます。トップ10に入賞されたと聞いていますが、それは正しいですか？
Peter Cotton: そうです。それは私の功績なのか、オプショントレーダーや彼らをサポートするクォンツの功績なのかはわかりません。ある意味では、私の仕事ではありませんでした。私は単なる予測力の源から別の源への媒体に過ぎませんでした。
Joannes Vermorel: 視聴者の皆さんに説明すると、M6は非常に有名な予測コンペティションの6回目のイテレーションであり、予測を行うことが目標です。コンペティションの進行方法は次のようになっています。公開されたデータセットがあり、一定のルールがあり、人々は予測を行わなければなりません。通常は時系列予測の形式です。この場合、最後の2つのコンペティションイテレーション、M5とM6に確率的な要素がありました。12回のイテレーションで構成される反復ゲームであり、人々は結果を提出し、コンペティションが進行していきます。最も優れた成績を収め、市場を上回ることができた人々を確立するためのルールがたくさんあります。それは非常に厳しい演習であり、結果をごまかす余地はほとんどありません。
Conor Doherty: 私の理解では、Mコンペティションの各イテレーションは異なるということです。では、Peter、M6のテーマは何でしたか？つまり、明確な目標は何でしたか？
Peter Cotton: 主催者の目標は、広義では効率的市場仮説を調査することでした。効率的市場仮説は、さまざまな形で述べられていますが、市場を打ち負かすことは難しいというものです。市場を打ち負かすのは、そのための多くの金融的インセンティブがあり、それを実現しようとしてキャリアの40年を費やし、チームを構築し、そのために見つけられるデータをすべて集めてきたスマートな人々がたくさんいるからです。おそらく地球上で最も予測されるものは、Google株価などでしょう。他のすべては予測の観点ではそれよりも下位です。これが主催者の一つの目標でした。もう一つの目標は、予測がうまくいく人々が、それを合理的な多様化ポートフォリオに変えることができるかどうかを調査することでした。私たちが議論することができるいくつかの指標に従ってパフォーマンスを発揮するポートフォリオです。だから、私はそれが主催者の主な2つの目標だったと思います。そして、他の参加者がうまくいかなかったことに対して、あなたのモデルは具体的に何をしたのですか？
私のエントリーの違いは、哲学的な観点から問題を関連するデータを見つけることとして捉えたことです。もちろん、他の人々もそれを同じように考えるでしょうが、違いは、データが既存の市場に暗黙のうちに含まれる暗黙の数値や数値の形で存在することを人々が時々見落とすことです。
さて、M6コンペティションを見てみましょう。私たちに求められたことは、ある株式やETFが、例えば、1か月後に他のピアと比較して2番目の四分位にリターンを持つ確率を予測しようとすることでした。ですから、自分自身に問いかけます。株式が他のピアの2番目の四分位で終わるかどうかを決定するのに本当に必要な要素は何でしょうか？まあ、もし株式の方向についての見解があるなら、それは明らかに上位2つの四分位に終わる確率を高めるでしょう。しかし、私自身は株式についての意見を持っていないので、1番目の四分位か3番目の四分位になるかどうかを左右する主な要素は株式のボラティリティです。
ですから、私はこれは実際にはボラティリティを予測する競技であり、株式の方向ではないと主張します。主催者の明示的な仮説には少し反するかもしれませんが、それは問題ありません、それは実験室の実験です。だから、私がしたことは、“まあ、株式のボラティリティに関してはすでに信じられないほど良い情報源があります。それはオプション市場と呼ばれています。だから、私は単純にオプション市場を見て、自分でボラティリティを予測する代わりに、その数値を使うだけです。それが私がしたことのほとんどです。
ですから、私のエントリーは実際には市場のベンチマークと考えることができます。他の人々が予想する市場のベンチマークとは異なる、より弱い市場のベンチマークが主催者によって設定されています。しかし、それが私のベンチマークであり、私は言いました、“まあ、株式の動きの予測について、それ以上の見通しを立てることは非常に困難です。なぜなら、それがオプション市場によって暗示されるものよりも遠くまで株式が動くという見積もりをすることができれば、オプションの売買で利益を上げることができるからです。もちろん、オプションの売買で利益を上げる人々もいますが、それは市場を非常に効率的な状態にするので、それがこのコンテストで楽しいと思ったことです。
これは、データサイエンティスト、予測者、一部の量的アナリストのコミュニティを対象にした一種の戦いを行う方法であり、それを行うのは本当に楽しかったと思いました。だから、それが私がしたことであり、実際にはリーダーボードでどれだけ高い位置になったかには少し驚きました。私は実際にはお金を獲得することができるところまで0.002のブライアースコアで近づいていたと思います。しかし、主なポイントは、参加者の中で70%を打ち負かすか、80%を打ち負かすかということを見ることでした。結果として、96%の参加者を打ち負かしました。正直言って、それには少し驚きました。
Joannes Vermorel: 私はサプライチェーンのバックグラウンドから来ているので、金融がさまざまな点で供給チェーンよりも数十年も先を行っていることにいつも驚かされています。
Lokadでの私の主な戦いは、変動性が存在するということです。サプライチェーンの世界では、「来年はどれだけ売れるか」を小数点以下4桁まで予測しましょうと言う人々がたくさんいます。もし完璧な販売予測があれば、すべては調整の問題になります。生産する量、購入する量、在庫として割り当てる量を正確に決定することができます。ですので、完璧な予測があれば、商品やサービスの提供に関するすべての実行は単なる日常的な調整の問題になります。
Lokadが10年前にサプライチェーンで確率的予測を推進し始めたとき、金融界では少なくとも30年から40年前からバリューアットリスクでそれを行っていました。その鍵となるアイデアは、まず、完璧な予測を持つことを諦めなければならないということです。最初のステップは、将来について知り得るすべてを知らないことを認めることです。これは金融界から来る人々にとっては明らかなことですが、サプライチェーンではまだ完璧な予測に到達できないことを広く認識していません。
不確実性があることを受け入れたとしても、何もわからないわけではありません。不確実性の構造を数量化することで、不確実性の構造について知ることができます。それが確率的予測というものです。サプライチェーンの観点からは、広範なばらつきや非常に集中した不確実性に直面している場合と、ほぼ確実なことに比べて、リスクに数量的にアプローチする方法は異なります。
Peter Cotton: まだ何十年もかかっているというのは事実です。経営科学の中で、平均値の欠陥などを広めようとした人々がいます。例えば、サム・サベージの「平均値の欠陥」などです。一つの道や平均値を取ることが問題になることを理解するように人々を促すためです。金融界では、数十年にわたって凸面リスクなどの非常に細かい概念がありました。それがどれだけ異なるかは驚くべきことです。
私も気付いています。競合他社の中には分布予測を提供する必要がある場合もありますが、Kaggleなどから来た場合、その動機については理解していないかもしれません。では、解決策は何でしょうか？どのようにして世界により確率的な考え方を促進し、人々の意思決定やスプレッドシートに取り入れることができるのでしょうか？それはそう簡単ではありません。
Joannes Vermorel: 確かに。そして、私がエンタープライズソフトウェアのサプライチェーンでのバックグラウンドから見ると、この10年間でのブームワードはAIでした。興味深いことに、AIがあると、将来に対する優れた理解を持っているとされています。
私の個人的な意見では、AIは自分自身の無能さを何かで隠すためのブームワードです。非常に優れた能力を持っているときは、ハイパーパラメトリックモデルや勾配ブースティングツリーなどと呼ぶ傾向があります。AIと言っているときは、理解していないものの言葉のようなものです。
興味深いことは、非常に混沌と複雑なものに直面しているときに、私たちの経験とM5の結果から、LokadはAI駆動の手法よりも桁違いにシンプルな方法で非常にうまくいったことです。マイクロ予測アプローチについて興味深いと思ったのは、あなたが同様のシンプルさで何かを行ったということです。ですので、非常に複雑なものに直面している場合、その複雑さを反映したシステムを持つ方が良いのか、それとも逆に、非常にシンプルなものを持つ方が嵐を乗り越えるために良いのか、ということです。
Joannes Vermorel: この点について、私はいくつかの実験を行いました。時間系列予測のためのオープンソースの世界からできるだけ多くの優れたアルゴリズムを見つけることに熱心でした。私はこれらのオープンソースパッケージを維持し、ベンチマークを行ったり、目的に合った良い時間系列を見つけるのがかなり簡単になるようにしています。それらの中には自己の生活を持ち、何かを予測するのが得意かどうかを試すものもあります。マイクロ予測はアルゴリズムのためのM6のようなものですが、通常はより高い頻度で行われます。
Peter Cotton: もちろん、私たちは時間の経過とともに、実際に機能するものやさまざまな状況で頑健なものについての見解を持つようになりました。私は単変量時系列のオフラインベンチマークを行いましたが、時系列予測のためにはおそらく20から50のPythonパッケージが存在します。それらのほとんどはTSAや統計モデルなどの他のパッケージをラップしています。しかし、それらをクラシックなものと比較すると、単純なモデルの最近のパフォーマンスの重み付き平均がトップになることがわかります。単純なモデルには、Auto ARIMAやその派生物、さらにはより単純なものも含まれます。
Joannes Vermorel: 聴衆の皆さんに対して、おそらくP-hackingは非常に現実的な問題だと思います。ファンシーモデルの領域に進むと、ほとんど常に偶然うまく機能するモデルを見つけることができます。これは過学習やP-hackingにつながり、統計的な信頼性のテストをパスするために次元や仮説を選り抜くことになります。予測コンテストでは、データは結果を提出した後にのみ公開されるため、モデルを調整して偽の結果を作り出すことはできません。
Peter Cotton: その通りです。ほとんどの学術文献は、参加者と同じ人物が実施する小さな閉じたコンテストで構成されています。彼らは他の参加者を許可するかどうかを決定し、競争を10回実施し、その結果を公表します。これはばかげています。予測コンテストの目的は、これを防ぐことです。
私も同意します。それはまったくばかげています。なぜ経験的な文献が存在するのか、わかりません。私は経験的な文献の概念自体を嘲笑しようとする時間を過ごしました。なぜ、リアルタイムの何かのモデルの効果を示す論文を発表するのか、その論文自体が更新されないのでしょう？私たちが知っているように、インセンティブに関する冗談は、それらが機能しないのではなく、あまりにもうまく機能するという問題です。ですので、唯一のインセンティブが論文の発表であるなら、それが得られるでしょう。唯一のインセンティブがコンテストの投資側のわずかに奇妙なメトリックであるなら、200人中3人がそれをゲーム化する方法を見つけるでしょう。そういうものです。
ですので、私は論文の発表ではなく、人々が自分のアルゴリズムを永遠に実行することを提唱しています。そして、これらのアルゴリズムが実際にうまく機能するかどうかを確認するために、企業が共有できるインフラストラクチャを促進すべきです。そして、これらの日々進化している手法の中には、非常に巧妙であり、機械学習も含まれており、実際のサンプル外でも優れたパフォーマンスを発揮する能力があるものもあります。そして、それらが本当にそれを行うための十分なデータがある場合、それらが良いかどうかを自律的に判断するための十分なデータもあるでしょう。ですので、私たちは、強い意見や強い先入観、自己利益、ゲートキーピングなどを持つ人間が、特定のビジネスの問題に対してどのアルゴリズムが機能するかを決定する必要はありません。少なくとも私の領域では、あなたの領域はより長期的な予測が必要なので少し異なりますが、あなたが言っていることは、次の5分間にどれだけの顧客が現れるか、または次の2分間にどれだけの車が交差点を通過するかを予測するということです。それは大量のデータの問題です。私たちは、PDFやその他のもので邪魔される理由はありません。それが私の意見です。すべてをM6に変えて、スピードアップするか、さらに良いオプション市場に変えましょう。
ジョアネス・ヴェルモレル: はい、興味深いことに、私にとっては、金融は単なる実践です。そして、私は良い意味で言っています。一般的には、映画に悪役が登場すると、金融業界の人々やオプションが登場するという認識があります。しかし、私の考えでは、それらの市場は合理性の実践です。つまり、あなたが深く非合理的であれば、破産してしまいます。そして、非常に長い期間にわたって彼らの行動に非常に高いレベルの合理性を維持できる人々だけが破産しないのです。それは非常に厳しい環境です。小さな非効率性でさえも非常に速く利用されます。あなたよりも数パーセント効率的な競合他社がいる場合、人々はその競合他社に資金を再配分し、あなたは破産してしまいます。ですので、それは実質的には非常に残酷な進化論のようなものです。
また、長期的な予測という点でも、人々が気づいていないことがあります。サプライチェーンでは、非常に効率的ではないにもかかわらず、数十年間生き残ることができる企業が多数存在します。なぜなら、インフラの設置やプラクティスの更新などには非常に強力な慣性があるからです。例えば、多くの小売業者は、Amazonの2つの世代遅れでウェブストアを設立しましたが、その結果、多くの苦難を経験しました。金融業界では、パーティーに20年遅れて参加することは耐えられません。ですので、サプライチェーンのバックグラウンドから見ると、将来を考える際に最も一般的な方法の1つは、S&OP（Sales and Operations）です。これは、すべての関係者を一緒に部屋に集め、議論を通じて適切な予測を導き出すことを目的としています。あなたの量的トレーダーの視点から見て、それは合理的な選択肢に聞こえますか？良いパフォーマンスを発揮したいので、20人を部屋に呼び、それらのチャートを見て、予測を決定するために投票を行い、組織内でのランクが高い場合にはボーナスポイントを与える、という方法です。
ピーター・コットン: ああ、正直に言って、1年または2年先の予測をする立場にいる人々を羨ましく思いません。明らかに、それは難しいゲームです。そのような予測の課題における人間の集合知に関する問題と、それをどのように達成するかについては、興味深い文献があります。しかし、私は時々、アメリカの清教徒的なバイアスが非常に明白な解決策の邪魔をしているという単純な事実があると感じます。私はオーストラリアで育ちましたが、もし壁に2匹のハエが這っているのを知りたいのなら、どちらが先に到着するかを賭けさせるだけです。それほど単純です。複雑に考えすぎないでしょう。
エラーズリー競馬場に建設され、1913年にオープンした建物の大きさの最高の予測装置、世界初の機械式合計投票機は、馬に賭けることができ、これらの巨大なピストンがゆっくりと上昇して、各馬に賭けられた金額を知らせました。そして、この驚くべき機械装置を通じて、確率が生まれました - リアルタイムの情報処理システムで定義されたリスク中立の確率の最初の例です。私の知る限り、これは未来の出来事の確率に到達するための唯一の本当に合理的な方法です。もっと良い発明はないと思います。
ジョアネス・ヴェルモレル: そうですね、私にとって非常に興味深いのは、あなたがそれがプレイされている発見のメカニズムであると指摘していることです。それが私たちが話していることであり、それには独創性があります。本当に価値があるのは、それに付随するモデルや人間の洞察力の考えではなく、将来についてより信頼性の高い情報を得るための発見のメカニズムを持つことです。発見のメカニズムとして機能するものがあるのか、それとも私がただ作り話をしていて、まだそこに到達するための旅があるかを考える前に、私が暗黙的に未来に関する声明を良くて有効なものとして宣言しているのかを考えることです。この発見を念頭に置いて設計されたものであり、それが素晴らしい言い方です。
ピーター・コットン: ここには、100年間にわたって何千もの異なる場所でテストされてきたメカニズムがあり、それはうまく機能し続けています。人々は常にやってみることができる別の方法があると言ってくるでしょう。例えば、広がりを見ている部屋での補償付き重み付き意見の素晴らしい例です。それが予測の正しいメカニズムかもしれません、誰が知っていますか？歴史を見てください。私は2001年にクレジットでキャリアをスタートし、2006年の経験を経験しました。市場は、ある会社の運命と他の会社の相対的な相互依存性についての市場の見解を示す暗黙の相関数値を提供していました。その数値が30であったとしましょう。格付け機関は、M6参加者と同様に、市場情報を無視し、独自のモデルを作り上げました。時には情報を認識するために必要な数学さえも無視していました。彼らは機関投資家に対して、その数値は30ではなく、20でもなく、5パーセントであると伝えました。数値には大きな相違があります。では、これはグローバルな金融危機や供給チェーンの他の災害以外の何かにつながっているのでしょうか？市場以外の方法はありません。どれくらいの例が必要ですか？
ジョアネス・ヴェルモレル: 面白いことに、ある種の部分的な狂気が起こっています。例えば、小売業では、Lokadは多くの大手小売業者と協力しています。典型的には、30%オフのチョコレートバーなどのプロモーションの影響を予測する際、人々はその効果に熱心です。彼らは針を動かし、市場シェアを獲得したいと考えています。しかし、プロモーションの予測を見ると、数字はほとんど常識を超えています。人々は売上が通常の数倍になると思っています。しかし、非常に基本的な平均モデルを適用し、過去のプロモーションを見ると、現実はより控えめです。面白いのは、より控えめなモデルを示すと、彼らは自分たちの熱意と人間の知性が減少しているように感じることです。
ピーター・コットン: コンピュータサイエンスでは、最初にテストを書くという原則があります。しかし、予測や将来の予測をする場合、誰も最初にテストを書きませんよね？そして、約5％の時間しか、彼らは厳密な方法で戻って実際に行ったことを見るためにテストを書くことはありません。
Yes, it’s true. 市場は、すべての欠陥にもかかわらず、驚くほどの規律を提供する方法を持っています。たとえば、一部のトップヘッジファンドは、ポーカーキャンプなどを取り入れています。私はさまざまな種類のギャンブル市場を理解しようとして育ちましたが、その規律がなければ、予測する能力は向上しません。では、どのようにしてその規律を作り出すのでしょうか？
私たちは、EUに対して、誰もが自分のモデルの残差をブロックチェーンに入れるように義務付けることはしたくありません。なぜなら、それはさまざまな理由で非効率だからです。しかし、もしかしたら、市場のようなものを使って、より軽量なものを使うことを考えるように人々を促すことができるかもしれません。そして、それが既存のデータサイエンスパイプラインにどのように適合するかを考え始めることができるようになります。
私たちは人々に「ねえ、あなたの予測モデルのエラーについてはどうしていますか？どこに行くのですか？ゴミ箱に捨てられますか？公開してみてください、それは本当に独占的ですか？」と言うように促すことができます。ほとんどの人はあなたのモデルが何であるか、または何をモデル化しているか、または以前はどのように行っていたかを知りません。そして、あなたがノイズだと主張しているものを生み出しています。
では、何を恐れているのですか？それは一つのアプローチかもしれません。予測市場の領域は確かに興味深いものであり、少なくとも米国では、規制によって長年にわたって大きな制約を受けてきました。さまざまな人々がこの規律を利用しようとしましたが、ギャンブルのラベルとの衝突が起こると引き下がります。うまく機能するためには、時にはステーキングが必要な場合もありますので、コストがかかることがあります。私たちは世界をポーカーマシンに変えたくはありませんが、市場の規律がない限り、それがどんなに良くなることはありません。私はただ同じことの繰り返しを見ているだけです。
ジョアネス・ヴェルモレル: あなたは非常に重要なことに触れていると思いますし、私も数十年にわたって主張してきたことでもあります。数学的なモデルやアルゴリズムで作業する際に、現実世界からのフィードバックループがない場合、自分が狂気じみたことをしているのかどうかはわかりません。
数学は一貫性を教えてくれるだけであり、この数学的な空間内で行っていることが自己と一致しているかどうかを教えてくれますが、世界とは一致していません。フィードバックループがない場合、あなたはわかりません。最善の場合、統計的におよびグラフィカルに正しい場合、それは単に自己と一致していることを意味しますが、それは世界全体について何も言っていません。
あなたが言っていたように、「数ユーロまたはドルを賭ける覚悟はありますか？」それがフィードバックループです。それが罰、報酬、そしてゲームの中でのリスクです。サプライチェーンでは、予測の演習が人々が行っていることと完全に切り離されているという問題があります。
私が特定した問題は、ほとんどの企業が予測を行うチームを持っており、時系列予測を作成し、その結果に対処するということです。非常に奇妙な慣行が生じます。たとえば、営業担当者は、営業予測に貢献する必要があるときには、サンドバッグと呼ばれるプロセスで大幅に予測を低くします。なぜなら、ノルマを100と予測し、200を売る自信がある場合、ノルマを超えてボーナスを得ることができるからです。
一方、生産では、需要が高いと予測することで、生産装置を拡充するための予算が増えます。必要なものの2倍の生産能力を持つ工場があれば、生産はスムーズになります。問題は、人々がこれらのゲームをしていることではありません。問題は、人々が結果に苦しむようにフィードバックループを設計する方法です。予測モデルを基礎にすることを望み、ベッティングのような金融的な関与は、非常に明確で基礎的な方法でそれを達成することができます。運用上、それは比較的簡単に実行できます。
ピーター・コットン: M6コンテストには良いエントリーがありました。それを「フィリップモデル」と呼びます。彼のアプローチの重要な部分は、より多くのデータを見つけることでした。彼は主催者が提供する株式やETFに満足せず、さらにデータを探し、モデルを構築し、それらが広範なユニバースに対してどのように機能するかを見ました。これにより、特定の歴史に過剰適合することを避ける傾向がありました。予測市場は煩雑な場合がありますが、ステーキングなしでも効果的な軽量な代替手段があります。たとえば、Microprediction.orgでは、ステーキングなしでクリームが浮かび上がることができます。
私の本では、「マイクロマネージャー」という言葉を使っています。これは、予測を受け取ったり要求したりする自律的なメカニズムであり、ビジネスアプリケーションに上流の目的を果たします。これを行うためのさまざまなメカニズムがあります。たとえば、microprediction.orgでは、変数の将来価値の集合分布を持つ連続的な抽選システムを使用しています。集合分布を真の分布に近づけるために報酬を得ることができます。点推定値と分布推定値のスコアリングと特性に関する多くの文献があります。課題は、文化の問題です。ビジネスは、過去40年間の金融に見られるような規律を持ちたいのでしょうか？
ジョアネス・ヴェルモレル: それは確かに解決すべき面白い問題ですし、文化も重要な役割を果たします。サプライチェーンは90年代に登場した比較的新しい概念であり、それ以前は物流が主要な分野でした。物流の優れた点は、事故のないこと、危険を排除し、職場の安全を確保することです。この分野では多くの進歩があり、危険な職業ははるかに安全になりました。しかし、サプライチェーンは長期的な視点に焦点を当てており、地上で物事を実現することが求められるため、異なる課題があります。
そして、考え始めると、私が聞いたのは、例えば、Kullback-Leibler距離など、すべてが概念的なツールであるということです。将来は不確実であると受け入れ、不確実性と共に作業することができるし、それに対する数学的な手段も持っているということです。
それが興味深いことです。サプライチェーンにとっての文化的な課題は非常に困難です。サプライチェーンが生まれた物流は、不確実性を取り除くことを目的としていました。あなたは見張りの中で誰かが死ぬ確率を持ちたくないのです。その確率はゼロか、ほとんど不可能に近いものでなければなりません。だから人々は、自分たちのプロセスに確実性を持ちたいと思っています。しかし、サプライチェーンのマインドセットに進化すると、数年先を考えるようになります。そして、数年後に起こることに対して完全な確実性を得ることはできません。完全な確実性を持つことは、運用においては非常に良いことですが、将来を考えるとまったく異なるゲームです。特に、直近の将来ではなく、少し先の将来を考える場合はそうです。
コナー・ドハティ: 20世紀の間に、金融がより詳細な確率論的な将来のビジョンを受け入れるのにどれくらいの時間がかかったと推定しますか？Value at Riskの仕組みは80年代に導入されたと思いますが、私のタイミングについては100％確信がありません。
ピーター・コットン: それは良い質問です。オプション市場はそれ以前から存在しており、多くの人々が何が起こっているかをかなり理解していました。常に優れた人々がいて、彼らはたくさんのことを発表していました。データサイエンスは10年前のものではありません。ジム・シモンズの伝記を読めば、少なくとも40年前から存在しています。確率がドルであるという考えは非常に古いアイデアであり、確率がドルでない場合は信頼性がないという考えも非常に古いです。
コナー・ドハティ: 最後の質問で締めくくります。M6は、市場を打ち負かすことが可能であり、過去数十年間に他の人々よりも優れていたと言えるのでしょうか？
ピーター・コットン: その問題は、非常に重要な違いがあるということです。ウォーレン・バフェットはトップ10に入ることはありませんでした。ウォーレン・バフェットは確率の予測が非常に誤っていました。市場と同じかそれ以上の確率の推定を作成することができる能力と、市場を打ち負かす能力には違いがあります。ウォーレン・バフェットやジム・シモンズ、あるいは単一のヘッジファンドでもそれはできません。M6はコンテストであり、個々の努力の集合ですが、市場はそれ以上のものです。それは集合的な活動であり、それには打ち勝つことはできません。M6からは、いくつかの優れた人々を見つけることを期待していました。フィリップには公正に私を打ち負かされました。しかし、数値シミュレーションを見ると、フィリップが実際に私よりも優れていたとは言えません。
M6のオプション市場全体のパフォーマンスは圧倒的です。パイロットステージがあり、それから第1四半期、第2四半期、第3四半期、第4四半期がありました。それぞれの四半期で、私のエントリーは5回中5回、最上位四分位数に入っていました。もしそれが運ではないのなら、私は市場の規律が、彼らが機械学習の論文や会議などで慣れている規律と比べてはるかに高いことを人々に教えることを願っています。
市場を打ち負かすのは難しすぎるため、人々が市場から遠ざかるべきだという教訓ではないことを願っています。私の希望は、人々が市場の力やそれに類するもの、またはこれらのフィードバックループを自分たちのパイプラインや自分たちの会社でどのように活用できるかについて考え始めることです。それが私が人々に受け取ってほしいものです。彼らがそうするかどうかはわかりませんが、ただ願うことしかできません。
コナー・ドハティ: それがおそらく終わりだと思います。ここで締めくくります。ピーター、お時間をいただきありがとうございました。そして、ジョアネス、あなたの専門知識に感謝し、M6でのおめでとうございます。ご視聴いただいた皆さん、ありがとうございました。次回お会いしましょう。
