00:00:00 変動性に関する議論とPeter Cottonの紹介。
00:01:22 PeterのM6競技での成績とその構成。
00:03:21 M6競技のテーマと効率的市場仮説の検証。
00:06:01 オプション市場を活用したPeterのモデルによる変動性予測手法。
00:08:10 変動性の理解における金融とサプライチェーンの比較。
00:09:20 サプライチェーンと金融における確率的予測。
00:10:01 人々に確率的思考を促すことの難しさ。
00:12:26 バズワードとしてのAIと予測への影響。
00:14:55 複雑性に対抗する単純さと堅牢性。
00:17:01 時系列予測アルゴリズムのベンチマークとその性能。
00:18:58 モデル性能の歪んだ見方が過学習やPハッキングにつながることについて議論。
00:20:14 過学習とデータ操作を防ぐための予測競技の目的。
00:21:27 学術的インセンティブ構造への批判と現実世界での継続的アルゴリズムテストの提唱。
00:22:55 金融とサプライチェーン管理の比較と合理性と効率性の必要性。
00:27:15 正確な予測を得てバイアスを克服するための予測市場の可能性。
00:28:14 将来の確率と発見メカニズムについての議論。
00:29:34 実証済みのメカニズムと報酬付き重み付け意見の比較。
00:31:40 M6競技と2006年の金融危機における数値の不一致。
00:32:25 小売における期待の歪みとプロモーションの影響。
00:36:31 障壁を打破しサプライチェーンのプロセスを自動化する定量トレーダーたち。
00:38:09 予測市場における規律の重要性。
00:39:58 予測市場に対する規制の影響。
00:40:44 統計モデルの問題点とトランプ選挙の例。
00:42:57 フィードバックループと現実的な結果の必要性。
00:46:10 追加データによってM6競技でのPhilipモデルの成功。
00:47:20 データサイエンスパイプラインにおける予測のための軽量メカニズム。
00:48:41 MicroPrediction.orgとその予測のための独自のマイクロ構造。
00:50:47 サプライチェーンと物流コンセプトの進化。
00:52:35 サプライチェーン管理において不確実性を受け入れる文化的課題。
00:54:46 金融におけるデータサイエンスの歴史と確率との関係。
00:56:41 株式市場を打ち勝つこととウォーレン・バフェットとの比較。
00:58:36 M6コンテスト、個々の取り組み、そして協働活動。
01:00:08 M6から得られる道徳的教訓と他分野での市場力の活用。
概要
インタビューでは、IntechのチーフデータサイエンティストであるPeter Cottonと、Lokadの創設者Joannes Vermorelが、確率的予測、M6の予測競技、および金融とサプライチェーンの視点における変動性と不確実性の違いについて議論する。彼らは、完璧な予測は不可能であり、確率的予測が変動の中でより良い意思決定を可能にすることを強調している。両者は、金融市場であれサプライチェーンであれ、複雑なシステムを扱う上での単純さと堅牢性の価値に同意している。また、Pハッキング、予測モデルの誤差の透明性、予測向上のための市場メカニズムといった問題についても議論している。Vermorelは供給チェーン管理における文化的課題を強調し、一方でCottonは全体的な予測改善における市場の重要性を訴えている。
詳細な概要
このインタビューでは、Intechのチーフデータサイエンティストであり予測に特化した定量トレーダーであるPeter Cottonが、ホストのConor Dohertyによって招かれ、サプライチェーン最適化に特化したソフトウェア会社Lokadの創設者Joannes Vermorelと対談する。議論は、確率的予測、M6予測競技、および金融とサプライチェーンの視点における変動性と不確実性の違いを中心に展開する。
Peter Cottonは、M6予測競技でトップ10に入る成績を収めたことについて、競技が効率的市場仮説の検証や、優れた予測者が健全な分散ポートフォリオを構築できるかどうかを調査することを目的としていたと語る。彼は、自身のアプローチが他と異なり、変動性を自ら予測するのではなくオプション市場のデータを用いて予測したと説明する。Peterは、M6競技をデータサイエンティスト、予測者、定量金融の専門家がオプション市場に対抗する戦いと捉えていた。高順位にもかかわらず、彼は他の参加者と比べて自分の成績の良さに驚いていた。
Joannes Vermorelは、金融業界が変動性と不確実性を認識し対処する面でサプライチェーンよりもはるかに進んでいると付け加える。彼は、サプライチェーンの専門家が依然として完璧な予測を追求する傾向にあるが、それは非現実的であると指摘する。この問題に対処する第一歩は、完璧な予測が不可能であることを認め、第二に、不確実性が物事を全く知り得ないことを意味するわけではないと理解することである。確率的予測は、不確実性の構造を定量化し、変動の中でより良い意思決定を下すために役立つ。
PeterとJoannesの両者は、世界がより確率的な視点で考えるよう促し、この理解を意思決定プロセスに取り入れるためには、まだ多くの取り組みが必要であると同意している。金融業界は長い間不確実性とリスクに対処してきたが、これらの概念がサプライチェーン業界で広く認識され活用されるようになるまでにはさらに時間がかかった。
Vermorelは、AIがしばしば無能さを隠すバズワードになっていると指摘する。彼は、プロフェッショナルが有能である場合、自らの技術をハイパーパラメトリックモデルや勾配ブーステッドツリーなどの技術的名称で呼ぶと考えている。
VermorelとCottonは、サプライチェーンの複雑で混沌とした性質と、そのようなシステムを扱う最適なアプローチについて議論する。両者は、複雑性をさらに追求するのではなく、単純で堅牢なものを見つけることがより合理的だと同意する。Cottonは、時系列予測のためのオープンソースパッケージの維持に焦点を当てたマイクロ予測の経験を共有し、最も成功するモデルはしばしば最新のパフォーマンスの精度加重平均のような最も単純なものであると強調する。
インタビュー参加者はまた、研究者が望む結果を支持するためにデータを操作するPハッキングの問題にも触れる。彼らは、M5などの予測競技が、参加者が結果を提出した後にのみデータを公開することで、この問題を軽減し、モデルを調整して偽の結果を作り出すことを防いでいると主張する。
Cottonは、学術文献がしばしば出場者兼審査員である同一人物によって運営されるクローズドなコンテストであることを批判する。彼は、論文を発表する代わりに研究者がアルゴリズムを永続的に運用し、それらが各種ビジネス課題に対して自律的に有効性を判断するべきだと提案する。Cottonは、すべてをM6競技やオプション市場に置き換えるといった、合理性と効率性を高めるためのよりデータ駆動型のアプローチを提唱する。
Vermorelは、金融の容赦ない環境と、企業が長期間効率の悪い状態にあっても厳しい結果に直面しないサプライチェーンの惰性を比較する。セールス・アンド・オペレーションズ・プランニング（S&OP）と呼ばれる、予測に関して議論し投票するために人々を集める手法が最も効果的な予測方法ではないのではないかと疑問を呈する。
Vermorelは、大手小売業者と協力してプロモーションの影響を予測する経験を共有する。彼は、期待値がしばしば過大評価され、過去のデータに基づく単純な平均モデルがより正確な予測を生み出す可能性があると指摘する。しかし、これらの保守的な推定値を提示すると、熱意を損なったり人間の知性を過小評価するものと受け取られ、抵抗に遭うことがある。
Cottonは、正確な予測を行うための規律の重要性を強調し、それが市場に基づくアプローチを通じて育まれると述べる。彼は、人々が自らの予測モデルの誤差についてより透明性を持つよう促し、データサイエンスパイプライン内で軽量な市場メカニズムの利用を検討すべきだと提案する。予測市場は興味深いものの、規制やギャンブルに関する懸念によってその発展が妨げられている。
Cottonは、2016年の米大統領選挙前にThe Economistの選挙モデルチームと意見が合わなかったエピソードを語る。そのモデルは、ベッティング市場と比べてトランプ勝利の確率をはるかに低く設定していた。このやり取りは、モデルの精度を評価するためのより良い手法の必要性と、専門家の意見だけに依存することの限界を浮き彫りにしている。
参加者は、予測を行う際の代替手法よりも市場メカニズムが信頼性を示していることに同意しつつ、サプライチェーン最適化や小売予測など、他分野に市場の規律を取り入れる方法を見つける重要性を強調している。
Vermorelは、伝統的な予測演習で企業内の他部門から切り離された別々のチームが参加することに起因する問題を指摘する。これにより、営業担当者がクォータを超えてボーナスを得るために予測を低く見積もるサンドバッグ行為が生じ、一方で生産部門は製造増強のために予測を過大評価する傾向がある。Vermorelは、現実の結果を持つフィードバックループを構築することが、予測モデルを実情に即したものにし、より効果的にする助けになると提案する。
Cottonは、予測モデルの改善において予測市場が果たす役割について論じる。従来の予測市場は扱いにくい面があるが、データサイエンスパイプライン内で軽量な代替手段はより効果的であり得る。さらに、Cottonは、予測を受け付けたり依頼したりして、ビジネスアプリケーションの上流で活用できるマイクロ予測メカニズムに関する自身の著書にも言及する。
インタビュー参加者は、特にサプライチェーンが1990年代に物流分野から発展したことに伴うサプライチェーン管理の文化的課題を認める。物流は運用の確実性に焦点を当てる一方、サプライチェーン管理は長期的な計画と不確実性への対応を伴う。Vermorelは、金融が将来の確率モデルを受け入れるまでに要した時間に疑問を呈し、Cottonはデータサイエンスが少なくとも40年間本格的に取り組まれてきたと述べる。
Cottonは、市場を打ち負かすことと正確な確率推定を提供することの違いにも触れる。彼は、ウォーレン・バフェットのような個人が市場を継続的に凌駕してきたとしても、市場自体より優れた確率推定を提供する独立したモデルは構築できないと説明する。彼は、個々の努力が組み合わさって確率を生成し、全体的な予測を改善する市場の重要性を強調する。
完全な書き起こし
Conor Doherty: Lokad TVへようこそ、ホストのConorです。いつものように、Lokadの創設者であるJoannes Vermorelと共にお届けします。本日のゲストはPeter Cotton、InTech InvestmentのシニアVP兼チーフデータサイエンティストです。本日は、確率的予測、そしておそらく株式市場を打ち負かす方法について語っていただきます。Peter、Lokadへようこそ。
Peter Cotton: お招きいただきありがとうございます。
Conor Doherty: Lokadでは、お話しする相手について詳しく知りたいと思っています。Peter、あなたの経歴とInTech Investmentでのご担当について少し教えていただけますか？
Peter Cotton: もちろんです。私は自分自身をキャリアクォントだと表現します。買い手側、売り手側の両方で働いてきた経験があり、データ会社を立ち上げる起業家としての短い経験もあります。現在は、皆さんが予想する通り、物事の予測に時間を費やし、ポートフォリオ理論の最先端を押し広げています。
Conor Doherty: まずは、最近のM6競技でのご成績、おめでとうございます。トップ10に入ったと聞いていますが、そうでしょうか？
Peter Cotton: そうです。これは私の功績なのか、オプショントレーダーやそれを支えるクォントたちのおかげなのか定かではありません。ある意味、全く私の仕事ではなく、単なる予測力をあるソースから別のソースへと伝える媒介に過ぎなかったのです。
Joannes Vermorel: 視聴者のために説明すると、M6は非常に有名な予測競技シリーズの第6回目の開催で、目的は文字通り予測を行うことにあります。競技の流れは次の通りです。まず、公開されるデータセットがあり、その後一定のルールが定められ、人々は通常時系列予測の形で予測を行います。この場合、直近の2回の競技、M5とM6には確率的側面が取り入れられていました。全12回の反復ゲームとして進行し、参加者は結果を提出、その上で最も良い成績を上げ市場を凌駕した者を決定する多数のルールが存在しました。これは非常に要求が厳しく、結果を偽る余地がほとんどない過酷な競技です。
Conor Doherty: 私の理解では、Mコンペの各回は異なっています。さて、ピーター、M6のテーマは何でしたか？つまり、具体的な目標は何でしたか？
Peter Cotton: 幅広く言えば、主催者の目標は効率的市場仮説を検証することでした。この仮説は様々な形で、市場を打ち負かすのが困難であると述べています。市場を打ち負かすのが難しい理由は、そうするための大きな財政的インセンティブがあり、過去40年間それに取り組んできた賢い人々が多く存在し、チームを組んであらゆるデータを駆使してきたからです。地球上で最も正確に予測されるものは、おそらくGoogle株の価格か何かでしょう。他の全てはそれに比べれば一段下の予測精度であり、これが主催者が掲げた一つの目標でした。もう一つは、予測が得意な人々が、それを元にして妥当な多様化ポートフォリオを構築できるかどうかを検証することでした。少なくとも私の理解では、これが主催者の主要な二つの目標でした。そして、あなたのモデルは他の参加者がうまくできなかった点を正確には何をしたのでしょうか？
私のエントリーの異なる点は、哲学的な観点から問題を「関連するあらゆるデータを見つけること」と捉えたことにあります。もちろん、他の人々もその見方をするかもしれませんが、重要なのは、人々がデータが暗黙の数値や既存市場に内在する数値という形を取る可能性を見落としがちだという点だと思います。
さて、M6コンペでは、特定の株式やETFが1ヶ月後に、他の100銘柄の中で第2四分位に入る確率を予測するよう求められました。そこで自問するのは、何がその株式が仲間の中で第2四分位に入るかどうかを決定する要因なのかということです。明らかに、もし株の方向性について見解があれば、上位2つの四分位に入る確率は高まります。しかし、私自身のように株について特定の意見がなければ、最も影響を与えるのは株のボラティリティになるのです。
ですから、私はこれを株の方向性ではなく、むしろボラティリティ予測のコンテストだと考えます。主催者の仮説とはやや異なるかもしれませんが、これは実験室での実験です。そこで私が行ったのは、「見てください。株のボラティリティに関しては、すでに非常に優れた情報源、つまりオプション市場があります」と判断し、単にオプション市場の数値を利用するというものでした。それがほぼ全てです。
ですから、私のエントリーは、単なる市場基準として見ることができます。おそらく人々が予想する市場基準とは違うかもしれません。主催者はより弱い市場基準を導入していました。しかし、それが私の方法であり、「オプション市場が示す未来の株価の変動以上に先を見通す優れた推定値を見つけ出すのは非常に困難です。もし可能であれば、オプションの売買で利益を得るはずです」と考えたのです。当然、オプションの売買で利益を上げる人もいますが、それが市場を非常に効率的な状態へと導くので、このコンテストの面白さだと感じました。
これは、データサイエンティスト、予測者、そして一部のクォンツのコミュニティ全体を巻き込んで、「さあ、この戦いをやってみよう」という形の挑戦でした。結果、私自身もリーダーボードで予想以上に高い順位に入ったことに少し驚きました。実際、Brierスコアで実際に賞金を獲得するまでに0.002という、非常に僅かな差でした。しかし、主な目的は、参加者の70％、あるいは80％を上回るのか、という点を確認することでした。結果として96％の参加者を上回ることになり、正直なところ驚きました。
Joannes Vermorel: サプライチェーンのバックグラウンドを持つ私にとって興味深いのは、ファイナンスがあらゆる面でサプライチェーンよりも文字通り数十年先を行っているという事実に、いつも非常に感銘を受けるということです。
私がLokadで主張しているのは、ボラティリティは確かに存在するという点です。サプライチェーンの分野では、「来年どれだけ売れるかを小数点以下4桁まで予測しよう」という人々が多く、ボラティリティの存在自体さえ疑問視されることがあります。もし完璧な販売予測が得られれば、すべてが単なるオーケストレーションの問題となります。すなわち、正確にどれだけ生産するか、どれだけ仕入れるか、またどれだけ在庫に割り当てるかを決めることができるのです。完璧な予測と、それを実行に移す能力さえあれば、商品やサービスの提供は単なる日常的なオーケストレーションにすぎないのです。
Lokadが10年前にサプライチェーンにおいて確率的予測を推進し始めたとき、それは全く新しい試みではありませんでした。ファイナンスの分野では、リスクバリュー（Value at Risk）を用いた予測が既に三、四十年にわたって行われているからです。重要な考え方は、まず完璧な予測ができるという考えを捨てることです。未来について知り得るすべてを把握しているわけではないと認めることが第一歩です。ファイナンス出身の人々には自明のことかもしれませんが、サプライチェーンでは完璧な予測が不可能であると広く認識されていません。
一度不確実性を受け入れれば、何も分からないというわけではありません。不確実性を残しつつ、その構造をボラティリティで定量化することが可能なのです。不確実だからといって全く把握できないわけではありません。不確実性の構造には明らかに知るべき事柄があり、これが確率的予測という考え方の根拠となっています。サプライチェーンの視点では、広範な不確実性と非常に集中した不確実性とでは、意思決定が同じではないということを示すために用いられます。巨大なボラティリティに直面している場合と、ほぼ確実な状況に近い場合では、リスクへの定量的なアプローチが全く異なるのです。
Peter Cotton: このメッセージを浸透させるのに、まだ数十年かかっているのは事実です。経営科学の分野では、サム・サヴェッジの『Flaw of Averages』のように、この考えを広め、単一の経路や平均値を採ることがトラブルに繋がることを理解させようとする動きがあります。ファイナンスの世界では、何年にもわたり非常に精緻な凹状リスクの概念が浸透しており、その違いは驚くべきものです。
私もその傾向に気づいています。というのも、一部の競技者は分布予測を提供しなければならず、Kaggleなど他の場から来た場合、その動機について馴染みがない可能性があるからです。では、解決策は何でしょう？ どうすれば世界にもっと確率的な考え方を促し、人々の意思決定やスプレッドシートに活かせるのでしょうか？それは決して容易なことではありません。
Joannes Vermorel: 全くその通りです。そして、私のサプライチェーンにおける企業向けソフトウェアの経験から言えば、この10年の流行語はAIであったという点も、状況を一層複雑にしている要因だと信じています。興味深いのは、AIがあれば未来をより優位に把握できるとされている点です。
私個人の見解として、AIは単に自分の無能さを隠すための流行語に過ぎません。非常に有能な場合、むしろそれをハイパーパラメトリックモデルや勾配ブースティングツリーと呼ぶ傾向にあります。AIという言葉は、理解していない何かの胡散臭い言い回しにすぎないのです。
興味深いのは、非常に混沌として複雑な状況に直面すると、私の経験とM5での結果が示すように、LokadはAI駆動の手法よりも桁違いにシンプルな方法で非常に良い成果を上げたという点です。あなたのマイクロ予測アプローチも、そのシンプルさにおいて非常に似たものを実践していたのではないかと感じました。ですから、極度に複雑な状況に直面している際、すべての複雑さを反映するシステムを持つべきか、あるいはシンプルなものを用いて嵐を乗り越えるべきか、という問いが生まれるのです。
Joannes Vermorel: この点に関して、いくつか実験を行いました。時系列予測のため、オープンソースの世界からできる限り多くの優れたアルゴリズムを集めようと熱心に取り組みました。私は、これらのオープンソースパッケージを維持しつつ、ベンチマークを容易に行い、目的に合った良い時系列を見極める手助けをしています。その中には独自に動作し、何かしらの予測能力を試してみるものもあります。マイクロ予測は、ある意味でアルゴリズム版のM6のようなもので、通常はより高頻度の予測に用いられます。
Peter Cotton: もちろん、時間とともに何が実際に機能し、どの手法が様々な状況下で頑健であるかという見解が形成されました。私自身、単変量の時系列に対してオフラインベンチマークを行いましたが、時系列予測用のPythonパッケージはおそらく20～50種類ほど存在します。そのほとんどは、TSAやstatsmodelsといった他のパッケージをラッピングしています。しかし、クラシックな手法と比較すると、複数のシンプルなモデルの最近のパフォーマンスを精度で重み付けして平均したものが上位に来ることが分かります。シンプルなモデルとは、Auto ARIMAやその変種、あるいはそれ以上に単純なものなどです。
Joannes Vermorel: 聴衆の皆さんにお伝えしたいのは、Pハッキングが非常に現実的な問題であるという点です。高度なモデルの領域に踏み込めば、ほぼ必ず偶然にうまく機能するモデルが見つかるのです。これがオーバーフィッティングやPハッキングにつながり、統計的な信頼性テストに合格するために次元や仮説を都合よく選び出すことになってしまいます。予測コンペでは、参加者が結果を提出してからデータを公開することで、モデルの調整による偽の結果の操作を防いでいます。
Peter Cotton: その通りです。ほとんどの学術文献は、応募者自身が運営する小規模で閉鎖的なコンテストで構成されており、誰が参加できるかを決定し、レースを10回繰り返して結果を公表する、という極めて馬鹿げたものです。予測コンペの意義は、こうした事態を防ぐことにあります。
同感です。本当に馬鹿げています。なぜ実証的文献が存在するのでしょうか？正直分かりません。私は、実証的文献という概念そのものを嘲笑するために時間を費やしてきたものです。論文が自己更新しないのであれば、なぜリアルタイムの現象におけるモデルの有効性について論文を発表するのでしょうか？残念ながらこの状況から抜け出す方法は見いだせません。皆もご存知のように、そしてThe Economistも言っているように、インセンティブに関するジョークは、問題はインセンティブが働かないのではなく、逆に働きすぎるという点にあります。もし唯一のインセンティブが論文発表であれば、それしか生まれません。もし唯一のインセンティブが、コンテストの投資側でやや奇妙なM6の指標であるなら、200人中3人程度がその方法で操作できると分かるでしょう。そんなものです。
というわけで、私は論文を発表する代わりに、人々が自分のアルゴリズムを永続的に運用すべきだと提唱します。また、企業が共有できるインフラを整備し、これらのアルゴリズムが一つのビジネス問題から次のビジネス問題へと移り、実際にうまく機能するかどうかを検証できるようにすべきです。さらに、近年登場している、非常に巧妙な機械学習を含む手法が、アウトオブサンプルでも実際に良好な性能を発揮でき、十分なデータがあれば自律的にその有用性を判断できるはずです。そのため、特定のビジネス問題に対してどのアルゴリズムが機能するかを決定するために、強い意見や先入観、自己利益やゲートキーピングといった人間は、本来必要ではないのです。少なくとも私の分野ではそうであり、あなたの分野は長期予測があるためやや難しいかもしれませんが、たとえば次の5分間に何人の顧客が現れるか、あるいは次の2分間に交差点を通過する車の数を予測するような大規模なデータ問題においては、余計な理論やPDFが足を引っ張る理由はありません。私の意見としては、すべてをM6にしてスピードアップさせるか、もしくはすべてをオプション市場に転換するべきだということです。
Joannes Vermorel: はい、そして興味深いのは、私にとってファイナンスは一種の実践であり、良い意味でそう感じています。なぜなら、一般の人々は映画で悪役が登場するとしたら、ファイナンス担当者やオプションの人間だと認識しているからです。しかし私の見解では、これらの市場は合理性を実践する場なのです。極度に非合理的であればただ破産するだけですし、長期間にわたって非常に高い合理性を維持できる人だけが破産を免れるのです。これは非常に容赦のない環境で、どんな小さな非効率さもすぐに利用されてしまいます。もし毎年あなたより数パーセント効率的な競合がいれば、人々は資金をそちらに再配分し、結果としてあなたは文字通り破産してしまうのです。まさに、非常に速いペースのダーウィン主義が、残酷なほどに働いている状態です。
長期予測に関しては、サプライチェーンでは、多くの企業が決して非常に優秀だからではなく、インフラの構築や業務プロセスの更新における膨大な慣性のために、十年以上も超非効率な状態で存続できるという点に気付かれていません。例えば、多くの小売業者はAmazonに遅れて二十年後にインターネット上でウェブストアを設立し、大きな打撃を受けましたが、ただ消えてしまったわけではありません。ファイナンスの世界では、パーティーに二十年遅れて参加するなんて、到底耐えられません。ですから、サプライチェーンの視点から未来を考える際、依然として最も人気のある手法の一つがS&OP、すなわちSales and Operationsです。これは、全ての関係者が一堂に会し議論を重ねることで、適切な予測が浮かび上がる手法です。あなたの定量的トレーダーとしての視点からすると、これは合理的な選択肢に聞こえますか？たとえば、良いパフォーマンスを発揮するために20人を部屋に集め、チャートを見て、投票で予測を決定し、組織内でのランクが高い人にはボーナスポイントを与える、というような方法です。
Peter Cotton: 正直に言うと、1年先または2年先の予測を立てなければならない立場の人たちを羨むことはありません。もちろん、これは難しいゲームです。この種の予測課題における人間の集合知やそれをどう実現するかという問題は、非常に興味深い文献が存在します。しかし、時には、米国の清教徒的偏見が非常に明白な解決策の邪魔をしているという単純な事実があると感じます。私自身はオーストラリアで育ったので、もし2匹のハエが壁を這い上がっていて、どちらが先に到着するか知りたければ、人々に賭けさせればいいという、非常にシンプルな解決策があるのです。複雑に考えすぎるのはやめましょう。
The best prediction device, the first great prediction device, was built the size of a building at Ellerslie Racecourse and opened, I think, in 1913. It was the world’s first mechanical totalizator machine. People could place their bets on horses, and these giant pistons would slowly rise up in the air to let people know how much was bet on each horse. And through this amazing mechanical apparatus, probability arose – the first example of risk-neutral probability defined in a real-time information processing system. In 100 years, that is still the only really reasonable way to arrive at future probabilities of events as far as I’m aware. I don’t think there’s been a better invention.
Joannes Vermorel: ええ、そして私にとって非常に興味深い点は、あなたが指摘している通り、まさに発見のメカニズムが働いているということです。これこそが議論の本質であり、そこには独創性があります。重要なのは、それに伴うモデルや人間の洞察そのものではなく、「将来についてより信頼性の高い情報を得るための自分自身の発見メカニズムは何か。果たして本当に発見メカニズムと呼べるものが存在するのか、あるいは単にでたらめなことを言って、暗黙のうちに未来についての発言が正しく有効だと断言してしまっているだけなのか」というアプローチを持つことです。この発見を念頭に置いて設計された何か、これこそが素晴らしい表現だと思います。
Peter Cotton: ここに、1世紀にわたって千々に試され続け、今なお機能し続けるメカニズムがあります。人々は常に「ちょっと待って、他にできることがあるんじゃないか」とやって来ます。まるで、室内で重み付き意見を補償する良い例のようです。もしかしたらこれこそが予測に適したメカニズムなのかもしれません、誰にも分かりません。歴史を見てください。私は2001年に信用分野でキャリアをスタートし、2006年の出来事も経験しました。当時、市場は、ある企業の運命と別の企業の運命の相対的な依存関係についての市場の見解を示す暗黙の相関数値を提供していました。例えば、その数値が30だとしましょう。格付け機関は、M6の参加者と同様にアクチュアリー的な手法を採用し、市場情報を無視して自らのモデルを構築し、場合によっては必要とされる数学さえも考慮しませんでした。彼らは機関投資家に対して、その数値は30でも20でもなく、5パーセントであると伝えました。これは数値として大きな乖離です。では、これが世界的な金融危機や供給チェーンにおける他の災害以外の結果にどう影響したのでしょうか？市場こそが唯一の方法だと気づくまで、あとどれだけの事例が必要なのでしょうか？
Joannes Vermorel: 面白いことに、部分的な狂気が働いているように感じます。例を挙げるなら、小売業界ではLokadが多くの大手小売業者と協力しています。通常、30％オフのチョコレートバーといったプロモーションの影響を予測する際、効果に対して人々は熱狂し、針を動かして市場シェアを獲得しようとします。しかし、プロモーションの予測を見ると、数値はほとんどの場合過大評価され、人々は通常の3～4倍の売上を見込んでしまうのです。しかし、非常に基本的な平均化モデルを適用して過去のプロモーションを見ると、現実はもっと保守的であることが分かります。より保守的なモデルを提示すると、彼らは自分たちの熱意や知性が否定されたように感じるのです。
Peter Cotton: コンピュータサイエンスには「テストは先に書け」という格言があります。しかし、未来の予測や予言に関しては誰も最初にテストを書かず、厳密に振り返って実際に行ったことを確認するのは、たった5％程度の場合に過ぎません。
Peter Cotton: はい、その通りです。市場はその欠点にもかかわらず、信じられないほどの規律をもたらします。例えば、一部のトップヘッジファンドがポーカーブートキャンプのようなものを取り入れているのには理由があります。私は様々なギャンブル市場を理解しようとしながら育ちましたし、その規律がなければ予測の精度は向上しないのです。
Peter Cotton: すべての人が自分のモデルの残差をブロックチェーン上に記録するようにEUが義務付けるのは、様々な理由から非効率です。しかし、市場のような仕組みを、より軽量な形でどのように活用できるか、またそれを既存のデータサイエンスパイプラインにいかに組み込むかを考えるよう促すことはできるでしょう。
Peter Cotton: 人々に「ねえ、君の予測モデルの誤差をどうしているんだ？それはどこへ行くのか？捨てられてしまうのか？それとも公開しているのか、本当に極秘なのでしょうか？」と問いかけるよう促せばよいのです。ほとんどの人は、あなたのモデルが何であるか、何をモデリングしているか、そして以前はどうしていたのかさえ分かっておらず、あなたはそれを単なるノイズとして扱っています。
Peter Cotton: では、何を恐れているのですか？それも一つのアプローチかもしれません。予測市場は確かに興味深い分野ですが、少なくとも米国では、長年規制によってほぼ歪められてきました。あらゆる人々がこの規律を利用しようと試みましたが、ギャンブルというレッテルが付くと撤退してしまいます。上手く機能させるためには時にステーキングが必要で、それにはコストがかかるのです。我々は世界をポーカーマシンに変えたくはありませんが、何らかの市場規律がなければ、状況は決して改善しないと思います。ただ、同じことの繰り返しに過ぎないのです。
Joannes Vermorel: あなたは非常に重要な点に触れていると思いますし、これこそ私が何十年も提唱してきたことです。統計モデルとアルゴリズムという数学的空間で作業する際、現実世界からのフィードバックループがなければ、自分が常軌を逸したことをしているのかどうか判断できません。
数学は、あなたがこの数学的空間内で行っていることが内部的に一貫しているかどうかだけを示すに過ぎず、世界との一致を保証するものではありません。フィードバックループがなければ判断はできません。せいぜい、統計的にも図表的にも正しければ、それは自分自身と整合しているということであり、良いことですが、世界全体については何も語っていないのです。
あなたが「この件に数ユーロあるいは数ドルを賭けてもいいですか？」と言ったとき、それは文字通りフィードバックループそのものです。これが罰であり、報酬であり、実際のリスク（スキン・イン・ザ・ゲーム）なのです。供給チェーンにおけるこれらの予測演習の問題点は、通常、人々の実際の行動と完全に切り離されていることです。
私が指摘してきた問題は、ほとんどの企業が予測を担当する1つのチームを持ち、そのチームが時系列予測を生み出し、残りの部門がその結果に対処しているという体制にあることです。その結果、非常に奇妙な慣行が生まれるのです。例えば、営業担当者は、売上予測に寄与する際に「サンドバッグ作戦」と呼ばれる大幅な過小予測を行います。なぜなら、自分のノルマを100と予測しておいて、実際には200売れると確信していれば、ノルマを上回ってボーナスを獲得できるからです。
一方で生産部門では、高い需要を予測することで、生産能力を拡充するための予算が得られます。必要量の2倍を生産できる工場があれば、生産は非常にスムーズに進むのです。問題は、人々が単にこのようなゲームをしているのではなく、フィードバックループをしっかりと設計し、人々がその結果に苦しむような仕組みを作る必要があるということです。予測モデルは現実に根ざすべきであり、賭けのような金銭的な結びつきは、それを実現するための非常に明快で現実的な方法となり得るのです。運用面でも、比較的シンプルに実行できます。
Peter Cotton: M6コンテストには優れた参加者が一人いました。彼を「Philipモデル」と呼びましょう。彼のアプローチの重要な点は、より多くのデータを見つけ出すことでした。主催者が提供する株式やETFだけでは満足せず、さらにデータを求め、モデルを構築し、それらをより広範な対象に対してテストしました。これにより特定の過去に過度に適合する傾向を抑えることができたのです。予測市場は扱いにくい面がありますが、ステーキングを伴わない軽量な代替手段も依然として効果的です。例えば、Microprediction.orgは、ステーキングなしで真の実力を発揮させる仕組みを提供しています。
私の著書では「ミクロマネージャー」と呼ばれる、予測を受け取ったり要請したりしてビジネスアプリケーションの上流工程に寄与する自律的なメカニズムについて語っています。これを実現するための仕組みは数多く存在します。例えば、Microprediction.orgは、ある変数の将来の値の集合分布を用いた連続抽選システムを採用しています。集合分布を真の分布に近づけることで報酬を得ることができます。点推定や分布推定のスコアリング・特徴付けに関する文献は豊富です。ここでの課題は、むしろ文化面にあり、企業は過去40年間金融で培われた規律を本当に求めているのでしょうか。
Joannes Vermorel: 確かに解決すべき面白い問題であり、文化が大きな役割を果たしています。供給チェーンは90年代に登場した比較的新しい概念で、それ以前は物流が主流でした。物流における卓越性とは、事故をなくし、危険を排除し、職場の安全を確保することを意味します。この分野では大きな進歩があり、危険な職種もはるかに安全になりました。しかし、供給チェーンは、現場で物事を実現するという長期的な視点に重点を置いており、これは全く異なる課題です。
そして、そう考え始めると、私が聞いた話ですが、例えばKullback-Leibler距離のような概念的な道具があるのは、未来が不確実であることを受け入れ、その不確実性とともに作業ができるという証なのです。実際、それに取り組むための数学的な手段さえ備わっています。
これが興味深い点です。供給チェーンにおける文化的課題は極めて困難です。供給チェーンが生まれた物流分野では、不確実性を排除することが求められていました。監視下で誰かが亡くなる確率を持ちたくはなく、その確率はゼロか、事実上防ぎ得ないほど僅かなものであるべきです。したがって、人々はプロセスにおいて確実性を求めるのです。しかし、数年先を見据える供給チェーンの考え方に進化すると、数年後に起こる事象に対してその確実性は得られなくなります。現場運営では完全な確実性が極めて有効ですが、未来、特に直近ではない未来を考えるとなると全く別のゲームとなるため、その文化は再構築される必要があります。
Conor Doherty: 20世紀を通じて、金融がこのより洗練された確率論的な未来観を受け入れるのにどれほどの時間がかかったか、見積もることはできますか？私の記憶では、Value at Risk（VaR）という指標は1980年代に導入されたと思いますが、正確な時期については確信がありません。
Peter Cotton: 良い質問ですね。オプション市場はそれ以前から存在しており、多くの人々が状況を十分に把握していました。常に賢い人々は存在し、多くの論文が発表されてきたのです。データサイエンスは10年の歴史ではなく、ジム・サイモンズの伝記を読めば分かるように、少なくとも40年の歴史があります。確率をドルで表すという考えは非常に古く、もしドルで示されなければ確率は信頼できないという考えもまた古いのです。
Conor Doherty: ここで最後に一つ総括の質問ですが、M6は、市場を打ち負かすということ、つまり60年以上にわたって他の人々が達成してきた以上の成果を上げることが可能であることを示したのでしょうか？
Peter Cotton: その問題点は、非常に重要な区別なのですが、ウォーレン・バフェットでさえトップ10に入らなかったでしょう。ウォーレン・バフェットの場合、確率の推定値が極めて不適切だったはずです。市場を打ち負かすことと、市場と同等またはそれ以上の確率推定を作り出すことは全く別の話なのです。ウォーレン・バフェットもジム・サイモンズも、またどのヘッジファンドもそれを実践することはできません。M6は、確率を構築するための個々の努力の集合に過ぎず、市場はそれ以上の集団的な活動なのです。そして、その集団的活動を打ち負かすことはできないのです。私はM6で賢い人々に出会えること、そして私を正々堂々と打ち負かしたフィリップに全ての栄誉を与えることを期待していました。しかし、数値シミュレーションを見る限り、フィリップが実際に私より優れていたかどうかを断言することは不可能です。
The overall performance of the options market in the M6 is kind of overwhelming. There was a pilot stage, and then quarter one, quarter two, quarter three, and quarter four. In every single one, five out of five times, my entry was in the top quartile. If that’s not luck, I think, hopefully, the M6 teaches people that the discipline of the market is way up here compared to the discipline they’re used to in their machine learning papers or conferences or whatever else.
I hope the moral is not that people should stay away from the markets because they’re too hard to beat. I hope the moral is a different one, that people start thinking about how they can use the power of the markets or things like it, or these feedback loops, in their own pipelines and their own companies. That’s what I hope people take away from it. I’m not sure if they will, but one can only hope.
Conor Doherty: これでおそらく終了かと思います。締めくくらせていただきます。お時間をいただいたピーター、そしてその専門知識に感謝するジョアネス、改めてM6おめでとうございます。ご覧の皆さん、ありがとうございました。それでは、次回お会いしましょう。
