00:00:08 イントロダクションとスピロス・マクリダキスの経歴。
00:01:36 初期の統計的予測に対する懐疑論。
00:04:44 小売業と消費財における予測の進化。
00:05:44 スピロスの初期の予測研究の結果。
00:07:21 M5コンペティションと予測産業への意義。
00:08:01 Lokadの予測コンペティションでのパフォーマンス。
00:09:01 シンプルなモデルとコンペティションでの効果。
00:10:20 年月を経た予測技術の進化。
00:11:46 コンピュータの導入と予測への影響。
00:14:32 テストシナリオと実世界の適用、方法論的なバイアス。
00:16:00 予測の不規則な時系列の課題についての議論。
00:17:20 予測としての科学への認識の変化。
00:18:28 予測における過信と非現実的な期待の問題。
00:21:00 不確実性とファットテールイベントの予測への取り組み。
00:23:01 極端なイベントを考慮した構造的な事前知識の導入。
00:24:00 予測モデルへのテールイベントの影響についての議論。
00:24:46 より強靭なサプライチェーンの意思決定のための構造的な事前知識の導入。
00:25:52 ナシム・タレブの著作を推奨し、ブラックスワンイベントの理解に役立てる。
00:26:35 Mコンペティションからの成果：シンプルさ、不確実性の理解、リスク管理。
概要
このインタビューでは、Lokadの創設者であるジョアネス・ヴェルモレルとニコシア大学の教授であるスピロス・マクリダキスとの間で予測について話し合います。Mコンペティションの影響、シンプルな手法の効果、および予測における不確実性の役割について探求します。ヴェルモレルはM5コンペティションでの経験を共有し、シンプルなモデルの力と不確実性の理解の重要性を強調します。マクリダキスは経験的な証拠の重要性とリスクに備える必要性を強調します。予測の限界と不確実性の受け入れをクライアントに伝える課題についても言及しています。
詳細な概要
このインタビューでは、司会者のキーラン・チャンドラがLokadの創設者であるジョアネス・ヴェルモレルとニコシア大学の教授であり、M-コンペティションの主催者であるスピロス・マクリダキスと対談しています。議論は予測科学とM-コンペティションの業界への影響に焦点を当てています。
スピロス・マクリダキスは、教師としての経験やM-コンペティションの主催者としての経験を共有し、予測科学における学界と産業界の両方に影響を与えてきたことを説明します。インタビューでは後にM5コンペティションについて詳しく取り上げます。
ジョアネス・ヴェルモレルは、2007年にLokadを設立した際に直面した懐疑論について話し合います。一部の人々は統計的予測が信頼性に欠けると考えていました。しかし、時間の経過とともに、この見方は業界からほとんど消え、ヴェルモレルはマクリダキスのM-コンペティションがこの分野を科学的な取り組みとして一般化するのに役立ったと述べています。
マクリダキスは、テキサス州の現状を挙げて予測の重要性を強調しました。スーパーマーケットが商品不足になることがありますが、ウォルマートやターゲットなどの企業が週に数百万の商品を予測しているため、消費者はほとんどの場合必要なものを見つけることができます。ストックアウトが発生すると、予測の効果が強調されます。つまり、物事がうまくいかないときに人々が気づくからです。
マクリダキスは、初めて異なる予測手法の精度を調査した初期のキャリアについても振り返ります。その結果、シンプルな手法の方が洗練された手法よりも精度が高く、手法を組み合わせることで精度が向上することが示され、最初は懐疑的に受け入れられました。しかし、これらの結果は後に証明され、予測の分野に大きな影響を与えました。
彼らは予測技術、M5コンペティション、および技術がこの分野に与えた影響について話し合います。
マクリダキスは、ディープラーニングを使用した新しい予測手法について説明し、大量のモデルを生成し、中央値を最良の予測として採用する方法を説明します。ヴェルモレルは、M5コンペティションへの参加経験を共有し、Lokadが分位数予測の側面で909チーム中6位にランクインしたことを述べています。彼はトップ100に彼らの主要な競争相手がいないことと、市場シェアとパフォーマンスの間に乖離があることを強調しています。
ヴェルモレルは、Lokadが非常にシンプルなパラメトリックモデルを使用していたことを指摘し、シンプルな手法の予測の力を示しています。さらに、予測の精度だけでなく、不確実性の構造を理解することも重要だと強調しています。マクリダキスも同意し、M5コンペティションの結果が、シンプルな機械学習手法が洗練された手法よりも精度が高く効果的であることを示していると述べています。
会話は予測にコンピュータを導入することに移り、マクリダキスは成功の鍵はシンプルさにあると説明します。過去と未来の変化を考慮し、過去に過剰適合しないようにするために、予測データをトレーニングとテストの部分に分けることの重要性を説明します。ヴェルモレルも同意し、まだ利用可能ではないデータを正確に予測することの難しさと、将来が過去とまったく同じであると仮定しないことの重要性を強調しています。
彼らは予測の進化、データの過剰適合を避ける重要性、予測の不確実性の意義について話し合います。
ヴェルモレルは、20世紀末に予測理論の発展について説明し、VapnikとChervonenkisの研究がサポートベクターマシンの概念に貢献したことを説明します。これらのマシンは、構造的エラーと経験的エラーの両方を最小化する必要性を示し、実際のエラーの下限を提供しました。
マクリダキスは、データの一部を保持するコンペティションが予測のクリーンな方法論を確立する手段としての重要性を強調します。これに対して、実世界のシナリオでは、過去のイベントに完璧にフィットするためにデータを過剰適合させる誘惑があり、これは将来の予測の精度を低下させる可能性があります。
ヴェルモレルは、Lokadでの経験から、クライアントがしばしば予測がスムーズに生成されることに驚いたと共有します。例えば、ハイパーマーケットでのアルコールの消費など、不規則な時系列に関するものです。競合他社は、歴史的データの不規則な性質に密接に似た予測を提示することがよくあり、これによりクライアントはLokadのスムーズな予測に懐疑的になることがあります。
マクリダキスは、予測を科学としての認識の変化について話し、過去と未来を分け、過去のデータに過剰適合しようとしないことの重要性を強調します。予測における不確実性を考慮することの重要性を強調し、クライアントがこの側面を理解しないかもしれないが、現実的な予測には不可欠であると認めています。
ディスカッションは予測に対する期待についてでした。ヴェルモレルは、小売業界の競合他社の中には非常に高い精度を謳うものがあり、これは消費者の行動の性質を考えると実用的ではないと指摘しています。これは、予測に対して人々が今ではあまりにも多くを期待し、それを絶対的なものとして捉えているのではないかという問題を提起しています。
会話は予測、その分野の制約と課題、不確実性と稀な出来事が供給チェーンの最適化に与える影響について議論しています。
参加者たちは、一部のベンダーやコンサルタントが非常に正確な予測のアイデアを過剰に売り込む傾向があることについて話し、予測は完璧ではなく、不確実性が内在していることを強調しています。特に小売業のような分野では、不確実性があります。マクリダキスは、通常の不確実性だけでなく、「ファットテール」の不確実性も存在することを指摘しています。これは、COVID-19パンデミックなどの重大な混乱を引き起こすことがある稀な極端な出来事から成り立っています。
ヴェルモレルは、コンサルタントがあまりにも多くを約束するという問題に同意し、確率的な予測の課題は技術的な側面ではなく、不確実性の受け入れと制御の限界を伝えることです。彼は、単純な予測モデルが、量的化が曖昧であっても、テールイベントを考慮するための構造的な事前知識を注入するのに役立つことを説明しています。これにより、供給チェーンの意思決定は、まれな出来事に対してより堅牢で弾力性のある解決策に向かうことができます。
マクリダキスは、予測において何がうまくいき、何がうまくいかないかを判断するための経験的な証拠の重要性を強調しています。M-Competitionsを通じて、彼らは単純さが最も効果的であることを発見し、過去のランダム性と予測不可能性を認識することの重要性を強調しています。また、予測に関連する不確実性とリスクを認識し、それに対処する準備をする必要性も強調しています。
インタビューでは、予測の課題と制約、意思決定における不確実性の役割、そして供給チェーンの最適化における稀な出来事の組み込みの重要性に触れています。
フルトランスクリプト
キーラン・チャンドラー: 予測に関しては、何世代にもわたって試されてきた確立された技術があるということを当たり前のように考えがちです。しかし、今日のゲストであるスパイロス・マクリダキス氏は、この贅沢を持っていなかった人の一人であり、実際に私たちが標準として使用している多くの技術を発明しました。今日は、彼のキャリアについてもう少し詳しく学び、この業界での50年以上の経験から何を学ぶことができるかを知ることにします。では、スパイロスさん、キプロスからの生中継で参加していただき、ありがとうございます。いつものように、まずはゲストについてもう少し詳しく知りたいと思います。自己紹介をお願いします。
スパイロス・マクリダキス: まあ、ご存知の通り、私は長い間教師をしていました。そこで予測に取り組み始めました。それから私はこれを辞め、15年前に引退し、ここキプロスにいます。大学で続けています。そして、過去40年間、私が主催しているM4とM5のコンペティションに、お客様の企業が参加していることを知っています。私の貢献とMコンペティションが予測の業界やその結果を利用している企業や学術界にどのような影響を与えたかをご存知です。
キーラン・チャンドラー: 素晴らしいですね！では、後ほどM5コンペティションについて少し話し合うことにしましょう。最初のパートでは、予測科学の過去50年を振り返り、今日はかなり多くの話題をカバーする予定です。ジョアネスさん、どうぞ。
ジョアネス・ヴェルモレル: はい、興味深いのは、私がLokadを設立した2007年に、まだ統計的な予測のアイデア自体に強い懐疑的な意見を持つ人々がいたことです。当時、私自身も機械学習の博士課程を続けるべきか、それともこのプロジェクトであるLokadを進めるべきかを悩んでいました。スタートアップのインキュベーターに応募したとき、最初の応募では、審査員の中に統計的な予測が完全に無意味だと強く信じている人物が2人いたため、応募が拒否されました。まるで「いいえ、ビジネスプランが占いを売ることに基づいているスタートアップは受け入れません」と言われたようなものです。占いでお金を稼ぐことは確かにできます。人々はそれを何世紀も続けてきました。しかし、そのような会社が実際にインキュベーターに参加することは許容できるのでしょうか？答えは明確な「いいえ」でした。しかし、おかしなことに、それはほぼ最後の世代でした。私がLokadを運営してきた10年ほどの間に、この業界にはこの信念を持つ人はほとんど残っていないと思います。それで、とても面白いことです。まさに科学が進化しているのです。
キーラン・チャンドラー: ジョアネスさん、スパイロスさん、今日はご参加いただきありがとうございます。ジョアネスさん、あなたの貢献とMコンペティションは、予測の分野を正常化する上で非常に重要な要素となっています。それはもはやマイノリティの科学ではなく、通常の科学のようになっています。今、テキサス州で起こっていることは興味深いです。スーパーマーケットは完全に商品がなくなり、人々は食べ物や他の必需品を見つけることができません。予測について話すとき、私は彼らにスーパーマーケットに行って欲しいものを見つける他のすべての時を考えるように伝えます。スーパーマーケットには何百万もの商品があり、それぞれの商品について予測を行っています。ウォルマートやターゲットなどの企業は毎週何百万もの商品の予測を行い、消費者が欲しいものを見つけることができるようにしています。テキサス州のように供給が不足しているときは、人々を驚かせますが、実際には予測がどれだけ優れているかを証明しています。なぜなら、ほとんどの場合、人々は欲しいものを見つけることができるからです。
スパイロス・マクリダキス: まったくその通りです、キーランさん。私の行った仕事が予測の形成に多くの影響を与えてきました。若い教授として最初に始めたとき、状況はかなり異なっていました。私たちは異なる予測手法がどれだけ正確に予測できるかについての最初の研究を行いました。その結果は当時の統計学者たちを驚かせました。私はその結果をロンドンの王立統計学会で発表しましたが、みんなが攻撃してきました。私たちは予測の経験が浅いためにこれらの結果を見つけたのだと言われました。私たちは、非常にシンプルな手法の方が洗練された手法よりも正確であり、複数の手法を組み合わせると正確性が向上することを発見しました。これらの発見は、当時の統計学者たちにとっては忌避すべきものでした。彼らは最良の手法を見つけることができ、より洗練された手法の方がより正確だと信じていました。しかし、今では、ディープラーニングを使用した新しい手法では、500種類の異なるモデルを予測し、その中央値を取ることが最良の予測とされています。
キーラン・チャンドラー: ジョアネスさん、M5コンペティションは最近参加したものですね。ベンダーの視点から見て、M5コンペティションはどのような意味を持っていますか？
ジョアネス・ヴェルモレル: M5コンペティションはとても楽しいものです。業界の他の人々と協力しながら、予測能力を披露する機会の一つです。私たちの手法を改善し、競争力を保ち、イノベーションと進歩を推進するのに役立ちます。
キーラン・チャンドラー: 皆さん、今日のインタビューにようこそ。今日は、Lokadの創設者であるジョアネス・ヴェルモレルさんと、ニコシア大学の教授であり、未来研究所の所長、INSEADの名誉教授であるスピロス・マクリダキスさんがいます。ジョアネスさん、M-Competitionsに参加されたことがありますが、もう少し詳しく教えていただけますか？
ジョアネス・ヴェルモレル: はい、M-Competitionsはスキルに基づいて競い合う世界的に認知されたイベントです。これは主にマーケティングに焦点を当てた展示会とは異なります。興味深いことは、トップ100の企業の中に、私たちの最大の競合他社がどちらの側面を見ても存在しなかったことです。彼らが売っているのは予測ですから、実際のテスト中に起こることと、この市場で観察される典型的な市場シェアとの間には、大きな乖離があるということです。もう一つコメントしたいことは、私たちのモデルのシンプルさです。Lokadは、クオンタイル側の競争で、たった3つの単純さ（週の曜日、月の始まりと終わり、年の週）だけを持つ非常にシンプルなパラメトリックモデルを使用して、909チーム中6位に入りました。私たちはESSMを使用し、最高のモデルに比べて1%の精度で結果を出しました。最も興味深いことは、私たちは複雑さの0.001しか使用していないということです。これは、非常にシンプルな手法が非常に強力であることを示していると私は信じています。このコンペティションは、古典的な意味での精度だけが重要な要素ではないことも示しています。予測の他の側面、つまり不確実性の構造をより良く理解することも重要です。それが確率的予測の目的であり、Lokadでは10年近くこのことに取り組んできました。
スピロス・マクリダキス: その通りです、ジョアネスさん。最初のM-Competitionでは、シンプルな統計的手法の方が洗練された手法よりも正確でした。M5コンペティションでは、シンプルな機械学習手法の方が洗練された機械学習手法（ディープラーニングなど）よりも正確でした。精度と不確実性の両方のチャレンジでトップの競技者はシンプルな機械学習手法を使用し、ウォルマートのデータを最も正確かつ効果的に予測しました。M5コンペティションの興味深い側面の一つは、みんながコンピュータベースの予測技術を使用していることです。
キーラン・チャンドラー: それは今では業界全体で標準となっていますが、スパイロさんが始めた頃、つまり教授としてのキャリアをスタートした頃には、まさにコンピュータの黎明期だったかもしれません。では、コンピュータの導入は、あなたがやっていたことにどのような変化をもたらしましたか？どのような機会を与えてくれましたか？
スピロス・マクリダキス: それによって、物事がよりシンプルになりました。予測には2つの要素があります。1つは過去の出来事にフィットさせることで、これは簡単なことです。コンペティションを始める前、人々は過去に過剰適合して、将来が過去とまったく同じになると考えていました。予測データをトレーニングパートとテストパートに分けるという考えはありませんでした。ですから、私たちはできるだけ正確に、トレーニングパートではなく、テストパート、つまり将来を予測しようとします。なぜなら、将来は過去とまったく同じではなく、変化するからです。ですから、私たちはこれらの変化がどのように起こるのかを把握し、将来の予測をより正確に行うためにそれらを利用しようとします。これは非常に大きな違いです。なぜなら、過去の人々はそれを考慮していなかったからです。彼らは将来が過去とまったく同じになると考えていましたが、私たちは非常によく知っていますが、それは絶対に起こりません。
キーラン・チャンドラー: それに同意しますか、ジョアネスさん？過去数十年にわたって予測手法がどのように進化したかを振り返ると、どのように見えますか？
ジョアネス・ヴェルモレル: スパイロス・マクリダキスが指摘していることは基本的です。持っていないデータに対して正確性を求めたいというのは、非常に困惑することです。なぜなら、当然、正確性を測定する際には、持っているデータに対して正確性を測定することになるからです。しかし、これがやりたいことではありません。この問題は、20世紀末にヴァプニクとチェルヴォネンキスの理論によって一部解決されました。これは非常に抽象的な理論で、サポートベクターマシンの基礎を築きました。サポートベクターマシンは非常に複雑であり、経験的誤差と構造的誤差の両方を最小化する必要があります。構造的誤差は、実際に犯す可能性のある誤差と定義される実際の誤差を最小化する必要があります。これがサポートベクターマシンの本質です。サポートベクターマシンは非常に理論的な視点を持っています。いくつかの分野で機械学習の手法として実装され、大きな成功を収めてきました。彼らの最も重要な貢献は、より理論的な視点から何が起こっているのかを明確にしたことです。そして、実際の結果を得たい場合は、実際にデータの一部を保持する競技に頼ることが最善の方法だと思います。
キーラン・チャンドラー: 非常にクリーンな方法論を持つためには、テストシナリオでのアプローチと、実際の世界で行うことの違いはどのようになりますか？実際の世界では、常にすべてのデータにアクセスできるため、プロフェッサー・マクリダキスが指摘したこの強力な方法論的なバイアスが生じます。データに適合するものを持つことは非常に魅力的ですね。
スパイロス・マクリダキス: それは過去に行われていたことです。有名なボックス・ジェンキンスの方法論は、過去にできるだけ適合させることでしたが、それが未来においてより正確な予測を行う簡単な方法に負けていました。過剰適合すると、予測の本質を失います。未来は過去とまったく同じではありません。
ジョアネス・ヴェルモレル: まさにその通りです。私がLokadを始めた当初、クライアントは非常に乱れた時系列データ、例えばハイパーマーケットのアルコール消費量など、非常に乱れた製品に驚いていました。最初の数年間のLokadでは、まだ確率的な予測を行っていなかったため、クラシックな予測を行っていました。これらの超乱れた時系列データに対して、私は元の時系列データよりもはるかにスムーズな予測を示しました。私の競合他社のほとんどは、元の時系列データとまったく同じように乱れた予測時系列を示すことができました。クライアントは、非常に乱れたデータと突発的なデータである歴史的な時系列データとは異なるため、この超スムーズな予測が正しいとは信じられなかったため、私と多くの見込み客との間で多くの議論が行われました。一方、私の競合他社は非常に突発的な予測を示し、歴史データとまったく同じような突発的な予測を展示することができました。
キーラン・チャンドラー: では、スパイロスさん、私が本当に興味があるのは、あなたのキャリアを通じて予測に対する認識がどのように変わったかです。予測が科学として認識されるようになったのはいつであり、一般的に受け入れられるようになったのはいつですか？
スパイロス・マクリダキス: それには時間がかかりました。最初は、古典的な統計学者たちは、シリーズの変動に従うことが重要だと言っていました。しかし、それが予測方法ではありません。時間がかかりましたが、ランダム性を予測することはできないことに気付くまでに時間がかかりました。そして、Mコンペティションは、過去と未来を分離することが重要であり、過去に過剰適合しようとせず、過去から未来への変化に適応するモデルを持つことが重要であることを明確に証明しました。これが主な変化です。そして、予測を見るだけでなく、予測の不確実性も考慮する必要があることが受け入れられています。多くの人々はそれを好きではありませんが、心理的には不確実性について話すことはあまり良いことではありません。予測するけど不確かだと言うことは。
キエラン・チャンドラー: ヨアネス、あなたの予測の正確さはどれくらい不正確だと言えますか？クライアントからは、あなたが焦点を当てると主張している一方で、将来の不確実性が多いために予測することができないとも認めているとよく言われます。
スパイロス・マクリダキス: それが現実です、現実的であることを避けることはできません。予測には信頼レベルという考え方が導入されます。ヨアネス、あなたは認識がほとんど変わり、人々は予測にあまりにも多くのことを期待し、それが絶対的であることを期待していると言えますか？
ヨアネス・ヴェルモレル: それは興味深い質問です。私は何度かニューヨークで開催される全米小売業協会の見本市に参加したことがありますが、私の競合他社のほとんどは小売業で99%の正確さを持っていると主張していました。正直なところ、ハイパーマーケットではほとんどの商品が毎日少量ずつ売られているため、99%の正確さがどういう意味なのかさえわかりません。誰かが商品を選ぶかどうかを最後の単位まで知っていると思うことはばかげていますが、その人自身さえも知らないかもしれません。私は多くのベンダーが、統計的な予測が人口統計、電力消費、水消費などの他の分野で得た科学のオーラを利用して、ハイパーマーケットでも同じレベルの正確さを達成できると主張しているのを見ましたが、それはまったく同じではありません。多くのことができますが、正確さの観点では同じオーダーではありません。
スパイロス・マクリダキス: 予測のユーザーの最大の問題の1つは、彼らの期待が高すぎることです。コンサルタントが彼らに自信を持って予測を売り込もうとするため、これが最大の問題の1つです。ですので、私たちがフィールドで行わなければならないことの一部は、「私たちは予言者ではない」と言うことです。特に小売業のような私たちのデータは、不確実性が非常に大きいことを教えてくれますので、これについて何かしなければなりません。私たちは通常の不確実性だけでなく、有名なナシム・タレブのブラックスワンのような致命的な不確実性も話し合わなければなりません。これらのブラックスワンのイベントは、私たちの予測の多くを破壊し、パンデミックのような問題を引き起こします。不確実性を避けることはできません。
キエラン・チャンドラー: ヨアネス、それに同意しますか？私たちは過去にコンサルタントが予測からあまりにも多くを約束してくることについて少し話しました。
ヨアネス・ヴェルモレル: はい、同意します。確率的予測の難しいところは、それを作成する技術的な側面ではなく、コンサルタントがあまりにも多くを約束して期待を高めてしまったことを管理することでした。
キエラン・チャンドラー: では、ヨアネス、確率的予測と構造的な事前知識の重要性についてもう少し説明していただけますか？
ヨアネス・ヴェルモレル: もちろんです。確率、それはそれほど難しいものではありません。難しかったのは、確かにLokadが確率的予測を行っているという受け入れを伝えることでした。私たちの予測がクソだったからではありません。最初は競争で最高ではないかもしれませんが、私たちは確かに高いランキングではありません。問題は、私たちの予測がクソだったわけではなく、私たちにはコントロールできないことがあるという受け入れを持つことでした。そして、それらのテールイベントについて興味深いことは、突然、自分のDR（リスク管理）に対して非常に信頼がおけない状況になるということです。それが、再び、私にとって非常に興味深いことです。非テール、つまり比較的シンプルで管理しやすい予測モデルを維持することで、ある程度の主観性を持ちながらも、超珍しい超極端なイベントの要素を注入することができます。
キエラン・チャンドラー: なるほど、それがサプライチェーンの最適化にどのように役立つのですか？
ヨアネス・ヴェルモレル: それがLokadで行っていることです。例えば、パンデミックのようなものは予測できません。しかし、私たちができることは、それほど難しいことではなく、例えば「会社に影響を与える50％の減少の年間確率が2％あると仮定する」というような事前知識を注入することです。なぜ2％なのか、50％の減少から2％引く理由はわかりません。それは非常に主観的なものですが、興味深いことは、予測モデルにテールイベントの要素を注入すると、それがかなり不正確であるとしても、量的な評価においては非常に曖昧ですが、サプライチェーンの最適化を構築する際に、それらのテールイベントに対してはるかに堅牢な意思決定を導くことができるということです。そして、そのプロセスは非常にシンプルですが、実際には、人々にこれらのブラックスワンを理解させるためには多くの説得力が必要です。実際には、「ナシーム・タレブの著作をお読みください」と頻繁に言及しますが、見込み客に対して、ナシーム・タレブというもう一人の偉大なギリシャの思想家によって書かれた600ページの本を渡すというのは難しいです。
スピロス・マクリダキス: ヨアネス、質問してもいいですか？あなたは構造的な事前知識を注入しているように見えますが、それは予測モデルの精度に悪影響を及ぼす可能性があると考えていますか？
ヨアネス・ヴェルモレル: はい、それは非常に良い質問です、スピロス。それには2つの要素があります。まず、
キーラン・チャンドラー: スピロス、あなたは半世紀にわたりこの業界に関与してきました。キャリアを振り返って、一番誇りに思っていることは何ですか？
スピロス・マクリダキス: 私たちが予測において何がうまくいき、何がうまくいかないかについて、経験的な証拠を提供していることが一番誇りに思っています。それは単なる話ではなく、私たちはM-Competitionsを通じて実験を行ってきました。これらの実験から、どの方法がうまくいくか、どの方法がうまくいかないかをお伝えできます。私たちがお伝えできるのは、シンプルさがうまくいくということです。過去の出来事には多くのランダム性があることを認識していますし、すべてを正確に予測することはできません。私たちの予測は不確実性があり、リスクがありますので、このリスクに備えて何かをする必要があります。
キーラン・チャンドラー: 今日はお時間をいただき、ありがとうございました。
ヨアネス・ヴェルモレル: どうもありがとうございました。
スピロス・マクリダキス: インタビューしていただき、ありがとうございました。
キーラン・チャンドラー: 今週は以上です。ご視聴いただき、ありがとうございました。次のエピソードでお会いしましょう。
