過学習：正確性の測定が間違っている場合
既に述べたように、予測の全体的な目的は、持っていないデータに対して正確なモデルを構築することです。しかし、初めに見ると、これはまた別のクレイジーな数学者の考えのように思えます：奇妙で非常に実用的ではありません。
しかし、私たちの経験では、「実際の予測の正確性を測定することは実際のビジネスの問題です。これに失敗するとお金がかかります。実際、企業が大きければ大きいほど、コストも大きくなります。
まだ実際の予測誤差がわからないですか？
最新の9分のスライドキャストをチェックしてください（スクリプトは以下に貼り付けられています）。
スライドキャストのスクリプト：
過学習：測定が示すよりも予測が良くないかもしれません
小売業、製造業、サービス業など、多くの業界にとって予測の正確性は重要です。顧客の需要を過剰に予測すると、スタッフや在庫が余り、コストが膨れ上がります。しかし、顧客の需要を過小に予測すると、顧客は製品を購入できないか、長時間待たなければならないため、怒ります。
このスライドキャストでは、過学習と呼ばれる予測の知られていない問題を紹介します。
この問題は2つの理由で知られていません。まず、それは微妙な問題であり、多くの側面で明白で直感に反するものです。第二に、この問題は19世紀以来、数学者たちを悩ませてきた問題です。実際、10年以上前の90年代末になって、科学界はこの問題を理論的レベルだけでなく、実践的レベルでも本当に理解し始めました。
さらに進む前に、結論に飛びましょう。過学習は予測に非常に強い影響を与えます。過学習によって、実際の予測誤差が20％であるにもかかわらず、10％の予測誤差があると信じ込むことがあります。これは最悪の状況ではありません。
過学習は非常に実際のビジネスの問題です。過学習はお金がかかります。
さらに、過学習に対する回避策はありません。現代の統計理論はこの概念の上に構築されています。どのように統計をアプローチしようとも、過学習は残ります。
キープロブレムは、予測の正確性を実際にどのように定義するかです。
直感的には、予測の正確性を測定する最も簡単な方法は、予測を行い、予測されたイベントが発生するのを待つことです。その後、予測とそれに対応する結果を比較することができます。
しかし、この方法には大きな欠点があります。過去の予測が良かったか悪かったかを知っても、ビジネスの観点からはあまり重要ではありません。というのも、それらを変更することはできません。本当に重要なのは、これから行われる予測が本当に正確であることを確認することです。
さらに、別の問題があります。予測を作成するために使用される方法が次々と異なる場合、過去の正確性が将来の正確性の信頼性のある指標として使用できる理由はありません。
18世紀以来、数学者たちは統計モデルという概念を導入してきました。統計モデルの主な側面は、良い予測を提供することではなく、繰り返し可能な予測を提供することです。
統計モデルを使用すると、予測の作成を自動化するプロセスが得られます。予測が良くなることを保証するわけではありませんが、少なくとも予測が悪い場合はモデルをさらに分析できます。
次のサンプル時系列を考えてみましょう。連続する統計モデルを考慮して、過学習の問題を説明します。
まず、単純な線形モデルから始めましょう。ご覧の通り、この直線は時系列の点にはほとんど適合していません。その結果、誤差が大きく、50％以上になっています。このモデルはデータにほとんど適合していません。
次に、モデルの複雑さを増やすことができます。今度は、ローカルな時系列の平均に近いモデルができました。この新しいモデルは前のモデルよりもずっと良く見え、実際に誤差は5分の1に減少し、10％になりました。
ここでは良いモデルがありますが、誤差をさらに減らすことはできるでしょうか？ 答えは簡単です。1％以下の誤差を達成するモデルを作成することができます。
ご覧の通り、それはかなり簡単です。ほとんどすべての時系列の点を通過するモデルを設計するだけです。
しかし、このモデルを将来の予測で1％の正確さを信頼できるでしょうか？ 明らかに、できません！ このモデルは、ランダムな変動にすぎない過去の微小な変動を微調整しています。直感的には、真のランダム性を予測することはできません。傾向、季節性などのパターンのみを予測できます。
さて、最後の2つのモデルを比較すると、明らかな問題があります。誤差の測定によれば、右側のモデル（誤差1％）は左側のモデルよりも10倍優れています。
しかし、最良のモデルは明らかに左側にあります。このモデルは時系列のランダムな変動を平滑化しています。
したがって、誤差の測定方法には問題があります。この誤差は、前のグラフで示されているように、経験的な誤差として知られています。これは、過去のデータの測定によって得られる誤差です。
しかし、私たちが本当に興味を持っているのは、実際の誤差です。実際の誤差は、持っていないデータ、つまり将来のデータに対する予測モデルの誤差と定義されます。
しかし、この定義は完全な逆説のように見えます。データがない場合、何を測定できるのでしょうか！
19世紀以来、統計学者はこの問題をバイアスと分散のトレードオフとして考えてきました。
私たちが持っている3つのモデルを見ると、線形モデルはバイアスが高いと言えます。どの線形モデルを選んでも、データに本当に適合することはありません。もちろん、データ自体が線形に分布している場合は別ですが、ほとんどの場合、線形モデルはデータ分布を近似するだけです。
それに対して、線形モデルは分散が低いです。直感的には、時系列の1つの点を追加または削除しても、結果のモデルにはほとんど影響を与えません。このモデルはかなり安定しています。
反対の極端な場合、右側のモデルはバイアスが非常に低いです。時系列のほとんどの点に適合しすぎています。しかし、分散は非常に高いです。1つの点を追加または削除するだけで、このモデルに大きな変更が生じる可能性があります。まったく安定性がありません。
中央には、バイアスと分散の両方をバランスするモデルがあります。これが最適な方法です。
ただし、バイアス対分散のアプローチの主な問題は、実際の誤差、つまり持っていないデータの誤差についてまだ何もわからないことです。
このトレードオフは、真の統計基準よりもむしろヒューリスティックなものです。
1990年代後半以降、統計的予測を包括するより広範な理論である統計学習の分野は、理論的および実践的なレベルで重要な進展を遂げてきました。
この理論は複雑ですが、単純な方程式によって結果についての重要な洞察を与えてくれます。この理論は、真の誤差が経験誤差と構造リスクと呼ばれる別の値の和で上限が与えられることを示しています。
先に見たように、経験誤差は単に過去のデータで測定された誤差です。
構造リスクは、特定のモデルクラスに対して明示的に計算できる理論的な基準であり、他のほとんどのクラスに対して推定できます。
最初の例に戻ると、モデルの複雑さとともに構造リスクが増加することがわかります。
これらの構造リスクを定量化すると、次のような見通しを得ることができます。
まだ真の誤差はわかりません - その値は直接測定することはできません - しかし、中央のモデルが真の誤差の最も低い上限を持っていることがわかります。
統計学習理論は真の誤差の値を与えてくれませんが、代わりに上限を与えてくれます。そして、ポイントは、最も低い上限を達成するモデルを選ぶことです。
この上限は、真の誤差の最大値として機能します。
バイアスと分散のトレードオフと比較して、統計学習理論は真の誤差の定量的な推定値を提供してくれます。
構造リスクは実際には推定が難しいです。しかし、現時点では、過学習を回避するための最もよく知られた解決策です。
先に見たように、モデルの複雑さを増すことで過学習の問題に直面する明らかな方法がありました。
しかし、過学習の問題に直面するもう1つのより微妙な方法もあります。それは、データの複雑さを増すことによって起こる可能性があります。
データに追加の点を追加すると、過学習の問題が軽減されますが、データに追加の次元を追加すると、モデル自体は変わらなくても過学習の問題が発生する可能性があります。
Lokadの経験では、年々データ入力を増やして自社の予測モデルを改善する組織が、そのモデルに潜む構造リスクに明示的に注意を払わないまま、この状況に頻繁に遭遇します。
高次元では、線形モデルでも過学習の問題が発生します。
これで過学習に関する短いプレゼンテーションは終わります。覚えておくべきことは、構造リスクを考慮しない場合、予測誤差の測定値は非常に欺瞞的になる可能性があるということです。そして、企業が大きければ大きいほど、それはより多くのお金をかかるでしょう。
ご関心いただきありがとうございます。フォーラムでご質問にお答えすることをお楽しみに。
リーダーコメント（9）
興味深いスライドショー 3年前 | Mark
すごい素晴らしいビデオです。過学習を理解するのに役立ってくれてありがとう。 4年前 | Melford McRae
BTW、私はいくつかのブラウザでスライドショーを表示しようと試みましたが、表示されませんでした。ロカッドのスタッフがチェックして問題を確認してくれることはできますか？ 4年前 | Shaun Snapp
動作するリフレッシュされたビデオを投稿しました。 4年前 | Joannes Vermorel
SlideShareは年々スタッフを維持していないようです :-( ここにオーディオファイル https://media.lokad.com/videos/2009-04-21-overfitting/overfitting.mp3 と PowerPointファイル https://media.lokad.com/videos/2009-04-21-overfitting/overfitting.pptx があります。これらをYouTubeビデオとして統合します。 4年前 | Joannes Vermorel
これはかなり厄介な問題です。予測モデルを測定する他の方法はありませんが、歴史的なパフォーマンスに対してチェックすることで、“最高の精度"を得るために過学習する傾向があります。これは、より高い割合の企業が実際に購入した予測システムで最適な適合手順を使用するか、モデルを本当に調整する場合に、より大きな問題になるでしょう。ベストフィット手順を使用する場合に過学習を防ぐ方法についての議論に興味があります。 4年前 | Shaun Snapp
https://blog.lokad.com/journal/2014/5/20/how-to-mitigate-overfitting-when-forecasting-demand でフォローアップの回答を投稿しました。役に立てば幸いです！ 4年前 | Joannes Vermorel
スライドショーに感謝します。数学的な詳細には触れずに、過学習を理解するのに役立ちました。 8年前 | Shyam Prasad Murarka
スライドショーありがとうございます。 8年前 | Abhishek