需要予測時の過学習を軽減する方法は？
私たちの過学習に関するビデオは、5年前に公開されて以来、注目を集めてきました。つまり、Lokadのようなスタートアップにとっては半世紀前です。数年後、私たちは多くの進歩を遂げましたが、過学習は依然として難しい問題です。
簡単に言えば、過学習は、予測モデルが過去のデータの予測に正確であり、将来の予測に正確でないリスクを表します。良い予測モデルは、持っていないデータの予測にも優れているべきです。
一般的な誤解は、歴史的データに対してモデルのパフォーマンスをチェックする以外に、モデルを評価する方法はないということです。確かに、歴史的データは活用されるべきですが、[Vapnik-Chervonenkis理論から覚えておくべき洞察が1つあります。すべてのモデルは平等に生まれているわけではなく、一部のモデルは他のモデルよりもはるかに多くの_構造的リスク_（理論の一部である概念）を持っています。モデルのクラス全体は安全または危険と見なされることがあります。純粋に理論的な観点からは、これは非常に現実的な精度の改善につながります。
過学習の問題は完全に回避することはできませんが、それでも軽減することはできます。
過学習を軽減するためのいくつかの方法があります。まず、絶対に破ってはならないルールは次のとおりです：予測モデルは、最初にモデルのトレーニングに使用されたデータに対して評価されるべきではありません。多くのツールキットは、全体の適合度を推定するためにモデルを履歴全体に回帰させます。名前が示すように、このプロセスは適合度を提供しますが、それ以上のものは提供しません。特に、適合度は任意の予測精度として解釈されるべきではありません。適合度は通常、実際の精度よりもはるかに低いです。
次に、過学習を軽減するための簡単な方法は、広範なバックテストを実行することです。実際には、プロセスは入力データセットを数十回、もしくは数百回の増分日付のしきい値で分割し、すべての予測モデルを再トレーニングし、それぞれを再評価する必要があります。バックテストには多くの処理能力が必要です。広範なバックテストを実行するために必要な膨大な処理能力を割り当てることができるようになったことは、実際にはLokadがクラウドコンピューティングに移行した主な理由の1つでした。
さらに、最も広範なバックテストも、最初から時系列がまばらである場合はほとんど意味をなしません。つまり、時系列が低い販売量のアイテムを表す場合です。実際、時系列のほとんどのデータポイントはゼロであり、バックテストプロセスはゼロを繰り返すことでほとんど学習しません。商業にとって不運なことに、販売またはサービスの対象となるアイテムの約90%は、統計的な観点からは_まばら_と見なされる需要履歴を持っています。この問題に対処するために、モデルのパフォーマンスは複数の時系列の視点で評価する必要があります。単一の時系列上のモデルのパフォーマンスではなく、明確に定義された時系列のクラスター上のモデルのパフォーマンスが重要です。その後、最適なモデルを選択する際には、_ローカル_と_グローバル_の経験的な精度のバランスが重要になります。
何か質問はありますか？コメントとして投稿してください。
リーダーコメント（2）
ショーン、 バックテストは統計学における非常に基本的なツールです。これは数十年にわたり、金融、気象、交通、エネルギーなど、ほぼすべての領域で使用されてきました。バックテストには「信頼」は必要ありません。予測プロセスの正確性を評価する際に私たちにとって唯一の確固たる方法です。このテーマに関する文献は山ほどありますので、まずは「統計的学習の要素」を読むことから始めることをお勧めします。4年前 | Joannes Vermorel
ジョアネス、 これは非常に興味深いです。ただし、クライアントにこれを説明する方法については少し躊躇しています。 ですので、私の理解が正しいのであれば、Lokadではバックテストを実行することができますが、バックテストは機械学習の一形態であるため、行われた内容を説明することにはかなりの課題があるのではないでしょうか？それが高度なアルゴリズムになると、それが機能することを基本的に信頼しなければなりませんか？明らかに、これはLokadの主要な焦点ですので、そこでの皆さんはこれについて多くの考えを巡らせていると思います。ただし、具体的な詳細を理解するための限られた企業の対象者がいると考えています。ですので、Lokadは以前の企業に対して行った研究の結果に依存しているのでしょうか？それによってバックテストの純利益を示していますか？ 4年前 | Shaun Snapp
