CRPSからクロスエントロピーへ
私たちの深層学習技術は、私たちとお客様の両方にとって重要なマイルストーンです。深層学習に関連する変化のいくつかは、専門家でない人にとっても明白で具体的です。たとえば、Lokadのオフィスには、比較的高価なゲーミング製品に関連するNvidiaのボックスが散乱しています。2008年にLokadを立ち上げた当時、私は供給チェーンの課題の解決に高性能なゲーミングハードウェアがこれほど多く関与するとは思っていませんでした[/ja/供給チェーン-管理-定義/]。
そして、他のいくつかの変化は非常に微妙でありながらも重要です。CRPS（連続ランク付け確率スコア）からクロスエントロピーへの移行は、その変化の1つです。
LokadでCRPSメトリックの体系的な使用は、私たちの4世代の予測エンジン（最初のネイティブ確率エンジン）と同時に導入されました。CRPSは、ピンボール損失関数の一般化として導入され、その目的を果たしました。当時、CRPSなしでは、Lokadは航空宇宙やファッションの課題を解決することはできませんでした。CRPSは、おおよそ言えば、平均絶対誤差を確率的予測に一般化したものですが、欠点もあります。
たとえば、CRPSの観点からは、確率の大部分が実際の観測結果からあまりにも遠くない場合、推定された結果に_ゼロ_の確率を割り当てることは問題ありません。これは、平均絶対誤差の一般化に期待される動作です。しかし、これはまた、確率モデルが_絶対的な確信_を持って特定のイベントが起こらないと主張する可能性があり、それらのイベントが_実際に起こる_という事実があります。このような将来に関する大きく間違った統計的な声明は、CPRSによって構造的に過小評価されるコストを伴います。
対照的に、クロスエントロピーは、実際には発生する結果にゼロの確率を割り当てた後に_証明された誤り_に無限のペナルティを割り当てます。したがって、クロスエントロピーの観点からは、モデルは_すべての未来は可能であり、同じ確率ではない_という視点を受け入れる必要があります。正確な確率推定のための十分なデータがない場合には、一様なゼロの確率を割り当てることはもはや有効な答えではありません。
ただし、クロスエントロピーは純粋に理論的な観点から優れているだけでなく、実際には統計学習プロセスを駆動するためにクロスエントロピーを使用すると、CRPSとクロスエントロピーの両方に対して優れたモデルが得られます。CRPSが最適化プロセスから完全に欠落している場合でも同様です。
クロスエントロピーは、私たちの第5世代の予測エンジンの基本的なメトリックです。このメトリックは、以前の予測エンジンのバックアップに基づいていた直感から大きく逸脱しています。Lokadは、これまでのイテレーションが頻度主義の視点に基づいていたのに対して、統計学習に完全なベイズ的視点を採用しています。
クロスエントロピーに関する最新のナレッジベースエントリをチェックしてください。
