CRPSからクロスエントロピーへ
私たちのディープラーニング技術は、我々とクライアントにとって重要なマイルストーンです。ディープラーニングに関連する変化のいくつかは、専門家でなくとも明確で具体的です。例えば、Lokadのオフィスは、比較的ハイエンドなゲーミング製品に関連するNvidiaの機器で溢れています。2008年にLokadを始めた当時、サプライチェーンの課題の解決に、これほど多くのハイエンドゲーミングハードウェアが関与するとは予想していませんでした。
そして、その他にも非常に微妙でありながら極めて重要な変化があります。それは、連続ランク付け確率スコア（CRPS）からクロスエントロピーへの移行、というものです.
LokadにおけるCRPS指標の体系的な利用は、私たちの第4世代予測エンジン（最初のネイティブ確率予測エンジン）と同時に導入されました。CRPSは、一般化されたピンボール損失関数として導入され、その役割を十分に果たしました。当時、Lokadはこの指標なしでは、航空宇宙やファッションのサプライチェーンにおける課題を解決できなかったでしょう。しかし、CRPSは大雑把に言えば、平均絶対誤差を確率的予測へ一般化するものの、欠点がないわけではありません.
例えば、CRPSの観点からは、確率の大部分が実際の観測結果から大きく逸脱していなければ、推定結果に対して_ゼロ_の確率を割り当てることは許容されます。これは平均絶対誤差の一般化として期待されることでしょう。しかし、これにより確率モデルは、ある出来事が絶対に起こらないと_絶対的な確信_をもって主張する可能性があり、その一方で実際にはその出来事が確かに発生するということになります。このような未来に対する大幅に誤った統計的主張は、CRPSでは本質的に過小評価されたコストを伴います.
それに対して、クロスエントロピーは、実際に発生した結果に対してゼロの確率を割り当て、その結果が現れた場合に_明らかに間違っている_と証明されたモデルに無限のペナルティを課します。したがって、クロスエントロピーの観点からは、モデルは「すべての未来は可能であるが、確率は平等ではない」という視点を受け入れなければなりません。十分なデータがなく正確な確率推定ができない場合に一律でゼロの確率を割り当てることは、もはや有効な回答ではありません.
しかしながら、クロスエントロピーは純粋な理論的観点だけでなく、実際に統計的学習プロセスを推進する際にも優れています。実際、クロスエントロピーを用いて学習を行うことで、最終的にはクロスエントロピーとCRPSの両指標において優れたモデルが得られます。たとえCRPSが最適化プロセスから完全に除外されていたとしてもです.
クロスエントロピーは、私たちの第5世代予測エンジンを駆動する基本的な指標です。この指標は、以前の予測エンジンを支えていた直感から大きく逸脱しています。Lokadは初めて統計的学習において完全なベイズ的視点を採用し、従来の反復版が頻度主義的な視点に依拠していたのとは対照的です.
最新の知識ベースの記事で、クロスエントロピーについて確認してください。
