予測精度の測定
ほとんどのエンジニアは次のように言います：
計測しないものは最適化できない
予測も例外ではありません。予測精度の測定は、どんな予測技術においても基礎の一つです。
精度の測定に関するよくある誤解は、Lokadが予測が過去になるのを待たなければならないということです。つまり、予測と実際の結果を比較するためには。
しかし、このアプローチには深刻な欠点があります：
- 非常に遅いです：6ヶ月先の予測を検証するのに6ヶ月かかります。
- 過学習に非常に敏感です。過学習は軽視してはいけないものであり、精度測定において大きな混乱を引き起こす可能性があるものの一つです。
私たちにとって、提供された予測の精度を測定することは非常に困難な作業です。精度の測定は、予測技術の複雑さのおおよそ半分を占めています：予測技術が進化すればするほど、堅牢な精度測定の必要性が高まります。
特に、Lokadは私たちが提供するすべての予測に関連する予測精度を返します（たとえば、私たちのExcelアドインは予測精度を報告します）。精度測定に使用される指標はMAPE（平均絶対パーセント誤差）です。
推定された精度を計算するために、Lokadは（おおよそ）時系列予測に調整された交差検証を使用します。交差検証は聞こえるほど複雑ではありません。週次の予測を10週先に行い、3年（150週）の履歴を考慮する場合、交差検証は次のようになります：
- 最初の週を取り、10週先を予測し、結果を元のデータと比較します。
- 最初の2週間を取り、10週先を予測し、比較します。
- 最初の3週間を取り、10週先を予測し、比較します。
- …
このプロセスは非常に手間がかかります。たった3年の履歴に対して、予測を約150回再計算する必要があります。明らかに、交差検証は自動化を求めるものであり、コンピュータのサポートなしでこのプロセスを行うことはほとんど望めません。ただし、ビジネスの予測エラーよりもコンピュータのコストの方が安いため、Lokadはクラウドコンピューティングを利用してこのような高負荷の計算を提供しています。
上記のプロセスを「簡略化」しようとする試みは、過学習の問題を引き起こす可能性が非常に高いです。過学習は軽視してはいけない問題ですので、非常に注意が必要です。疑わしい場合は、完全な交差検証に固執してください。
リーダーコメント（1）
実際の売上と比較して予測精度を計算したいのですが、実際の売上の数字が1つの列にあり、予測の数字が2つの別の列にあります。実際の売上に対する各予測の精度をパーセンテージで表示する必要があります。 単にパーセンテージの差を表示するだけでは十分ではありません（売上担当者は予測が下手なため、-200％から+200％までの範囲になります）。0％から100％の範囲で精度を表示する必要があります。8年前 | acekard 2i
