予測精度の測定

Joannes Vermorel

エンジニアのほとんどは次のように言います：

計測しないものは最適化できない

予測も例外ではないことがわかりました。予測の精度の測定は、どんな予測技術においても数少ない基本的な要素の1つです。

精度測定に関するよくある誤解の1つは、Lokadが予測が過去になるのを待たなければならないということです。つまり、予測と実際の結果を最終的に比較するために待たなければならないという誤解です。

ただし、このアプローチはある程度機能しますが、深刻な欠点があります：

• 非常に遅い：6か月先の予測を検証するのに6か月かかります。
• 過学習に非常に敏感です。過学習は軽視してはいけないものであり、精度測定において大きな混乱を引き起こす可能性が高い数少ない要素の1つです。

納品された予測の精度を測定することは、私たちにとって非常に困難な作業です。精度測定は、当社の予測技術の複雑さのおおよそ半分を占めています：予測技術が進化すればするほど、堅牢な精度測定がますます重要になります。

特に、Lokadは、提供するすべての予測に関連する予測精度を返します（たとえば、当社のExcelアドインは予測精度を報告します）。精度測定に使用される指標はMAPE（平均絶対パーセンテージ誤差）です。

推定された精度を計算するために、Lokadは（おおよそ）時系列予測向けに調整された交差検証を行います。交差検証は聞こえるほど複雑ではありません。たとえば、3年間（つまり150週間）の履歴を持つ週次予測を10週先まで行う場合、交差検証は次のようになります：

1. 最初の週を取り、10週先を予測し、結果を元のものと比較します。
2. 最初の2週を取り、10週先を予測し、比較します。
3. 最初の3週を取り、10週先を予測し、比較します。
4. …

このプロセスはかなり手間がかかります。たった3年間の履歴に対して約150回の予測を再計算することになります。明らかに、交差検証は自動化を求めるものであり、コンピューターのサポートなしでこのプロセスを行うことはほとんど望みがありません。しかし、コンピューターは通常、ビジネスの予測誤差よりも安価であり、Lokadはクラウドコンピューティングを利用してこのような高負荷の計算を提供しています。

上記のプロセスを「簡略化」しようとする試みは、過学習の問題を引き起こす可能性が非常に高いです。過学習は軽視してはいけない問題であるため、疑わしい場合は完全な交差検証に固執することをお勧めします。

リーダーコメント（1）

実際の売上と比較して予測の精度を計算したいのですが、実際の売上の数字が1つの列にあり、予測の数字が2つの別の列にある場合、各予測の精度を実際の売上に対してパーセンテージで表示する必要があります。 実際の売上と比較して予測の精度を計算したいのですが、実際の売上の数字が1つの列にあり、予測の数字が2つの別の列にある場合、各予測の精度を実際の売上に対してパーセンテージで表示する必要があります。 単にパーセンテージの差を表示するだけでは十分ではありません（売上担当者は予測が下手なため、-200％から+200％までの範囲になります）、0％から100％までの数字として精度を表示する必要があります。 acekard 2i（8年前）