予測精度の測定

Joannes Vermorel

ほとんどのエンジニアはこう言うでしょう:

測定しなければ、最適化はできない

実は、予測も例外ではありません。 予測精度の計測は、あらゆる予測技術の数少ない要石の一つです.

精度測定に関するよくある誤解は、Lokadが予測が過去のものになるのを待って、最終的に予測と実際に起こったことを比較する必要があるというものです.

このアプローチはある程度は機能しますが、重大な欠点が伴います:

• 非常に遅い: 6ヶ月先の予測は検証に6ヶ月かかります.
• 非常に過剰適合に敏感です: 過剰適合. 過剰適合は軽視すべきではなく、精度測定に甚大な混乱をもたらす数少ない要因の一つです.

提供された予測の精度を測定するのは私たちにとって骨の折れる作業です。 精度測定は私たちの予測技術の複雑さのほぼ半分を占めています: 予測技術が高度になるほど、堅牢な精度測定の必要性も高まります.

特に、Lokadは提供する各予測に関連する予測精度を返します（例えば、当社のExcelアドインは予測精度を報告します）。精度測定に使用される指標はMAPE（平均絶対パーセンテージ誤差）です.

推定精度を算出するために、Lokadは（大雑把に）交差検証を、時系列予測に合わせて実施します。交差検証は思ったほど複雑ではありません。たとえば、過去3年間（すなわち150週間）の履歴を用いた10週間先の週間予測を考えると、交差検証は次のような手順になります:

1. 最初の週を使い、10週間先を予測し、元のデータと比較します.
2. 最初の2週間を使い、10週間先を予測し、比較します.
3. 最初の3週間を使い、10週間先を予測し、比較します.
4. …

このプロセスは非常に手間がかかります。3年分の履歴データに対して約150回も予測を再計算することになるからです。当然、交差検証は自動化を強く求められ、コンピューターの支援なしでこのプロセスを進めることはほとんど不可能です。しかし、コンピューターの費用は通常、ビジネス上の予測誤差よりも低いため、Lokadはクラウドコンピューティングに依存して、このような高負荷な計算を実現しています.

上記のプロセスを “簡略化” しようとする試みは、過剰適合の問題を引き起こす可能性が非常に高いです。過剰適合は軽視すべきではないため、十分に注意してください。 疑わしい場合は、完全な交差検証を実施してください.

読者コメント (1)

実際の売上高の数値が1列と、予測値が2列あるデータから、売上高に対する予測精度を計算したいと考えています。必要なのは、各予測の精度を実際の売上高に対してパーセンテージで表示することです. 実際の売上高の数値が1列と、予測値が2列あるデータから、売上高に対する予測精度を計算したいと考えています。必要なのは、各予測の精度を実際の売上高に対してパーセンテージで表示することです. 単にパーセンテージの差を表示するだけでは不十分です（売上予測担当者は予測が下手なため、-200%から+200%の範囲になり得ます）、予測精度は0%から100%の数値として示す必要があります。 acekard 2i (8年前)