Vorhersagegenauigkeit messen

Joannes Vermorel

Die meisten Ingenieure werden Ihnen sagen, dass:

Man kann nicht optimieren, was man nicht misst

Es stellt sich heraus, dass Prognosen keine Ausnahme sind. Die Messung der Vorhersagegenauigkeit ist einer der wenigen Eckpfeiler jeder Prognosetechnologie.

Ein häufiges Missverständnis bei der Genauigkeitsmessung ist, dass Lokad warten muss, bis die Prognosen zur Vergangenheit werden, um schließlich die Prognosen mit dem zu vergleichen, was tatsächlich passiert ist.

Obwohl dieser Ansatz bis zu einem gewissen Grad funktioniert, bringt er erhebliche Nachteile mit sich:

• Es ist schmerzhaft langsam: Eine 6 Monate vorausgehende Prognose benötigt 6 Monate zur Validierung.
• Es ist sehr anfällig für Overfitting. Overfitting darf nicht auf die leichte Schulter genommen werden, und es gehört zu den wenigen Dingen, die sehr wahrscheinlich Ihre Genauigkeitsmessungen durcheinanderbringen.

Die Messung der Genauigkeit der gelieferten Prognosen ist für uns eine schwierige Aufgabe. Die Genauigkeitsmessung macht ungefähr die Hälfte der Komplexität unserer Prognosetechnologie aus: Je fortgeschrittener die Prognosetechnologie, desto größer ist der Bedarf an robusten Genauigkeitsmessungen.

Insbesondere gibt Lokad die Vorhersagegenauigkeit zu jeder einzelnen gelieferten Prognose zurück (zum Beispiel meldet unser Excel-addin die Vorhersagegenauigkeit). Das für die Genauigkeitsmessung verwendete Maß ist der MAPE (Mean Absolute Percentage Error).

Um eine geschätzte Genauigkeit zu berechnen, geht Lokad (grob) über Cross-Validation vor, die für time-series Prognosen optimiert ist. Cross-Validation ist einfacher, als es klingt. Wenn wir eine wöchentliche Prognose, die 10 Wochen vorausgeht, mit 3 Jahren (also 150 Wochen) Historie betrachten, sieht die Cross-Validation folgendermaßen aus:

1. Nehmen Sie die 1. Woche, prognostizieren Sie 10 Wochen voraus und vergleichen Sie die Ergebnisse mit den Originalwerten.
2. Nehmen Sie die ersten 2 Wochen, prognostizieren Sie 10 Wochen voraus und vergleichen Sie.
3. Nehmen Sie die ersten 3 Wochen, prognostizieren Sie 10 Wochen voraus und vergleichen Sie.
4. …

Der Prozess ist ziemlich mühsam, da wir Prognosen etwa 150 Mal für nur 3 Jahre Historie neu berechnen. Offensichtlich schreit die Cross-Validation nach Automatisierung, und es gibt wenig Hoffnung, einen solchen Prozess ohne Computerunterstützung zu durchlaufen. Dennoch kosten Computer in der Regel weniger als geschäftliche Prognosefehler, und Lokad setzt auf Cloud Computing, um solch rechenintensive Berechnungen durchzuführen.

Versuche, den beschriebenen Prozess zu “vereinfachen”, enden sehr wahrscheinlich mit Overfitting-Problemen. Wir raten, äußerst vorsichtig zu sein, da Overfitting kein Problem ist, das man auf die leichte Schulter nehmen sollte. Im Zweifelsfall bleiben Sie bei einer vollständigen Cross-Validation.

Leserkommentare (1)

Ich möchte die Vorhersagegenauigkeit im Vergleich zum Verkauf berechnen, wobei ich eine Spalte mit den tatsächlichen Verkaufszahlen und zwei weitere Spalten mit Prognosen habe. Was ich tun muss, ist, die Genauigkeit jeder Prognose im Vergleich zu den tatsächlichen Verkaufszahlen in Prozent anzuzeigen. Ich möchte die Vorhersagegenauigkeit im Vergleich zum Verkauf berechnen, wobei ich eine Spalte mit den tatsächlichen Verkaufszahlen und zwei weitere Spalten mit Prognosen habe. Was ich tun muss, ist, die Genauigkeit jeder Prognose im Vergleich zu den tatsächlichen Verkaufszahlen in Prozent anzuzeigen. Einfach nur die prozentuale Differenz anzuzeigen, reicht nicht aus (diese kann von -200% bis +200% variieren, da unsere Vertriebsmitarbeiter bei der Prognose völlig versagen), ich muss die Genauigkeit als Zahl von 0% bis 100% darstellen. acekard 2i (vor 8 Jahren)