Messung der Prognosegenauigkeit

Joannes Vermorel

Die meisten Ingenieure werden Ihnen sagen, dass:

Was man nicht misst, kann man nicht optimieren.

Es stellt sich heraus, dass Prognosen keine Ausnahme sind. Die Messung der Prognosegenauigkeit ist einer der Grundpfeiler jeder Prognosetechnologie.

Ein häufiger Irrtum bei der Genauigkeitsmessung besteht darin, dass Lokad auf die Vergangenheit warten muss, um die Prognosen schließlich mit dem tatsächlichen Ergebnis zu vergleichen.

Obwohl dieser Ansatz bis zu einem gewissen Grad funktioniert, hat er schwerwiegende Nachteile:

• Es ist schmerzhaft langsam: Eine Prognose für 6 Monate im Voraus dauert 6 Monate, um validiert zu werden.
• Es ist sehr anfällig für Overfitting. Overfitting sollte nicht auf die leichte Schulter genommen werden, und es ist eine der wenigen Dinge, die sehr wahrscheinlich Ihre Genauigkeitsmessungen durcheinanderbringen werden.

Die Messung der Genauigkeit der gelieferten Prognosen ist eine schwierige Aufgabe für uns. Die Genauigkeitsmessung macht etwa die Hälfte der Komplexität unserer Prognosetechnologie aus: Je fortschrittlicher die Prognosetechnologie, desto größer ist der Bedarf an robusten Genauigkeitsmessungen.

Insbesondere gibt Lokad die mit jeder einzelnen Prognose gelieferte Prognosegenauigkeit zurück (zum Beispiel berichtet unser Excel-Add-In die Prognosegenauigkeit). Das für die Genauigkeitsmessung verwendete Maß ist der MAPE (Mean Absolute Percentage Error).

Um eine geschätzte Genauigkeit zu berechnen, geht Lokad (ungefähr) durch eine Kreuzvalidierung, die auf Zeitreihenprognosen abgestimmt ist. Kreuzvalidierung ist einfacher als es klingt. Wenn wir eine wöchentliche Prognose 10 Wochen im Voraus mit 3 Jahren (aka 150 Wochen) an Historie betrachten, sieht die Kreuzvalidierung wie folgt aus:

1. Nehmen Sie die erste Woche, prognostizieren Sie 10 Wochen im Voraus und vergleichen Sie die Ergebnisse mit dem Original.
2. Nehmen Sie die ersten 2 Wochen, prognostizieren Sie 10 Wochen im Voraus und vergleichen Sie.
3. Nehmen Sie die ersten 3 Wochen, prognostizieren Sie 10 Wochen im Voraus und vergleichen Sie.
4. …

Der Prozess ist ziemlich mühsam, da wir etwa 150 Mal Prognosen für nur 3 Jahre Geschichte neu berechnen müssen. Offensichtlich schreit die Kreuzvalidierung nach Automatisierung, und es besteht wenig Hoffnung, einen solchen Prozess ohne Computerunterstützung durchzuführen. Computer kosten in der Regel weniger als Geschäftsprognosefehler, und Lokad verlässt sich auf Cloud Computing, um solche rechenintensiven Berechnungen durchzuführen.

Versuche, den beschriebenen Prozess zu “vereinfachen”, führen sehr wahrscheinlich zu Overfitting-Problemen. Wir empfehlen, sehr vorsichtig zu sein, da Overfitting kein Problem ist, das auf die leichte Schulter genommen werden sollte. Im Zweifelsfall halten Sie sich an eine vollständige Kreuzvalidierung.

Leserkommentare (1)

Ich möchte die Prognosegenauigkeit im Vergleich zu den Verkäufen berechnen, wobei ich eine Spalte mit den tatsächlichen Verkaufszahlen und zwei weitere Spalten mit Prognosen habe. Was ich tun muss, ist die Genauigkeit jeder Prognose im Vergleich zu den tatsächlichen Verkäufen als Prozentsatz anzeigen. Es reicht nicht aus, nur die prozentuale Differenz anzuzeigen (kann von -200% bis +200% sein, da unsere Vertriebsmitarbeiter schlecht in der Prognose sind), ich muss die Genauigkeit als Zahl von 0% bis 100% anzeigen. vor 8 Jahren | acekard 2i