Prognosegenauigkeit - Software zur Bestandsoptimierung

Prognosegenauigkeit (Definition und Einblicke)


Startseite » Wissensdatenbak » Hier
Joannes Vermorel, Juni 2013

In der Statistik entspricht die Genauigkeit einer Prognose dem Grad Genauigkeit der Mengenangabe zum tatsächlichen Istwert dieser Menge. Der Istwert kann üblicherweise zum Zeitpunkt der Prognosedurchführung nicht ermittelt werden, da sich die Aussage auf die Zukunft bezieht. Für die meisten Unternehmen bedeuten präzisere Prognosen eine Steigerung ihrer Effizienz hinsichtlich der Nachfragebefriedigung, während gleichzeitig die allgemeinen Betriebskosten gesenkt werden.

In diesem Artikel nehmen wir einen statistischen Standpunkt an, der vor allem für den Handel und in der Herstellung relevant ist, insbesondere hinsichtlich der Lagerbestandsoptimierung und Bedarfsermittlung.

Einsatz der Genauigkeitsschätzungen

Die errechnete Genauigkeit bietet eine quantitative Schätzung der voraussichtlichen Qualität der Prognosen. Für die Lagerbestandsoptimierung kann die Schätzung der Prognosegenauigkeit mehreren Zwecken dienen:

  • Auswahl zwischen mehreren Prognosemodellen, die der Abschätzung der Leitnachfrage dienen
  • Berechnung des Sicherheitsbestands, unter der Annahme, dass die Prognosefehler einer Normalverteilung unterliegen.
  • Priorisierung der Waren, auf die ein besonderes Augenmerk gelegt werden muss, da unbearbeitete statistische Prognosen nicht verlässlich genug sind.

In einem anderen Zusammenhang, wie z. B. der strategischen Planung, werden die Genauigkeitsschätzungen verwendet, um die WENN-Analyse, unter Berücksichtigung verschiedener Szenarien und der jeweiligen Wahrscheinlichkeit zu unterstützen.

Auswirkungen der Aggregation auf die Genauigkeit

Die Interpretation der Qualität des Prognosemodells als der treibende Hauptfaktor hinter der Prognosegenauigkeit ist eine häufige Fehleinschätzung: Dem ist nicht so!

Der treibende Hauptfaktor hinter dem Genauigkeitswert ist die immanente Volatilität des prognostizierten Phänomens. In der Praxis, wie dem Handel oder der Herstellung, korrelierte diese Volatilität stark mit der Aggregationsebene:
  • Je größer der Bereich, z. B. nationale vs. regionale Prognosen, desto höher die Genauigkeit.
  • Je länger der Zeitraum, z. B. monatliche vs. tägliche Prognosen, desto höher die Genauigkeit.

Anekdotenhafter Nachweis: Wir von Lokad können regelmäßig beobachten, dass es so etwas wie eine gute Genauigkeit gar nicht gibt; es kommt auf die Umstände an. Bei der Prognose des nationalen Stromverbrauchs eines großen europäischen Landes für den nächsten Tag wurde ein Fehler von 0,5 % als relativ ungenau bezeichnet; während das Erreichen von weniger als 80 % Fehler für Filialprognosen des Umsatz von neuen Produkten am ersten Tag eine erhebliche Leistung betrachtet wurde.

Liegt einmal eine Aggregationsebene vor, trägt die Qualität des Prognosemodells primär zur erreichbaren Genauigkeit bei. Desto weiter man in die Zukunft schaut, desto niedriger die Genauigkeit.

Empirische vs. tatsächliche Genauigkeit

Der Begriff Genauigkeit wird am häufigsten zur Bezeichnung der Qualität einer physischen Messtechnik verwendet. Leider ist diese Vision ein wenig irreführend. Anders als der physische Setup, bei dem die Bewertungen mit alternativen Methoden verglichen werden können, sollte die tatsächliche Genauigkeit der Prognose ausschließlich anhand der nicht vorhandenen Daten bewertet werden.

Liegen die Daten einmal vor, können durch einfache Nachahmung der Daten stets vollkommen präzise Prognosen erstellt werden.

Eine bestimmte Frage beschäftigt Statistiker seit über einem Jahrhundert, da erst Ende des 20. Jahrhunderts mit dem Aufkommen der Vapnik-Chervonenkis-Theorie (1) eine äußerst zufriedenstellende Antwort erlangt wurde.

Die Genauigkeit der Prognosen können in der Praxis ausschließlich an vorhandenen Daten gemessen werden. Liegen jedoch Daten vor, sind diese Prognosen keine echten Prognosen mehr, sondern Aussagen über die Vergangenheit, statt Aussagen über die Zukunft. Somit werden diese Messungen als empirische Genauigkeit und nicht als tatsächliche Genauigkeit bezeichnet.

Überanpassungsprobleme können zu großen Abweichungen zwischen der empirischen und der tatsächlichen Genauigkeit führen. In der Praxis können die meisten Überanpassungsprobleme bei der Prognoserstellung von Zeitreihen durch sorgfältig ausgeführtes Backtesting gemindert werden.

Beliebte Genauigkeitsmetriken

Es gibt viele Metriken zur Messung der Prognosegenauigkeit. Die am häufigsten verwendeten Metriken sind:

  • MAE (Mean Absolute Error; Durchschnittlicher absoluter Fehler)
  • MAPE (Mean Absolute Percentage Error; Prozentsatz des absoluten Fehlers des Erwartungswertes)
  • MSE (Mean Square Error; Mittlerer Quadratischer Fehler)
  • sMAPE (Symmetric Mean Absolute Percentage Error; Symmetrischer Prozentsatz des absoluten Fehlers des Erwartungswertes)
  • Pinball-Loss (eine Verallgemeinerunge des MAE für Quantil-Prognosen)
  • CRPS (eine Verallgemeinerung des MAE für probabilistische Vorhersagen)

Aufgrund der Ungenauigkeiten in Prognosen sollte eine Metrik in der Praxis aufgrund ihrer Kapazität zur Wiedergabe der vom Unternehmen verursachten Kosten bevorzugt werden.

Lokad hat die Lösung

Ungefähr genau ist besser als absolut falsch. Erfahrungsgemäß können wir in der Zusammenarbeit mit dem Handel und Produktionsunternehmen immer wieder beobachten, dass der Auswahl der Genauigkeitsmetrik zu wenig Bedeutung beigemessen wird.

Tatsächlich sollte die optimal Metrik keine Werte in Prozentsätzen, sondern in US-Dollar oder Euro liefern, und somit die Kosten der durch ungenaue Prognosen verursachten Ineffizienz widerspiegeln. Obwohl die meisten und am häufigsten verwendeten Metriken symmetrisch sind (Pinball-Loss ist eine bemerkenswerte Ausnahme), ist das Risiko einer Überprognose vs. Unterprognose in der Praxis nicht symmetrisch. Wir empfehlen von daher einen Standpunkt einzunehmen, bei dem die Metrik (unter Berücksichtigung der betrieblichen Einschränkungen) eher einer wirtschaftlichen Kostenfunktion, anstelle eines statistischen Indikators entspricht.

Darüber hinaus ist es äußerst wichtig keine Planungen unter der impliziten Annahme durchzuführen, dass die Prognosen implicitly assuming genau sind. Ungewissheit ist Teil der Geschäftswelt und sollte demnach berücksichtigt werden.

Weitere Informationen