Genauigkeit der Nachfrageprognose

In der Statistik ist die Genauigkeit der Prognose der Grad der Übereinstimmung der Aussage einer Menge mit dem tatsächlichen (wahren) Wert dieser Menge. Der tatsächliche Wert kann in der Regel nicht gemessen werden, wenn die Prognose erstellt wird, da die Aussage die Zukunft betrifft. Für die meisten Unternehmen erhöhen genauere Prognosen deren Fähigkeit, die Nachfrage zu bedienen, während gleichzeitig die gesamten Betriebskosten gesenkt werden.

Verwendung der Genauigkeitsschätzungen

Die Genauigkeit liefert, wenn sie berechnet wird, eine quantitative Schätzung der erwarteten Qualität der Prognosen. Für die Lageroptimierung kann die Abschätzung der Prognosegenauigkeit mehrere Zwecke erfüllen:

• um unter verschiedenen Prognosemodellen, die zur Abschätzung der Leitnachfrage dienen, das vorzuziehende Modell auszuwählen.
• zur Berechnung des Sicherheitsbestands, wobei typischerweise angenommen wird, dass den Prognosefehlern eine Normalverteilung zugrunde liegt.
• um die Artikel zu priorisieren, die die meiste besondere Aufmerksamkeit erfordern, da rohe statistische Prognosen nicht zuverlässig genug sind.

In anderen Kontexten, wie der strategischen Planung, werden die Genauigkeitsschätzungen verwendet, um die What-if-Analyse zu unterstützen, wobei unterschiedliche Szenarien und deren jeweilige Wahrscheinlichkeit berücksichtigt werden.

Einfluss der Aggregation auf die Genauigkeit

Es ist ein weit verbreitetes Missverständnis, die Qualität des Prognosemodells als den ausschlaggebenden Faktor für die Genauigkeit der Prognosen zu interpretieren: Das ist nicht der Fall.

Der wichtigste Faktor, der den Wert der Genauigkeit bestimmt, ist die intrinsische Volatilität des zu prognostizierenden Phänomens. In der Praxis, im Handel oder in der Fertigung, korreliert diese Volatilität stark mit dem Aggregationsgrad:

• größere Bereiche, beispielsweise nationale Prognosen im Vergleich zu lokalen Prognosen, liefern mehr Genauigkeit.
• ebenso bei längeren Zeiträumen, wie monatliche Prognosen im Vergleich zu täglichen Prognosen.

Sobald jedoch ein Aggregationsgrad festgelegt ist, spielt die Qualität des Prognosemodells tatsächlich eine primäre Rolle bei der erreichbaren Genauigkeit. Schließlich nimmt die Genauigkeit ab, wenn man weiter in die Zukunft blickt.

Empirische Genauigkeit vs. reale Genauigkeit

Der Begriff Genauigkeit wird am häufigsten verwendet, um die Qualität einer physischen Messung zu beschreiben. Leider ist diese Auffassung im Kontext statistischer Prognosen etwas irreführend. Tatsächlich sollte die reale Genauigkeit einer Prognose streng anhand von Daten, die man nicht besitzt, gemessen werden.

Tatsächlich ist es, sobald die Daten verfügbar sind, immer möglich, vollkommen genaue Prognosen zu erstellen, da es lediglich darum geht, die Daten zu imitieren. Diese eine Fragestellung hat Statistiker seit mehr als einem Jahrhundert ratlos gemacht, da eine zutiefst befriedigende Sichtweise erst gegen Ende des 20. Jahrhunderts mit dem Aufkommen der Vapnik–Chervonenkis-Theorie¹ gefunden wurde.

Die Genauigkeit der Prognosen kann praktisch nur anhand verfügbarer Daten gemessen werden; allerdings sind diese Prognosen keine echten Prognosen mehr, wenn die Daten vorliegen, da sie Aussagen über die Vergangenheit statt über die Zukunft sind. Daher werden diese Messungen als empirische Genauigkeit bezeichnet, im Gegensatz zur realen Genauigkeit.

Overfitting Probleme können zu großen Abweichungen zwischen der empirischen Genauigkeit und der realen Genauigkeit führen. In der Praxis kann ein sorgfältiger Einsatz von Backtesting die meisten Overfitting Probleme bei der Prognose von Zeitreihen mildern.

Beliebte Genauigkeitsmetriken

Es gibt viele Metriken zur Messung der Genauigkeit von Prognosen. Die am weitesten verbreiteten Metriken sind:

• MAE (mittlerer absoluter Fehler)
• MAPE (mittlerer absoluter prozentualer Fehler)
• MSE (mittlere quadratische Abweichung)
• sMAPE (symmetrischer mittlerer absoluter prozentualer Fehler)
• Pinball loss (eine Verallgemeinerung des MAE für Quantil-Prognosen)
• CRPS (eine Verallgemeinerung des MAE für probabilistische Prognosen)

In der Praxis sollte eine Metrik gegenüber einer anderen bevorzugt werden, basierend auf ihrer Fähigkeit, die durch ungenaue Prognosen verursachten Kosten für das Unternehmen widerzuspiegeln.

Lokads Kniff

Es ist besser, annähernd korrekt zu sein, als exakt falsch. Nach unserer Erfahrung im Umgang mit Handels- oder Fertigungsunternehmen stellen wir routinemäßig fest, dass zu wenig Aufmerksamkeit der Wahl der Genauigkeitsmetrik geschenkt wird.

Tatsächlich sollte die ideale Metrik keine in Prozent ausgedrückten Werte liefern, sondern Dollar oder Euro, die die Kosten der durch ungenaue Prognosen verursachten Ineffizienzen exakt widerspiegeln. Insbesondere, obwohl die meisten populären Metriken symmetrisch sind (wobei der Pinball loss eine bemerkenswerte Ausnahme bildet), sind in der Praxis die Risiken des Über- gegenüber dem Unterprognostizieren nicht symmetrisch. Wir schlagen vor, einen Ansatz zu verfolgen, bei dem die Metrik näher an eine ökonomische Kostenfunktion heranreicht – sorgfältig modelliert, um den geschäftlichen Rahmenbedingungen zu entsprechen – anstatt ein roher statistischer Indikator.

Außerdem ist es sehr wichtig, keine Planung durchzuführen, die implizit davon ausgeht, dass die Prognosen exakt sind. Unsicherheit ist im Geschäftsleben unvermeidlich und muss berücksichtigt werden.

Weiterführende Lektüre

• Video. Genauigkeit in der Absatzprognose, Matthias Steinberg, September 2011
• Die beste Prognosefehler-Metrik, Joannes Vermorel, November 2012
• Genauigkeitsbezogener finanzieller Einfluss auf den Lagerbestand, Joannes Vermorel, Februar 2012

Anmerkungen