Die beste Prognosefehlermetrik
Es gibt viele Kennzahlen, um die Leistung einer Prognose zu bewerten:
- Mittlerer absoluter Fehler (MAE)
- Mittlerer quadratischer Fehler (MSE)
- Mittlerer absoluter prozentualer Fehler (MAPE)
- Pinball Loss Funktion
- …
In diesem Beitrag werden wir versuchen, die Frage nach der ‘besten’ Prognosekennzahl zu beantworten. Es stellt sich heraus, dass es einfacher ist, als die meisten Praktiker erwarten würden.
Unter diesen sind MAE und MAPE wahrscheinlich die am häufigsten verwendeten Kennzahlen von Praktikern sowohl im Einzelhandel als auch in der Fertigung. Schauen wir uns als Erstes die Diagramme für diese beiden Kennzahlen an.
Diagramm des mittleren absoluten Fehlers. X = real (Vorhersage ist 1). Y = Fehler.
Das Verhalten des MAE ist recht einfach. Der einzige schwierige Aspekt – aus mathematischer Sicht – ist, dass die Funktion nicht überall differenzierbar ist (zum Beispiel nicht für x=1 im obigen Beispiel).
Diagramm des mittleren absoluten prozentualen Fehlers. X = real (Vorhersage ist 1). Y = Fehler.
Der MAPE hingegen ist viel komplizierter. Tatsächlich ist das Verhalten zwischen Über- und Unterprognose sehr unterschiedlich: Der Fehler bei einer Unterprognose ist auf 1 begrenzt, während der Fehler bei einer Überprognose gegen unendlich geht, je näher der tatsächliche Wert an null liegt.
Dieser letzte Aspekt führt insbesondere zu großen Problemen, wenn er mit Ausverkauft- (OOS) Ereignissen kombiniert wird. Tatsächlich erzeugen OOS sehr niedrige tatsächliche Verkaufszahlen, was potenziell sehr hohe MAPE-Werte zur Folge hat.
In der Praxis empfehlen wir, zweimal zu überlegen, bevor man sich für MAPE entscheidet, da die Interpretation der Ergebnisse an sich schon eine kleine Herausforderung darstellt.
Die beste Kennzahl sollte in Dollar oder Euro ausgedrückt werden
Aus mathematischer Sicht werden einige Kennzahlen (wie L2) als praktischer für statistische Analysen angesehen (zum Beispiel weil sie differenzierbar sind), jedoch sind wir der Ansicht, dass dieser Standpunkt belanglos ist, wenn man reale Geschäftssituationen betrachtet.
Die einzige und alleinige Einheit, die verwendet werden sollte, um die Leistung einer Prognose zu bewerten, ist Geld. Prognosen sind immer falsch, und der einzige sinnvolle Weg, den Fehler zu quantifizieren, besteht darin zu ermitteln, wie viel Geld die Differenz zwischen Prognose und Realität das Unternehmen gekostet hat.
Modellierung von Geschäftskosten
In der Praxis erfordert die Definition einer solchen ad-hoc Kostenfunktion eine sorgfältige Untersuchung des Unternehmens und wirft Fragen auf wie:
- Wie viel kostet das Inventar?
- Wie viel Veralterung des Inventars ist zu erwarten?
- Wie viel kostet ein Fehlbestand?
- …
Soweit Unternehmenspolitik betrifft, führt die Modellierung des Prognosefehlers als beispielsweise Prozentsatz – also unter Ignorierung all dieser schwierigen Fragen – zu dem einen Vorteil, neutral zu sein, wodurch der Rest des Unternehmens mit der Aufgabe zurückbleibt, die Prognose in konkrete Maßnahmen umzusetzen.
Die Festlegung einer sinnvollen Kostenfunktion ist keine Raketenwissenschaft, allerdings zwingt sie innerhalb des Unternehmens die für die Prognosen zuständige Einheit dazu, all diese Kosten ausdrücklich niederzuschreiben. Dadurch werden Entscheidungen getroffen, die nicht jeder Abteilung des Unternehmens zugutekommen, aber dem Unternehmen als Ganzes eindeutig zugute kommen.
