Die beste Prognosefehlermetrik
Es gibt viele Metriken, um die Leistung einer Prognose zu bewerten:
- Mean Absolute Error (MAE)
- Mean Squared Error (MSE)
- Mean Absolute Percentage Error (MAPE)
- Pinball Loss Function
- …
In diesem Beitrag werden wir versuchen, die Frage nach der ‘besten’ Prognosemetrik zu beantworten. Es stellt sich heraus, dass es einfacher ist, als die meisten Praktiker erwarten würden.
Unter diesen Metriken sind MAE und MAPE wahrscheinlich die am häufigsten verwendeten Metriken sowohl im Einzelhandel als auch in der Fertigung. Beginnen wir damit, uns Diagramme für diese beiden Metriken anzusehen.
Diagramm des Mean Absolute Error. X = real (Prognose ist 1). Y = Fehler.
Das Verhalten des MAE ist ziemlich einfach. Der einzige knifflige Aspekt - aus mathematischer Sicht - besteht darin, dass die Funktion nicht überall differenzierbar ist (nicht für x=1 im obigen Beispiel).
Diagramm des Mean Absolute Percentage Error. X = real (Prognose ist 1). Y = Fehler.
Der MAPE hingegen ist viel komplizierter. Tatsächlich ist das Verhalten zwischen Überprognosen und Unterprognosen sehr unterschiedlich: Der Fehler bei Unterprognosen ist auf 1 begrenzt, während der Fehler bei Überprognosen gegen Null gegen Unendlich tendiert.
Dieser letzte Aspekt neigt insbesondere dazu, Chaos zu verursachen, wenn er mit Out-of-Stock (OOS) Ereignissen kombiniert wird. Tatsächlich erzeugen OOS sehr niedrige tatsächliche Verkaufswerte, daher potenziell sehr hohe MAPE-Werte.
In der Praxis empfehlen wir, zweimal darüber nachzudenken, bevor Sie sich für MAPE entscheiden, da die Interpretation der Ergebnisse wahrscheinlich eine kleine Herausforderung darstellt.
Die beste Metrik sollte in Dollar oder Euro ausgedrückt werden
Aus mathematischer Sicht werden einige Metriken (wie L2) als praktischer für statistische Analysen angesehen (zum Beispiel aufgrund der Differenzierbarkeit), jedoch sind wir der Meinung, dass dieser Standpunkt belanglos ist, wenn man es mit realen Geschäftssituationen zu tun hat.
Die einzige Einheit, die zur Bewertung der Leistung einer Prognose verwendet werden sollte, ist Geld. Prognosen sind immer falsch, und die einzige vernünftige Möglichkeit, den Fehler zu quantifizieren, besteht darin, zu bewerten, wie viel Geld der Unterschied zwischen Prognose und Realität das Unternehmen gekostet hat.
Modellierung von Geschäftskosten
In der Praxis erfordert die Definition einer solchen ad-hoc Kostenfunktion eine sorgfältige Untersuchung des Unternehmens und wirft Fragen auf wie:
- Wie hoch sind die Lagerkosten?
- Mit welcher Lagerveraltungsrate ist zu rechnen?
- Wie hoch sind die Kosten für Fehlbestände?
- …
Was Unternehmenspolitik betrifft, hat die Modellierung des Prognosefehlers als Prozentsatz, wodurch all diese problematischen Fragen ignoriert werden, den Vorteil, neutral zu sein - und den Rest des Unternehmens mit der Aufgabe zu belasten, die Prognose tatsächlich in eine Handlungsweise umzusetzen.
Das Festlegen einer vernünftigen Kostenfunktion ist keine Raketenwissenschaft, zwingt jedoch die für die Prognosen verantwortliche Stelle im Unternehmen dazu, alle diese Kosten explizit aufzuschreiben. Dadurch werden Entscheidungen getroffen, die nicht jeder Abteilung des Unternehmens zugute kommen, sondern dem Unternehmen selbst deutlich zugute kommen.
