Die beste Vorhersagefehler-Metrik
Zur Bewertung der Leistung einer Vorhersage stehen viele Metriken zur Verfügung:
- Mittlerer absoluter Fehler (MAE)
- Mittlerer quadratischer Fehler (MSE)
- Mittlerer absoluter prozentualer Fehler (MAPE)
- Pinball-Verlustfunktion
- …
In diesem Beitrag werden wir versuchen, die Frage nach der ‘besten’ Vorhersagemetrik zu beantworten. Es stellt sich heraus, dass diese einfacher ist, als die meisten Praktiker erwarten würden.
Unter diesen sind MAE und MAPE wahrscheinlich die am weitesten verbreiteten Metriken, die sowohl im Einzelhandel als auch in der Produktion von Praktikern verwendet werden. Lassen Sie uns mit einem Blick auf Diagramme für diese beiden Metriken beginnen.
Diagramm des mittleren absoluten Fehlers. X = Ist-Wert (Vorhersage ist 1). Y = Fehler.
Das Verhalten des MAE ist ziemlich unkompliziert. Der eine knifflige Aspekt – aus mathematischer Sicht – ist, dass die Funktion nicht überall differenzierbar ist (zum Beispiel nicht bei x=1 im obigen Beispiel).
Diagramm des mittleren absoluten prozentualen Fehlers. X = Ist-Wert (Vorhersage ist 1). Y = Fehler.
Der MAPE hingegen ist deutlich komplexer. Tatsächlich ist das Verhalten zwischen Über- und Unter-Vorhersagen sehr unterschiedlich: Der Fehler bei Untervorhersagen ist auf 1 begrenzt, während der Fehler bei Übervorhersagen gegen unendlich strebt, je näher der Ist-Wert an Null liegt.
Dieser letzte Aspekt kann insbesondere für Verwirrung sorgen, wenn er mit out-of-stock (OOS) events kombiniert wird. Tatsächlich führen OOS zu sehr niedrigen tatsächlichen Verkaufszahlen, was potenziell zu sehr hohen MAPE-Werten führt.
In der Praxis empfehlen wir, es sich zweimal zu überlegen, bevor man sich für MAPE entscheidet, da die Interpretation der Ergebnisse an sich schon eine kleine Herausforderung darstellen kann.
Die beste Metrik sollte in Dollar oder Euro ausgedrückt werden
Aus mathematischer Sicht gelten einige Metriken (wie L2) als praktischer für statistische Analysen (zum Beispiel weil sie differenzierbar sind); jedoch glauben wir, dass dieser Standpunkt belanglos ist, wenn es um reale Geschäftssituationen geht.
Die einzige und alleinige Einheit, die zur Bewertung der Leistung einer Vorhersage verwendet werden sollte, ist Geld. Vorhersagen liegen immer falsch, und der einzige sinnvolle Weg, den Fehler zu quantifizieren, besteht darin, zu beurteilen, wie viel Geld die Differenz zwischen Vorhersage und Realität das Unternehmen gekostet hat.
Modellierung der Geschäftskosten
In der Praxis erfordert die Definition einer solchen ad-hoc Kostenfunktion eine sorgfältige Untersuchung des Unternehmens, was Fragen aufwirft wie:
- Wie viel kostet das Bestand?
- Wie viel Bestandabwertung ist zu erwarten?
- Wie viel kostet ein Fehlbestand?
- …
Was die Unternehmenspolitik betrifft, so hat die Modellierung des Vorhersagefehlers etwa als Prozentsatz – und damit die Vernachlässigung all dieser lästigen Fragen – den einen Vorteil, neutral zu bleiben, wodurch der Rest des Unternehmens mit der Aufgabe belastet wird, die Vorhersage tatsächlich in eine Handlungsmaßnahme umzusetzen.
Der Prozess, eine sinnvolle Kostenfunktion zu etablieren, ist keine Raketenwissenschaft, jedoch zwingt er innerhalb des Unternehmens die für die Vorhersagen zuständige Einheit dazu, all diese Kosten explizit aufzuschreiben. Dadurch werden Entscheidungen getroffen, die nicht jedem Bereich des Unternehmens zugutekommen, aber dem Unternehmen als Ganzes eindeutig nutzen.
