Definition von Backtesting - Software zur Bestandsoptimierung

Backtesting definition


Startseite » Wissensdatenbak » Hier
von Joannès Vermorel, letzte Revision August 2013

Im Rahmen der Zeitreihen-Prognoseerstellung, bezieht sich der Begriff Backtesting (bzw. Rückvergleich) auf den Prozess zur Bewertung der Genauigkeit einer Prognosemethode anhand von existierenden historischen Daten. Das Verfahren ist typischerweise iterativ und wird an mehreren in den historischen Daten erfassten Tagen wiederholt. Backtesting dient der Schätzung der zu erwartenden, zukünftigen Genauigkeit einer Prognosemethode und trägt somit dazu bei das präziseste Prognosemodell ausfindig zu machen.

Wie funktioniert Backtesting?

Der Backtesting-Prozess beginnt mit der Auswahl einer Liste der Daten (Grenzbereich) innerhalb eines Zeitraums, der in den historischen Daten erfasst ist. In der unten angezeigten Darstellung sind die Schwellenwerte mit T1, T2, T3 und T4 gekennzeichnet.

Image


Für jeden Grenzbereich:

  • werden die historischen Daten am jeweiligen Schwellenwert trunkiert;
  • wird das Prognosemodell im jeweiligen Grenzbereich verwendet;
  • werden die Prognosen mit den ursprünglichen, nicht-trunkierten Daten verglichen.

Zum Abschluss wird ein durchschnittlicher Prognosefehler auf alle Grenzbereiche angewandt.

Dieser Durchschnittsfehler kann als eine Schätzung des Fehlers interpretiert werden, der bei der Erstellung wahrheitsgemäßer (Zukunfts-) Prognosen mit dem Modell in Verbindung gebracht wird. Für die Auswahl der richtigen Schwellenwerte ist normalerweise Know-how über das vorliegende Problem erforderlich. Als Faustregel gilt, dass durch eine Erhöhung der Anzahl von Schwellenwerten, der Prozess normalerweise wiederstandsfähiger gegenüber Überanpassungsproblemen wird.

Da im Regelfall Hunderte von SKUs verwendet werden, sind für die Lagerbestandsoptimierung nur wenige Schwellenwerte erforderlich, um mit möglichst hoher Sicherheit entscheiden zu können, welche Prognosemethode am besten geeignet ist.

Ein häufiger Fehler: einmal anlernen - viele Prognosen

Backtesting ist für die Berechnung von Ressourcen ziemlich intensiv, da für jeden Schwellenwert ein neues Prognosemodell angelernt werden muss. Somit können wir häufig Fachleute beobachten, die Ihr Prognosemodell nur einmal anlernen, dabei alle historischen Daten nutzen und anschließend Backtesting-Wiederholungen durchführen. Der wahrnehmbare Vorteil darin liegt in der massiven Beschleunigung des Backtesting-Prozesses.

Dieser Trick ist jedoch irreführend und resultiert in erheblichen Überanpassungsproblemen. Insbesondere da zukünftige Daten dem Prognosemodell vorliegen, wird jegliche variable Schätzung in der Anlernphase dazu führen, dass das Modell Informationen über diese Zukunft mit einbezieht. Somit gibt die aus den Backtest gemessene Genauigkeit nicht die Verallgemeinigungsfähigkeiten, sondern die Erinnerungsfähigkeiten wieder, d. h. die Kapazität des Modells identische Situationen aus dem Anlern-Datensatz zu reproduzieren.

Lokad hat die Lösung

Backtesting ist das Herzstück der Prognosetechnologie von Lokad. Wir wenden Backtesting für jede Zeitreihe an, um das Modell für die endgültige Prognose auswählen zu können. Im Einzelhandel und der Herstellung ist diese in diesem Artikel präsentierte einfache Backtesting-Vision jedoch nicht auf alle Situationen anwendbar. Beispielsweise können die Zeitreihen von neu eingeführten Produkten zu kurz sein, um ein aussagekräftiges Backtesting durchführen zu können. Werbeaktionen und Produkteinführungen erfordern zudem dedizierte Ansätze.