Die begrenzte Anwendbarkeit von Backtesting
Backtesting ist ein Versuchsdesign, bei dem historische Daten bis zu einem bestimmten Zeitpunkt in der Vergangenheit abgeschnitten werden und ein Lernalgorithmus oder ein Optimierungsalgorithmus auf diesen gekürzten Datensatz angewendet wird, um zu beurteilen, wie gut dieser Algorithmus unter den damaligen historischen Bedingungen funktioniert hätte. Der Ansatz ist einfach und elegant und daher für supply chain Praktiker häufig sehr ansprechend. Allerdings ist Backtesting alles andere als ein Allheilmittel, und wenn seine Einschränkungen missverstanden werden, führt die Konzentration auf Backtesting in der Regel eher zu Nachteilen als zu Vorteilen.
Aus unserer Erfahrung mit die Quantitative Supply Chain Initiativen, sind die Hauptgefahren für den Erfolg der Initiative:
- Kein Zugang zu den relevanten Transaktionsdaten
- Fehlerhafte historische Transaktionsdaten
- Falsche Vorverarbeitung von Transaktionsdaten
- Fehlende Überwachung der Datenqualität
- Zerbrechliche Datenpipeline mit intermittierenden Ausfällen
- Fehlendes Verständnis der wirtschaftlichen Einflussfaktoren
- Falsche strategische Modellierung der wirtschaftlichen Einflussfaktoren
- Diskrepanz zwischen realen Beschränkungen und deren Modellierung
- Unzureichende Prozesse oder Werkzeuge zur Umsetzung optimierter Entscheidungen
Bei traditionellen Prognoseansätzen wären ungenaue Prognosen Teil dieser Liste gewesen, aber wenn probabilistische Vorhersagen verwendet werden, ist dies ein viel geringeres Problem: nicht, weil probabilistische Vorhersagen genauer sind – was sie nicht sind – sondern weil sich die Qualität der Entscheidungen wesentlich sanfter verschlechtert, wenn die Genauigkeit selbst nachlässt.
Tatsächlich zeichnet sich in der Praxis eine „ungenaue“ probabilistische Vorhersage hauptsächlich durch eine Wahrscheinlichkeitsverteilung aus, die sich über einen außergewöhnlich großen Wertebereich erstreckt. Obwohl dieses Verhalten unerwünscht ist, ist es in der Regel keineswegs so gravierend wie die Konsequenzen einer ungenauen traditionellen (d.h. nicht probabilistischen) Vorhersage, bei der das Unternehmen alles auf eine Karte setzt – auf eine einzelne mögliche Zukunft, die sich als falsch erweist. Ungenaue probabilistische Vorhersagen führen zu äußerst konservativen und vorsichtigen Entscheidungen. Geld wird zwar weiterhin verschwendet, aber wenn man bedenkt, dass viele supply chain Situationen hochgradig asymmetrische Kosten aufweisen, ist es keineswegs die schlechteste Strategie, auf Nummer sicher zu gehen.
Ein ordentliches Backtesting ist in realen Situationen nicht trivial durchzuführen. Naive Backtesting-Implementierungen werden leicht durch overfitting in die Irre geführt, da wenige versteckte Kovariablen den Großteil des Geschäftswachstums erklären können. Das Vorgehen mittels Trial-and-Error im Backtesting-Prozess führt unweigerlich zu einem Modell, das vergangene Marktentwicklungen „einprägt“, aber unfähig bleibt, den Markt vorauszusehen.
Bei Lokad haben wir festgestellt, dass der einzige zuverlässige Weg, ein gegebenes statistisches Modell zu backtesten, darin besteht, Datensätze von Dutzenden von Unternehmen mit sehr unterschiedlichen Situationen zu nutzen. Auch wenn dieser Ansatz overfitting nicht vollständig eliminiert, mildert er es erheblich.
Für eine die Quantitative Supply Chain Initiative – vorausgesetzt, dass die Prognosetools angemessen sind und nicht von supply chain Praktikern verlangen, Modelle manuell zu parametrieren – führt ein frühzeitiger Fokus auf Backtesting typischerweise zu einer voreiligen Optimierung, die das Team, das für die Umsetzung der Initiative verantwortlich ist, von Risikofaktoren ablenkt, welche den zu erwartenden Nutzen eines Backtesting-Prozesses dominieren.
Einige Prognosetools sind unzureichend gestaltet und erfordern tatsächlich, dass die Endnutzer statistische Parameter ermitteln, um arbeiten zu können. Zum Beispiel erfordert exponentielle Glättung, ein einfaches Prognosemodell, dass ein Glättungsfaktor angegeben wird. Da Endnutzer diese Parameter nicht aus dem Nichts erschaffen können, müssen sie letztlich auf einen Backtesting-Prozess zurückgreifen, um die Modelle überhaupt zum Laufen zu bringen. Dennoch sollte die Attraktivität von Backtesting nicht mit den Anforderungen verwechselt werden, die sich aus versehentlichen Konstruktionsfehlern einiger Prognosetools ergeben.
Als Faustregel gilt, dass man mit Backtesting beginnen sollte, wenn:
- Der Betrieb der Datenpipeline langweilig und ereignislos geworden ist.
- Die wirtschaftlichen Einflussfaktoren gut verstanden und dokumentiert sind.
- Die Beschränkungen – z. B. MOQs – wurden ausführlich überprüft und in Frage gestellt.
- Die supply chain Prozesse so ausgerichtet wurden, dass automated decisions bestmöglich genutzt werden.
Wenn diese Bedingungen erfüllt sind, kann Backtesting als zusätzlicher Ansatz eingeführt werden, um die Leistung der die Quantitative Supply Chain Initiative weiter zu verbessern.
