Die begrenzte Anwendbarkeit von Backtesting
Backtesting ist ein Versuchsdesign, bei dem historische Daten bis zu einem Zeitpunkt in der Vergangenheit abgeschnitten werden und ein Lernalgorithmus oder ein Optimierungsalgorithmus auf diesen abgeschnittenen Datensatz angewendet wird, um zu bewerten, wie gut dieser Algorithmus unter diesen historischen Bedingungen funktioniert hätte. Der Ansatz ist einfach und elegant und daher oft sehr attraktiv für Supply Chain-Praktiker. Backtesting ist jedoch bei weitem kein Allheilmittel, und wenn seine Grenzen missverstanden werden, führt die Konzentration auf Backtesting in der Regel eher zu Schaden als zum Nutzen.
In unserer Erfahrung mit der Durchführung von Initiativen zur Quantitativen Supply Chain sind die Hauptbedrohungen für den Erfolg der Initiative:
- Kein Zugriff auf relevante Transaktionsdaten
- Verunreinigte historische Transaktionsdaten
- Falsche Vorverarbeitung von Transaktionsdaten
- Fehlende Überwachung der Datenqualität
- Fragile Datenpipeline mit intermittierendem Ausfall
- Mangelndes Verständnis der wirtschaftlichen Treiber
- Falsche strategische Modellierung der wirtschaftlichen Treiber
- Diskrepanz zwischen realen Einschränkungen und ihrer Modellierung
- Unzureichende Prozesse oder Werkzeuge zur Verwendung optimierter Entscheidungen
Bei traditionellen Prognoseansätzen wären ungenaue Prognosen Teil dieser Liste gewesen, aber wenn probabilistische Prognosen verwendet werden, ist dies ein viel geringeres Problem: nicht weil probabilistische Prognosen genauer sind - das sind sie nicht - sondern weil die Qualität der Entscheidungen sich viel sanfter verschlechtert, wenn die Genauigkeit selbst abnimmt.
Tatsächlich ist eine “ungenaue” probabilistische Prognose in der Praxis in erster Linie durch eine Verteilung von Wahrscheinlichkeiten gekennzeichnet, die sich über einen außerordentlich großen Wertebereich erstreckt. Obwohl dieses Verhalten unerwünscht ist, ist es in der Regel bei weitem nicht so schlimm wie die Folgen einer ungenauen traditionellen (d. h. nicht-probabilistischen) Prognose, bei der das Unternehmen sich voll und ganz auf eine einzige mögliche Zukunft konzentriert, die sich nicht als die richtige erweist. Ungenaue probabilistische Prognosen führen zu äußerst konservativen und vorsichtigen Entscheidungen. Es wird immer noch Geld verschwendet, aber angesichts der Tatsache, dass viele Supply Chain-Situationen stark asymmetrische Kosten haben, ist Vorsicht bei weitem nicht die schlechteste Strategie.
Ein ordnungsgemäßes Backtesting ist in realen Situationen nicht trivial durchzuführen. Naive Backtesting-Implementierungen lassen sich leicht durch Overfitting in die Irre führen. Da wenige versteckte Kovariablen das Wachstum des Unternehmens erklären können. Das Vorgehen mit Trial-and-Error bei einem Backtesting-Prozess führt unweigerlich zu einem Modell, das die vergangenen Entwicklungen des Marktes “auswendig gelernt” hat, aber nicht in der Lage ist, den Markt vorherzusehen.
Bei Lokad haben wir festgestellt, dass der einzige zuverlässige Weg, ein bestimmtes statistisches Modell zu backtesten, darin besteht, Datensätze von Dutzenden von Unternehmen mit sehr unterschiedlichen Situationen zu nutzen. Obwohl dieser Ansatz Overfitting nicht beseitigt, mildert er es erheblich ab.
Bei einer Initiative zur Quantitativen Supply Chain - vorausgesetzt, dass die Prognosewerkzeuge angemessen sind und keine manuelle Parametrisierung der Modelle durch Supply Chain-Praktiker erfordern - führt ein früher Fokus auf Backtesting in der Regel zu einer vorzeitigen Optimierung, die das Team, das für die Umsetzung der Initiative verantwortlich ist, von Risikofaktoren ablenkt, die die erwarteten Vorteile eines Backtesting-Prozesses überwiegen.
Einige Prognosewerkzeuge sind möglicherweise fehlerhaft konzipiert und erfordern von ihren Endbenutzern statistische Parameter, um mit der Arbeit zu beginnen. Zum Beispiel erfordert das exponentielle Glätten, ein einfaches Prognosemodell, einen Glättungsfaktor. Da Endbenutzer diese Parameter nicht aus dem Nichts herbeizaubern können, müssen sie auf einen Backtesting-Prozess zurückgreifen, um die Modelle überhaupt zum Laufen zu bringen. Die Wünschbarkeit von Backtesting sollte jedoch nicht mit den Anforderungen verwechselt werden, die durch die zufälligen Designfehler einiger Prognosewerkzeuge auferlegt werden.
Als Faustregel ist es angemessen, über Backtesting nachzudenken, wenn:
- das Ausführen der Datenpipeline langweilig und ereignislos geworden ist.
- die wirtschaftlichen Treiber gut verstanden und dokumentiert sind.
- die Einschränkungen - z.B. MOQs - umfassend überarbeitet und hinterfragt wurden.
- die Lieferkettenprozesse aufeinander abgestimmt wurden, um das Beste aus automatisierten Entscheidungen zu machen.
Wenn diese Bedingungen erfüllt sind, kann Backtesting als zusätzlicher Ansatz eingeführt werden, um die Leistung der Initiative zur Quantitativen Supply Chain weiter zu verbessern.
