Zwei KPIs für deinen OOS-Detektor
Vor ein paar Wochen haben wir unsere Pläne bezüglich Shelfcheck, unseren zukünftigen Optimierer für die Verfügbarkeit im Regal, bekanntgegeben, der sich an (physische) Einzelhändler richtet. Seitdem machen wir stetige Fortschritte und verarbeiten eine Menge Kassendaten.
Lokad ist nicht das einzige Unternehmen, das versucht, das OOS (nicht im Regal) Problem anzugehen, aber es gibt nur sehr wenig Literatur darüber, wie man die jeweiligen Vorzüge zweier OOS-Detektoren bewertet. In diesem Beitrag untersuchen wir zwei grundlegende Metriken, die definieren, wie gut ein System beim Erkennen von OOS ist.
Intuitiv beruht ein indirekter OOS-Detektor (wie Shelfcheck) auf der Divergenz zwischen beobachteten Verkäufen und erwarteten Verkäufen. Da zufällige (alias unvorhersehbare) Marktschwankungen jederzeit auftreten können, kann dieser Ansatz per Konstruktion niemals ein perfektes System sein (1), es handelt sich um einen Kompromiss zwischen Sensibilität und Präzision.
(1) Nicht perfekt zu sein, bedeutet nicht, wertlos zu sein.
Die Sensibilität repräsentiert den Prozentsatz der OOS (alias der Positiven, die erfasst werden sollen), die vom System erkannt wird. Dieses Konzept wird bereits in vielfältigen Bereichen, von der medizinischen Diagnostik bis zur Flugsicherheit, breit angewendet. Je höher die Sensibilität, desto besser ist die Abdeckung des Systems.
Doch durch die Erhöhung der Sensibilität verringert sich auch die Spezifität des Systems, das heißt, es sinkt der Anteil an Nicht-OOS, der fälschlicherweise als OOS markiert wird (alias die Negativen, die eigentlich nicht detektiert werden sollten). In der Praxis bedeutet das, dass das OOS-Detektionssystem durch die steigende Zahl an Warnmeldungen immer mehr falsche Alarme generiert, wodurch die Zeit des Ladenpersonals verschwendet wird, das nach nicht vorhandenen Problemen sucht.
Allerdings ist Spezifität kein besonders praktisches Kriterium im Einzelhandel. Tatsächlich stellen OOS-Produkte nur einen kleinen Bruchteil aller Nicht-OOS-Produkte dar. Mehrere Studien beziffern 8 % OOS als einen relativ stabilen weltweiten Durchschnitt. Daher ist die Spezifität in der Regel sehr hoch, über 90 %, selbst wenn der OOS-Detektor tatsächlich rein zufällige Vermutungen anstellt. Diese hohen Spezifitätswerte sind daher etwas irreführend, da sie lediglich das bestehende Ungleichgewicht zwischen OOS und Nicht-OOS widerspiegeln.
Bei Lokad bevorzugen wir die Präzision, die den Prozentsatz der korrekt identifizierten OOS innerhalb aller vom System generierten Warnmeldungen darstellt. Die Präzision spiegelt direkt den Arbeitsaufwand wider, der vom Ladenpersonal nicht verschwendet wird, indem es nicht-existente Probleme überprüft. Zum Beispiel bedeutet eine Präzision von 50 %, dass einer von zwei Warnmeldungen ein Fehlalarm ist.
Weder 100 % Sensibilität noch 100 % Präzision sind möglich, beziehungsweise, wenn Sie 100 % Sensibilität haben, dann haben Sie 0 % Präzision (alle Produkte werden dauerhaft als OOS klassifiziert). Umgekehrt bedeutet 100 % Präzision, dass Sie 0 % Sensibilität besitzen (es wird niemals ein Alarm ausgelöst). Der Kompromiss Sensibilität vs Präzision lässt sich nicht umgehen: Wenn Sie überhaupt etwas detektieren möchten, müssen Sie akzeptieren, dass ein Teil dessen, was Sie erkennen, falsch ist.
Um zwei OOS-Detektoren miteinander zu vergleichen, muss man deren jeweilige Sensibilität und Präzision bewerten. Anschließend bleibt es möglich, durch den Einsatz einer überlegenen Prognosetechnologie sowohl die Sensibilität als auch die Präzision zu verbessern, da bessere Prognosen beide Werte erhöhen werden.
Dies wirft jedoch ein weiteres Problem auf: Wie vergleicht man Folgendes:
- einen Detektor A mit 70 % Sensibilität und 60 % Präzision;
- einen Detektor B mit 60 % Sensibilität und 70 % Präzision.
Es stellt sich heraus, dass diese Frage nicht rein statistisch beantwortet werden kann: Man muss die wirtschaftlichen Kosten und Nutzen modellieren, um die optimale Wahl zu ermitteln.
Bleiben Sie dran für mehr.
