Zwei KPIs für Ihren OOS-Detektor

Joannes Vermorel

Vor ein paar Wochen haben wir unsere Pläne bezüglich Shelfcheck bekannt gegeben, unserem zukünftigen Optimierer für die Verfügbarkeit im Regal für (physische) Einzelhändler. Seitdem sind wir stetig vorangekommen und haben eine große Menge an Point-of-Sale-Daten analysiert.

Lokad ist nicht das einzige Unternehmen, das versucht, das OOS (Out-of-Shelf)-Problem anzugehen, aber es gibt sehr wenig Literatur darüber, wie man die jeweiligen Vorzüge von zwei OOS-Detektoren bewerten kann. In diesem Beitrag stellen wir zwei grundlegende Kennzahlen vor, die bestimmen, wie gut ein System OOS erkennt.

Intuitiv stützt sich ein indirekter OOS-Detektor (wie Shelfcheck) auf die Abweichung zwischen beobachteten Verkäufen und den erwarteten Verkäufen. Da zufällige (auch unvorhersehbare) Schwankungen auf dem Markt immer auftreten können, kann dieser Ansatz per Definition kein perfektes System sein (1), sondern es handelt sich um einen Kompromiss zwischen Sensibilität und Präzision.

(1) Nicht perfekt zu sein, bedeutet nicht wertlos zu sein.

Die Sensibilität repräsentiert den Prozentsatz der OOS (also der zu erkennenden positiven Fälle), die vom System erfasst werden. Dieses Konzept wird bereits in verschiedenen Bereichen wie der medizinischen Diagnostik oder der Flugsicherheit weit verbreitet verwendet. Je höher die Sensibilität, desto besser ist die Abdeckung des Systems.

Allerdings verringert man durch eine Erhöhung der Sensibilität auch die Spezifität des Systems, das heißt, man verringert den Prozentsatz der Nicht-OOS-Fälle, die als solche erkannt werden (also die Negativen, die nicht erkannt werden sollten). In der Praxis bedeutet dies, dass der OOS-Detektor durch immer mehr Warnungen immer mehr falsche Warnungen ausgibt und damit die Zeit der Mitarbeiter im Geschäft verschwendet, die nach nicht vorhandenen Problemen suchen.

Obwohl die Spezifität in Bezug auf den Einzelhandel kein sehr praktisches Kriterium ist. Tatsächlich machen OOS-Produkte nur einen kleinen Teil der Nicht-OOS-Produkte aus. Mehrere Studien nennen 8% OOS als einen relativ stabilen weltweiten Durchschnitt. Die Spezifität ist daher in der Regel sehr hoch, über 90%, selbst wenn der OOS-Detektor reine Zufallsguesses produziert. Diese hohen Spezifitätsprozentsätze sind daher irreführend, da sie nur das Ungleichgewicht widerspiegeln, das von Anfang an zwischen OOS und Nicht-OOS besteht.

Bei Lokad bevorzugen wir die Präzision, die den Prozentsatz der korrekt identifizierten OOS innerhalb aller vom System generierten Warnungen darstellt. Die Präzision spiegelt direkt den Aufwand wider, der von den Mitarbeitern im Geschäft nicht für nicht vorhandene Probleme aufgewendet werden muss. Wenn zum Beispiel die Präzision bei 50% liegt, ist jede zweite Warnung eine falsche Warnung.

Weder 100% Sensibilität noch 100% Präzision sind möglich, oder anders ausgedrückt, wenn Sie 100% Sensibilität haben, haben Sie 0% Präzision (alle Produkte werden die ganze Zeit als OOS klassifiziert). Andersherum bedeutet 100% Präzision, dass Sie 0% Sensibilität haben (es wird nie eine Warnung generiert). Der Kompromiss Sensibilität vs. Präzision kann nicht vermieden werden: Wenn Sie etwas erkennen wollen, müssen Sie akzeptieren, dass ein Teil dessen, was Sie erkennen, falsch ist.

Um zwei OOS-Detektoren zu vergleichen, muss man ihre jeweilige Sensibilität und Präzision bewerten. Um sowohl die Sensibilität als auch die Präzision zu verbessern, ist es möglich, eine überlegene Prognosetechnologie einzusetzen, da bessere Prognosen sowohl die Sensibilität als auch die Präzision verbessern werden.

Allerdings wirft dies eine weitere Frage auf: Wie vergleicht man das Folgende_:_

• ein Detektor A mit 70% Sensibilität und 60% Präzision;
• ein Detektor B mit 60% Sensibilität und 70% Präzision.

Es stellt sich heraus, dass diese Frage nicht rein statistisch beantwortet werden kann: Man muss die wirtschaftlichen Kosten und Nutzen modellieren, um die optimale Wahl zu bewerten.

Bleiben Sie dran für mehr.