Dos KPIs para tu detector de OOS
Hace un par de semanas, revelamos nuestros planes con respecto a Shelfcheck, nuestro futuro optimizador de disponibilidad en estantería para minoristas (físicos). Desde entonces, hemos estado avanzando constantemente, procesando una gran cantidad de datos de puntos de venta.
Lokad no es la única empresa que intenta abordar el problema de OOS (fuera de estantería), pero hay muy poca literatura sobre cómo evaluar los méritos respectivos de dos detectores de OOS. En esta publicación, revisamos dos métricas fundamentales que definen qué tan bueno es un sistema para detectar OOS.
De manera intuitiva, un detector de OOS indirecto (como Shelfcheck) se basa en la divergencia entre las ventas observadas y las ventas esperadas. Dado que siempre puede haber fluctuaciones aleatorias (también conocidas como impredecibles) en el mercado, este enfoque, por construcción, no puede ser un sistema perfecto (1), es un compromiso entre sensibilidad y precisión.
(1) No ser perfecto no implica ser inútil.
La sensibilidad representa el porcentaje de OOS (también conocidos como positivos a detectar) que son capturados por el sistema. Este concepto ya se utiliza ampliamente en diversas áreas, desde diagnósticos médicos hasta seguridad aérea. Cuanto mayor sea la sensibilidad, mejor será la cobertura del sistema.
Sin embargo, al aumentar la sensibilidad, también se disminuye la especificidad del sistema, es decir, se disminuye el porcentaje de no-OOS marcados como tales (también conocidos como los negativos, que no deberían ser detectados). En la práctica, esto significa que al generar más y más alertas, el detector de OOS produce cada vez más alertas falsas, desperdiciando el tiempo de los equipos de la tienda buscando problemas que no existen.
Aunque la especificidad no es un criterio muy práctico en el caso del comercio minorista. De hecho, los productos OOS solo representan una pequeña fracción de los productos que no son OOS. Varios estudios citan un 8% de OOS como un promedio mundial relativamente estable. Por lo tanto, la especificidad suele ser muy alta, por encima del 90%, incluso si el detector de OOS produce suposiciones aleatorias puras. Por lo tanto, esos altos porcentajes de especificidad son algo engañosos, ya que solo reflejan el desequilibrio que existe entre OOS y no-OOS en primer lugar.
En Lokad, preferimos la precisión, que representa el porcentaje de OOS identificados con precisión dentro de todas las alertas generadas por el sistema. La precisión se traduce directamente en la cantidad de esfuerzos que no se desperdiciarán por parte del personal de la tienda al verificar problemas que no existen. Por ejemplo, si la precisión es del 50%, entonces una de cada dos alertas es una alerta falsa.
Ni el 100% de sensibilidad ni el 100% de precisión son posibles, o más bien, si tienes un 100% de sensibilidad, entonces tienes un 0% de precisión (todos los productos se clasifican como OOS todo el tiempo). Por otro lado, el 100% de precisión indica que tienes un 0% de sensibilidad (nunca se genera ninguna alerta). El compromiso sensibilidad vs precisión no se puede evitar: si quieres detectar algo, debes aceptar que algo de lo que detectas es incorrecto.
Para comparar dos detectores de OOS, es necesario evaluar su sensibilidad y precisión respectivas. Luego, para mejorar tanto la sensibilidad como la precisión, es posible aprovechar una tecnología de pronóstico superior, ya que mejores pronósticos mejorarán tanto la sensibilidad como la precisión.
Aunque esto plantea otra preocupación, ¿cómo se comparan los siguientes_:_
- un detector A con un 70% de sensibilidad y un 60% de precisión;
- un detector B con un 60% de sensibilidad y un 70% de precisión.
Resulta que esta pregunta no se puede abordar de manera puramente estadística: es necesario modelar los costos y beneficios económicos para evaluar la elección óptima.
Manténganse atentos para más información.
