Dos KPIs para tu detector de OOS
Hace un par de semanas, divulgamos nuestros planes sobre Shelfcheck, nuestro futuro optimizador de disponibilidad en estantería dirigido a minoristas (físicos). Desde entonces, hemos avanzado de manera constante, procesando una gran cantidad de datos de punto de venta.
Lokad no es la única empresa que intenta abordar el problema de OOS (fuera de estantería), pero existe muy poca literatura acerca de cómo evaluar los méritos respectivos de dos detectores de OOS. En esta publicación, revisamos dos métricas fundamentales que definen qué tan bueno es un sistema para detectar OOS.
Intuitivamente, un detector indirecto de OOS (como Shelfcheck) se basa en la divergencia entre las ventas observadas y las ventas esperadas. Dado que siempre pueden ocurrir fluctuaciones aleatorias (es decir, impredecibles) en el mercado, este enfoque, por construcción, no puede ser un sistema perfecto (1); es una compensación entre la sensibilidad y la precisión.
(1) No ser perfecto no implica ser inútil.
La sensibilidad representa el porcentaje de OOS (es decir, los positivos a detectar) que son capturados por el sistema. Este concepto ya se utiliza ampliamente en diversas áreas que van desde el diagnóstico médico hasta la seguridad aérea. Cuanto mayor es la sensibilidad, mejor es la cobertura del sistema.
Sin embargo, al aumentar la sensibilidad, se disminuye también la especificidad del sistema, es decir, se reduce el porcentaje de productos no OOS que son marcados como tales (es decir, los negativos, que no deberían ser detectados). En la práctica, esto significa que, al generar cada vez más alertas, el detector de OOS produce cada vez más alertas falsas, haciendo perder tiempo a los equipos de tienda que buscan problemas inexistentes.
Sin embargo, la especificidad no es un criterio muy práctico en el caso del comercio minorista. De hecho, los productos OOS representan solo una pequeña fracción de los productos no OOS. Varios estudios citan un 8% de OOS como un promedio mundial relativamente estable. Por lo tanto, la especificidad suele ser muy alta, por encima del 90%, incluso si el detector de OOS está produciendo conjeturas puramente aleatorias. Por ello, esos altos porcentajes de especificidad pueden resultar algo engañosos, ya que solo reflejan el desequilibrio que existe entre OOS y los no OOS en primer lugar.
En Lokad, preferimos la precisión, que representa el porcentaje de OOS identificados correctamente dentro de todas las alertas producidas por el sistema. La precisión se traduce directamente en la cantidad de esfuerzos que no serán desperdiciados por el personal de tienda al revisar problemas inexistentes. Por ejemplo, si la precisión es del 50%, entonces una alerta de cada dos es una alerta falsa.
Ni la sensibilidad al 100% ni la precisión al 100% son posibles, o más bien, si tienes una sensibilidad del 100% entonces tienes una precisión del 0% (todos los productos se clasifican como OOS todo el tiempo). Por el contrario, una precisión del 100% indica que tienes una sensibilidad del 0% (nunca se produce ninguna alerta). La compensación sensibilidad vs precisión es inevitable: si quieres detectar algo, necesitas aceptar que, en cierta medida, lo que detectas es incorrecto.
Para comparar dos detectores de OOS, es necesario evaluar su sensibilidad y precisión respectivas. Luego, para mejorar tanto la sensibilidad como la precisión, es posible aprovechar una tecnología de forecasting superior, ya que better forecasts mejorará tanto la sensibilidad como la precisión.
Sin embargo, esto plantea otra preocupación: ¿cómo comparas lo siguiente_:_
- un detector A con un 70% de sensibilidad y un 60% de precisión;
- un detector B con un 60% de sensibilidad y un 70% de precisión.
Resulta que esta cuestión no puede abordarse de forma puramente estadística: es necesario modelar los costos y beneficios económicos para evaluar la elección óptima.
Mantente al tanto para más.
