00:00:00 Inicio del panel, debate de KPI impulsado por la audiencia
00:04:00 Supply chain es economía: asignar recursos escasos
00:08:00 El valor de la información conecta forecast con las finanzas
00:12:00 Pequeños Beanie Babies exponen la falacia de la precisión
00:16:00 Los niveles de servicio ocultan la asimetría y los incentivos
00:20:00 Apuestas de inventario al estilo póker; la predicción del faltante de stock importa
00:24:00 Opcionalidad: precios, descuentos, transferencias reconfiguran los resultados
00:28:00 La incertidumbre de los lead times y las correlaciones rompen las métricas simples
00:32:00 Cisnes púrpuras: las colas revelan futuros faltantes de stock
00:36:00 Demanda aeroespacial: adaptaciones y requisiciones fantasma
00:40:00 Las simulaciones de decision-to-cash reemplazan la persecución de KPIs
00:44:00 Dos tableros: valor ejecutivo e integridad de los datos
00:48:00 Excentricidades en la calidad de los datos: negativos, devoluciones, falta de poder
00:52:00 Las anulaciones manuales indican defectos en el modelo
00:56:00 Las bonificaciones de KPI generan conflictos y manipulación
01:00:00 La ley de Goodhart: los objetivos se deterioran con el tiempo
01:04:00 Elimina las paredes métricas; conserva los cinco elementos esenciales
01:08:00 Conclusiones finales y despedida
Resumen
Supply chain es economía aplicada: asignar recursos escasos para obtener el máximo rendimiento. Métricas porcentuales como forecast accuracy y service levels parecen “científicas”, aunque a menudo ignoran las verdaderas asimetrías—los faltantes de stock pueden borrar el margen, mientras que el exceso de inventario generalmente “solo” conlleva costes o riesgo de rebajas. La alternativa es una evaluación de decisiones end-to-end denominadas en euros: probabilistic forecasts, simulación Monte Carlo y resultados financieros esperados versus reales. La gobernanza debe rastrear señales de fallo del modelo (notablemente las anulaciones manuales) y la integridad de los datos, evitando esquemas de incentivos que inviten al gaming de KPI.
Resumen ampliado
La discusión comienza tratando el supply chain por lo que es: economía aplicada en condiciones de escasez. Cada elección—comprar inventario, consumir materiales, mover stock—implica gastar recursos limitados que no pueden gastarse dos veces. Por ello, el objetivo adecuado no es maximizar porcentajes que se vean bien, sino maximizar el rendimiento de los recursos desplegados.
A partir de esa premisa, el panel desmonta los ídolos habituales: forecast accuracy y service levels. Esas métricas son fáciles de calcular y de adorar, precisamente porque están desvinculadas de la realidad empresarial. Un porcentaje puede parecer científico—97.17% tiene un tinte reconfortante—mientras que aporta poco sobre la ganancia, el flujo de caja o el riesgo. Peor aún, las métricas de accuracy estándar penalizan de manera simétrica el sobre-forecast y el sub-forecast, a pesar de que la economía es asimétrica: un faltante de stock puede destruir el margen y la buena voluntad del cliente, mientras que el exceso de inventario generalmente “solo” incurre en carrying cost o en riesgo de rebajas.
La alternativa es conectar las decisiones con los resultados financieros de extremo a extremo. Patrick lo enmarca como “el valor de la información”: utilizar probabilistic forecasts (distribuciones completas, no estimaciones puntuales), simular decisiones mediante Monte Carlo, propagar la incertidumbre a través de KPIs en los estados financieros, y luego comparar lo esperado versus lo real. Joannes está de acuerdo, añadiendo que el debate técnico—simulación versus modelado de densidad—es secundario; lo clave es que la cadena debe terminar en euros o dólares, y no en métricas abstractas.
La conversación también ataca la mentalidad del “static forecast”. En el comercio minorista, la demanda depende de las acciones de precios y las opciones de liquidación; predecir un único futuro sin reconocer la opcionalidad convierte la planificación en un compromiso prematuro. Las operaciones reales son dinámicas: las transferencias entre tiendas, los descuentos y otras palancas cambian los resultados tras la decisión inicial.
En cuanto a la incertidumbre, importan los lead times y los eventos raros. Las distribuciones pueden ser bimodales con colas largas, surgen correlaciones para pedidos grandes, y los casos extremos dominan las pérdidas. La “accuracy” a menudo ignora el costoso 1%—el fallo que desencadena órdenes de compra imprudentes, el perishable fallo estacional, la pieza aeroespacial que se vuelve urgente debido a adaptaciones o ventanas de mantenimiento. Estas no son curiosidades estadísticas; son donde el dinero se quema.
Finalmente, la gobernanza: Joannes sostiene que la señal no financiera más importante son las anulaciones manuales de las decisiones automatizadas—porque las anulaciones revelan la ignorancia del modelo o fallas en los datos. Ambos enfatizan las comprobaciones de integridad de los datos y advierten que los incentivos vinculados a los KPIs invitan al gaming. Si conviertes una métrica en un objetivo, la deterioras; es mejor mantener pocas métricas, ancladas financieramente, y confiar en el juicio de la dirección en lugar de en una puntuación burocrática.
Transcripción completa
Conor Doherty: Esto es Supply Chain Breakdown, y el panel de hoy desglosará los KPIs que más importan para el desempeño de tu supply chain. Ya saben quién soy. Soy Conor, Director de Comunicación aquí en Lokad.
A mi izquierda, como siempre, Joannes Vermorel, fundador de Lokad. Nuestro invitado especial de hoy, uniéndose de manera remota, es Patrick McDonald. Es Executive Adviser en Evolution Analytics, y aporta a este panel cerca de 30 años de experiencia muy relevante.
Así que Patrick, ante todo, muchas gracias por acompañarnos.
Patrick McDonald: Muchas gracias, Conor. Es un placer estar aquí.
Conor Doherty: Perfecto. Es un gusto tenerte aquí.
Ahora, antes de comenzar, este es un chat en vivo. Este panel se realiza a petición de nuestra audiencia. Así que, si tienen preguntas o comentarios, háganlos llegar. ¿Creen que forecast accuracy es un KPI importante para su supply chain? ¿Por qué? ¿Y qué tal service levels? No nos hagan entrar en ese tema.
Pero sigamos. Patrick, siendo el invitado, comenzamos contigo. Así que, antes de entrar en los detalles de deconstruir los KPIs, todos aquí somos lógicos, así que creo que la primera pregunta debería ser: ¿cuál es exactamente el objetivo de la toma de decisiones en el supply chain? Y luego, más adelante, podremos hablar de los KPIs para medir la eficacia de ello, ¿verdad?
Patrick McDonald: Y creo que es una pregunta realmente importante. He trabajado, como dije, 30 años en consultoría de gestión y en data science. Resolver esa pregunta de manera correcta es, a menudo, mucho más difícil de lo que se podría pensar.
Llegamos y decimos: “¿Qué es exactamente lo que estamos tratando de hacer aquí?” Y creo que, de manera casi rutinaria, la respuesta es: estamos tratando de tomar una decisión sobre cómo asignar un recurso.
Muy a menudo se trata de dónde vamos a posicionar el inventario. En otro contexto, podría ser en qué vamos a enfocar nuestros esfuerzos, cómo vamos a asignar el tiempo de nuestro personal, etc.
Pero desde la perspectiva del supply chain, se reduce a: ¿cómo vamos a asignar el inventario? Y esa es la decisión fundamental que estamos tratando de tomar. Creo que hay que analizar las decisiones que se toman en ese contexto para poder enfocarse realmente y obtener los mejores resultados.
Eso es algo que he intentado hacer a lo largo de mi carrera, y de eso se tratará hoy. Estoy deseando llegar a ello.
Conor Doherty: Bueno, gracias, Patrick. Y Joannes, sé que prefieres enfocarte en optimizar los niveles de servicio de forma aislada, ¿verdad? Ese es el objetivo de supply chain para ti. Estoy parafraseando, ¿cierto?
Joannes Vermorel: No del todo. Realmente aprecio el enfoque de Patrick, que es centrarse en las decisiones.
Más específicamente, mi opinión es que supply chain es una rama aplicada de la economía. Así que tenemos una serie de elecciones que son la asignación de recursos escasos.
Inventario: primero tienes tu dinero que necesitas gastar en lo que compras. Una vez que gastas un dólar en algo, no lo puedes gastar en otra cosa. Luego, si tienes tus materias primas y las consumes para producir algo, en cuanto se consumen, se han ido.
Si mueves una pieza de inventario de un producto terminado de un lugar A a un lugar B, en cuanto se mueve, ya no está disponible en el lugar A. Tienes esos recursos escasos que deben emplearse de la manera más óptima para la empresa.
Entonces, cuando llegamos a lo que significa realmente sacar el mejor provecho de esos recursos escasos, la respuesta muy corta es: maximizar la tasa de retorno.
Básicamente, por cada dólar o equivalente en dólares de recurso que utilices, debes asegurarte de obtener la mayor cantidad de dólares a cambio. Es decir, deseas maximizar, efectivamente, la tasa de retorno.
Conor Doherty: Bueno, gracias. Patrick, te devuelvo la palabra. ¿Estás de acuerdo con esa perspectiva—que supply chain fundamentalmente es una rama aplicada de la economía?
Patrick McDonald: Creo que absolutamente. El enfoque que he adoptado en los últimos años es un concepto de esa rama que quizá no se ha difundido muy bien. Se llama value of information.
El trabajo que suelo hacer es ayudar a responder la pregunta: desde una perspectiva de ciencia de datos podríamos usar un forecast como una visión, ¿verdad? Y, basándonos en eso, vamos a tomar una decisión sobre cómo vamos a ubicar el inventario.
Así que hacemos eso, luego podemos hacer una predicción basada en nuestro modelo: si ubicamos el inventario allí, ¿cuáles son las ventas probables? Si sé cuáles son mis ventas probables, entonces también puedo decir: ¿cuál es probablemente mi nivel de inventario?
Si lo sé, entonces puedo calcular cuáles serán, probablemente, mis KPIs. Y si conozco mis KPIs, puedo calcular cuáles serán, probablemente, mis partidas financieras.
He estado analizando durante los últimos años toda esta cadena. Típicamente, lo que hago es un análisis Monte Carlo basado en el nivel de incertidumbre que tenemos en el forecast.
Ese es uno de los aspectos clave, ¿no? La gente persigue esa precisión puntual, lo cual a mí no me importa tanto. Me interesa muchísimo más la función de masa de probabilidad real, o la función de densidad, alrededor del forecast en sí.
Así que estoy aprovechándolo. Estoy realizando análisis Monte Carlo y sigo esa cadena desde el insight, pasando por la decisión, los KPIs y hasta los estados financieros. Esto me permite comprender realmente lo que está sucediendo, hacer simulaciones y observar posibles resultados con una idea de la probabilidad de que ocurran.
Poder llevar eso hasta un estado financiero que luego puedas presentar en la sala de juntas y decir: “Bien, si vas a tomar este tipo de decisiones, estos son los resultados que puedes esperar.”
Luego podemos retroalimentar y medir lo real versus lo esperado, obteniendo un valor concreto. He descubierto que ese es un enfoque mucho mejor que el que usan la mayoría de las empresas, que varía desde cosas muy simples en una hoja de cálculo, analizando regresión lineal para trazar una línea, hasta forecasting más sofisticado y persiguiendo la precisión individual del forecast.
¿Tiene sentido?
Conor Doherty: Bueno, Joannes, ¿tiene sentido?
Joannes Vermorel: Sí, tiene sentido. Está muy, muy alineado con la manera en que Lokad aborda los supply chains.
De hecho, incluso existe una dualidad entre cualquier tipo de simulador—técnicas Monte Carlo—y el forecasting probabilístico con modelado directo de la densidad. Si tienes algo que puede generar muchas simulaciones del futuro, puedes reconstruir las densidades de probabilidad.
Y si tienes las densidades de probabilidad, entonces puedes generar simulaciones que las reflejen. Puedes ir y venir. A veces es más práctico usar uno u otro, pero eso es más un aspecto técnico que una cuestión de pensamiento a alto nivel.
La intención en ambos es la misma. La idea es que realmente queremos conectar todo de principio a fin con el resultado financiero.
Tienes muchos, muchos pasos, pero fundamentalmente todos esos pasos son artefactos numéricos que son solo un medio para alcanzar un fin. Y ese fin es el resultado financiero que deseas maximizar para la empresa.
Conor Doherty: Bueno, está bien. Escuché muchos términos matemáticos. Perfecto. Los entiendo.
Pero también quiero mantener esto algo más fundamentado. Así que, volviendo al punto, Patrick: parece que estamos en completa unanimidad—total consenso—en que el impacto económico es lo que se debe considerar. Es decir, supply chain es economía aplicada.
Bien, a alguien que diga, “Espera, Patrick. Si seguimos presionando por niveles cada vez mayores de precisión en el forecast y niveles de servicio cada vez más altos, vamos a maximizar el retorno económico de nuestro supply chain.” ¿Cómo es posible que mejores números—mejor precisión en el forecast y mejores niveles de servicio—no se traduzcan en un mejor desempeño económico?
Patrick McDonald: Exacto. Sé que resulta contraintuitivo, pero simplemente no es así.
Hay un principio matemático—perdón, voy a tener que ponerme un poco en modo matemático contigo—llamado la desigualdad de Jensen que nos ayuda a entender por qué eso no es cierto.
Hay un par de piezas clave. Primero, si miras las métricas de precisión tradicionales, se ponderan de igual forma. Si estás demasiado alto o demasiado bajo, se le da el mismo peso.
Pero eso no es lo que tenemos en inventario. El modelo de value of information dice: si pierdo una venta, pierdo todo mi margen. Si tengo de más, entonces solo incurro en el costo de mantenimiento del inventario. Así que ya existe una asimetría de la que debo tener cuenta.
Típicamente, hago ese tipo de evaluación en mis métricas de precisión. La otra cosa que pasamos por alto es que sabemos que hay incertidumbre inherente en el forecast—heredada del resultado futuro—y esa incertidumbre está básicamente contenida en esa función de densidad.
Ahora puedes manejar eso de varias maneras. La forma más simple que hemos utilizado durante años es entender la desviación estándar, tratar de emplearla y establecer ciertos límites.
Ese método era bueno en los viejos tiempos, cuando teníamos capacidades muy limitadas para realizar cálculos.
Pero ahora puedo hacer en mi MacBook personal cosas que habrían requerido un superordenador Cray cuando estaba en la universidad.
Así que nuestra capacidad de cálculo es mucho mayor hoy que antes, de modo que podemos hacer mucho más. Necesitamos mirar tanto esa función del valor de la información como la forma de esa función de densidad de probabilidad.
Ahí es donde creo que entran en juego algunas métricas clave.
Si me permites solo un minuto, te contaré una pequeña historia sobre cómo me involucré en esto por primera vez—dónde lo estaba viendo por primera vez—y por qué se volvió tan importante para mí a lo largo de mi carrera.
Acababa de empezar, y estábamos construyendo un almacén de datos para McDonald’s. Yo era un consultor en Proco, y era 1997, así que eso te dice lo joven que era.
Fue el primer año que hicieron la promoción de los Teeny Beanie Baby. No sé si los recuerdas o no, pero fue enorme. Salió en las noticias. La gente compraba los Happy Meals, tiraba la comida solo para obtener el juguete.
Hubo un pobre repartidor que fue agredido porque alguien intentó robar los Teeny Beanie Babies. Salió en las noticias nacionales. Fue un gran, gran asunto.
Llegamos básicamente el lunes por la mañana de esa primera semana de la promoción, y los ejecutivos de negocios estaban insistiendo: “Necesitamos un reporte de fecha de agotamiento de tienda,” ¿verdad?
Porque estaban agotando los Teeny Beanie Babies tan rápido. Es su artículo promocional. Tiene que ser barato. Impulsa toda una canasta de mercado, ¿verdad?
Tiene que ser barato. Los piden desde China, así que tienen que hacerlo con un año de anticipación. Tenían una cantidad fija. Sin oportunidad de reabastecimiento.
Si tu promoción dura lo que dura, cuando se te acaben los Teeny Beanie Babies, la promoción se termina. Las ventas caen, ¿verdad?
Así que hicimos el reporte para ellos. Claro, se agotaron en aproximadamente una semana y media.
¿Fue entonces una buena promoción o no? Creo que sí, potencialmente, pero piensa: tus ventas fueron cuatro veces lo que pensabas que serían durante una semana y media, y luego cayeron a niveles inferiores a los normales porque no tuviste promoción durante las tres semanas restantes del mes.
Entonces ellos regresaron a nosotros y dijeron, “Bueno, ¿cuántos deberíamos pedir el próximo año?” Y dijimos, “Bueno, ya sabes, cuatro veces más.” Y la decisión fue: “No, eso es demasiado. Pediremos el doble.”
El año siguiente se agotaron en dos semanas y media.
Esas son las cosas en las que empecé a entender el desafío. Parte del desafío que tenían era que no podían obtener buenos forecast.
Así que desarrollamos lo que se llamaba un sistema de forecast provisional para ellos, y funcionó durante 18 años. Se suponía que solo estaría ahí hasta que consiguieran algo mejor, y estuvo calculando juguetes de Happy Meal y hamburguesas de McDonald’s durante 18 años.
Lo que realmente me molestaba era que los proveedores de forecast entraban y decían, “Puedo ofrecerte mejor accuracy, y si te doy mejor accuracy, obtendrás mejores resultados de negocio.”
Para mí era como la tira cómica Far Side de Gary Larson en la que un tipo está de pie frente a una pizarra con todas las ecuaciones, y señala el punto en el medio que no se explica y dice, “Y luego ocurre un milagro.”
Realmente nunca pude conectar los puntos a partir de esas cosas hasta que descubrí cómo hacer esta cadena de valor, con el valor de los analytics o el valor de la información, a lo largo de toda la cadena para poder modelarla.
Así que ese ha sido más o menos el camino de mi carrera, y una de las cosas en las que he estado trabajando a lo largo de esos 30 años en los que he dedicado a la data science.
Conor Doherty: Bueno, gracias. Joannes, eso se alinea mucho con tu perspectiva.
En tu libro, en la mesa, lo sé—y estoy citando los términos—te refieres a accuracy y al nivel de servicio como distracciones, proxies pobres, y uno de tus términos favoritos: numerical artifacts.
Ahora, en términos sencillos, ¿por qué sientes esto? Y supongo que es alguna versión de lo que acaba de decir Patrick.
Joannes Vermorel: Fundamentalmente, si observas el nivel de servicio, primero es un constructo muy matemático en el sentido de que, fundamentalmente, es un porcentaje. No refleja ningún tipo de valor económico para el negocio.
Así que lo primero es que cada vez que tenemos cosas basadas en porcentajes, tenemos que tener cuidado porque fundamentalmente no está claro en absoluto que esto esté arraigado en algo real para el negocio.
Esa es la trampa: puede sonar muy científico porque tienes mediciones y demás, pero ¿lo es?
Realmente aprecio el comentario de Patrick: “y luego ocurre un milagro.” Tienes tu porcentaje, pero ¿cómo se conecta eso con la rentabilidad? “Y luego ocurre un milagro.” Quizás, pero quizás no.
El peligro es que cada vez que tienes esos porcentajes, existe el riesgo de scientismo. Parece ciencia. Hay un número, hay una métrica, incluso puedes tener un porcentaje muy preciso—97.17—lo que lo hace parecer extra racional.
Pero no lo es. Sigue siendo un porcentaje, y no está claro que esté conectado en absoluto con el interés a largo plazo de la empresa.
Ahora, si volvemos a esos niveles de servicio, podemos tener el aspecto descriptivo y el aspecto prescriptivo.
Lo descriptivo es: miro hacia atrás. El problema es que si miro hacia atrás para un SKU dado, y normalmente tengo un nivel de servicio relativamente alto, puedo tener muchos SKUs que están al 100%. Eso no me dice mucho.
Porque, ¿qué pasa si, por ejemplo, este juguete Beanie Baby, antes de que comenzara la promoción—para siempre—estaba al 100% o indefinido? En términos descriptivos, no era muy útil.
Y luego, cuando bajas a cero—porque las ventas caen a cero al no tenerlo más—el nivel de servicio no diferencia si te falta una unidad o un millón.
Así que, si ves eso, ese es también otro problema: dice “estoy con faltante de stock,” sí, pero realmente no es lo mismo tener faltante de stock porque vendí 100 y me faltó una unidad, versus vendí una y me faltaron 100 y estuve con faltante de stock.
Así que, de nuevo, en términos descriptivos, no cuenta la historia.
Luego, si hablamos en términos de prescripción—perspectiva prescriptiva—como qué debería buscar en cuanto al nivel de servicio, es exactamente como describiste: las asimetrías en términos económicos no se toman en cuenta.
Si tengo algo que puede, como en McDonald’s, tener un impacto porcentual de dos dígitos en el crecimiento de mis ventas—de modo que puedo aumentar sustancialmente mis ventas—y me cuesta unos centavos por comida tener este juguete de China, esto es sumamente, sumamente asimétrico.
Significa que con una inversión limitada puedo tener una adopción masiva.
En este tipo de situación dirías: sabes qué, esos juguetes de plástico no son perecederos, son muy baratos, el potencial al alza es muy alto, tal vez debería arriesgarme a tener sobrestock.
Si las cosas no van bien, simplemente los liquidaría con el tiempo. Los clientes no se verán afectados… por ejemplo, en McDonald’s, en el peor de los casos, los clientes recibirán dos juguetes con su comida durante un mes.
Probablemente, incluso si el segundo juguete no es tan bueno, no enfadará a tantos clientes si el Happy Meal tiene un segundo juguete.
Así que puedo ver que el riesgo que asumo al tener demasiado no es tan grande, siempre que el costo por comida esté bajo control.
Patrick McDonald: Exactamente. Me encanta la forma, primero, en que hablas de accuracy como un artefacto matemático.
Creo que básicamente lo he visto un poco diferente. Lo llamo uno de los seis seductores. Tengo seis supuestos que los data scientists hacen que no deberíamos hacer todo el tiempo.
Uno de ellos es el óptimo local versus global. Entonces, si dices que es un artefacto numérico—si me centro en accuracy—me estoy enfocando en un óptimo matemático local y artificial en lugar de en lo que debería centrarme, que es: ¿cómo puedo maximizar el flujo de caja o las ganancias que voy a generar?
Eso es lo local versus lo global.
Lo otro que me viene a la mente cuando hablamos de esto es: ¿qué decisión es la que realmente estás tratando de tomar?
Pienso en las decisiones de inventario como jugar al póker, ¿no? Estás apostando tus fichas en la mesa para hacer una apuesta basada en información incierta.
Quieres tener tanta información como puedas, y hay un elemento de riesgo en ello.
Mi cliente actual está en los Países Bajos. Es una empresa de software como servicio donde, para el retail, hacen forecast y ayudan a minoristas más pequeños a posicionar su inventario.
Una de las cosas que encontraron en sus aplicaciones de forecast fue que se enfocaban primero en accuracy y descubrieron que eso no era lo más importante para sus minoristas específicos.
Lo más importante era poder predecir si iban o no a tener faltante de stock, porque los minoristas van a enviar.
Si tienes una prenda de vestir, normalmente tendrás una de ellas en un estilo, color y talla, normalmente—quizás un par—pero no más que eso. Envías una vez a la semana.
¿Repones o no, verdad? Lo tienes en el almacén, está ahí. No hay muchísima diferencia en términos de gastos operativos si está en el almacén o en la tienda, pero no quieres demasiadas cosas en el piso de la tienda.
Pero quieres tener lo suficiente. Así que su capacidad de forecast está realmente orientada y enfocada en poder entender: ok, ¿voy a vender esa unidad, y tengo faltante de stock?
Así es como responden a la pregunta: ¿procedo a enviar inventario desde el DC a la tienda minorista?
Es un enfoque muy bueno porque están respondiendo a una pregunta diferente en lugar de tratar de decir: ok, ¿cuántos voy a vender, y puedo alcanzar ese número de manera específica y exacta?
Es: ¿tomo la decisión de enviar o no?
Comprender realmente eso llega al punto de qué pregunta estás tratando de responder, y eso significa qué métrica voy a usar.
Así que están observando recall y precision de manera mucho más cercana en torno a una decisión categórica—¿tendré faltante de stock o no—que es mucho más importante que la numérica: ¿cuánto voy a vender?
Ese es otro tipo de métrica que creo que a veces necesitamos considerar desde una perspectiva de forecast que nos dé mejor información en términos de los tipos de decisiones que realmente vamos a tomar.
¿Tiene sentido?
Conor Doherty: Absolutamente. Absolutamente sí.
Joannes Vermorel: Hay otro beneficio si empiezas a mirar la decisión. Por ejemplo, el forecast de demanda: el problema es que, dependiendo de cómo operes, puede que ni siquiera haya una buena respuesta—una respuesta accurate.
Un ejemplo: tienes tu red de retail de moda. Al final de la colección, al final de la temporada, tienen la oportunidad de hacer descuentos para liquidar la colección actual.
Entonces, si dices, “forecasteo este nivel de demanda,” la pregunta es: ¿a qué punto de precio estás forecasteando?
Está el precio actual, pero también existe la opción de hacer un descuento. Ahora tienes que mirar las diversas estrategias.
Si mantengo la unidad en el almacén hasta el final de la temporada, tendré que moverla a algún lugar y hacer un descuento.
Si la envío a la tienda, puede que tenga la oportunidad de venderla antes del final de la temporada, antes de tener que hacer un descuento.
Pero quizás esta tienda en particular, en términos de poder de mercado en cuanto a descuentos—tal vez la clientela local es muy pobre y no responde a los descuentos para esta tienda específica en comparación con las otras.
Entonces ves: hace varias cosas—tu asunto de lo local versus lo global—pero además, lo que quería señalar era que si piensas en el futuro como algo estático, eliminas toda la agencia que tienes para moldear ese futuro a medida que avanzas en él.
Lo que digo es que el problema con la mentalidad de forecast primero es que elimina toda la agencia que la empresa podría tener, porque esencialmente estás diciendo: este es el plan, esto se convierte en un compromiso, y esto es lo que vamos a hacer.
En lugar de pensar: esta es la decisión correcta, y mantengo muchas opciones disponibles para acomodar esta decisión que estoy tomando en este momento.
No necesito comprometerme más allá de la decisión. La decisión que tomo es mi único compromiso. El resto permanece abierto.
Ese es el problema con el forecast: tiende a encerrar a la empresa en una trayectoria que es completamente ciega a cualquier opcionalidad.
¿Qué pasa si quieres hacer un traspaso más adelante entre tiendas? Quizás esa sea una opción, quizás no lo sea. Pero si piensas en términos de decisión, eso surge de manera muy natural.
Si piensas en términos de forecast—especialmente el time series forecast—esto es algo que es casi imposible de expresar.
Patrick McDonald: Mi cliente actual en realidad está haciendo algo de eso. Tienen un módulo de transferencias, así que analizan: ok, ¿traspaso esta variante en particular de una tienda a otra porque es más probable que se venda allí?
También estábamos haciendo algún análisis sobre precios. Hicimos un análisis básico de elasticidad precio de la demanda, examinándolo y diciendo: ok, si hago un descuento, ¿voy a obtener más volumen o simplemente estaré cediendo margen?
Estamos empezando a poder responder esa pregunta.
Me encanta que hables un poco sobre si es algo dinámico o algo estático. Ese es el número cuatro de mis seis sagrados a los que pensamos todo el tiempo: vemos todo como un problema de equilibrio estático, y la mayoría de las cosas son dinámicas.
Así que, absolutamente, creo que ese tipo de decisiones son críticas y necesitamos tener en cuenta esa opcionalidad.
Creo que la otra área en la que no pensamos lo suficiente—e incluso yo no he llegado a esto aún porque el problema es bastante complicado, y sé que hay otras personas que han trabajado en ello—es que hay mucha incertidumbre en cuanto al tiempo de entrega.
Tus proveedores, en particular si estás en manufactura y tienes una bill of materials completa en la que estás esperando: tienes el suministro llegando y tienes que esperar por ello.
A veces entregan a tiempo, a veces no. Hay incertidumbre allí que necesita ser modelada.
Sé que hay personas que hacen un trabajo bastante bueno en algunos de esos aspectos, pero creo que ahora tenemos mayor capacidad desde una perspectiva de cálculos para poder analizarlo con un poco más de profundidad.
Así que creo que hay oportunidades incluso en el lado de la oferta en términos de comprender cómo es y hacia dónde se dirige.
Joannes Vermorel: Sí. Por cierto, incluso tengo conferencias sobre modelado probabilístico de tiempos de entrega en YouTube.
Hemos desarrollado tecnologías durante varios años para combinar muchas fuentes de incertidumbre, y es por eso que, típicamente, la precisión clásica fracasa estrepitosamente.
Es muy difícil debido a esas preocupaciones asimétricas. Estás combinando muchas incertidumbres, cada una con sus propias asimetrías que pueden ser bastante contraintuitivas.
Pueden combinarse. Por ejemplo, los tiempos de entrega tienden a tener… la mayoría de las distribuciones de tiempos de entrega son bimodales. Tienes una moda, un pico, para la fecha normal esperada cuando todo transcurre sin problemas, y luego tienes la cola que es súper larga cuando las cosas no salen según lo previsto.
Es, incluso, muy frecuentemente una distribución que ni siquiera tiene un promedio porque algunas cosas nunca se entregan. Así que, matemáticamente, ni siquiera hay un promedio. Es un poco extraño.
Además de eso, el caso en el que los tiempos de entrega tienden a salirse completamente de control es cuando realizas un pedido más grande, lo cual no es sorprendente. Realizas un pedido grande, inusual, y luego tu proveedor tiene dificultades.
Así que tienes correlaciones.
Lo que estoy diciendo es que si nos guiamos por el paradigma clásico de supply chain que piensa en términos de precisión, con porcentajes por doquier, cuando combinas todos esos efectos te das cuenta de que lo que puede costarte dinero no es en absoluto obvio desde un punto de vista porcentual.
Podrías terminar con cosas muy tontas. Por ejemplo, si tienes un producto que es fresco y perecedero y que vas a vender en Navidad—digamos, ostras—es increíblemente sensible al tiempo.
Si te pierdes la Navidad y el Año Nuevo, estás frito. Estarás vendiendo lo que tengas con un descuento del 80%, y eso podría ser el mejor de los casos.
No es que todo se alinee de manera cósmica para perjudicarte así, pero muy frecuentemente tienes muchos casos atípicos. Tienes un bosque de casos atípicos, donde tantos productos tienen sus propios casos atípicos.
Por eso volvía inicialmente a decir que tenemos que vincular todo a dólares al final—o a euros.
Porque cuando combinas esas incertidumbres, te das cuenta de que la debilidad de tu modelo predictivo puede ser muy contraintuitiva. Podría tratarse de cosas que, a simple vista, un estadístico diría: “Oh, parece bastante preciso y bien calibrado”, pero te das cuenta de que terminas con problemas.
Un ejemplo: si vuelves a ejecutar tu lógica cada día para saber si quieres generar una orden de compra de, digamos, China, y un día de cada 100—es decir, 1% de probabilidad—la cosa se dispara solo debido a la inestabilidad numérica, eso significa que estarás generando algo como tres órdenes por año para tu proveedor en China, solo por la inestabilidad numérica del modelo.
Hoy se disparó y luego estás persiguiéndolo como un fantasma. Es un artefacto numérico que fue simplemente la inestabilidad numérica de tu modelo en ese día.
En términos de precisión, si este tipo de problemas solo ocurre una vez—el 1% del tiempo—ni siquiera aparecerá en tu precisión promedio porque quedará completamente opacado por otros factores.
Eso es lo que estoy diciendo: las debilidades de tu modelo predictivo deben evaluarse en dólares. De lo contrario, tienes aspectos que parecen insignificantes en la mayoría de las métricas basadas en porcentajes, pero una vez que los miras en términos de dólares, te das cuenta: “Vaya, esto que parecía pequeño, en realidad no lo es, es grande”, por ejemplo, porque olvidé mi efecto de ratchet en las órdenes de compra realizadas a este proveedor en China.
Patrick McDonald: Hemos empezado a pensar en eso. Taleb habló de ello primero en su libro The Black Swan. Estoy seguro de que lo conoces, ¿verdad?
Ahora tenemos cisnes grises y cisnes negros. Yo tengo lo que llamo cisnes púrpuras, que son distribuciones de aspecto realmente extraño que ocurren debido a ciertas circunstancias bastante únicas. Son esos casos atípicos.
No se ajustan a una distribución estándar. No son describibles numéricamente. Tengo que usar una función de densidad de probabilidad real y utilizarla como un arreglo de valores para poder describirla.
El primer ejemplo que tuve de esto fue: estábamos desarrollando una solución de forecast para una prueba de concepto para una empresa aeroespacial, y me pidieron calcular safety stock. Algo que no había hecho antes.
Lo analicé de manera un poco diferente. Aproveché el trabajo de Sam Savage en Stanford sobre gestión de la probabilidad, y tiene una pequeña herramienta en Excel que te permite básicamente hacer cálculos con funciones de densidad de probabilidad.
Así que hice algo realmente simple. Tomé el intervalo de predicción para el forecast y utilicé uno básico, así que era simplemente una distribución normal.
Fue la primera vez que realmente realicé este mapeo del modelo de valor de la información de principio a fin y dije, vale, basándome en eso, ¿cómo establezco mis safety stocks?
Empecé a analizarlo. Estaba observando una serie temporal individual y: distribución normal, distribución normal, distribución normal. De repente veo una que nunca había visto antes, y se ve así—boom.
¿Qué demonios es eso?
Lo descubrí. Lo que había hecho era incluir una función en la que decía: mis ventas son el mínimo entre mi nivel de stock o la demanda, ¿vale?
La demanda era una distribución normal. El nivel de stock estaba justo aquí. Y si la demanda superaba el nivel de stock, la distribución—la cola—aparecía. Bueno, ese es justamente tu riesgo de faltante de stock.
Pude ver eso con 11 meses de anticipación al observar esa distribución de probabilidad.
Así que ese es un ejemplo de una especie de cisne púrpura.
En cuanto a tu punto, cuando estamos persiguiendo esa precisión, lo que muchos de nosotros hacemos es tomar esa métrica de precisión de forma aislada. Calculamos un intervalo de predicción, pero lo descartamos y no lo usamos.
Utilizar eso e incorporarlo en una simulación es cuando comienzas a ver cómo se manifiestan esos casos atípicos y puedes obtener una mejor comprensión.
Joannes Vermorel: Sí, absolutamente. Para el sector aeroespacial, es muy interesante porque hemos hecho tanto.
Algunos ejemplos: la precisión te encierra en la perspectiva de la serie temporal, lo cual es extremadamente equivocado en este caso.
Uno de nuestros primeros descubrimientos cuando trabajábamos en el sector aeroespacial fue el concepto de retrofits. Tienes piezas que se solicitan porque necesitas una reparación, por lo que una pieza debe llegar.
Pero luego te das cuenta de que tienes retrofits, que son piezas en las que el OEM dice: necesitas presionar esas piezas—esas piezas nuevas—como reemplazo para el avión, porque ya no confiamos en las piezas antiguas.
Así que, en tu serie temporal, estás mezclando, de hecho, dos tipos diferentes de unidades: las que se extraen para reparaciones y las que se empujan para retrofits.
Pero eso no es todo.
Otro elemento: cuando observamos la demanda en el sector aeroespacial, muy frecuentemente la aeronave necesita completar la reparación en, digamos, ocho horas para el mantenimiento menor.
Como resultado, la tripulación va a solicitar muchas más piezas de las que realmente necesitan, porque solo dispondrán de ocho horas para realizar la reparación.
Así que dirían, “Necesitamos 100 de esas piezas”, pero luego, al día siguiente, tendrás una cantidad masiva de piezas devueltas, pero no utilizadas.
Por eso, necesitas entender tu señal de demanda.
Esas cosas no son súper complicadas, pero deben tenerse en cuenta, y necesitas tener una perspectiva amigable con la industria aeroespacial para comprender realmente: ¿vale, qué es lo que están tratando de hacer?
Están tratando de reparar un avión. Les preocupa el tiempo de su operación. Así que necesitan pedir un poco más y devolverán muchas cosas.
Algunas piezas son en realidad solicitadas por la tripulación. Otras son impulsadas por el OEM.
Así que aquí tenemos matices que deben tenerse en cuenta, etc.
Por eso, todas esas ideas—a diferencia de los porcentajes—provienen de entender cómo conseguir que un avión sea reparado en primer lugar. Es un dominio de conocimiento diferente.
Mi mensaje aquí, en lo que respecta a esos indicadores, es que, como regla general, debes tener una extrema suspicacia con cualquier indicador que provenga directamente del mundo de las matemáticas—matemáticas puras—en lugar de algo que esté realmente guiado por una comprensión muy precisa de lo que intentas lograr en la práctica.
Desafortunadamente, la mayoría de los KPIs que veo provienen de muchas matemáticas, usualmente porque son mucho más fáciles de definir.
Si volvemos al sector aeroespacial, es una especie de situación pésima donde la tripulación dice, “Quiero 100”, tienes solo 80, pero al final devuelven 30.
¿Satisfaciste la demanda? ¿Sí, no, sí?
La tripulación estaba muy tensa porque pensaban que tal vez se quedaban cortos, pero al final no les faltó.
Así que ese es el tipo de situación en la que, de repente, entramos en el detalle minucioso de entender el contexto, en lugar de centrarnos en el error cuadrático medio versus MAPE versus error absoluto, etc.—todos los criterios teóricos.
Conor Doherty: Bueno, señores, con eso creo que hemos denunciado a fondo lo que ambos considerarían el enfoque tradicional en el seguimiento del rendimiento.
Pero lo que queda un poco confuso es lo que estamos proponiendo como alternativa.
Así que, por ejemplo, volviendo a lo que dijo Patrick: dijiste, de nuevo, que perseguir la precisión del forecast de forma aislada es una tarea de tontos. Concedámoslo para efectos de la discusión.
Vale, pero entonces, ¿qué se supone que debemos rastrear? Decir “simplemente hagamos seguimiento del dinero” es un tanto poco claro para la gente.
Entonces, ¿cuál es la verdadera tesis que estamos proponiendo—o que propones—para reemplazar los KPIs tradicionales?
Patrick McDonald: Correcto. Yo tiendo a hacer lo que llamo análisis del valor de la información.
Quiero simular ese flujo de caja en términos de las decisiones que en realidad estamos considerando y cómo las estamos tomando.
Para ello, realmente debes tener una comprensión clara de ese modelo de valor de la información.
¿Cuál es el costo de no realizar la venta si vamos a tener un faltante de stock? ¿Cuál es mi costo de mantenimiento asociado?
¿Cómo se ve esa incertidumbre, ya sea un forecast o una convolución con los tiempos de entrega o lo que sea en tu simulación, para modelarla?
Intenta rastrear eso desde: aquí está mi perspectiva, aquí está la decisión que voy a tomar, esta es la palanca que voy a poner en el negocio, aquí es donde voy a establecer mi posicionamiento, aquí es donde voy a fijar mi esfuerzo.
¿Cuáles son los resultados que espero?
Realiza esa simulación—haz el análisis de Monte Carlo—y observa cuáles van a ser las distribuciones de probabilidad de los resultados.
Luego, mide lo real versus lo predictivo en términos de analizar eso.
Esa es la aproximación que he tomado. Tiende a funcionar bastante bien. Requiere un poco de sofisticación adicional por parte de tus ejecutivos de negocio.
Los ejecutivos de negocio tienden a querer pensar las cosas de manera muy lineal y algo simplista. Esa es otra de mis seis preocupaciones.
Pero esa es la aproximación que sigo, y es lo que realmente recomendaría: reflexiona sobre ese modelo de valor de la información y cómo lo aplicas.
Ahora, ¿las métricas tradicionales de forecast aún son útiles desde una perspectiva estadística? Sí, pueden serlo.
Suelo tratar de ponderarlas. Miro, como digo, una precisión ponderada, un recall ponderado, una métrica ponderada de pinball que creo es mucho más útil que una métrica de precisión.
Pinball te permite observar la precisión a lo largo de todo ese perfil de demanda—esa función de densidad.
Si lo colocas en la posición correcta y le aplicas una inclinación basada en el valor de la información, y lo ponderas adecuadamente, te puede brindar cierta perspectiva hacia ese análisis de valor que estás buscando.
Estas son cuestiones que realmente apenas estoy implementando ahora. Estoy en proceso de aprendizaje mientras hago estas cosas.
Ha sido a lo largo de, como digo, 30 años de trabajo, y cada día que entro a la oficina, aprendo algo nuevo.
Así que ahí es donde me encuentro. Esa es la aproximación que estoy siguiendo actualmente, y parece estar teniendo un impacto real para algunos de mis clientes.
Conor Doherty: Gracias, Patrick.
Joannes, misma pregunta. Presumo que también lo estás abordando desde una perspectiva financiera muy concreta.
Joannes Vermorel: Diría que realmente hay dos grandes conjuntos de indicadores que típicamente generamos y monitoreamos para propósitos completamente diferentes y para audiencias distintas.
El primer público sería la gestión de supply chain—ejecutivos de supply chain. Para ellos, serán esencialmente economic drivers.
Decimos: queremos maximizar el retorno de la inversión, es decir, la tasa de retorno de cada decisión. Pero necesitamos descomponer eso en una serie de impactos: costo de inventario, margen esperado, costo esperado de la baja de inventario, penalización por faltante de stock.
Así que hacemos esta descomposición.
Dentro de este ámbito, tenemos indicadores que son prospectivos—por lo que dependen del modelo predictivo—y aquellos que son puramente descriptivos: solo observan lo que sucede.
Aquí estamos hablando de, quizá, un máximo de una docena de indicadores. Algunos que son puramente descriptivos—estadísticas descriptivas—y otros que están embedding condicionados a la corrección del modelo predictivo.
Por ejemplo, si te digo que este inventario conlleva un riesgo de baja de inventario de tantos dólares, aún no he observado esa baja de inventario. Así que es un número que estoy construyendo gracias a un modelo predictivo de algún tipo.
Eso es para la audiencia de ejecutivos y profesionales.
Luego tenemos un segundo conjunto de indicadores que suelen ser relativamente monstruosos. Pueden ser cientos de números para los propios científicos de datos.
Aquí, normalmente, estamos buscando indicios de que algo pueda salir mal en toda la cadena de procesamiento, porque estamos obteniendo datos. Es típicamente un proceso azaroso en el que tenemos docenas y docenas de tablas que se extraen de los ERPs—potencialmente de varios—a WMS, un CRM.
Así que consolidamos muchas cosas del panorama aplicativo de la empresa, y hay tantas cosas que pueden salir mal.
Por ejemplo: ¿qué pasa si de repente, de un día para otro, tienes una variación con un 5% más de proveedores? ¿Es significativo o no? ¿Alguien introdujo duplicados o no?
¿Qué pasa con un 20% más de proveedores? Bueno, un 20%—probablemente sea un duplicado o quizá un error.
Así que tienes que monitorear muchas cosas que son problemas que pueden infiltrarse en tu pipeline de procesamiento de datos.
Casi todo: vas a monitorear el número de SKUs, el número de proveedores.
A veces intentas identificar cosas que están cerca de la invariancia que podrías usar para detectar si ha habido un error en tu data pipeline.
Ejemplo: un ecommerce nuestro que vende piezas de automóvil. Nos dimos cuenta hace años de que era extremadamente estable: “dos piezas y media por cesta.”
Era increíblemente estable—durante el verano, el invierno, la Navidad—todo era súper, súper estable: dos piezas y media por cesta.
Eso significa que tenemos algo muy estable. El negocio puede fluctuar mucho, pero en realidad esto es muy estable.
Lo que significa que si tenemos una desviación en esto, probablemente implica que hay un error en el pipeline: por ejemplo, se han perdido las líneas de pedido, que solo tenemos la primera línea de pedido de cada orden, o algo sin sentido así.
Entonces el Supply Chain Scientist compondrá un dashboard, pero aquí no se trata realmente de generar valor. Es, desde nuestra perspectiva, lo que llamamos impulsado por la locura.
Quieres mantener un ojo en todas las cosas que literalmente pueden causar estragos en tus cálculos y socavar completamente tus modelos. Pueden ser muchas cosas tontas.
Incluso puede ser, por ejemplo, la proporción de letras y números en las etiquetas de descripción de producto. Si tienes etiquetas que de repente están compuestas únicamente por números, lo más probable es que ya no tengas las etiquetas correctas para la descripción.
Son muchas heurísticas que están ahí solo para asegurar que los datos que procesas automáticamente a gran escala sigan siendo sanos.
Eso interesa únicamente al Supply Chain Scientist, porque el Supply Chain Scientist quiere asegurarse de que cada día, las decisiones a gran escala tengan un 0% de locura.
Defino la locura como algo en lo que cualquiera observaría esas decisiones y diría, “Una decisión loca—oh no, eso es una locura, no deberías hacer eso.” Alguna cosa salió mal en alguna parte del pipeline de datos.
Para nosotros, es muy importante asegurarnos de que este número de decisiones locas sea cero.
No podemos ser 100% precisos, pero podemos eliminar la gran, gran locura.
Conor Doherty: Patrick, ¿algo que agregar antes de continuar?
Patrick McDonald: Solo quiero decir rápidamente: a lo largo de mi carrera en ciencia de datos, la precisión y la calidad de los datos siempre han sido un problema.
He visto cosas extrañas—niveles de inventario negativos. ¿Cómo puedes tener un nivel de inventario negativo? Eso no tiene ningún sentido.
Tuve un cliente—un gran cliente FAANG—, en el que el director de centros de datos entraba en un centro de datos completamente nuevo, consultaba su reporte de energía, y decía que no se estaba consumiendo energía.
Él mira a su alrededor y, por supuesto, todas las máquinas están funcionando y las luces están parpadeando, así que sabe que el reporte está equivocado. ¿Qué pasó?
Así que sí, pueden ocurrir muchas cosas desde la perspectiva del procesamiento de datos.
Creo que el control estadístico de procesos es algo que se puede usar para hacer algo de eso. Parece que es lo que ustedes están utilizando, y es la manera correcta de manejarlo.
Si no tienes buenos datos, el dicho “garbage in, garbage out” sigue aplicando. Con big data, eso significa que vas a tener mucha basura. Así que tienes que lidiar con ello.
Joannes Vermorel: Sí, absolutamente.
A veces, lo más positivo es que los datos son en realidad correctos—simplemente de una manera muy, muy extraña. Por ejemplo, SAP decidió hace 30 años que las devoluciones se contarían como ventas negativas.
Eso significa que hay días en los que tienes ventas negativas. Simplemente significa que en realidad tuviste más devoluciones que productos vendidos.
Si optas por el ecommerce en Alemania, donde el porcentaje de devoluciones es como el 40% de los artículos enviados se devuelven, tendrás toneladas de ventas negativas.
Pero esa es una información muy importante—excepto que no es una venta negativa, es una devolución.
Así que ese es el tipo de cosas.
Pero estoy de acuerdo: los datos son extremadamente desordenados, y es muy importante asegurarse de que se mantengan bajo control.
Conor Doherty: Genial.
Bueno, caballeros, tengo una pregunta de cierre, pero voy a dejarla para el final y en su lugar priorizar algunas de las preguntas de la audiencia.
Estas son extraídas de algunas preguntas por mensaje directo en este hilo, pero también una pregunta interesante de la semana pasada que creo que se aplica muy bien a hoy.
Así que comenzaré con una pregunta de Miguel Lara. Esto es para el panel. Patrick, te empiezo a ti.
¿Existe algún KPI—o hay algunos KPIs—que no afecten necesariamente los resultados financieros pero que aún considerarías de alto impacto, o de alguna utilidad?
Patrick McDonald: Sí.
Creo que muchas de las métricas estándar que observamos siguen siendo importantes.
El MAPE es algo importante cuando estás analizando y tratando de entender qué tan bien funcionará un modelo de forecast.
Tu MAE o tu MASE también son cosas que voy a observar y usar.
No es que esas no sean métricas importantes o que no las tengamos en cuenta, sino que no son las métricas más importantes, y no son las que deberíamos perseguir.
Creo que esa es, de alguna manera, la perspectiva que yo tendría.
Comprende lo que las métricas te están diciendo y úsalas para su propósito designado.
No hagas esa suposición de “y entonces ocurre un milagro” y apliques esas métricas bajo la asunción de que vas a obtener valor en términos financieros cuando las apliques de maneras para las que no fueron diseñadas.
Así que supongo que esa es mi respuesta a ello. “Fit-for-purpose” es algo que trato de tener presente en todo lo que hago, y eso es lo que recomendaría para muchas de esas métricas.
Conor Doherty: Gracias.
Joannes, misma pregunta. ¿Necesitas que la repita?
Joannes Vermorel: Creo que para Lokad, la métrica no financiera más importante es el número de intervenciones manuales por día en decisiones que deberían ser automatizadas. Esa es la principal.
Así que no es financiera, pero para nosotros cualquier cosa por encima de cero es un problema, y lo vemos como un defecto.
El problema es que cuando tenemos un defecto, significa que nuestro modelo está algo equivocado. Si está equivocado, entonces ni siquiera podemos confiar en el modelado económico que tenemos.
Por definición, si la gente realiza esas intervenciones, significa que ellos ven cosas que nosotros no vemos.
Así que todas esas mediciones económicas que tenemos podrían estar completamente socavadas por esta prueba de incorrección.
Así que para nosotros, ese es el número uno: esas intervenciones manuales, porque cada vez que suceden significa que hay algo que estamos haciendo mal en el propio modelo, y por lo tanto, potencialmente, puede socavar todo el análisis económico de extremo a extremo.
Por eso necesitamos prestar mucha atención. Lo tratamos como un error. A menos que comprendamos el error, no sabemos cuán profundo es el agujero del conejo.
Patrick McDonald: Yo también lo encontré cierto.
Supongo que la pregunta que tendría es: ¿siempre es así? ¿Cuando descubriste que casi todas esas intervenciones son erróneas?
¿O hay casos en los que alguien interviene y anula, y sí, hubo un problema con el modelo, lo descubrimos y lo solucionamos?
Joannes Vermorel: Primero, lo que sucede es que inicialmente, cuando comenzamos un proyecto, muy a menudo la mayoría de las intervenciones—desafortunadamente para nosotros—son reales. Hay cosas que hemos pasado por alto. Hay cosas que no entendimos.
Entonces, cuando empezamos, la mayoría de esas intervenciones suelen reflejar cosas que no conocíamos.
Por ejemplo, cuando comenzamos aviation, hace como una década y media, no sabía qué era un retrofit—la importancia del retrofit.
Había mucha gente ajustando números, y en un momento dije, “¿Qué está pasando?” Nos dijeron que era un retrofit. Yo dije, “¿Cómo?”
Luego volvimos atrás. La persona que hizo el modelado estaba muy desinformada sobre algo muy importante.
Pero luego, con el tiempo, puede ser cualquier cosa. Puede ser un nuevo que interviene sin razón alguna, solo porque estaba acostumbrado a intervenir cosas en su empresa anterior, viene aquí y dice, “Oh, debería intervenir.” Bueno, en realidad no tiene ningún sentido.
Yo trato eso… el porcentaje de reportes críticos disminuye mucho.
Pero es un poco como cuando eres una empresa de software: tienes reportes de bugs de los usuarios. Tienes muchas quejas. La gente dirá, “Oh, está lleno de bugs,” no, simplemente implementaste la característica de forma incorrecta—es realmente el comportamiento esperado.
Sin embargo, tendemos a monitorear eso muy cuidadosamente, porque, según Nassim Taleb, las excepciones ocasionales que resultan ser correctas pueden ser muy significativas.
Así que incluso si dices que el 99% es como “el usuario está equivocado,” quizás ese 1% resulte haber tenido un gran impacto.
Por eso estamos atentos.
Para un proyecto maduro, la gran mayoría son esencialmente ruido, pero algunos no lo son, y esos es en lo que realmente nos preocupamos.
Conor Doherty: Muy bien. Gracias.
La siguiente pregunta fue publicada por—espero estar pronunciándolo correctamente—Lucio Zona. Ahora, esto fue en la discusión sobre los safety stocks de la semana pasada, pero es muy relevante.
Así que necesito leerla, y luego hay dos preguntas.
Un poco de contexto: Lucio señaló que la mayoría de los bonos de los managers de supply chain están atados a KPI. Por ejemplo, puntuales y completos. Como resultado, a nadie realmente lo despiden por exceso de stock, solo por deficiencias en la puntualidad y la completitud.
Eso naturalmente empuja—o posiblemente incentiva—a la gente a inflar los inventarios.
En teoría, podríamos dimensionar los safety stocks utilizando los verdaderos costos económicos por unidad corta, por evento de faltante de stock, pero esos números son imprecisos. Así que las empresas recurren a KPIs simples.
Ahora las dos preguntas: ¿a quién le importan realmente los KPIs, y cómo deberían diseñarse las estructuras de incentivos para que esas métricas o KPIs no recompensen básicamente a las personas que manipulan el sistema?
Patrick, te empiezo a ti.
Patrick McDonald: Es una pregunta difícil. Lo sé. No, en realidad no lo es. Es una pregunta simple que me saca de quicio.
La cantidad de incentivos en conflicto en las grandes organizaciones en las que he estado es alucinante.
Ese es uno de los mayores desafíos que tengo.
Un tema completamente diferente.
Tengo un conjunto diferente de métricas generales que creo que las organizaciones deberían analizar en términos de cómo gestionan sus negocios.
Las métricas en conflicto, particularmente aquellas que incentivan comportamientos en conflicto, son problemáticas.
Esa es parte de la razón por la que tenemos sales and operations planning. Operaciones y supply chain tienen sus propios problemas por muchas razones.
Y no menos importante, es que todos tienen lo que llaman un forecast, y hay al menos siete forecasts diferentes en cada organización.
Uno es un plan de supply, otro es un plan de demanda, uno es un statistical forecast, uno son los objetivos de ventas, otro es el plan de marketing, y otro es un plan financiero. Todos se llaman “the forecast.” No se reconcilian.
Luego, la organización se pregunta por qué están desalineados.
Parte de la razón es que vuelves a las métricas individuales en las que se basan los bonos de las personas que incentivan su comportamiento.
Así que sí, ese es un gran problema. Resolverlo no es un desafío trivial. Es un gran trabajo de consultoría de gestión—o un gran problema de gestión—que debe abordarse.
Puede solucionarse, pero va a requerir de un liderazgo real dentro de una organización para que eso ocurra.
Entonces, ¿cubre eso la primera parte de la pregunta? ¿Cuál era la segunda parte? ¿Me perdí de algo?
Conor Doherty: ¿A quién le importan los KPIs—o a quién es que realmente importan los KPIs? Y luego, ¿cómo incentivas a la gente para que no abuse del sistema?
Patrick McDonald: Te aseguras de que tus métricas estén alineadas y no en conflicto. Así es como se hace.
Conor Doherty: Muy bien. Gracias.
Joannes, mismas preguntas.
Joannes Vermorel: Mi enfoque será un poco diferente.
Existe una ley corporativa que dice: cualquier buena métrica que se establezca como objetivo deja de ser una buena métrica.
Mi opinión es que esta idea de que puedes incentivar a la gente con métricas es una infantilización de tu fuerza laboral. Siempre va a tener consecuencias negativas.
La gente siempre manipulará la métrica. Es simplemente un desastre esperando a suceder.
Es una especie de idea que se ve bien, pero que invariablemente tiene resultados desastrosos a lo largo del tiempo.
No importa cuál métrica. La gente piensa, “Oh, si escogemos la métrica correcta, esta vez no será manipulada. Esta vez será buena. Esta vez estará alineada con el interés a largo plazo de la empresa.”
Resulta que: no, no lo será.
No sé cómo, pero dale unos meses a los miembros de tu equipo y encontrarán la manera de hacerte la vida infernal y que tu empresa sea menos rentable manipulando la métrica.
De nuevo, esta es una de las mayores fortalezas de los humanos. Los humanos son ingeniosos. Eso es algo bueno—son ingeniosos. Así que pasarán cosas. Pasarán cosas y saldrán mal.
Mi sugerencia es: abandona ese racionalismo ingenuo. Para mí es racionalismo ingenuo decir, “Oh, lo único que necesito es tener una métrica muy clara, y entonces la gente maximizará esta métrica, se alineará con el interés a largo plazo, y problema resuelto.”
“No tengo que gestionar a la gente, solo tengo que dejar que el incentivo haga el trabajo por mí como gerente.” Esa es, para mí, una visión muy infantil de la naturaleza humana. No funciona así.
Los incentivos son muy poderosos, pero los incentivos—Taleb, por cierto, discute mucho en sus libros, no solo en The Black Swan sino en Antifragile—, los humanos son criaturas que consideran la segunda, la tercera, la cuarta orden.
La gente hará algo porque piensa que su próximo empleador pensará mejor de ellos, y esto y aquello y lo otro.
Así pueden hacer cosas con un plan largo que excede por completo tus expectativas.
Acercarte a tu personal con métricas es como el razonamiento de primer orden. No tomas en cuenta el segundo orden, tercer orden, etc.
En resumen: si tienes esos incentivos en tu empresa, la primera prioridad debería ser eliminarlos por completo—all of them.
Lo único que es algo aceptable son las stock options. Tomas stock options, las consolidas por cinco años. Bien. Es lo suficientemente cercano al interés a largo plazo de la compañía, y eso es todo.
Mantenlo súper simple y poco específico.
Entonces tienes que tener en cuenta que cuando comienzas a hacer optimización—optimización económica—, la vida media de tu función objetivo es de aproximadamente una semana.
Tu función objetivo no es algo que pongas en un pedestal y digas “this is it.” Esto evolucionará mucho.
Por ejemplo, cuando la administración Trump decidió que los aranceles podrían cambiarse como cinco veces al día, de repente el juego cambió.
Ha habido, ¿qué, 400 actualizaciones de aranceles en Estados Unidos desde… todos estamos siendo muy antifragile en este momento. Tenemos que serlo.
Así que eso es lo que pasa: nuevas reglas, la función objetivo se mueve.
Ahora tendríamos que introducir un forecast probabilístico de la distribución de aranceles para anticiparnos, porque nadie puede realmente estar en la cabeza del presidente.
Así que aparentemente lo único que puedes tener es un forecast probabilístico de dónde estará el arancel, y estará entre 0% y 200%, aparentemente.
Mi opinión aquí es: entiende que debido a que la función económica está evolucionando rápidamente—no siempre tan rápido como los aranceles en Estados Unidos, pero aún así rápidamente—el problema es que la métrica que tienes para tus equipos es algo que se va a revisar una vez al año, cada dos años.
Vas a volver locos a todos si cambias la forma en que ganan dinero cada mes. Eso es simplemente una locura.
La realidad es: para la seguridad psicológica, la gente necesita algo que les proporcione una proyección de al menos 12 meses en la que piensen, “This is what I earn.”
Pero supply chain requiere que pienses, a veces, en cuestión de días y que seas muy reactivo. Esas cosas no son compatibles.
Por eso digo: elimina esos incentivos. En la práctica, tendrá consecuencias adversas, si solo es porque necesitas actualizar tus funciones económicas mucho más rápido de lo que puedes revisar los paquetes que ofreces a tus empleados, incluso a tus ejecutivos.
Conor Doherty: Genial. Gracias.
Dos puntos allí. Uno, creo que dije “Goodwin’s law.” Godwin’s law—that’s a very different thing. Quise decir Goodhart’s law. Esos son dos fenómenos muy, muy diferentes.
En realidad, solo algunos comentarios que vienen, básicamente solo acuerdo. Miguel Lara señalando: si creas un KPI que no impulsa ningún impacto, básicamente es solo trabajo extra y no tiene valor real al final del día.
Joannes Vermorel: Y, por cierto, porque nadie que piense que las grandes corporaciones solo piensan en términos de cosas aditivas—nunca sustractivas.
Así que cada vez que hay un indicador de cualquier tipo, ya sea un indicador clave o un indicador de desempeño o lo que sea, simplemente se añadirá a la pila.
Avanza una década y tienes lo que yo llamo el muro de métricas, que son los 100 números que nadie lee.
Y, sin embargo, congela la herramienta de inteligencia de negocios cada primer día del mes porque tienen tantos indicadores de desempeño que calcular.
Tienen como 100 indicadores y toda la instancia de BI queda congelada durante todo el día.
Incluso he visto empresas donde, para el primer día del mes, literalmente tienen que detener algunas operaciones porque el ERP está medio congelado.
Así que pausarían una planta para permitir que el ERP realice los reportes.
Conor Doherty: Bueno, señores, llevamos poco más de una hora. Creo que, Patrick, mencionaste eso como una posible salida.
Sin embargo, a modo de resumen: Miguel ha comentado—lo pondré como un resumen, y sólo dame tus pensamientos finales al respecto.
El hecho de que haya muchos KPI no significa que debas rastrearlos todos de una vez. Debes seleccionar sólo los KPI que realmente importan, dependiendo de tu enfoque y situación actual.
En orden inverso, tus pensamientos finales al respecto. ¿Joannes?
Joannes Vermorel: Yo diría que sí y no.
El problema es que esta es la sabiduría común de las empresas actuales. Si la tomas al pie de la letra, el problema es: veamos a dónde nos ha llevado esta sabiduría común.
En la mayoría de las empresas, tienes un muro de métricas. Tienes literalmente docenas, si no cientos, de indicadores de los cuales a nadie le importa.
Es completamente opaco. Nadie siquiera entiende.
Normalmente tomas al profesional de supply chain promedio: tienen una pantalla con 15 números y ni siquiera pueden entender la semántica de lo que se calcula en la mitad de ellos.
Dirían, “Oh, esto, creo que calcula el nivel promedio de stock durante los últimos 30 días. Quizás. No estoy seguro.” O algo así.
Así que diría: esta es una sabiduría común, pero mi enfoque sería mucho más agresivo.
Sabemos que las organizaciones más grandes tienden a acumular burocracia y porquería mucho más fácilmente de lo que pueden deshacerse de ellas.
Debes redoblar esfuerzos en depurar—en ser despiadado—y depurar tu proceso de todos esos números que no son críticos.
Para los ejecutivos típicos de supply chain, lo que estamos pensando es: hay una cuota de, digamos, 10 números. Si deseas ingresar un nuevo número, tienes que eliminar un número para hacer espacio.
Necesitas mantener eso.
Luego, si vamos por el lado del científico de datos, digo que puedes tener cientos de números, pero entonces es la numerical recipe del científico de datos—el Supply Chain Scientist—quien está haciendo sus propias cosas.
El resto de la organización no está involucrado. Está bien porque no es un impuesto que el resto de la organización tenga que pagar. Es solo un impuesto que afecta al científico o a la científica, no al resto de la compañía.
Así que esa sabiduría común: sí, parece razonable, pero de nuevo, ten cuidado.
Avanzando una década, mi observación es que, usualmente, terminas en un lugar muy malo al seguir esta sabiduría común.
Conor Doherty: Patrick, tus pensamientos finales. ¿Cómo te sientes al respecto?
Patrick McDonald: Si tienes más de cinco, tienes demasiados.
Soy mucho más estricto. Específicamente tengo cinco que observo, y todos se relacionan con los estados financieros.
El número uno es una métrica de cuota de mercado. La llamo brand equity.
Si tus ventas están creciendo pero el mercado crece más rápido, aún estás perdiendo cuota de mercado. Así que no te limites a rastrear las ventas, rastrea tu posición en el mercado.
Quiero asegurarme de que cumplimos de manera confiable con la demanda del cliente, ¿verdad? Así que hay una métrica de confiabilidad.
Quiero asegurarme de que estamos asignando nuestros recursos de manera efectiva. Así que hay una métrica de efectividad.
Odio hablar de eficiencia porque la eficiencia siempre termina siendo un óptimo local. Así que hablo de productividad en su lugar.
Luego, el último es uno en el que aún estoy trabajando. Todavía no tengo una métrica realmente buena para ello, pero es la agilidad: cuán rápido puedes responder a los rápidos cambios que vemos en el mercado a diario.
Si cubres esos cinco, creo que eso abarca la mayor parte de lo que quieres entender desde una perspectiva empresarial.
Por supuesto, hay diferentes formas de verlos, pero esos son, en cierto modo, mis cinco. No tienen mucha superposición y llegan a lo esencial que influye en las finanzas.
Conor Doherty: Muy bien.
Bueno, señores, muchas gracias. No tengo más preguntas. Hemos abordado todo en el chat en vivo y creo que ya casi se nos acabó el tiempo.
Joannes, como siempre, muchas gracias por acompañarme.
Patrick, realmente aprecio que te unieras de forma remota y tu tiempo. Tus aportes fueron realmente geniales.
Patrick McDonald: Un placer. Espero que podamos hacerlo de nuevo alguna vez. Gracias.
Conor Doherty: Y a todos los demás que nos están viendo, muchas gracias por asistir—por sus mensajes privados, sus comentarios.
Si quieres continuar la discusión, como siempre digo, ponte en contacto con Joannes, conmigo y con Patrick. Siempre estamos encantados de hablar con gente nueva.
Y sí, eso es todo. Muchas gracias. Nos vemos la próxima semana, y vuelvan al trabajo.
