00:00:08 Introducción al tema de mejorar la precisión de los forecast en la industria supply chain.
00:01:22 Explicación de lo que significa un forecast más preciso y el uso de métricas de forecast.
00:03:21 Discusión sobre las limitaciones de utilizar métricas matemáticas para medir el rendimiento de los supply chain.
00:05:30 Énfasis en medir la precisión del forecast en dólares en lugar de porcentajes.
00:08:42 Explicación de cómo maximizar la precisión en porcentajes puede ser engañoso para el rendimiento supply chain.
00:09:04 Discusión sobre las limitaciones de utilizar una métrica directa para el forecast de ventas.
00:10:20 Explicación de cómo el uso de un modelo que forecast cero ventas conduce a un resultado desastroso para la empresa.
00:11:23 Explicación del problema con las métricas simétricas en el contexto de la gestión supply chain.
00:13:02 Explicación de cómo los forecast son apenas opiniones fundamentadas sobre el futuro y su impacto en la supply chain.
00:16:32 Discusión sobre los peligros de crear divisiones dedicadas a mejorar la precisión del forecast.
00:18:09 Discusión sobre cómo el forecast mejorará con el tiempo.
00:19:01 Explicación de que mejores métricas de forecast no siempre resultan en un mejor rendimiento supply chain.
00:21:41 La constatación de que el crecimiento y la rentabilidad de la empresa no significaban necesariamente que los supply chain de los clientes estaban mejorando.
00:22:04 Explicación de la diferencia entre un modelo de suscripción mensual y planes plurianuales.
00:25:53 Explicación de cómo el producto evolucionó de ser sólo un forecast a una herramienta que ayuda a descubrir métricas de forecast.
00:26:56 Discusión sobre las métricas utilizadas en la gestión supply chain.
00:27:20 Los beneficios de utilizar forecast probabilístico y métricas específicas como la entropía cruzada y la puntuación de probabilidad de rango continuo.
00:27:54 El cambio de perspectiva de mejorar la precisión del forecast a maximizar el rendimiento supply chain.
00:29:51 La importancia de tener a una persona responsable de extremo a extremo de toda la supply chain.
00:32:23 La importancia de tener un proceso de optimización monolítico en la gestión supply chain.
Resumen
El fundador de Lokad, Joannes Vermorel, habló con la presentadora Nicole Zint sobre las limitaciones de utilizar supply chain performance. Vermorel argumentó que las empresas a menudo se enfocan demasiado en mejorar forecast accuracy sin considerar el impacto en el resultado final. Propuso que medir la precisión del forecast en dólares de error, en lugar de porcentajes, puede evaluar mejor si una empresa se está moviendo en la dirección correcta. Vermorel también enfatizó la importancia de encontrar decisiones de supply chain clave que maximicen el beneficio o el rendimiento, en lugar de enfocarse únicamente en mejorar la precisión del forecast. Advirtió sobre los peligros de métricas engañosas que pueden llevar a decisiones sin sentido que perjudiquen a la empresa.
Resumen Extendido
El tema de la entrevista es la precisión de los forecast en la industria supply chain. La presentadora, Nicole Zint, señala que a pesar de décadas de esfuerzos para mejorar la precisión del forecast, una mayor precisión no ha conducido a supply chain de mejor rendimiento. Se pregunta si la industria está abordando el problema de manera equivocada o prestando atención al problema equivocado en absoluto. Joannes Vermorel, el fundador de Lokad, explica que un forecast más preciso significa que un modelo de forecast es más preciso que otro según una métrica de forecast. Existen una variedad de métricas de forecast, pero todas son objetos matemáticos que pueden no ser relevantes para la industria supply chain. Vermorel señala que la expectativa de que uno pueda simplemente elegir una métrica matemática de un libro de texto para ajustar un problema es errónea. Añade que maximizar la precisión en porcentajes puede ser engañoso para el rendimiento supply chain. También señala que reducir el error del forecast mediante la optimización de métricas matemáticas no genera un rendimiento supply chain extra. Sin embargo, aumentar el error del forecast tampoco mejora necesariamente el rendimiento supply chain. Vermorel cree que la supply chain no es un problema unidimensional y que existe una dualidad falsa entre precisión y rendimiento.
Vermorel explica que, para mejorar el rendimiento supply chain, reducir los errores del forecast es crucial. Sin embargo, no es tan simple como simplemente reducir errores, ya que los supply chain son multidimensionales. La clave para mejorar el rendimiento radica en conectar la calidad del forecast con el rendimiento de la supply chain mediante la inyección de un economic driver. Vermorel propone medir la precisión del forecast en dólares de error, en lugar de porcentajes, para evaluar si la empresa se está moviendo en la dirección correcta. Señala que un error del forecast expresado en porcentajes no siempre coincide con la precisión del forecast en dólares, que es el meollo del problema.
Zint le pregunta a Vermorel cómo medir el rendimiento supply chain, a lo que Vermorel responde que las métricas utilizadas pueden ser difíciles de definir. El desafío radica en encontrar un buen forecast, el cual depende de la situación. Vermorel sugiere mirar un ejemplo específico, como un supermercado, para entender cómo optimizar el forecast. Explica que a nivel de tienda, la gran mayoría de los productos tienen una demanda promedio mucho menor a una unidad por semana, lo que significa que el resultado más probable para la gran mayoría de productos en cualquier día es cero ventas. Si las empresas optimizan contra una métrica que maximiza la precisión del forecast en porcentajes, terminarán con un modelo que simplemente forecast cero cada día, lo cual sería catastrófico para la empresa. Aún peor, si un modelo forecast cero, la tienda reabastecerá cero, lo que conducirá a la pérdida de ingresos y clientes.
En general, Vermorel sostiene que la clave para mejorar el rendimiento supply chain radica en conectar la calidad del forecast con el rendimiento de la supply chain mediante la inyección de un economic driver. Sugiere medir la precisión del forecast en dólares de error y tener en cuenta los costos asociados con no contar con suficiente inventario, en lugar de simplemente optimizar contra una métrica que maximice la precisión del forecast en porcentajes. Al hacer esto, las empresas pueden evitar optimizar su forecast para el resultado equivocado, como cero ventas cada día, y en su lugar lograr un mejor equilibrio entre la oferta y la demanda.
Vermorel discute el tema de la precisión del forecast en la gestión supply chain, destacando el problema de utilizar una métrica simétrica de precisión del forecast que asigna el mismo peso al forecast en exceso y a tener exceso de inventario. Vermorel argumenta que esto es un problema ya que tener exceso de inventario es una cuestión significativa con consecuencias asimétricas. Sostiene que, si bien la precisión del forecast es importante, debería estar vinculada al resultado final, que es tomar la decisión correcta en el momento oportuno para cada producto, cada día.
Vermorel sostiene que la introducción de artefactos numéricos, como safety stocks, ABC classes, y service levels, puede crear la tentación de formar un subgrupo de especialistas dentro de una empresa que sean expertos en el manejo de estos artefactos numéricos. Sin embargo, Vermorel argumenta que estos artefactos no son reales y que crear un equipo de especialistas que solo se dediquen a mejorar la calidad del forecast es la causa raíz del problema. Él cree que dicho equipo opera en su propia burbuja, produciendo forecast de acuerdo a sus propios objetivos y métricas, sin tener en cuenta los resultados finales.
Desde el punto de vista de Vermorel, las grandes empresas tienen dificultades para repartir la carga de trabajo, y la introducción de un artefacto numérico no significa necesariamente que se deba crear un equipo para optimizarlo. En cambio, Vermorel sostiene que los gerentes de supply chain deberían centrarse en los resultados finales y tomar las decisiones correctas en el momento oportuno para cada producto cada día. Si bien la precisión del forecast es importante, debería estar vinculada al resultado final, y los gerentes de supply chain deben tener cuidado de no concentrarse únicamente en mejorar la precisión del forecast sin considerar las consecuencias de sus decisiones.
Discutieron las limitaciones de utilizar métricas de precisión para mejorar el rendimiento supply chain. Vermorel cree que las empresas están demasiado enfocadas en mejorar la precisión del forecast sin considerar el impacto en el resultado final. Haciendo un paralelismo con los cultos de carga de las Islas del Pacífico durante la Segunda Guerra Mundial, Vermorel señala que los equipos de forecast optimizan las métricas sin considerar el impacto más profundo en la supply chain. Al centrarse en el impacto profundo de sus forecasting methods, Vermorel cree que Lokad puede ayudar a los clientes a lograr una supply chain de mejor rendimiento a través de un modelo de suscripción mensual que priorice los resultados positivos.
Vermorel comenta cómo el ciclo de retroalimentación en la optimización supply chain es más estrecho, lo que significa que la empresa debe ser más sensible a los cambios en el mercado. También señala que no es suficiente optimizar según una métrica dada, ya que esto puede crear numerosos problemas. En cambio, las empresas deben descubrir las métricas de forecast que son específicas para su negocio, lo cual puede ser un desafío dada la gran cantidad de casos límite y factores únicos de cada industria.
Vermorel enfatiza la importancia de encontrar decisiones clave de supply chain que maximicen el beneficio o el rendimiento, en lugar de enfocarse únicamente en mejorar la precisión del forecast. Sostiene que las empresas deben tener a una persona responsable de la toma de decisiones de extremo a extremo y que la fragmentación puede llevar a decisiones sin sentido que perjudiquen a la empresa. Vermorel advierte sobre los peligros de las métricas engañosas que suenan racionales pero que, en última instancia, son profundamente irracionales, como centrarse únicamente en la supervivencia de una sola pieza de ajedrez en lugar de ganar el juego. Concluye aconsejando a las empresas que tengan un proceso de optimización monolítico en lugar de segmentar el proceso, que está roto por diseño y es contraproducente.
Transcripción Completa
Nicole Zint: La industria supply chain en su totalidad lleva, durante décadas, intentando mejorar la precisión de su forecast. Cada gran empresa tiene incluso su propia división dedicada exclusivamente a ese problema. Pero, sin embargo, el resultado de este esfuerzo, quizá contraintuitivo, ha demostrado que una mayor precisión y forecast no ha resultado en supply chain de mejor rendimiento. ¿Estamos abordando el problema de manera equivocada o quizás incluso el problema equivocado desde el principio? ¿Y qué cambia si medimos la precisión en dólares en lugar de porcentajes? Este es el tema del episodio de hoy, así que comencemos con Jonas. ¿Qué significa que un forecast sea más preciso?
Joannes Vermorel: Un forecast más preciso significa que, según una métrica de forecast determinada, tienes un modelo que es más preciso que otro. Más específicamente, cuando decimos que tenemos un forecast más preciso, es un poco un abuso del lenguaje. De hecho, lo que realmente estamos diciendo es que tenemos un modelo de forecast que es más preciso que otro modelo de forecast, y ¿según qué? Según una cierta métrica de forecast, que es simplemente una métrica, una medición que cuantifica el error del forecast que tienes en los dos modelos de forecast. Así que, de hecho, la precisión del forecast depende directamente de la métrica que utilices, absolutamente. Y hay una amplia variedad de métricas de forecast que se conocen, diría yo, en la literatura. Las más extendidas son probablemente el error cuadrático medio, tienes el absolute arrow, tienes el mappy mean absolute percentage general, tienes el weighted mapping, tienes un bestiario mundial de funciones que te permiten medir el error del forecast. Y todas esas métricas de forecast tienen en común que, si obtienes resultados perfectos, simplemente te indican que tu error es cero. Así que tenemos una vasta variedad de métricas diferentes para usar. ¿Cuál es la mejor? ¿Cómo lo sabes?
Nicole Zint: En lo que respecta a supply chain, esta es una cuestión muy complicada porque la realidad es que todas las métricas que he mencionado son, en realidad, objetos matemáticos. Las encontrarás en los libros de texto porque te brindan toneladas de, diría yo, propiedades matemáticas interesantes. Pero no es porque algo sea matemáticamente interesante que probablemente sea relevante para un dominio de interés. Sabes, hay montones de cosas que pueden ser muy interesantes desde el punto de vista matemático, y eso no significa que vayan a tener relevancia desde la perspectiva de supply chain. Y creo que aquí radica el meollo del problema. La gente espera, y creo que es el tipo de expectativa equivocada, que pueden simplemente ir a un libro de texto matemático, repasar las docenas de métricas y simplemente elegir una y decir: esta es la que encaja de manera óptima. Simplemente no funciona así. Así que, de hecho, si miramos el problema de maximizar nuestra precisión en porcentajes, eso puede ser bastante engañoso para el rendimiento supply chain.
Joannes Vermorel: Sí, quiero decir, de nuevo, nuestra conclusión no es que debamos maximizar el error de forecast. Esto no es de lo que estoy hablando. Verás, lo que se encontró fue aún más desconcertante que eso. Se descubrió que si simplemente reduces tu error de forecast mediante la optimización de métricas matemáticas, no genera un rendimiento extra en la supply chain. Pero lo contrario no es tan simple. No es que al aumentar tu error de forecast, en realidad mejores el rendimiento de la supply chain. Verás, aquí es donde se vuelve muy desconcertante, porque existe una especie de dualidad falsa en la que se dice: bueno, es una cosa u otra. Sí, sería así si la supply chain fuera un problema unidimensional en el que, ya sabes…
Nicole Zint: Entonces, reducir el error de forecast mejora el rendimiento de la supply chain, y si simplemente vas en sentido contrario, deteriorarás el rendimiento de la supply chain. Si viviéramos en un mundo unidimensional, sí, sería así, pero las supply chains son de muchas, muchas dimensiones, por lo que no funciona así para nada. Y ahí es donde diría que la intuición básica puede equivocarse muchísimo. Entonces, déjame preguntarte: mencionaste el rendimiento de la supply chain. ¿Cómo mides el rendimiento de la supply chain?
Joannes Vermorel: Ese es, en realidad, el meollo del problema, verás, en esas métricas de la supply chain, la gente tiene muchísima dificultad para asimilar lo que debería ser un buen forecast. Así, se te ocurre una métrica que sacas de un libro de texto y dices: “Esto es todo”, pero te das cuenta muy rápidamente de que no es porque se haya encontrado en un libro de texto, o porque estuviera en un libro matemático, que tenga alguna relevancia para tu problema de supply chain. Y así, si quieres lograr algo, la pregunta es: ¿qué más? Sabes, esto se siente como una pregunta muy abierta y, de hecho, lo es, una pregunta muy, muy amplia, y la práctica que hemos impulsado consiste en pensar, esencialmente, en términos de dólares de error. ¿Qué es lo que intentas optimizar? Y bueno, para conectar la calidad y el rendimiento de tu forecast con el rendimiento de tu supply chain, necesitas inyectar una dosis de motor económico, una dosis bastante grande, y es entonces cuando empiezas a medir las cosas en dólares de error. Luego, puedes comenzar a evaluar si realmente estás moviendo la aguja en la dirección que tiene sentido para tu supply chain. Entonces, de hecho, a mayor rendimiento de la supply chain, seguramente más dinero genera la empresa, más estamos reduciendo costos en nuestra supply chain, y por ende, crecen nuestros ingresos. Así que, esto es bastante interesante porque significa que, si observamos la accuracy de forecast en porcentajes, no necesariamente coincide con la accuracy de forecast en dólares, que es, en cierta forma, el núcleo de este problema que estamos discutiendo ahora mismo.
Nicole Zint: Sí, y eso es bastante concentrado. De nuevo, creo que esa será una afirmación controvertida, pero reducir el error de forecast expresado en porcentajes de error no mejora el rendimiento de la supply chain. A veces, incluso, puede hacer exactamente lo contrario. Entonces, si tomamos un ejemplo, digamos un supermercado. Un supermercado es un problema bastante interesante porque el comportamiento humano puede ser muy impredecible. Así, si estoy administrando un supermercado y quiero saber: ¿voy a vender hoy cero botellas de shampoo o cinco? Y tengo un forecast, y Joannes, ¿cuál es la diferencia en la accuracy de este forecast en mi scenario ahora mismo si lo observo en términos de porcentajes versus dólares?
Joannes Vermorel: Entonces, primero comencemos aclarando una cosa. El hecho de que exista una noción de incertidumbre o muy poca incertidumbre va a definir, simplemente, la magnitud del error de forecast que vas a observar. Así que, está bien. Verás, esto depende completamente de la situación. Si miras, digamos, el consumo nacional de electricidad, la variación de un día a otro es muy, muy pequeña. Hay un patrón diario, pero por lo demás, el consumo es muy, muy estable, por lo que observarás variaciones muy, muy pequeñas. Y si observas algo que está extremadamente desagregado, como la botella de shampoos en un supermercado, verás una variación porcentual mucho mayor. Esto
Nicole Zint: Miremos este ejemplo específico del supermercado. Esta es una anécdota que ya conté en otro episodio. Hace años, hicimos un benchmark de forecast en este contexto, y lo que nos dimos cuenta fue que la gran mayoría de los productos, cuando operas a nivel de tienda, tienen una demanda promedio mucho menor que uno. Ya sabes, vendes uno, se necesita, en promedio por semana, por producto, o a veces incluso menos. Es más probable vender cero que una unidad de este producto. Absolutamente, así que el resultado más probable para la gran mayoría de los productos en cualquier día es vender cero. ¿Cómo es el forecast que busca maximizar la accuracy en porcentajes?
Joannes Vermorel: Si tomas una métrica, digamos el valor absoluto de tu forecast menos la realidad, y luego lo divides por las ventas anuales o lo que sea, y lo normalizas, obtendrás una métrica que, si tratas de optimizar según ella, lo que significa que tratas de encontrar cuál es el modelo de forecast que te dará los mejores resultados de acuerdo con esta métrica, terminarás con un modelo que simplemente forecasta cero cada día. ¿Y por qué? Porque vender cero es, de lejos, el resultado más probable en cualquier día. El modelo que será el más preciso, según esta métrica tan simple y directa que te he dado, que es el valor absoluto de la realidad menos el forecast; si simplemente optimizas eso, tendrás un forecast que producirá cero. Y aún más extraño e incluso más perjudicial para la supply chain, es que si tienes un modelo que forecasta cero, entonces reabastecerás con cero, y muy rápidamente tu tienda no tendrá nada en la estantería, y por lo tanto, muy rápidamente, tu forecast será 100% preciso, porque forecastas cero y vendes cero. Todo está bien, excepto que no lo está. Es una catástrofe para la empresa.
Nicole Zint: Sí, eso es bastante interesante. Incluso cuando logramos una accuracy del 100% en nuestros forecasts, obtenemos cero ingresos. Y, peor aún, seguimos teniendo cero ingresos, pero sí todos los costos. Seguimos operando una tienda. Tenemos que pagar a la gente, pagar el edificio, todo. Entonces, verás, es aún peor que eso. Y después perdemos clientes porque no encuentran lo que buscan, y no regresan.
Joannes Vermorel: Exactamente. Y aquí vemos que es una especie de absurdidad. No es tan obvio cuando miramos series de time series más agregadas, pero el problema es exactamente el mismo. Fundamentalmente, el problema en este ejemplo de hipermercado es que tenemos asimetrías masivas. El costo de tener o de faltar una unidad no es absolutamente el mismo que el costo de tener una unidad sin vender por un día extra. Esto es muy, muy asimétrico. Y así, verás, el problema con la métrica de accuracy de forecast que acabo de describir inicialmente, el valor absoluto de forecast menos la realidad, es que es completamente simétrica. O sea, le da esencialmente el mismo peso al exceso de forecast y al sobrestock. Y aquí vemos que, al ser un problema muy, muy simple en el que tenemos una asimetría masiva, la métrica de forecast ni siquiera capta eso. ¿Y por qué sería, desde la perspectiva matemática o de las métricas que observas, que son típicamente simétricas? Esto es desde una perspectiva matemática. ¿Por qué querrías tener una métrica altamente asimétrica? Usualmente no es de…
Nicole Zint: Quiero hablar un poco sobre la accuracy de forecast y su papel en la optimización de la supply chain. Desde un interés matemático, es realmente importante y esto es solo la punta del iceberg. Estamos viendo únicamente un pequeño problema, pero este pequeño problema ya es lo suficientemente grande como para deshacer completamente todos los beneficios esperados que se derivarían de un proceso que optimizara los forecasts según una métrica simétrica. Entonces, me parece que no solo quizá estamos abordando este problema de la manera equivocada, sino que incluso podríamos estar mirando el problema equivocado desde el inicio. Estamos tan concentrados en adivinar cuál será la demanda, que no pensamos en el costo de estar sobrestockados o con faltante de stock. Y eso nos aparta de las ganancias reales que podemos obtener, centrándonos únicamente en adivinar la demanda exacta.
Joannes Vermorel: Sí, quiero decir, más fundamentalmente, un forecast es solo una opinión. Idealmente, es una opinión fundamentada sobre el futuro, que es bastante acertada. Sin embargo, al final, un forecast es simplemente eso, una opinión fundamentada sobre el futuro. No hace nada por tu supply chain. Lo único que hace algo por tu supply chain es lo que realmente haces. Las decisiones que tomas, ¿pongo una unidad extra en este hipermercado o no, para cualquier producto en cualquier día? Esas son las decisiones. Así, la cuestión se transforma en: cuando piensas en términos de accuracy de forecast, ¿cómo contribuye la mejora de tu modelo de forecast a tu resultado final, que es tomar la decisión correcta en el momento adecuado para cada producto, cada día? Ese es un eslabón perdido, y es lo que típicamente falta por completo en esas métricas de accuracy. Y por eso, cuando veo discusiones en comunidades de supply chain donde la gente dice: “¿Sabes qué? Hay 20 métricas diferentes que podemos usar para la supply chain. En esta situación, puedes usar esta. En esta otra, puedes usar esa”, etcétera, etcétera, usualmente todas esas discusiones se pierden el punto. Ni siquiera comienzan a conectar esos forecasts, que de nuevo no son más que una opinión, con los resultados finales, que son las decisiones que se toman basándose en esos forecasts. Así que, de alguna forma, estamos desviando nuestro enfoque de las consecuencias de cada una de esas decisiones.
Nicole Zint: Absolutamente. Pero estas grandes empresas aún tienen divisiones dedicadas específicamente a mejorar la accuracy de estos forecasts. ¿Debería existir en primer lugar una división así?
Joannes Vermorel: Ese es un tema que abordamos brevemente en uno de los episodios anteriores de la chain, que trató sobre silos y divisiones dentro de las grandes empresas. Verás, el problema es que cuando empiezas a introducir artefactos numéricos, y los artefactos numéricos pueden ser de cualquier tipo —pueden ser clases ABC, pueden ser safety stocks, pueden ser forecast—, de nuevo, digo, todo eso son artefactos numéricos. No existe tal cosa como un safety stock en tu warehouse. No tienes dos stocks, el stock operativo y el safety stock. Ahora solo hay un stock. Lo que tienes, y cuando introduces esos artefactos numéricos, existe la tentación de crear un subgrupo de especialistas dentro de la empresa que serán expertos en tratar con este artefacto numérico. El problema es que no es real. Solo porque lo hagas, o la mitad de la industria lo haga, puedes dejarte engañar pensando que es de algún modo real, pero no lo es, literalmente. Y hay montones de cosas así que simplemente no son reales. Los safety stocks no son reales, los service levels no son reales, los forecasts, sin importar cómo los hagas
Nicole Zint: Entonces, Joannes, cuando hablamos de artefactos numéricos, ¿a qué nos referimos exactamente?
Joannes Vermorel: Bueno, no son reales; son artefactos numéricos que produces para lograr cierto tipo de operación y tomar ciertos tipos de decisiones. Y así, si volvemos a esas grandes empresas, siempre tienen dificultades para distribuir la carga de trabajo. Solo porque has introducido un artefacto numérico no significa que debas formar un equipo. Esto es, por el contrario, una de las causas fundamentales de esos, diría yo, males que realmente socavan el rendimiento de la supply chain desde el inicio.
Nicole Zint: ¿Y por qué es eso?
Joannes Vermorel: Bueno, si comienzas a crear un equipo de especialistas que solo se dediquen a mejorar la calidad del forecast, ¿qué sucederá? La realidad es que van a elegir una métrica. ¿Por qué? Pues, porque si no tienen una métrica, no pueden operar. Así que, elegirán una métrica. Necesitamos algo que medir, sí. Y dado que tienen una métrica, parece muy racional, ya sabes. Sí, estamos optimizando el forecast, valor absoluto de forecast menos la realidad. Obviamente, si produjéramos un forecast perfectamente exacto, nuestro error de forecast sería cero. Y entonces, todos estarían de acuerdo. Sí, suena razonable, suena racional. Excepto, excepto que hemos visto en el ejemplo del hipermercado que no es en absoluto real ni racional. Puedes hacer cosas que son completamente insanas con eso. No obstante, si eres una gran empresa, quizá ni te des cuenta de ello. El diablo está en los detalles, y probablemente la gente ni siquiera se dé cuenta de que es absolutamente falso y sin sentido desde el inicio. Sin embargo, tienes un equipo, y luego el equipo encargado del forecast opera en su propia burbuja, ya sabes. Así que, no son ellos los que toman las decisiones reales que determinan los resultados; son los que producen el forecast.
Nicole Zint: ¿Y por qué es eso un problema?
Joannes Vermorel: Según su objetivo y su métrica, están mejorando. Irán produciendo una serie de modelos, y con el tiempo, se volverán mejores en ello. Considerarán seasonality; tendrán en cuenta los días festivos religiosos. Considerarán montones de factores, y mejorarán. Y así, según la métrica, el forecast mejorará. Y potencialmente, introducirán software mejor, de todo tipo, con el tiempo. Mejorará según la métrica, la cual no coincide con el interés de la empresa expresado en dólares. Entonces, el performance de la supply chain no mejora con el forecast mejorado. Sí, y de nuevo, la gente diría: “¿Pero por qué? Tenemos forecasts mejores, entonces, ¿por qué debería mejorar?” Esas personas no están haciendo nada para realmente mejorar según los dólares de error que persiguen en las métricas de accuracy. Verán, ese es el truco. No es porque hagas algo que es similar a otra cosa que obtendrás el resultado que obtendrías si hicieras algo distinto. Ya saben, literalmente, hubo – aunque me estoy desviando un poco – una anécdota para extranjeros, y se la pueden buscar en Wikipedia sobre cultos a la carga, ya saben, que fue durante la Segunda Guerra Mundial, cuando aviones estadounidenses sobrevolaban islas del Pacífico y dejaban caer carga – alimentos, municiones, varios productos – para que los soldados que recién llegaban a las islas ya tuvieran
Nicole Zint: Cuando la gente se dio cuenta de que incluso estaban siendo testigos del nacimiento de nuevas religiones en las que se intentaba provocar la aparición de un avión que entregara más carga. Como ven, esto es lo que sucede cuando se intenta imitar superficialmente algo que en el pasado fue beneficioso para ti, pero que ahora carece de la sustancia esencial, y estos son esos cultos a la carga que surgieron al intentar, literalmente, reinstaurar la entrega de una carga en la isla simplemente reproduciendo algo que sí ocurrió. Creo que esto es lo que está sucediendo con la mayoría de los equipos de forecast que están tratando de generar un mejor performance de la supply chain simplemente optimizando esas métricas. Verán, tiene una racionalidad propia, pero si se observa el panorama global, no es para nada racional. Esto es solo una apariencia de racionalidad, y se trata de tener números, personas inteligentes, procesos, pero no es porque marques todas las casillas que en realidad tenga algún sentido. Entonces, tengo que preguntar, Joannes, inicialmente empezamos haciendo forecasts y centrándonos en lograr que un forecast fuera cada vez más preciso, y a lo largo de este viaje de Lokad, ¿cómo te diste cuenta de que eso, en realidad, no generaba un performance de supply chain mejor para nuestros clientes?
Joannes Vermorel: Porque no funcionaba, simple y llanamente. Entonces, ¿cómo te diste cuenta de que estábamos mirando el problema equivocado? Quiero decir, me di cuenta, en primer lugar, ¿cómo noté que no funcionaba? Porque esa es una pregunta complicada, ya que, incluso cuando no funcionaba, Lokad adquiría clientes sin problema, crecía sin inconvenientes y era rentable, ya sabes, simplemente bien. Así que, si estás creciendo, eres rentable y además eres una empresa de software, suena bien, suena bien, sí, sí. Pero, no funcionaba para los clientes, ¿sabes? Y cuando tomé distancia y reflexioné, me pregunté, ya sabes, con brutal honestidad: “¿Realmente mejoré la situación para los clientes?” Es decir, si me alejo, si olvido las métricas, si simplemente trato de tener una percepción instintiva, un presentimiento sobre la situación, ¿realmente está mejorando? Y empecé a notar que no era así, ¿sabes? No lo era. Pero según toda la matriz, sí lo era. Sin embargo, si me salgo de la matriz por un momento, si intento evaluar fríamente si lo que hacemos realmente genera un cambio positivo, en un sentido más profundo, algo que lo hiciera, pues no lo estaba haciendo. Pero la gente diría: “Oh, pero según todas las métricas, estamos bien, así que cumplimos las métricas.” Sin embargo, no estamos aportando nada; y ese es el problema: si eliges una métrica y optimizas contra ella, entonces, sí, serás mejor según esa métrica. Esto es literalmente lo que la optimización matemática y machine learning harán por ti. Escoges una métrica, ejecutas una optimización numérica, y obtendrás algo mejor conforme a esa métrica. Entonces, ven, esto tenía una naturaleza algo tautológica. Elegimos una métrica, mejoramos en esa métrica, ¿qué esperabas, ya sabes? A menos que los algoritmos estén mal diseñados desde el inicio, deberíamos hacer justamente eso. Pero no significa que, a un nivel más profundo, estemos
Nicole Zint: ¿Puedes explicar por qué crees en la cancelación temprana de los planes?
Joannes Vermorel: Cancelación temprana, porque ves que la mayoría de nuestros competidores opta por planes plurianuales. Nunca se dan cuenta de que algo está mal, ya que, fundamentalmente, pasan por un ERP, venden sus productos, y luego se embarcan en un viaje de cinco años. Funcione o no, el cliente ha invertido tanto esfuerzo en esto que no puede cambiar, por lo que quedan atrapados. Ya sabes, son como autos hundidos con los que se juega. Existe una trampa psicológica de simplemente ceñirse a ello, pues ya has invertido tanto. Te gusta, lo has invertido tanto, y así, después de cinco años, quedas agotado tras desplegar la solución súper compleja, de manera que no cambias, no quieres cambiar inmediatamente. Y luego, cuando finalmente decides que quieres cambiar, conoces tu 8 o 10, y pasas por otro RFP. Entonces, si pierdes al cliente en ese momento, simplemente dices: “Bueno, no es que estuviéramos haciendo algo mal con el forecast, es solo que la tecnología, ya sabes, evolucionó, parte de nuestra competencia se adelantó con ese cliente en particular, y por eso no volvimos a ganar al cliente en el segundo RFP.” Pero no se hace la conexión de que la correlación es muy tenue entre si realmente se está aportando algo bueno y si los forecasts están generando valor para el cliente. Si, de un momento a otro, el director de la supply chain se da cuenta de que siente, instintivamente, que simplemente no está aportando valor, sin importar lo que digan los KPIs, entonces ya estás fuera. Y así, el ciclo de retroalimentación es, diría yo, mucho más ajustado.
Nicole Zint: ¿Puedes decirme cómo ha evolucionado un producto tal como está ahora, comparado con un forecast por sí solo?
Joannes Vermorel: Nos dimos cuenta de que, en términos de precisión del forecast, el problema no es optimizar de acuerdo con una precisión de forecast establecida, o contra una métrica dada. Escogerás una, y va a tener montones de problemas. Este no es el problema. Y si tus herramientas son adecuadas, eliges una métrica y optimizas contra ella, y eso es todo. Esto es muy directo. Quiero decir, podría hacerse incluso de forma más directa, pero es muy directo. ¿Estamos optimizando ahora? ¿La sintonía? Ahora bien, la herramienta está optimizada en la métrica, pero lo cierto es que la herramienta que hemos desarrollado es lo que se necesita para descubrir las métricas, las métricas de precisión que necesitas para tu empresa. Ves, así comenzó el camino: partimos de la idea de que podríamos tener un conjunto preconcebido de métricas y simplemente optimizarlas, y todo estaría bien. No es así, y es mucho peor de lo que inicialmente pensé. No se trata de identificar métricas mejores. Sí, hay algunas métricas que son ligeramente mejores. Por ejemplo, si volvemos a esta situación de hipermercado, si tomas, digamos, la pinball loss function, que es altamente asimétrica – es decir, una loss function que puede hacerse arbitrariamente asimétrica – puedes obtener resultados marginalmente mejores si optas por probabilistic forecasting. Incluso puedes optar por tus métricas específicas para forecasts probabilísticos, cross-entropy, continuous rank probability score, entre otras. Así que, hay métricas que son marginalmente mejores, pero eso es todo. Son solo marginalmente mejores. El problema es que cuando te enfrentas a un caso real-
Nicole Zint: Joannes, ¿puedes hablar sobre el cambio de paradigma en la optimización de la supply chain que ha ocurrido en la última década?
Joannes Vermorel: Sí, por supuesto. Verás, este es el tipo de cambio de paradigma que tuvimos que experimentar durante la última década. Las herramientas que tenemos hoy en día están literalmente respondiendo a la pregunta de lo que se necesita para que Supply Chain Scientist descubra. Procesamos los datos y discutimos con el experto en supply chain de la empresa cómo debería ser la métrica de precisión. Y te darás cuenta de que es algo que no posee la misma elegancia numérica que tienen esas métricas matemáticas, debido a que existen montones de factores, casos atípicos y aspectos muy específicos del tipo de negocio en el que operas. Si te dedicas al hard luxury, es completamente diferente a, digamos, fresh food o aerospace. Así que hay montones de casos atípicos y situaciones límite que solo tienen sentido porque estás hablando de una empresa muy específica. Pero, no obstante, esos casos atípicos son completamente críticos si deseas obtener, al final, resultados y tomar decisiones que no sean completamente insensatas. Entonces, lo que realmente buscamos son esas exactas decisiones de supply chain. Sí, ese sería el objetivo final. Esa sería la forma de medir que estás haciendo algo bueno, y eso es cierto para todos los artefactos numéricos intermedios que produces.
Nicole Zint: ¿Puedes explicar a qué te refieres con artefactos numéricos?
Joannes Vermorel: Sí, por supuesto. Los forecasts que se miden con su propia matriz de precisión de forecast son solo un tipo de artefacto numérico. Normalmente, existen docenas de artefactos numéricos en medio del proceso. Así que pasamos de centrarnos en mejorar la precisión del forecast a encontrar esas decisiones clave de supply chain que maximizan el beneficio o el máximo performance de supply chain, lo cual representa un cambio de perspectiva bastante interesante.
Nicole Zint: Entonces, ¿cuál es tu consejo para las empresas que desean optimizar su supply chain?
Joannes Vermorel: Mi consejo es que, si no hay una persona que sea responsable de todo, desde darle sentido a los datos que se encuentran en el ERP hasta la generación final de las órdenes de producción, replenishment order, orden de compra, movimientos de stock, cambios de precio, entonces ni siquiera has comenzado a optimizar tu supply chain. Si no cuentas con una persona que sea responsable de extremo a extremo de toda esta cadena, entonces todo el esfuerzo que has puesto en un forecast mejor o lo que sea, es solo una ilusión. Si los incentivos no están alineados, esas personas harán cosas que no tienen sentido para la empresa. Piensa en ello como si estuvieras jugando ajedrez, y yo dijera que tú eres el caballo y tu objetivo es simplemente asegurarte de que el caballo sobreviva hasta el final de la partida. La pregunta es, ¿crees que si dices que estás jugando como caballo, en realidad estás jugando como torre, y yo estoy jugando como la reina?
Nicole Zint: Y tu objetivo es sobrevivir. Tu objetivo es sobrevivir. ¿Crees que haciendo eso jugaremos, en conjunto, un juego que tenga alguna posibilidad de ganar contra el oponente?
Joannes Vermorel: No, no lo hace. Sabes, eso es engañoso. El objetivo que tratamos de expresar, sí, y la gente dice: “Oh, en el 99% de las partidas que jugamos, yo jugaba como caballo, y el caballo seguía en el tablero al final de la partida.” Sí, pero perdimos cada partida.
Nicole Zint: Esto es bueno, pero este juego…
Joannes Vermorel: Ese es el problema de las métricas engañosas: pueden sonar y parecer súper racionales, pero en esencia son profundamente irracionales. Y creo que este tipo de prácticas de forecast y las divisiones de forecast que muchas empresas grandes tienen son completamente irracionales. Y sé que es muy difícil, porque esas divisiones están llenas de ingenieros que quieren hacer bien su trabajo. No son idiotas, y sus jefes y las personas por encima de ellos tampoco lo son, y quieren hacer las cosas bien. Así que, ya ves, no se trata de tener personas que deberían ser despedidas o algo por el estilo, no, no, es la peor configuración. Es simplemente contra-productivo.
Nicole Zint: Exactamente, no puede. Está roto por diseño. No funcionará.
Joannes Vermorel: Así que mi consejo sería: asegúrate de contar con esa única persona. Esa persona puede tener tantos compañeros como desees, para formar equipos que conecten el inicio con la decisión final, y eso debe ser, ya sabes, una optimización monolítica. No deberías segmentar este proceso.
Nicole Zint: Joannes, muchas gracias por este tema de hoy. Realmente, muy provocador de reflexión. Gracias por sintonizarnos, y hasta la próxima.
Joannes Vermorel: Gracias.
