Congruencia de pronóstico y toma de decisiones en la cadena de suministro (con Nikolaos Kourentzes) - Ep 161

00:00:00 Introducción de la entrevista
00:00:47 Antecedentes y trabajo de Nikos Kourentzes
00:03:25 Entendiendo la congruencia de pronóstico
00:04:44 Limitaciones de la precisión en el pronóstico
00:06:14 Congruencia en los pronósticos de series temporales
00:08:02 Consideraciones en la modelización de inventario de la cadena de suministro
00:09:03 Congruencia y consistencia del pronóstico
00:10:29 Métricas matemáticas en la producción
00:12:08 Consideraciones de inventario para fabricante de relojes de lujo
00:14:47 Fluctuación ascendente que desencadena la producción
00:16:03 Optimización del modelo para la demanda de un SKU
00:17:41 Investigación en estimadores de reducción y jerarquías temporales
00:19:05 Mejores modelos para todos los horizontes
00:21:32 Controversia en torno a la congruencia de pronóstico
00:24:05 Calibración de políticas de inventario
00:26:27 Equilibrio entre precisión y congruencia
00:31:14 Trucos de agregación temporal para suavizar los pronósticos
00:32:54 Importancia de los gradientes en la optimización
00:35:28 Correlaciones en la cadena de suministro
00:38:10 Más allá del pronóstico de series temporales
00:40:27 Honestidad del pronóstico probabilístico
00:42:32 Similitudes entre la congruencia y la relación de látigo
00:45:18 Importancia del análisis de toma de decisiones secuenciales
00:47:27 Beneficios de mantener las etapas separadas
00:49:34 Interacción humana con los modelos
00:52:05 Mantener el elemento humano en el pronóstico
00:54:35 Confianza en expertos y analistas
00:57:28 Situación realista de gestionar millones de SKU
01:00:01 Ajustes de alto nivel del modelo
01:02:13 Decisiones guiadas por la probabilidad de eventos raros
01:04:44 Opinión de Nikos sobre los ajustes
01:07:14 Perder tiempo en ajustes menores
01:09:08 En contra de los ajustes manuales diarios
01:11:43 Beneficios para toda la empresa de ajustar el código
01:13:33 Rol del equipo de ciencia de datos
01:15:35 Los pronósticos probabilísticos evitan la interferencia manual
01:18:12 La pregunta del millón sobre la IA
01:21:11 Importancia de comprender los modelos de IA
01:24:35 Valor y costo de los modelos de IA
01:26:02 Abordar problemas en el inventario

Sobre el invitado

Nikolaos Kourentzes es profesor de análisis predictivo e IA en el Laboratorio de IA de la Universidad de Skövde en Suecia. Sus intereses de investigación se centran en el pronóstico de series de tiempo, con trabajos recientes en modelado de incertidumbre, jerarquías temporales y modelos de pronóstico jerárquico. Su investigación se enfoca en traducir pronósticos en decisiones y acciones, en áreas como la gestión de inventario, modelado de liquidez para operaciones monetarias y atención médica. Tiene una amplia experiencia trabajando tanto en la industria como en el sector público y ha creado varias bibliotecas de código abierto para facilitar el uso de métodos avanzados de pronóstico en la práctica.

Resumen

En una entrevista reciente en LokadTV, Nikos Kourentzes, profesor en la Universidad de Skövde, y Joannes Vermorel, CEO de Lokad, discutieron la congruencia de pronósticos en la toma de decisiones de la cadena de suministro. Enfatizaron la importancia de alinear los pronósticos con las decisiones, reconociendo que los modelos pueden estar mal especificados. Distinguieron entre precisión de pronóstico y congruencia, argumentando que el pronóstico más preciso puede no ser el mejor para la toma de decisiones si no se alinea con el objetivo de la decisión. También discutieron la aplicación práctica de la congruencia de pronósticos en la toma de decisiones de inventario y su potencial para mitigar el efecto látigo. También se discutió el papel de la IA y la participación humana en la congruencia de pronósticos.

Resumen Extendido

En una entrevista reciente conducida por Conor Doherty, Jefe de Comunicación en Lokad, Nikos Kourentzes, profesor en la Universidad de Skövde, y Joannes Vermorel, CEO y fundador de Lokad, discutieron el concepto de congruencia de pronósticos en el contexto de la toma de decisiones en la cadena de suministro.

Kourentzes, quien lidera un equipo enfocado en investigación de IA en la Universidad de Skövde, explicó que su trabajo gira principalmente en torno al riesgo del modelo y la especificación del modelo. Él enfatizó la importancia de alinear los pronósticos con las decisiones que respaldan, un concepto al que se refiere como congruencia de pronósticos. Este enfoque tiene como objetivo mejorar la precisión al reconocer que los modelos pueden estar mal especificados.

Kourentzes también distinguió entre la precisión de los pronósticos y la congruencia de los pronósticos. Mientras que la precisión es una medida de la magnitud de los errores de pronóstico, la congruencia describe la consistencia de los pronósticos a lo largo del tiempo. Argumentó que el pronóstico más preciso no necesariamente es el mejor para la toma de decisiones si no se alinea con la función objetivo de la decisión.

Vermorel, coincidiendo con Kourentzes, señaló que las métricas matemáticas a menudo quedan cortas cuando se ponen en práctica. Dio ejemplos de cómo diferentes decisiones pueden tener costos asimétricos diversos, como vender productos perecederos versus artículos de lujo. Vermorel también discutió el efecto trinquete en la gestión de la cadena de suministro, donde las fluctuaciones en los pronósticos de la demanda pueden llevar a decisiones irreversibles.

Kourentzes compartió su cambio de enfoque de centrarse únicamente en la precisión a considerar otros factores en el pronóstico. Enfatizó la importancia de comprender el funcionamiento subyacente de los modelos y las suposiciones en las que se basan. Sugirió que una vez que se encuentre una colección de pronósticos precisos, se debe elegir el más congruente.

Por otro lado, Vermorel compartió que en Lokad optimizan directamente los resultados financieros, en lugar de centrarse en métricas matemáticas. Explicó que los gradientes son cruciales para la optimización, ya que proporcionan la dirección en la que se deben ajustar los parámetros para minimizar los errores. También discutió la importancia del pronóstico probabilístico, que considera todos los futuros posibles, no solo para la demanda, sino también para los diferentes tiempos de entrega y las incertidumbres.

La discusión luego se centró en la aplicación práctica de la congruencia de pronósticos en la toma de decisiones de inventario y su potencial para mitigar el efecto látigo. Kourentzes explicó que la congruencia y la relación de látigo tienen muchas similitudes, y diseñar pronósticos teniendo en cuenta la congruencia puede ayudar a reducir el efecto látigo.

También se discutió el papel de la intervención humana en la congruencia de pronósticos. Kourentzes cree que la intervención humana no debe ser eliminada, sino más bien guiada para agregar valor donde sea posible. Sin embargo, Vermorel compartió que Lokad ya no permite el ajuste de pronósticos por parte de los humanos, ya que esto condujo a mejores resultados.

La conversación concluyó con una discusión sobre el papel de la IA en la congruencia de pronósticos y la toma de decisiones en las cadenas de suministro. Tanto Kourentzes como Vermorel coincidieron en que si bien la IA tiene un papel que desempeñar en abordar los desafíos de pronóstico, no debe reemplazar todos los métodos existentes y comprender el proceso es crucial.

En sus comentarios finales, Kourentzes llamó a abandonar los métodos de pronóstico tradicionales y adoptar un enfoque más integrado con la toma de decisiones. Enfatizó la necesidad de actualizar nuestra forma de pensar, el software y los libros de texto, y dio la bienvenida a la inclusión de personas de diversos campos en el campo del pronóstico. Concluyó destacando la importancia de la colaboración y las perspectivas diversas para abordar estos desafíos.

Transcripción Completa

Conor Doherty: Bienvenidos de vuelta. Por lo general, las discusiones sobre pronósticos se centran en la idea de la precisión. El invitado de hoy, Nikos Kourentzes, tiene una perspectiva diferente. Es profesor en el Laboratorio de Inteligencia Artificial de la Universidad de Skövde. Hoy, va a hablar con Joannes Vermorel y conmigo sobre el concepto de congruencia de pronósticos. Ahora, Nikos, ¿puedes confirmar en cámara que pronuncié correctamente Skövde?

Nikos Kourentzes: Eso es lo mejor que puedo hacer también.

Conor Doherty: Bueno, entonces no tengo más preguntas. Muchas gracias por unirte a nosotros.

Nikos Kourentzes: Es un placer.

Conor Doherty: En serio, trabajo en la Universidad de Skövde, en el Laboratorio de Inteligencia Artificial. Eso suena muy impresionante. ¿En qué consiste exactamente tu trabajo y cuál es tu formación en general?

Nikos Kourentzes: Bueno, permíteme primero presentar un poco sobre el laboratorio y luego hablaré un poco sobre mi formación. Somos un equipo diverso de académicos interesados en la investigación de IA. El enfoque se centra principalmente en la ciencia de datos, pero el espacio de aplicación es bastante diverso. Por ejemplo, como ya mencionaste, probablemente hablaré sobre pronósticos y modelado de series temporales. Pero, por ejemplo, otros colegas están interesados en temas como la fusión de información, la analítica visual, los autos autónomos, los aspectos cognitivos de la IA. Eso es lo genial del equipo, porque tenemos una polifonía de investigación y, ya sabes, cuando tienes las discusiones, obtienes muchas ideas diversas que van más allá de la literatura típica. Al menos yo lo encuentro un espacio muy agradable para estar.

La universidad es, ya sabes, lo que suelo decir a mis colegas es que cuando usas nombres suecos internacionalmente, puede ser cualquier cosa. Así que probablemente sería útil decir que la universidad, en términos de ciencia de datos e IA, tiene bastante tradición aunque su nombre no sea ampliamente conocido. Pero, ya sabes, estoy bastante contento de haberme unido al equipo. En cuanto a mí, he estado trabajando en pronósticos, modelado de series temporales, ya sea con estadísticas, econometría o IA, durante los últimos 20 años más o menos. Hice mi doctorado en la Universidad de Lancaster en inteligencia artificial. Eso fue en la escuela de negocios. Y mi formación en realidad es originalmente en gestión. Pero en algún momento dije, bueno, eso es bastante bueno. Sé qué preguntas hacer, pero no sé cómo resolverlas. Así que luego fui y hice algo de trabajo en investigación operativa, de ahí mi interés en la cadena de suministro, y finalmente mi doctorado en inteligencia artificial. Y después, me interesé más en la econometría. Así que logré diversificarme un poco en la comprensión de las series temporales también.

Conor Doherty: Gracias, Nikos. Y de hecho, la forma en que Joannes y yo nos encontramos por primera vez con tu perfil, primero cómo me encontré con él, fue un científico de la cadena de suministro que sigue parte de tu trabajo en LinkedIn, me envió un artículo donde habías escrito sobre la congruencia de pronósticos e incluías un enlace a tu documento de trabajo sobre el tema. El enfoque de la conversación de hoy será sobre pronósticos y su aplicación en la cadena de suministro. Pero antes de entrar en los detalles, ¿podrías darnos un poco de antecedentes sobre qué es la congruencia de pronósticos y cómo surgió como área de investigación para ti?

Nikos Kourentzes: Una buena parte de mi trabajo ha estado centrada en el riesgo del modelo y la especificación del modelo. A menudo, en el pronóstico de series temporales, identificamos un modelo y decimos, bien, ahora seguimos con él. Pero en realidad no reconocemos que cada modelo estará equivocado de alguna manera. Quiero decir, es el mantra habitual en el pronóstico, siempre lo escuchamos, está bien, todos los modelos están equivocados, algunos son útiles. Pero creo que podemos ir más allá de eso porque podemos empezar a cuantificar qué tan equivocados están los modelos. Pero también está el otro aspecto, que a menudo en la literatura no llegamos tan lejos, y esto está cambiando, tengo que decir que esto está cambiando, no solo lo digo yo, hay muchos colegas que lo dicen, es que tenemos que conectar el pronóstico con la decisión que se está apoyando.

Así que la congruencia surgió de estas dos ideas. He trabajado con mi colega de la Universidad de Lancaster, Kandrika Pritularga, quien también es coautor del artículo que mencionaste. Y estábamos bastante interesados en decir, bueno, si ambos tenemos un punto de vista de que los modelos están de alguna manera mal especificados, entonces simplemente estamos aproximando la demanda a la que nos enfrentamos o las ventas dependiendo de cómo quieras verlo, ¿cuál es el costo real de eso? Y la congruencia de pronósticos se adentra en la idea de decir, ¿podemos hacer algo mejor que la precisión? Porque la precisión de muchas maneras asume que estás haciendo un buen trabajo en la aproximación de tus datos.

Y sabes, sí, estamos tratando de hacerlo con toda seriedad, pero tal vez simplemente no estemos usando el modelo correcto. Por ejemplo, puedes tener un software que te ofrece una selección de X modelos, pero la aproximación correcta podría ser un modelo que falta en tu conjunto de modelos. Así que ahí es donde todo esto surge como una motivación, tratando de conectar el pronóstico con una decisión una vez que reconocemos que probablemente nuestros modelos estarán mal especificados. Así que ese es un poco el trasfondo.

Si quiero ser más científico al respecto, una cosa que debo decir es que generalmente, con mis colegas, siempre comenzamos nuestros temas de investigación con una idea un poco más tonta. Entonces, ya sabes, estamos haciendo algo más y decimos, oh, aquí hay un gancho interesante, exploremos un poco más. Y a menudo, una vez que haces eso, terminas teniendo algo que puede ser una idea útil. Por eso menciono esto, porque creo que la congruencia de pronósticos, lo que ofrece en la mesa, es un poco de un pensamiento diferente. Y por eso creo que es originalmente agradable porque, al comenzar como una broma en cierto sentido, nos permitió ver todo el punto desde una perspectiva diferente.

Conor Doherty: Joannes, en un momento te preguntaré sobre esto, pero ¿podrías expandir un poco más? Nuevamente, cuando dices precisión de pronóstico, todos tienen una comprensión más o menos de lo que eso significa. Pero cuando dices congruencia o que la congruencia de pronósticos ayuda a las personas a ver las cosas desde una perspectiva diferente, ¿podrías explicar un poco más esa distinción para que las personas entiendan exactamente lo que quieres decir con congruencia en el contexto de los pronósticos de series temporales?

Nikos Kourentzes: Bueno, en primer lugar, el nombre no es el más directo y hay una razón para eso. Lo que estamos tratando de describir con esa congruencia de pronósticos es básicamente qué tan similares son los pronósticos a lo largo del tiempo. Ahora, esta es una forma más fácil de decirlo, pero aquí hay algunos problemas. Muchas de las palabras que uno podría usar para eso, por ejemplo, estabilidad, ya se usan en el pronóstico estadístico, así que no queremos causar confusión allí.

Y el otro problema es que, como probablemente se discutirá más adelante, hay dificultades técnicas para medir qué tan similares son los pronósticos a lo largo del tiempo. Porque, por ejemplo, si pensáramos en una serie temporal estacional y una serie temporal no estacional, implicarían algo muy diferente, ya que la estacionalidad impondría una diferencia en el pronóstico a lo largo del tiempo. Ese es el patrón que tienes que gestionar ahí. Entonces, ese no es el tipo de no similitud en el que estamos interesados. Y eso es lo que hace un poco de, si quieres, gimnasia matemática para definir la congruencia. Pero aquí radica la diferencia con la precisión. La precisión, por lo general, la entendemos, independientemente de la métrica que vayas a usar, como un resumen de la magnitud de los errores de pronóstico.

Ahora, asumiríamos, por supuesto, que si obtenemos el pronóstico más preciso, eso implicaría que proporcionamos la mejor información para las decisiones respaldadas. Sin embargo, eso implica que las decisiones respaldadas tienen el mismo tipo de función objetivo que el pronóstico más preciso, digamos minimizar tus errores cuadrados. Pero ese no es el caso. Quiero decir, si piensas en un modelo de inventario de la cadena de suministro, es posible que tengamos que pensar en los costos debido al agrupamiento de pedidos, es posible que tengamos que pensar en los costos de exceso y defecto que pueden cambiar tu posición, digamos, desde el pronóstico más preciso. Es posible que tengamos que pensar en otros aspectos como, por ejemplo, restricciones provenientes de nuestros proveedores u otras limitaciones de capacidad de las líneas de producción o de nuestro almacenamiento, y así sucesivamente. Entonces, una vez que piensas en el verdadero costo del inventario o la cadena de suministro en general, de repente ves que el pronóstico más preciso no es necesariamente el que está mejor alineado con la decisión. Y ese es realmente el punto más interesante sobre la congruencia.

Entonces, por un lado, hay una línea de investigación, y mis coautores y yo hemos publicado bastante en esa dirección, que demuestra que la mayoría de las métricas de precisión no se correlacionan bien con las buenas decisiones. Eso no significa que sean inútiles ni nada por el estilo, simplemente no proporcionan la historia completa. Así que eso empuja un poco hacia la congruencia. La congruencia, por otro lado, intenta decir si los pronósticos no están cambiando demasiado a lo largo del tiempo, entonces probablemente haya cierta confianza en los pronósticos. Pero por otro lado, también sería un pronóstico con el que las personas pueden planificar con cierta consistencia. No tengo que actualizar toda mi planificación en cada ciclo de pronóstico porque el pronóstico será bastante similar. Entonces, incluso si no son los pronósticos más precisos, están fallando de una manera predecible que podría facilitar la toma de decisiones. Y eso es lo que encontramos en nuestro trabajo también. Encontramos que las decisiones respaldadas por pronósticos más congruentes son decisiones que también son más consistentes a lo largo del tiempo. Por lo tanto, se requiere menos esfuerzo para tomar esas decisiones.

Conor Doherty: Bueno, gracias, Nikos. Y Joannes, ahora te toca a ti. Siento que algunas de esas cosas probablemente te resuenen bastante. Un pronóstico más preciso no necesariamente se traduce en una mejor toma de decisiones de inventario.

Joannes Vermorel: Sí, exactamente. Nuestra perspectiva general en la actualidad es que, de hecho, prácticamente todas las métricas matemáticas, en el sentido de elegir una fórmula y decir que esta es una fórmula matemática que caracteriza tu métrica que intentas optimizar, cuando esta fórmula básicamente cae del cielo o simplemente se inventa, incluso si viene con buena intención, digamos norma uno, norma dos, algo que tiene algunas propiedades matemáticas adjuntas, generalmente es muy decepcionante una vez que se pone en producción por una variedad de razones.

Hace más de una década, Lokad comenzó a difundir la idea de que las personas no deberían estar haciendo lo que ahora llamamos pronósticos aislados. Fundamentalmente, apoyo a Nikos en su propuesta de que un pronóstico es un instrumento para una decisión y solo puedes evaluar la validez del pronóstico a través de la validez de las decisiones.

Y eso es algo extraño porque si tienes 10 decisiones diferentes, es posible que termines con pronósticos inconsistentes para respaldar esas decisiones. Y se siente extraño, pero la realidad es que está bien, incluso si es contraintuitivo. ¿Y por qué está bien? Bueno, porque tienes un conjunto de decisiones que pueden tener costos asimétricos muy diversos en términos de exceso o falta de stock.

Y así, si tienes una decisión en la que si te excedes, es una catástrofe. Digamos, por ejemplo, que estás vendiendo fresas. Entonces, las fresas que no vendas al final del día, prácticamente las tiras. Entonces, cualquier exceso es catastrófico en el sentido de que es una pérdida inmediata garantizada o una cancelación de inventario.

Por el contrario, si eres un fabricante de relojes de lujo y tus artículos están hechos de oro, platino y otros metales y piedras elegantes, si no los vendes, el stock no caduca. Incluso si todo lo que forjas y conviertes en artículos pasa de moda, siempre puedes recuperar los materiales y darles forma a algo que esté más en sintonía con el deseo actual del mercado.

Entonces, fundamentalmente, si te dedicas a la joyería, nunca tienes cancelaciones de inventario. Puede que tengas algún costo para dar forma a tus productos, pero es un juego muy, muy diferente.

Uno de los problemas básicos que prácticamente nunca se menciona en los libros de texto de la cadena de suministro es el efecto trinquete. Digamos que estás jugando a reabastecer inventario. Todos los días tienes un SKU, tienes un pronóstico de demanda y si la demanda supera un cierto umbral, haces un nuevo pedido.

Pero resulta que si tu pronóstico fluctúa, significa que tu inventario siempre está configurado para capturar el punto más alto de tu fluctuación. Quiero decir, considerando, por ejemplo, un mes, si tu ciclo de reordenamiento típico es de aproximadamente un mes, entonces tu pronóstico fluctúa durante este mes. Y digamos que todos los días, es decir, 30, 31 días del mes, simplemente vuelves a ejecutar la lógica de pronóstico y inevitablemente realizarás un pedido el día en que tu pronóstico sea el más alto.

Es un efecto trinquete porque una vez que tu pronóstico fluctúa hacia arriba o hacia abajo, y en términos de precisión puede ser bastante bueno tener esas fluctuaciones. Captura bien la variación a corto plazo, pero el precio que tienes que pagar es que una vez que activas una decisión, estás comprometido con esa decisión.

Y cuando tienes esas fluctuaciones, lo que suele suceder es que vas a capturar la fluctuación al alza. La fluctuación a la baja no es tan mala, simplemente retrasas algo un día más, pero la fluctuación al alza desencadena el lote de producción, el reabastecimiento de inventario, la asignación de inventario, la reducción de precios.

Porque nuevamente, es lo mismo. Si reduces tu precio y luego tienes un aumento repentino de la demanda causado por la reducción del precio, pero has subestimado la demanda, y ahora pensaste que tenías demasiado stock, pero la realidad es que no era el caso. Y ahora que has bajado el precio, accidentalmente te has puesto en una posición de faltante de stock planificado.

Todas esas cosas donde tienes esos efectos de trinquete, si tienes esas fluctuaciones, actuarás y luego el rendimiento de tu empresa reflejará la variación extrema de tu modelo estadístico predictivo, sea cual sea. No es bueno porque, en términos de decisiones, estás capturando el ruido del modelo predictivo.

Nikos Kourentzes: ¿Puedo agregar algo? En primer lugar, estoy bastante de acuerdo. Pero puede ayudar un poco ver también el mismo argumento desde la perspectiva de un especialista en series de tiempo como yo, que fue educado para pensar en términos de precisión.

Donde eventualmente cambié de opinión es porque supongamos que tienes alguna demanda de una unidad de stock, una SKU, y luego encuentras tu mejor modelo y optimizarás ese modelo en algo como una verosimilitud o minimizando tu error cuadrático medio.

Ahora, la suposición detrás de hacer eso es que has hecho una buena aproximación del modelo, y típicamente tu error es una predicción de un paso adelante. Eso es lo que solemos hacer, minimizamos el error en la muestra al menos.

Si tu modelo no es el modelo correcto, el modelo correcto implica que de alguna manera conoces el proceso generador de datos, lo cual nunca es cierto, si minimizaras ese error, entonces tu pronóstico sería perfecto para todos los horizontes de pronóstico. Pero ese no es el caso porque tu modelo es solo una aproximación.

Así que supongamos que minimizas tus errores para un paso adelante como solemos hacer, entonces tu modelo puede funcionar realmente muy bien para esta predicción de un paso adelante, pero no para el tiempo de espera. El tiempo de espera requiere más pasos adelante.

Si luego dices: “Oh, puedo ajustar mi modelo para que sea muy bueno tal vez dentro de 3 meses, digamos tres pasos adelante”, bueno, entonces terminas teniendo el efecto contrario. Tu modelo es muy bueno para ajustarse a ese horizonte de pronóstico, pero no al horizonte de pronóstico que es más corto. Entonces, nuevamente, en el tiempo de espera, te pierdes información.

Entonces, lo que intento decir con eso es que la forma tradicional de pensar, cómo optimizamos los modelos, inevitablemente conducirá a pronósticos efectivamente inexactos en el sentido de que siempre estarán calibrados para el error que el optimizador está observando y no para la decisión real que estamos tratando de respaldar. Tiene un horizonte diferente.

Aquí es donde, por ejemplo, mucha investigación en estimadores de contracción o el trabajo que colegas y yo hemos estado haciendo en jerarquías temporales han ayudado un poco porque estas técnicas siempre piensan en “No sobreajustemos los datos. No nos obsesionemos con minimizar alguna estadística de error”.

Entonces, ya sabes, lo que Joannes describió es esencialmente algo que se puede ver desde dos perspectivas. Una es el efecto en la cadena de suministro y la otra es el fundamento estadístico por el cual esto inevitablemente ocurrirá.

Joannes Vermorel: Sí, en efecto. En Lokad, nuestra práctica en la actualidad, y ha sido así durante bastante tiempo como parte del marco de Supply Chain Quantitativa, es hacer una optimización financiera pura. Por lo tanto, optimizamos directamente en euros o dólares.

Y de hecho, estas métricas se descubren. Incluso tenemos una metodología específica para eso llamada optimización experimental, donde debido a que los sistemas de la cadena de suministro son muy opacos y muy complejos, la métrica no es algo dado, es todo un tema descubrirla.

Ahora bien, lo interesante es el horizonte de pronóstico y cómo varía con eso. He estado pensando en esas líneas durante mucho tiempo, pero básicamente la última competencia de pronóstico de Makridakis, M4, M5, M6, ha demostrado que prácticamente los mejores modelos son los mejores para todos los horizontes, sin importar cuál elijas.

Lokad, en 2020, llegamos al número uno a nivel de SKU para Walmart, y fuimos los mejores para un día por adelantado, 7 días por adelantado, todo. Durante mucho tiempo he estado trabajando con la posibilidad de que pueda haber modelos que funcionen mejor en ciertos horizontes.

Pero si observas los modelos modernos, los modelos como programación diferenciable, por ejemplo, esas clases modernas de modelos de pronóstico, ahora es bastante uniforme. Es muy raro hoy en día que tengamos modelos que funcionen mejor un paso por delante en lugar de seis meses por delante.

Y en esencia, hay modelos que son de horizonte indefinido, pronostican hasta el fin de los tiempos, y solo se detienen para ahorrar recursos informáticos porque sería un desperdicio. Pero aun así, el punto es que en general, no se debe asumir que la métrica que se está optimizando sea conocida.

No se debe asumir que sea una de las elegantes métricas matemáticas como la verosimilitud logarítmica si quieres ir por el camino bayesiano, o el error cuadrático medio, o cualquier otra. Eso está muy bien si quieres demostrar teoremas en papel, pero demostrar teoremas y propiedades de modelos no se traduce en resultados operativos.

Puede crear muchos defectos sutiles en el comportamiento que no son evidentes desde la perspectiva matemática.

Conor Doherty: Bueno, gracias. Nikos, solo para retomar algo que dijiste antes y avanzar, dijiste que te consideras un tipo de series temporales y que anteriormente te habías centrado en la precisión y luego dijiste: “Oh, cambié de opinión y dejé de centrarme en la precisión de forma aislada”. ¿Podrías describir ese proceso? Porque eso es algo que siempre resulta difícil convencer a las personas de que no miren la precisión del pronóstico como el fin en sí mismo. Recuerdo que incluso en tu artículo dijiste: “El objetivo del pronóstico no es la precisión”. Esa afirmación es bastante controvertida dependiendo de a quién se lo digas. Entonces, ¿cómo exactamente abordaste ese proceso?

Nikos Kourentzes: Sí, es controvertido, tienes toda la razón. Pero creo que es un argumento que las personas que están en el mundo de las series temporales están más dispuestas a aceptar que los usuarios de pronósticos, si puedo decirlo así. Permíteme comenzar recogiendo algo que mencionaste sobre los horizontes de pronóstico.

Creo que esta comprensión de que los modelos son capaces de producir buenos pronósticos para todos los horizontes se basa en cómo comparamos los propios modelos. Como sabes, retomando las competiciones M que mencionaste. Esta es una lectura útil de las competiciones M, pero todos estos modelos están optimizados de manera similar. Incluso si tomas un simple suavizado exponencial y cambias tu función objetivo, cómo estimas tus parámetros, en realidad puedes hacer que funcione mucho mejor o mucho peor en diferentes objetivos o diferentes horizontes.

Entonces, para mí, esto también fue un punto de partida para decir, bueno, tal vez haya algo sucediendo aquí. Y aquí es donde, por ejemplo, soy un poco crítico con solo usar… permíteme reformular eso. Cuando tengo que trabajar con estudiantes de doctorado o estudiantes de maestría que están haciendo una disertación, a veces les pido que hagan la implementación de la manera difícil en lugar de usar una biblioteca, porque quiero que entiendan lo que realmente está sucediendo bajo el modelo. Y ahí es donde puedes encontrar algunos de los detalles y decir, bueno, ¿esto tiene sentido?

Una de las cosas que ya se mencionó antes es que disfrutamos de fórmulas y expresiones que son fáciles de manejar matemáticamente. Quiero decir, fácil entre comillas, a veces son bastante complejas, pero sí son fáciles en el sentido de que, con las suposiciones correctas, aún puedes trabajar las matemáticas. Pero aquí es donde radica el problema para mí, que al hacer eso terminamos teniendo una buena comprensión de lo que está sucediendo bajo las suposiciones y eso es muy útil. Pero a menudo olvidamos decir, bien, ¿qué pasa si esta suposición ahora se viola? ¿Qué pasa si tenemos una especificación del modelo?

Entonces, para mí, esta especificación del modelo es el punto de partida. Una vez que introduces eso, muchas de estas expresiones se vuelven problemáticas. Debo tener cuidado aquí y, siendo yo mismo un académico, eso no hace que esta investigación sea inútil de ninguna manera. Pero es un trampolín. Tenemos que entender todas las propiedades y luego decir, ahora introduzcamos la especificación del modelo.

Tengo algunos colegas de España con los que he trabajado en la calibración de políticas de inventario. Y un artículo en el que estamos tratando de completar la revisión, esto siempre es un aspecto complicado para los académicos, es precisamente tratar de hacer eso. Trata de decir, ya sabes, supongamos que tenemos una política muy simple como una política de pedido hasta, esto es lo que obtendríamos si asumiéramos que el modelo está bien y esto es lo que obtendríamos si decimos que no, el modelo está mal especificado. Porque puedes ver que hay riesgos adicionales en la cadena de suministro, hay riesgos adicionales en la configuración del inventario.

Entonces, para mí, el momento de decir que la precisión no es suficiente es cuando empiezo a pensar que el modelo está mal especificado, ¿qué implica este riesgo adicional? Si lo piensas en políticas de inventario estocásticas, lo que estamos diciendo es que decimos, oh, hay un riesgo estocástico que proviene del proceso de demanda, está bien. Pero ese no es el único riesgo. Y no estoy sugiriendo de ninguna manera que esté capturando todos los riesgos en la forma en que lo estoy pensando, pero al menos la lógica es la que dice que tiene que ser algo más que un objetivo de precisión.

No significa que se descarte ese objetivo, debe haber, ya sabes, incluso si se descarta ese objetivo, aún debe haber algún tipo de correlación entre ese objetivo y otros objetivos. Porque si ignoras por completo tener un pronóstico preciso, en el sentido más amplio, entonces no estarás haciendo bien tu trabajo, al menos según mi experiencia.

Puedes cambiar completamente el objetivo, como por ejemplo en la congruencia encontramos incluso teóricamente que hay una conexión con la precisión. No es una conexión del 100%, pero hay una conexión débil. Así que eso no significa para mí, entonces, que debemos desechar la precisión por completo. Pero ciertamente no es el final de la discusión. Ahora, si puedes reemplazarlo con una métrica mejor que aún tenga propiedades similares o una colección de métricas, genial. Estoy contento con eso. No me importa si llamamos a la métrica así o asá, o si es mi métrica o la métrica de otra persona. Pero realmente creo que cuando vamos con la especificación del modelo y se implican los riesgos en el proceso, no podemos quedarnos con las métricas tradicionales.

Conor Doherty: Gracias, Nikos. Y Joannes, volveré contigo en un momento, pero quiero subrayar un punto, bueno, dos puntos. Primero, creo que me equivoqué al hablar. Debería haber dicho que la precisión no es el objetivo del pronóstico. Creo que lo dije al revés. Pero para seguir con un punto que acabas de mencionar, y es un punto clave en el artículo, no estás abogando, corrígeme si me equivoco, no estás abogando por perseguir el pronóstico más congruente. Es una combinación entre precisión y congruencia. ¿Es una lectura correcta? Y si es así, ¿podrías expandirte sobre eso para alguien que pueda no entender cómo se persigue una combinación de estas dos métricas?

Nikos Kourentzes: Así que primero debo enfatizar que esto es un trabajo en progreso, así que no tengo la respuesta completa a eso. Pero parece que una heurística simple sería algo así como, una vez que encuentres tu colección de pronósticos precisos, luego de esos eliges el más congruente. No elijas directamente el pronóstico más congruente porque podría ser un pronóstico muy impreciso, si eso tiene sentido.

Entonces veo estos dos objetivos, si lo expreso de alguna manera diferente, hay una región donde ambos mejoran juntos y luego terminas teniendo un compromiso. Cuando llegas a ese compromiso, entonces ve y pondera más el lado de la congruencia.

Conor Doherty: Bueno, esa iba a ser la pregunta de nuevo. Utilizas el término compromiso y nuevamente eso es algo en lo que nos enfocamos mucho, nuevamente los compromisos. ¿Cómo, y entiendo nuevamente que es un trabajo en progreso, cómo tú o cómo una empresa pondera esos compromisos nuevamente, precisión versus congruencia? Y sé que nuevamente estás tratando de reducir la inestabilidad, la fluctuación entre todos los pronósticos congruentes. Pero aún así, quiero decir, la precisión del pronóstico es simple. Podemos estar de acuerdo en que puede tener fallas, pero es simple de comprender. Solo quiero que sea más preciso, quiero que el número aumente. Pero ahora estamos introduciendo otra dimensión. Entonces, nuevamente, la ponderación de eso, cómo se acerca una empresa a eso es lo que quiero decir más específicamente.

Nikos Kourentzes: Sí, estoy luchando aquí para dar una respuesta clara porque aún no tengo la respuesta clara. Pero tal vez pueda dar un ejemplo de la lógica.

Hice antes el punto sobre las series de tiempo estacionales. Entonces, cuando la dificultad en definir la congruencia como una métrica, y esta es una discusión que tuve con algunos otros colegas que dicen “oh, pero podrías hacer esto o podrías hacer aquello en su lugar”, es esencialmente la idea de la media condicional del pronóstico. ¿Qué es eso? Supongamos que la demanda es realmente estacional, por lo que hay alguna estructura subyacente. Esa estructura subyacente que es desconocida es la media condicional.

Si dijera que quiero el pronóstico que es más estable o lo que llamamos congruente, en principio sería una línea recta, una línea plana. Esa línea plana no llevaría ninguna información sobre la estacionalidad. Entonces, el pronóstico más congruente efectivamente sería un pronóstico determinista que no asume ninguna estocasticidad, ninguna estructura en la serie, nada de eso. Entonces, claramente es un mal pronóstico.

Entonces, donde entra en juego el acto de equilibrio es que queremos el pronóstico más congruente en términos de esta media condicional. Queremos que intente ser estacional, queremos que intente seguir esta estructura. Pero no vamos a presionarlo lo suficiente como para decir que voy a tratar de elegir cada detalle. Entonces podrías decir que hay alguna conexión con el sobreajuste y el subajuste, pero no es una conexión del 100% porque todos podemos estar de acuerdo en que el sobreajuste es algo malo.

Pero cuando miramos el mismo aspecto en términos de sobre congruencia y bajo congruencia, es fácil mostrar que la baja congruencia es algo malo, como esta línea plana que mencionamos antes. Pero la sobre congruencia en realidad no necesariamente es algo malo. Y el “no necesariamente” es donde las cosas se vuelven interesantes y complicadas. El “no necesariamente” se conecta mucho con los puntos que Joannes ha planteado antes, que hay otros aspectos en la gestión de inventario en la cadena de suministro en los que estamos interesados. Entonces, al tener esta congruencia adicional en los pronósticos, efectivamente estamos facilitando la vida de los tomadores de decisiones más adelante. Desde una perspectiva estadística, este no será el pronóstico más preciso, pero proporcionará suficiente información para que el tomador de decisiones actúe. Por lo tanto, las decisiones siguientes serán financieramente, o en cualquier otra métrica de inventario que vayas a usar, como por ejemplo menos desperdicio o algo similar, más fáciles de obtener.

Estoy siendo un poco vago aquí porque no tengo algo mejor que la heurística que mencioné antes para ofrecer en este momento. Esto es, como dije, espero que el próximo artículo proporcione la expresión matemática completa para decir, ah, en realidad es un problema trivial. Aún no tengo eso. Entonces, diría que en la práctica en este momento lo que sugiero a las personas que hagan es identificar su colección de pronósticos precisos y de esos pronósticos elegir el que maximice la congruencia. Entonces, en cierto sentido, una selección de dos pasos, primero obtener un conjunto de pronósticos precisos y luego elegir el congruente.

Lo interesante es que resulta que en la mayoría de nuestros experimentos, este resulta ser un modelo que utiliza algún tipo de trucos de estimadores de contracción o algún tipo de trucos de agregación temporal, ya que tienden a suavizar los pronósticos. Debo destacar aquí que también hay otros colegas que han propuesto ideas similares. Pueden modificar la función de pérdida para tener, por ejemplo, un término que también intente minimizar la variabilidad del pronóstico, etc. Donde creo que la métrica de congruencia se diferencia un poco es porque intentamos mostrar también la conexión con la precisión, por lo que proporcionamos las expresiones para decir exactamente dónde están conectadas, dónde divergen.

Conor Doherty: Gracias, Nikos. Joannes, ¿qué opinas?

Joannes Vermorel: Sí, en Lokad, abordamos esto desde un ángulo ligeramente diferente. Nos vamos por la ruta radical de que literalmente son dólares de error, euros de errores, y asumimos que las métricas se descubrirán, por lo que son completamente arbitrarias. Es tan brutalmente evidente que se optimiza algo donde la métrica es cualquier cosa. Entonces, ¿cómo abordamos eso? Bueno, resulta que si la métrica es cualquier cosa, es efectivamente un programa, ya sabes, un programa de computadora. Puede haber métricas que ni siquiera se pueden representar como programas de computadora, en matemáticas puedes inventar cosas que incluso escapan a las computadoras. Pero para fundamentar la discusión, asumimos que no vamos a entrar en espacios matemáticos súper extraños, hiperabstractos. Entonces, tenemos algo que al menos se puede calcular. Entonces, esto es un programa, un programa arbitrario.

Lo bueno es que si quieres optimizar cualquier cosa, lo que necesitas es tener gradientes. Tan pronto como tienes gradientes, puedes dirigirte. Para la audiencia, tan pronto como puedes tener la pendiente, significa que puedes dirigir tus parámetros en la dirección correcta que minimiza lo que sea que estés tratando de minimizar. Entonces, cada vez que quieres optimizar, obtener algo más alto o más bajo con un objetivo específico, si puedes obtener los gradientes, eso te da la dirección en la que debes ir, ayuda enormemente.

Ahí es donde la Programación Diferenciable realmente ayuda, porque la Programación Diferenciable es literalmente un paradigma de programación que Lokad utiliza extensivamente. Te permite tomar cualquier programa y obtener los gradientes, y eso es súper poderoso. Eso es típicamente cómo conectamos esta perspectiva financiera. Vamos a descubrir esos elementos financieros. Va a ser un proceso desordenado, muy al azar, y lo que se convertirá es un programa un poco extraño y simplemente reflejará las peculiaridades, las rarezas de la cadena de suministro de interés.

Podemos diferenciar cualquier programa, por lo que podemos diferenciar eso y luego podemos optimizar en función de eso cualquier modelo que tengamos, siempre y cuando el modelo en sí tenga una estructura diferenciable. Eso restringe nuestro enfoque a modelos que tienen una estructura diferenciable, pero, sorprendentemente, eso es en realidad la mayoría. En esta competencia, la M5, para esa competencia de Walmart, básicamente ocupamos el primer lugar a nivel de SKU con un modelo diferenciable.

Entonces, imponer la diferenciabilidad no es algo que te impida obtener resultados de vanguardia. Ahora, adelantando rápidamente, eso es solo la esencia de lo que sucede cuando renuncias a tus métricas y renuncias porque, por lo general, terminamos equilibrando toneladas y toneladas de cosas.

Ahora, otra cosa es el pronóstico probabilístico, que es la idea de que miramos todos los futuros posibles, pero no solo para la demanda. Por ejemplo, mencionaste los tiempos de entrega con horizontes posibles y demás, pero la realidad es que el tiempo de entrega varía, también hay incertidumbre.

Aún peor, el tiempo de entrega que observarás está relacionado con la cantidad que ordenas. Si ordenas, por ejemplo, 100 unidades, puede ser más rápido que si ordenas 1000 unidades simplemente porque, bueno, la fábrica que produce el material necesitará más tiempo.

Así que te encuentras con toneladas de correlaciones que dan forma y estructuran la incertidumbre. Por lo tanto, la perspectiva unidimensional de la serie temporal es insuficiente, incluso si estamos hablando de solo un SKU, porque tenemos que agregar algunas capas de incertidumbre adicional, al menos con los tiempos de entrega, al menos con las devoluciones en el comercio electrónico, y así sucesivamente.

Usaré el término “congruencia” de manera flexible porque acabas de introducirlo, pero nuestra observación práctica, cuando pasamos a modelos probabilísticos, fue que esos modelos, numéricamente hablando, eran mucho más estables.

Eso fue muy interesante porque la mayoría de esas inestabilidades, incongruencias, lo que sea, simplemente reflejan que tienes mucha incertidumbre ambiental. Y tienes áreas de probabilidades relativamente planas. Entonces, según prácticamente cualquier métrica, siempre que tengas un pronóstico puntual, el modelo puede fluctuar ampliamente.

Y en términos de métricas, prácticamente cualquier métrica que elijas será prácticamente la misma. Entonces, te encuentras con la extraña propiedad de que, nuevamente, si estás atrapado con pronósticos puntuales, si tienes una situación de alta incertidumbre ambiental, terminas con problemas en los que puedes tener pronósticos muy, muy diferentes que son, según tus métricas, casi iguales.

Y así, terminas con este temblor y demás. Y cuando pasas a esos pronósticos probabilísticos, entras en un ámbito donde, bueno, el buen modelo será simplemente aquel que exprese esta dispersión, que exprese esta alta incertidumbre ambiental. Y eso en sí mismo es mucho más, diría yo, constante.

Eso es muy extraño, pero terminas con situaciones en las que luchamos tanto para obtener un poco de estabilidad numérica, y luego cuando pasas al ámbito de los pronósticos probabilísticos, de entrada, tienes algo que es mucho más estable donde esos problemas que realmente estaban causando problemas simplemente se vuelven secundarios.

Entonces, eso es bastante interesante. Y luego podemos relacionar todo eso con otras cosas. Cuando vamos más allá del pronóstico de series temporales, hemos discutido eso un poco en este canal, pero eso sería una digresión dentro de una digresión.

Nikos Kourentzes: Estoy completamente de acuerdo. El pronóstico probabilístico es absolutamente necesario. He llegado al punto en el que, cuando veo algunos de los artículos inacabados que han estado en espera durante unos años y veo que no hay pronóstico probabilístico, creo que necesito rehacer todo. Tiene que tener pronóstico probabilístico, ahora estamos en 2024. Pero aquí está la cosa, me gusta el pronóstico probabilístico, especialmente la forma en que Joannes lo ha explicado, porque me da otra forma de argumentar sobre la especificación del modelo.

Nikos Kourentzes: Cuando miras la incertidumbre alrededor de tu pronóstico, típicamente asumimos que esta incertidumbre se debe a la estocasticidad de la serie temporal. Pero una buena parte de esa incertidumbre se debe a la incertidumbre del modelo. Tienes la incertidumbre proveniente de los datos, la incertidumbre proveniente de tu estimación y la incertidumbre del propio modelo. Puede que falten algunos términos, o puede que haya más términos, o puede que simplemente esté completamente equivocado. Dividir esa incertidumbre sigue siendo un gran problema.

Si no divides esa incertidumbre, encontrarás a menudo que muchos modelos diferentes, a menos que sean sustancialmente diferentes, terminarán enmascarando la incertidumbre con su incertidumbre de modelo. Te darán una mayor incertidumbre, hablando empíricamente al menos, y una buena parte de esa incertidumbre parecerá similar porque lo que está tratando de decirte es que todos estos modelos son problemáticos.

No estás llegando a la verdadera profundidad de tener esta incertidumbre debido a los elementos estocásticos de la demanda. Aún no he logrado encontrar una buena manera de resolverlo y no he visto algo en la literatura. Pero al menos el pronóstico probabilístico es honesto al decir, mira, esta es tu incertidumbre. Es un poco más grande de lo que pensábamos si te basas en el pronóstico puntual. Eso es un buen paso hacia la solución.

Conor Doherty: Gracias a ambos. Me doy cuenta de que tengo aquí a dos académicos y también a dos profesionales. Creo que en este punto sería conveniente dirigirlo hacia lo práctico. Todo el enfoque de lo que hace Lokad, pero ciertamente tu artículo y tu investigación en general, Nikos, es aplicarlo a la toma de decisiones de inventario. En ese sentido, Joannes, cuando hablaste de las peculiaridades de la cadena de suministro, los tiempos de entrega variables y el efecto látigo, todos estos conceptos, tu posición, Nikos, en el documento de trabajo del que estamos hablando, era que perseguir la congruencia del pronóstico puede ayudar a lidiar con o mitigar los efectos del efecto látigo. ¿Podrías esbozar eso para que las personas entiendan cómo esta idea puede ayudar a enfrentar lo que es un problema grave, el efecto látigo?

Nikos Kourentzes: Presumo que su audiencia está bastante familiarizada con eso. El problema que tengo con mucha investigación sobre el efecto látigo es que se trata más de describirlo que de proporcionar acciones para remediarlo. Al menos, especialmente desde el punto de vista de las series temporales, decimos: “Oh, mira, aquí está tu ratio de efecto látigo”. Pero eso, de muchas maneras, es solo una descripción del problema. No te dice cómo lidiar con él una vez que lo has medido.

Esto es lo que estoy diciendo, bueno, si quiero conectar el pronóstico con la decisión en lugar de mantenerlos separados, necesariamente necesito tener algo que me diga, bueno, si vas en esa dirección, vas a reducir tu efecto látigo. Resulta que sin entender eso desde el principio, si trabajas las ecuaciones, la congruencia y el ratio de efecto látigo al menos parecen tener muchas similitudes. Esta imposición de similitud a lo largo de los períodos, o congruencia como simplemente lo decimos, parece estar alineada con la idea de tener un efecto látigo bajo proveniente de tus pronósticos. Por supuesto, hay muchas otras razones por las que vas a tener un efecto látigo.

Entonces, si vamos a usar una métrica congruente o algo similar para seleccionar o especificar tus modelos de pronóstico, entonces ya puedes apuntar a una solución que será más favorable en términos del efecto látigo. Aquí creo que al menos, dado que estoy trabajando en la esfera del pronóstico, tengo que reconocer que el efecto látigo es mucho más amplio que el pronóstico. El pronóstico es solo una parte de ello. Hay tantos otros elementos que entran en juego. Pero al menos para el pronóstico, puedes diseñar, si piensas en la congruencia y formas similares de pensar, pronósticos que sean al menos favorables hacia él.

Joannes Vermorel: Cuando comenzamos a hablar del efecto látigo, cuando dije que miramos la decisión y optimizamos euros y dólares, en realidad estaba simplificando. Porque la realidad es que en realidad estamos mirando el proceso de toma de decisiones secuenciales. Y aquí estamos tocando esencialmente la optimización estocástica de los procesos de toma de decisiones secuenciales, que fue un tema discutido con el profesor Warren Powell.

No solo estamos optimizando la próxima decisión, sino todas las demás que vienen después. Necesitamos tener un mecanismo para traer toda esta información del futuro, donde hemos representado el papel de las decisiones futuras que se generarán a través de esos pronósticos, al día de hoy. Ahí es donde brilla la programación diferenciable porque básicamente tienes un programa que representa el papel, simula si quieres, las decisiones del futuro y necesitas poder retroalimentarlo para que puedas reinyectar esos resultados financieros futuros en la ingeniería de tu pronóstico actual.

Estamos optimizando no solo la próxima decisión, sino todas las demás que vienen después. Necesitamos tener un mecanismo para traer toda esta información del futuro, donde hemos representado el papel de las decisiones futuras que se generarán a través de esos pronósticos, al día de hoy. Ahí es donde brilla la programación diferenciable porque básicamente tienes un programa que representa el papel, simula si quieres, las decisiones del futuro y necesitas poder retroalimentarlo para que puedas reinyectar esos resultados financieros futuros en la ingeniería de tu pronóstico actual.

La forma en que normalmente lo vemos es que si volvemos al efecto látigo, no te sorprendas por el efecto látigo. No hay nada en tu marco de optimización que siquiera reconozca los euros de costo que generará con el tiempo. No hay nada que haga este análisis de toma de decisiones secuenciales de simplemente repetir la decisión a lo largo del tiempo y ver si vas a tener problemas con el efecto látigo.

La solución no es tan complicada. Es simplemente optimizar no solo la próxima decisión que estamos mirando, sino todo lo que sigue. Implícitamente, lo que estamos optimizando es una especie de política. Pero típicamente, la gente piensa en la optimización de políticas como algo estrictamente independiente del pronóstico. Tendrían la optimización de políticas que simplemente consume el pronóstico. La forma en que Lokad ve eso es que no, esas cosas están realmente entrelazadas.

El pronóstico superior va de la mano con la política superior. Los dos están muy conectados. Incluso hay un artículo reciente de Amazon, “Optimización de inventario profundo”, donde literalmente eliminan por completo la distinción. Directamente tienen algo que unifica el enfoque de modelado predictivo y el enfoque de investigación operativa que típicamente están separados. Dicen que no, vamos a hacer las dos cosas a la vez y tienen un modelo de optimización predictiva todo de una vez a través del deep learning.

Eso es muy interesante porque eso literalmente significa que la decisión se optimiza de manera predictiva, pero el pronóstico en sí se vuelve completamente latente. Esa es solo otra forma de ver el problema, pero eso es muy futurista y crea otros problemas. Pero para verlo, todavía estamos teniendo la parte de modelado predictivo y la parte de optimización estocástica como dos etapas, pero dos etapas que están altamente acopladas y habrá mucho ida y vuelta entre las dos etapas.

Nikos Kourentzes: En realidad, creo que mantener las etapas separadas tiene sus beneficios. Sin embargo, no deberían estar aisladas y hay una razón para ello. Estoy completamente de acuerdo en que una debería liderar a la otra. En el pasado, he trabajado con la idea de tener una optimización conjunta tanto para la política de inventario como para el pronóstico. El artículo está disponible, por lo que los detalles están ahí para que las personas puedan ver qué está sucediendo. Mi preocupación con este trabajo fue que no pude hacerlo escalable. No tenía una forma de hacer la optimización de manera que me permitiera manejar un gran número de SKU. Esto podría deberse a mis limitaciones en optimización en lugar de la configuración en sí.

Creo que mantener los dos pasos separados ayuda a tener más transparencia en el proceso. Si tengo una solución conjunta y de repente digo que su inventario para sus pedidos para el próximo período debería ser 10 y alguien dice que debería ser 12, es muy difícil justificar por qué 10 tiene más mérito que 12. Si comprende el pronóstico y la política impulsada por el pronóstico, puede tener una discusión más transparente. “Muy bien, aquí está mi pronóstico, estos son los aspectos del pronóstico, aquí está mi política impulsada por un buen pronóstico o potencialmente ajustada debido a las opciones de pronóstico que tengo o viceversa”, puede decir, “Si estoy limitado a estas políticas, tal vez solo estas opciones de pronóstico deberían estar en juego”. Pero aún así tiene la transparencia y dice: “Puedo ver elementos de pronóstico problemáticos aquí, puedo ver elementos de pedidos problemáticos aquí”.

Y el otro elemento con el que tengo un problema es que las personas se sumergen por completo en la optimización u el pronóstico oscuro, donde se tiene una gran confianza en el deep learning. No importa cómo hagamos el modelado, en algún momento los humanos interactuarán con el modelo y los resultados. La investigación y mi experiencia sugieren que si las personas entienden lo que está sucediendo, su interacción con el modelo y los números, los ajustes que puedan hacer para incorporar información contextual serán más exitosos.

Si es un número muy oscuro, esta caja negra, muchas personas tienden a decir que las personas no sabrán qué hacer con el número o interactuarán destructivamente con el número. Me gusta mantener la separación porque ayuda a la transparencia. Compone el problema, dice que esta es la contribución que viene de aquí, esta contribución que viene de aquí. Así que estoy inclinado aquí a estar bastante de acuerdo con el enfoque que Johannes está describiendo. De alguna manera tenemos que unir las tareas, una tiene que llevar a la otra, pero también tenemos que ser capaces de describir qué está haciendo cada paso.

Conor Doherty: Gracias, Nikos. Volveré contigo, pero quiero seguir con un punto allí. Mencionaste la participación humana y la anulación varias veces. ¿Cuál es el papel de la participación humana en términos de congruencia de pronóstico? La tendencia a menudo es decir, “el modelo está equivocado, yo sé mejor, déjame intervenir”, y por supuesto, en muchos casos solo estás aumentando el ruido. ¿Cómo trata la congruencia de pronóstico como concepto con eso? ¿Involucra mucha anulación o no?

Nikos Kourentzes: Este pronóstico conductual o ajustes basados en juicio, diferentes nombres en la literatura, creo que todavía no sabemos lo suficiente, aunque es un área de investigación muy activa. Algunos artículos argumentan que deberíamos eliminar estos ajustes porque son contraproducentes o incluso destructivos en términos de precisión o el resultado final. El problema con este pensamiento es que tienes que tener una métrica. Si uso el error porcentual absoluto medio, obtendré una respuesta. Si uso el error cuadrático medio, obtendré otra respuesta. Si uso la congruencia, obtendré otra respuesta.

Sin embargo, la pregunta que tengo es volver a nuestro punto inicial de discusión, que es ¿por qué no me quedo solo con la precisión? Quiero decir, lo mismo para ustedes, ustedes no se quedan solo con la precisión. Siempre y cuando reconozcamos que esto es importante, entonces obviamente necesitaríamos ajustar o evaluar los aspectos conductuales del proceso de pronóstico o del proceso de inventario con una métrica que sea más consciente que solo la precisión. No creo que debamos prescindir de la intervención humana. Creo que hay suficiente evidencia de que cuando la información contextual que pueden utilizar es rica, pueden hacerlo mejor que la mayoría de los modelos. Sin embargo, no pueden agregar valor de manera consistente. Hay muchos casos en los que sienten que necesitan hacer algo o pueden estar reaccionando exageradamente a la publicidad o a la información que es muy difícil de entender cómo esto afectaría su inventario. En esos casos, es una interacción destructiva con el modelo o los pronósticos.

Necesitamos retener el elemento humano porque puede agregar valor, pero necesitamos guiar cuándo deben agregar valor. Es un proceso que consume mucho tiempo. Si puedo decirles a los analistas que dejen ciertas tareas a la automatización completa y que centren su atención en acciones específicas, también puedo hacer que su trabajo sea más efectivo. Pueden dedicar más tiempo y recursos a hacer lo que hacen mejor. La congruencia entra en esta discusión donde decimos que si tenemos que ir más allá de la precisión, puede ayudar a discriminar aquellos pasos que agregan valor en la configuración del inventario o en la configuración de la toma de decisiones en general.

Una discusión similar haría para los pedidos. Los modelos o políticas te proporcionarán una buena línea de base si estás haciendo bien tu trabajo como analista. Sin embargo, no puedo ver que esto pueda ser universalmente el número más informativo. Siempre habrá algunos elementos, alguna disrupción que acaba de ocurrir esta mañana en la cadena de suministro, por ejemplo, algo que es difícil de evaluar. Esto no tendrá un problema de si envejece bien o no. Hay algún conflicto sucediendo en el mundo. Típicamente, siempre hay algún conflicto sucediendo en el mundo. A veces afectará tu cadena de suministro, a veces no afectará tu cadena de suministro. A veces puede ejercer presiones, digamos sobre la inflación y así sucesivamente, por lo que tus consumidores pueden comenzar a actuar de manera diferente. Estas son cosas que son extremadamente difíciles de modelar.

Entonces aquí es donde confío en los expertos y analistas que tienen el tiempo para hacer esto, su trabajo correctamente. Y tal vez pueda terminar con eso, en términos de los ajustes, diciendo que la investigación sugiere que descomponer tus ajustes, es decir, si vas a decir, “De acuerdo, voy a refinar el número en un 100”, diciendo, “De acuerdo, ¿por qué 100? Porque 20 por esta razón y 80 por esta razón”, eso se correlaciona mucho con lo que estábamos diciendo antes, descomponiendo si lo deseas o manteniendo los dos pasos del pronóstico y el inventario distintos, pero no aislados.

Porque si vas a decir, “Bien, voy a cambiar mi pedido en un x%”, si le preguntamos a la persona que está haciendo eso, “¿Puedes explicar por favor qué parte de eso viene debido a tu comprensión del riesgo proveniente del modelo del modelo de pronóstico o de las realidades de la cadena de suministro?” Potencialmente, pueden llegar a un mejor ajuste.

Conor Doherty: Gracias, Nikos. Johannes, me dirijo a ti. ¿Eres un gran fanático de la anulación humana, ¿es correcto?

Joannes Vermorel: No, durante los primeros cinco años en Lokad, dejábamos que las personas ajustaran los pronósticos y fue un terrible error. El día en que comenzamos a ser un poco dogmáticos y lo prohibimos por completo, los resultados mejoraron drásticamente. Así que prácticamente ya no lo permitimos.

Entonces, primero, consideremos el papel de los humanos. Quiero decir, la gente dice un SKU y piensan, pero eso no es típico. Una cadena de suministro típica consta de millones de SKUs. Y cuando la gente dice que quiere hacer ajustes, en realidad están microgestionando un sistema increíblemente complejo. Y así, de hecho, están entrando un poco en la memoria aleatoria de su computadora y están tratando de reorganizar la forma en que se almacenan las cosas en su computadora mientras tienen gigabytes de memoria y disco y demás. Simplemente están seleccionando algunas cosas que les llamaron la atención y no es una buena forma de utilizar su tiempo.

Y no importa cuánta información obtenga, la información que obtiene casi nunca es a nivel de SKU. Entonces, sí, algo está sucediendo en el mundo, pero ¿es algo que está a nivel de SKU? Porque si su interacción con un sistema consiste en ajustar algo como un SKU, ¿en qué base tiene esta información a nivel superior que se traduce en algo relevante para el nivel de SKU? Así que tenemos esta gran desconexión.

La gente pensaría que cuando, por ejemplo, se tiene un ejemplo de juguete, creo que es una situación realista, solo piense en 10 millones de SKUs, eso es una línea de base para una empresa que ni siquiera es muy grande. Esa es mi queja y eso es lo que Lokad ha visto que ha mejorado enormemente, es que en su mayoría es un sinsentido. Simplemente están seleccionando el 0.5% de los SKUs para hacer cosas y no tiene sentido y generalmente crea muchos problemas. Y más que eso, crea mucho código porque la gente no se da cuenta de que permitir la interacción significa que necesitas escribir mucho código para admitir eso y mucho código que puede tener errores. Ese es el problema del software empresarial. La gente típicamente solo ve esto como si fueran solo las propiedades matemáticas, pero el software empresarial tiene errores, incluso el que Lokad escribe, desafortunadamente.

Y cuando tienes una empresa grande, quieres tener interacción humana, necesitas tener flujos de trabajo, aprobaciones, controles, auditabilidad. Así que terminas con tantas características que, básicamente, comienzas con un modelo que tiene como mil líneas de código, que es el modelo estadístico, si lo deseas, y terminas con un flujo de trabajo que tiene como un millón de líneas de código solo para hacer cumplir todo.

Así que sí, la intención es buena y creo que hay valor en la interacción humana, pero absolutamente no de la forma típica en que se produce. La forma típica en que Lokad aborda la interacción humana es decir, bien, tienes algo que está sucediendo en el mundo, sí. Ahora volvamos a revisar la estructura misma del modelo. Verás, una vez más, del modelo predictivo y la optimización. Y una vez más, la postura clásica en la literatura es pensar en los modelos como algo dado. Tienes un artículo, se publica, así que operas con eso. Lokad, no operamos así. Solo abordamos la modelización predictiva y la optimización a través de paradigmas de programación esencialmente. Así que Lokad no tiene modelos, solo tenemos una larga serie de paradigmas de programación. Así que esencialmente siempre es completamente hecho a la medida y ensamblado en el momento.

Y así esencialmente es código, con los paradigmas de programación adecuados. Y cuando sucede algo, entonces esencialmente esos paradigmas de programación te dan una forma de expresar tus modelos predictivos o modelos de optimización de manera muy ajustada, muy magra, muy concisa. Literalmente, reduzcamos esas 1,000 líneas de código, hagámoslas 20 con una notación adecuada si quieres.

Luego puedes volver a tu código y pensar, bien, tengo algo y necesito hacer una intervención. No es a nivel de SKU, es muy raro que tengas esta información a ese nivel. La información que obtienes del mundo exterior suele ser algo mucho más general. Y por lo tanto, normalmente ajustarás algún aspecto de alto nivel de tu modelo. Y ahí está la belleza, no necesariamente necesitas tener mucha información muy precisa.

Por ejemplo, si piensas, digamos que estás en la industria de semiconductores y te preocupa que China y Taiwán se calienten. Lo que dirías es bueno, simplemente voy a tomar los tiempos de entrega y voy a agregar una cola donde diré, por ejemplo, un 5% de probabilidad de que los tiempos de entrega se dupliquen. Normalmente son tiempos de entrega muy largos en la industria de semiconductores, como 18 meses, pero aquí agregas de la nada un aspecto, digamos un 5% de probabilidad anual de que los tiempos de entrega se dupliquen por cualquier motivo.

No necesitas ser preciso, al final puede ser un conflicto, puede ser una serie de bloqueos, puede ser una gripe que cierre los puertos, puede ser cualquier tipo de cosas. Pero ahí está la belleza de este enfoque probabilístico combinado con los paradigmas de programación, te permite inyectar intenciones de alto nivel en la estructura misma de tus modelos. Será muy rudimentario, pero también te permitirá hacer lo que deseas en términos de dirección en lugar de gestionar en exceso a nivel de SKU.

Y lo interesante es que si volvemos a este ejemplo donde agregamos este 5% de probabilidad de duplicar los tiempos de entrega, lo interesante es que literalmente puedes nombrar este factor. Dirías que este es nuestro Factor de Miedo y ya está. Simplemente dices, está bien, es mi factor de miedo de cosas, ya sabes, de cosas realmente malas que suceden y está bien. Y ahí está la belleza de esto, una vez que tienes eso, todas tus decisiones se dirigirán suavemente hacia esta probabilidad adicional de un evento raro y no tienes que gestionar en exceso a nivel de SKU y hacer todo tipo de cosas que no envejecerán bien.

Y si después de seis meses te das cuenta de que tu miedo era infundado, entonces es muy fácil deshacerlo. ¿Por qué? Porque tienes código donde tienes este Factor de Miedo que viene con un comentario que dice, este es mi término que es el Factor de Miedo. Así que ves, en términos de documentación, trazabilidad, reversibilidad, cuando abordas un problema a través de paradigmas de programación, terminas teniendo algo que es muy mantenible. Porque ese también fue un problema que tuvimos en el pasado cuando las personas intervenían manualmente, y eso era en realidad la mayor parte del costo, era el mantenimiento deficiente de las anulaciones.

A veces las personas tienen la idea correcta, ponen una anulación y luego se olvidan de ella. Y luego la cosa se queda así y luego se vuelve radicalmente mala. Y ese es el problema porque ves, una vez que introduces una anulación, dirías, oh, pero ¿por qué tienes eso? Bueno, el problema con las anulaciones es que cuando eres un proveedor de software como Lokad, vas a regenerar tu pronóstico todos los días. Así que las personas no pueden simplemente anular tu pronóstico y ya está, porque mañana vas a regenerar todo.

Y por lo tanto, necesitan persistir la anulación de alguna manera. Y el problema es que ahora tienes una configuración persistente que estará ahí y ¿quién se encarga de mantener eso? Y luego terminas con un flujo de trabajo aún más complejo para hacer el mantenimiento de las anulaciones, la eliminación gradual de la anulación, etc. Y todas esas cosas nunca se discuten en la literatura. Es muy interesante, pero desde la perspectiva de un proveedor de software empresarial, es una situación muy dolorosa y terminas teniendo como 20 veces o incluso 100 veces más líneas de código para lidiar con eso, que es un aspecto muy poco interesante en comparación con lidiar con el aspecto más fundamental de la optimización predictiva.

Nikos Kourentzes: En principio, la posición que Joannes toma es una posición con la que no creo que muchas personas estén en desacuerdo, o al menos las personas que han enfrentado ambos lados. Mi opinión es que los ajustes no tienen que suceder de esta manera. No tengo una solución para eso todavía porque es un área de investigación muy activa. Como dije, sé que mucha gente ha trabajado en decir, ¿deberíamos eliminar este tipo de ajustes o aquel tipo de ajustes?

También podrías pensar en el problema de una manera muy diferente. Permíteme intentar responder en cierto sentido tomando una investigación análoga con uno de mis colegas, Ive Sager. Él está en Bélgica. Hemos estado trabajando mucho en tratar de descubrir cómo podemos transferir información que existe a nivel estratégico o a nivel de la empresa al nivel de SKU.

Entonces, eso potencialmente podría dar una forma en la que podrías decir, mira, no voy a ajustar cada SKU. Estoy completamente de acuerdo en que la microgestión no es una buena idea, quiero decir, para tu SKU o en general, diría. Pero eso es una discusión diferente. Si dejas que las personas se descontrolen con sus ajustes, la mayor parte del tiempo, debido a los sesgos humanos, la propiedad, y demás, típicamente perderán tiempo. Si van a ser destructivos o constructivos con los ajustes está por verse, pero seguramente perderán tiempo.

El lado del software que mencionó Joannes, tengo que tomar tu opinión tal como es. No estoy en la misma área, aunque estaré de acuerdo en que los errores están en todas partes, en mi código seguro. Pero puedo ver que hay una forma diferente en la que alguien podría pensar en los ajustes como un proceso en su conjunto.

No creo que sea valioso decir, sabes, ahora necesito gestionar X número de series temporales. Sería más bien, estratégicamente hacemos un cambio de dirección o nuestro competidor hizo X. Estas son acciones muy difíciles de cuantificar, por lo que aún puede ser mejor decir que la inacción es mejor que cuantificar al azar.

Pero también puedo ver que esta información no está en los modelos. Entonces, si agregara al modelo algún riesgo adicional que el usuario pueda calibrar o si pudiera preguntarle al usuario, ¿puede proponer una forma diferente de ajustar su resultado? Aún sigue siendo un elemento subjetivo de una forma u otra. Cuál es la mejor manera de introducir ese elemento subjetivo, creo que es una pregunta abierta.

No veo la forma habitual de hacer ajustes como la forma productiva. No solo son los aspectos de complicar el proceso que Joannes menciona, sino que también veo a las personas desperdiciando su tiempo. Se obsesionan demasiado con eso, dicen que mi trabajo es venir a la oficina y revisar cada serie temporal una por una, mirar los números o los gráficos. Eso no es lo que debería hacer un analista.

Especialmente en la actualidad, que las empresas comienzan a tener equipos de ciencia de datos, hay experiencia, hay personas bien capacitadas en el mercado. No deberíamos desperdiciar su tiempo de esa manera, deberíamos usarlos para solucionar el proceso. Por eso creo que hay un espacio para los ajustes, pero no de la forma tradicional de hacerlo. Creo que la investigación es bastante concluyente en ese sentido, que debido a las inconsistencias, debido a los sesgos, en promedio, no obtendrás el beneficio.

Conor Doherty: No hay nada en la búsqueda de la congruencia de pronóstico como una métrica que impida la capacidad de tener automatización. La automatización aún podría ser parte del proceso de pronóstico en busca de la congruencia, ¿verdad? ¿O he entendido mal?

Nikos Kourentzes: En cierto sentido, tienes razón. Mi comprensión de la congruencia, tal como se define y como la hemos visto empíricamente en los datos de la empresa, en realidad señalaría al usuario que elimine todos los ajustes menores. Porque los ajustes causarían fluctuaciones adicionales que serían incongruentes. Entonces, naturalmente, empujaría hacia la eliminación de muchos ajustes.

Pero soy un poco escéptico porque necesitaríamos entender dónde nos estamos volviendo demasiado congruentes, dónde la información que los expertos tendrían sería crítica. Eso aún es una pregunta abierta. Pero si pensamos en el proceso habitual que tanto Joannes como yo criticamos, las métricas de congruencia te ayudarían a ver el problema.

Conor Doherty: Entonces, ninguno de ustedes opina que debería haber una toma manual día a día de cada SKU y ajustar eso. Eso sería simplemente una pérdida de dinero fatua. Así que hay un acuerdo total en eso.

Joannes Vermorel: Pero esa es una práctica de facto de la mayoría de las empresas. Estoy de acuerdo cuando dices que quieres traducir la intención estratégica. Estoy completamente de acuerdo. Y cuando digo que uso la palabra paradigmas de programación, me refiero a los instrumentos que te permiten hacer eso. Entonces, esencialmente, quieres que, al igual que no quieres que las personas se enreden en la gestión de SKU, no quieres que quienquiera que esté en el equipo de ciencia de datos se enrede en escribir código largo e inelegante que es más probable que tenga aún más errores y problemas.

Por ejemplo, tienes una distribución de probabilidad para la demanda, tienes una distribución de probabilidad para los tiempos de entrega, y solo quieres combinar los dos. ¿Tienes un operador para hacer eso? Si tienes un operador, Lokad tiene uno, literalmente puedes tener una línea de código que te dé la demanda de tiempo de entrega. Esa es la demanda integrada durante un tiempo de entrega variable. Si no lo tienes, entonces puedes salir de la situación con Monte Carlo, sin problema. No es muy difícil. Sabes, con Monte Carlo, muestrearás tu demanda, muestrearás tus tiempos de entrega y, voilà, lo harás, sin problema. Pero en lugar de tener algo que tome una línea, tomará tiempo y tendrás un bucle. Entonces, si tienes un bucle, eso significa que puedes tener excepciones de índice fuera de rango, puedes tener excepciones de desplazamiento de uno, tienes todo tipo de problemas. Nuevamente, puedes solucionarlo teniendo programación en pareja, pruebas unitarias y demás, pero agrega código.

Entonces, mi punto era, y realmente te sigo, creo que aquí, ves, eso es lo esencial que mencionaste. Tienen un equipo de ciencia de datos. Es para desplazar la solución, y estoy completamente de acuerdo contigo, es para desplazar la solución de ajustar un número a ajustar un fragmento de código. Y creo que eso es exactamente, creo que aquí en eso, estamos más o menos alineados. Si movemos la intervención humana esencialmente de ajustar un número y seleccionar una constante en mi sistema y ajustar eso a bien, voy a lidiar con un código y repensar un poco cuál es la intención y hacer este ajuste, entonces puedo aprobar y eso funciona.

Mi punto era desplazar la solución de ajustar un número a ajustar un fragmento de código. Si movemos la intervención humana de ajustar un número a lidiar con código y repensar un poco cuál es la intención y hacer este ajuste, entonces puedo aprobar y eso funciona.

Y de hecho, si volvemos al desperdicio de tiempo, lo interesante es que cuando ajustas el código, sí, lleva mucho más tiempo cambiar una línea de código. Tal vez lleve una hora, mientras que cambiar un número lleva como un minuto. Pero esta hora se aplicará a toda la empresa. Sabes, cuando se hace en el nivel correcto, tienes esta hora de codificación que te brinda un beneficio en toda la empresa en lugar de este minuto en un SKU que te brinda posiblemente un beneficio, pero solo para el SKU.

Conor Doherty: Entonces, estás hablando de la diferencia entre ajustar manualmente una salida, lo que dijo el pronóstico, versus ajustar la fórmula numérica que produce el pronóstico?

Joannes Vermorel: Exactamente, hay una información en este mundo, la premisa básica creo que es que hay una información que está en las noticias o tal vez información privada a la que tienes acceso a través de la red de la propia empresa. Entonces, tienes una pieza adicional de información que no está en el modelo, que no está en los datos históricos.

Así que estoy de acuerdo con la afirmación, y estoy de acuerdo con la idea de que sí, aún no tenemos una superinteligencia, una inteligencia general. No podemos hacer que ChatGPT simplemente procese todos los correos electrónicos de la empresa y haga eso por nosotros. Entonces no tenemos este grado de inteligencia disponible para nosotros. Por lo tanto, deben ser las mentes humanas las que realicen este proceso de cribado. Y estoy de acuerdo en que hay valor en tener personas que piensen críticamente sobre esta información e intenten reflejarla con precisión en la cadena de suministro.

Y realmente sigo a Nikos en el sentido de que él dice, y luego la ciencia de datos, porque sí, en última instancia, debería ser el papel del equipo de ciencia de datos decir todos los días, tengo un modelo. ¿Es verdaderamente fiel a la intención estratégica de mi empresa? Lo cual es una pregunta de alto nivel, ¿reflejo genuinamente la estrategia tal como la expresa quienquiera que esté formulando la estrategia en la empresa? Lo cual es un problema cualitativo, no cuantitativo.

Nikos Kourentzes: Permítanme agregar algo aquí porque creo que Joannes dijo algo que es muy útil para que las personas comprendan por qué somos críticos con los ajustes tradicionales. Mencionó que no es la predicción puntual, es la expresión probabilística de eso. Las personas ajustan las predicciones puntuales, eso no tiene sentido en términos de inventario. Nos importan las probabilidades de toda la distribución.

Entonces, si alguien pudiera hacer eso, tal vez eso realmente podría hacer algo. Pero nadie lo hace, y sabes, he estado trabajando con estadísticas durante, como dije, la mayor parte de 20 años. No puedo hacerlo fácilmente de manera rápida. Y sabes, mi incapacidad no significa que otras personas no puedan hacerlo, pero todo lo que estoy diciendo es que cuando piensas en sentido probabilístico, la información está tan abstraída que es muy difícil para alguien ir manualmente y decir, sí, solo ajústalo en 10 unidades. Ese es un proceso muy difícil. Entonces, en cierto sentido, muchas personas hacen todos estos ajustes en la cantidad incorrecta de todos modos.

Joannes Vermorel: Estoy completamente de acuerdo. Cuando dije en Lokad que dejamos de hacer ajustes hace una década, fue exactamente en el momento en que nos volvimos probabilísticos. La gente decía que necesitábamos hacer ajustes, y luego les mostrábamos los histogramas de la distribución de probabilidad.

Les decíamos, adelante, y luego la gente retrocedía y decía, no, no vamos a hacer eso. De hecho, fue un mecanismo para evitar que las personas interfirieran en el nivel incorrecto. Cuando se les mostraban las distribuciones de probabilidad, se daban cuenta de que hay mucha profundidad. Quiero decir, la gente pensaría en esas distribuciones de paridad para una cadena de suministro como curvas de campana suaves, ya sabes, gaussianas y demás. Esto no es así.

Por ejemplo, digamos que tienes una tienda de bricolaje. Las personas comprarían ciertos productos solo en múltiplos de cuatro, ocho o doce porque hay cierta lógica en eso. Entonces, tu histograma no es como una curva de campana, tiene picos donde las personas compran una unidad porque necesitan una de repuesto, o compran cuatro u ocho y nada en el medio. Entonces, cuando empiezas a pensar, “¿Debería mover el promedio de 2.5 a 3.5?” Pero miras el histograma y el histograma tiene tres picos: una unidad, cuatro unidades, ocho unidades.

De repente, la gente dice, no tiene sentido intentar mover esas cosas. No voy a mover la probabilidad que actualmente se asigna a cuatro a cinco porque no está sucediendo. Lo que probablemente querría hacer si quiero aumentar la media es disminuir la probabilidad de cero y aumentar la probabilidad de todas las demás ocurrencias.

Las personas se dan cuenta de que hay mucha profundidad en esas distribuciones de probabilidad. Hay muchas trampas, solo mencionando esos múltiplos mágicos que existen. Esa fue nuestra observación. Estamos completamente de acuerdo en que cuando las personas ven esas distribuciones de probabilidad, se dan cuenta de que no van a ajustar manualmente este cubo del histograma por cubo. Por lo tanto, esta reacción de impracticabilidad es real.

Conor Doherty: Bueno, nuevamente, tengo en cuenta que hemos tomado bastante de tu tiempo, Nikos. Pero tengo una última pregunta. Trabajas en un laboratorio de inteligencia artificial, parecería descuidado no preguntarte cómo podría encajar la IA en todo el contexto de lo que estamos hablando en el futuro. Entonces, ya sea la automatización de la previsión en congruencia con la IA haciendo las anulaciones, no sé, esboza lo que ves como el futuro allí, por favor.

Nikos Kourentzes: Esa es una pregunta de un millón de dólares. Puedo responder de la misma manera en que uno de los revisores que examinó el artículo tenía algunas preocupaciones. La pregunta fue algo así como, “Bueno, ¿y qué? Ya sabes, aquí hay otra métrica, ¿y qué?”

Y yo decía, “Mira, si tienes un modelo estadístico que es bastante sencillo, puedes resolverlo a través de los cálculos, puedes encontrar todo analíticamente, bien. Cuando comienzas a adentrarte en el aprendizaje automático y especialmente con los enormes modelos de IA que estamos usando ahora, esta es una tarea muy difícil. Por lo tanto, es muy útil si tenemos algunas referencias, algo así, que realmente pueda facilitar un poco la comprensión de lo que están haciendo estos modelos.

Si, por ejemplo, tengo un modelo de IA masivo y podemos decir, mira, este empuja la previsión hacia una mayor congruencia, entonces puedo tener una forma de considerar este modelo de manera más sencilla. Esa forma más sencilla no implica reducir la complejidad del modelo de ninguna manera, sino más bien comprender cómo afecta esto a mi inventario, cómo afecta esto a mi proceso de toma de decisiones, cómo afecta esto a mi suposición de latigazo mencionada anteriormente, proceso en curso.

Esto es básicamente cómo terminamos el documento de trabajo. Estamos diciendo que el beneficio de esta métrica es comprender cómo pueden comportarse los modelos que son cajas negras. No creo que veamos en el futuro modelos que no estén de alguna manera inspirados en la IA. Soy un poco escéptico cuando las personas quieren reemplazar todo con IA porque algunas cosas pueden ser simplemente más simples, más eficientes. Mi preocupación no proviene necesariamente de las matemáticas del problema o incluso de la riqueza de los datos, y así sucesivamente. Creo que estos son problemas que podemos resolver. Mi preocupación proviene más de un aspecto muy simple del proceso y de la sostenibilidad del problema.

Si tengo un modelo de IA masivo en funcionamiento que eventualmente, una vez que comience a escalar todo a ese modelo, comienza a consumir mucha computación en la nube y mucha electricidad, ¿necesito hacer todo eso si voy a tener solo una diferencia del 1% de un suavizado exponencial? A veces tendré mucho más que una diferencia del 1%, entonces adelante. Pero a veces no necesito toda esta complicación. Puedo optar por algo más simple que también sea más transparente para los no expertos en IA.

La IA es un camino a seguir para muchos de los problemas que tenemos. Creo que en muchos casos los desafíos de pronóstico que enfrentamos y especialmente las decisiones que respaldamos con esos pronósticos son un terreno muy bueno para las aplicaciones de IA. Pero eso no significa que debamos olvidar todo lo que sabíamos y simplemente adoptar la IA. Eso se refleja un poco también en el documento. Porque como mencioné antes, no es el primer documento que dice: “Oh, modifiquemos un poco el objetivo para que no sea solo la precisión”. Otros colegas también lo han hecho. La diferencia es que estamos tratando de hacer un poco de álgebra para mostrar: “Bueno, esto es realmente lo que sucede una vez que hacemos eso”. Así que me gusta cuando somos capaces de hacer este tipo de interpretación o entender la intuición de esta acción.

La IA es un camino a seguir para muchas preguntas, pero no debemos olvidar que es útil para nosotros entender qué demonios estamos haciendo. No debemos confiar ciegamente y decir de alguna manera que el modelo de IA hará lo que espero que haga. No estoy sugiriendo que los modelos de IA no puedan hacer cosas realmente buenas. Solo estoy diciendo: “No lo dejemos o espero que funcione. Debería ser mejor que solo esperar”.

Conor Doherty: ¿Qué piensas al respecto?

Joannes Vermorel: Creo que Nikos tiene toda la razón. Al igual que estaba diciendo que para el ajuste, la cantidad de líneas de código debe considerarse. La sobrecarga de los modelos de deep learning es absolutamente enorme y complica todo. Pocas personas se dan cuenta de que para muchas tarjetas de GPU, ni siquiera está claro cómo hacer que los cálculos sean deterministas. Hay muchas situaciones en las que literalmente ejecutas el cálculo dos veces y obtienes dos números diferentes porque el hardware en sí no es determinista.

¿Eso significa que terminas con los Heisenbugs? ¿Sabes, los Heisenbugs son cuando tienes un error, intentas reproducirlo y desaparece. Entonces, en algún momento, dejas de perseguirlo porque dices: “Bueno, estoy tratando de reproducir el caso, no sucede, así que supongo que funciona”. Y luego lo pones en producción, y luego el error vuelve a ocurrir y no puedes reproducirlo.

Así que estoy completamente de acuerdo. La simplicidad hace que todo sea mejor, cuando está remotamente en el mismo rango de rendimiento. Si tienes algo que es mucho más simple, lo más simple siempre gana en la práctica. Nunca he visto una situación en la que un modelo que supere en unos pocos puntos porcentuales a otro modelo, según cualquier métrica, supere en el mundo real.

Es una alternativa si la alternativa es un orden de magnitud más simple para obtener más o menos el mismo resultado en el mismo rango, incluso si la métrica son esos llamados dólares o euros que Lokad intentó optimizar. La razón es un poco extraña, pero la razón es que las cadenas de suministro cambian, como mencionamos, la intervención humana.

Cuando quieres intervenir para hacer un cambio, el tiempo es esencial. Si tienes un programa, un modelo complejo, miles de líneas, significa que solo la logística, por ejemplo, hace unos años en Lokad, tuvimos docenas de clientes afectados por el barco Evergreen que bloqueó el Canal de Suez. Básicamente, teníamos 24 horas para ajustar todos los tiempos de entrega para prácticamente todos nuestros clientes europeos que importaban de Asia.

Ahí es donde poder responder en cuestión de horas, en lugar de necesitar una semana solo porque mi modelo es muy complicado, es crucial. Si quieres que te entregue la solución sin introducir tantos errores en el proceso que socaven lo que hago, necesitas un modelo más simple. Estoy completamente de acuerdo en que hay valor y hay costos. Para aquellas empresas que han comenzado a jugar con GPT4, el costo es muy alto.

Conor Doherty: Bueno, Nikos, no tengo más preguntas, pero es costumbre dar la última palabra al invitado. Así que, por favor, ¿alguna llamada a la acción o algo que te gustaría compartir con los espectadores?

Nikos Kourentzes: La llamada a la acción para mí es que debemos avanzar desde las visiones tradicionales de la previsión aislada de la toma de decisiones. En nuestro contexto de discusión, el inventario y demás, debemos tratar de ver estas cosas de manera más conjunta.

Soy académico, otros colegas tendrán otras opiniones, Lokad también tiene su perspectiva. Creo que hay valor en todas estas perspectivas porque todas apuntan en la misma dirección. Debemos dejar lo que estábamos haciendo hace unas décadas, actualizar nuestra forma de pensar, actualizar nuestro software, actualizar nuestros libros de texto. Hay valor en hacer eso. No se trata solo de cambiar nuestro software o lo que sea, realmente conducirá a decisiones diferentes.

Agradezco la inclusión en el campo de la previsión de muchas personas provenientes de Ciencias de la Computación, deep learning, programación, inventario, porque ahora es el momento en el que realmente podemos abordar estos problemas en serio. No quiero dar la impresión de que esto quita valor al mundo de la previsión como campo de investigación. Pertenecemos a ese mundo, así que también me gustaría decir que no podemos simplemente tomar un montón de bibliotecas, ejecutar algunos códigos y decir que está bien.

Muchas veces, cuando trabajo con la industria o institutos, el valor está en obtener el proceso correcto, abordar la metodología incorrecta, que es todo lo que el campo de la previsión puede ofrecer. Me gusta la idea de mantener los pasos en el proceso, pero tenemos que trabajar juntos para encontrar una solución conjunta. Es un buen espacio.

Volviendo al comienzo de la pregunta donde dije que disfruto trabajando con el equipo en la universidad. Hay polifonía, hay muchas ideas. Yo planteo mi pregunta de previsión y otras personas dicen: “¿Qué tal esto? ¿Has pensado en esta perspectiva?” Y yo digo: “Mira esto, nunca se me había ocurrido.”

Conor Doherty: Gracias, Nikos. No tengo más preguntas. Joannes, gracias por tu tiempo. Y nuevamente, Nikos, muchas gracias por acompañarnos y muchas gracias a todos por vernos. Nos vemos la próxima vez.