Forecast Probabilístico y Toma de Decisiones Secuenciales (con Warren Powell) - Ep 163

00:00:00 Introducción de los invitados
00:01:27 El rol de Warren en Optimal Dynamics y su libro
00:03:06 Desafíos y pronósticos en el transporte de carga completa
00:04:31 El artículo de Warren y la comprensión de la incertidumbre
00:06:41 El recorrido de Joannes y su éxito en el software
00:08:12 Aceptar la incertidumbre y la perspectiva académica sobre la cadena de suministro
00:09:39 Decisiones secuenciales y la dificultad de la colaboración en la industria
00:11:13 Pronósticos probabilísticos vs deterministas
00:13:27 Métricas para los pronósticos probabilísticos y comprensión de las dificultades
00:15:28 Importancia de la cobertura del pronóstico y pronósticos precisos
00:17:09 El recorrido de Lokad con los pronósticos probabilísticos y los desafíos
00:19:15 La dificultad de los problemas de incertidumbre y la falta de una comunidad unificada
00:21:05 Decisiones e incertidumbre en la programación matemática
00:23:03 Experiencias de laboratorio diversas y aplicaciones del libro ADP
00:25:07 Necesidad de una caja de herramientas en la cadena de suministro y transición a un nuevo enfoque
00:27:35 Optimización determinista y aproximación de la función de costo
00:29:57 Google Maps como ejemplo de anticipación
00:31:51 Anticipación estocástica y aproximaciones de la función de valor
00:33:21 La perspectiva de Joannes sobre la toma de decisiones y la definición del problema
00:35:29 Importancia del estado correcto, la función de transición y la función de costo
00:37:28 Considerando la dimensionalidad del problema y los problemas a gran escala
00:39:15 Fragilidad de las soluciones y comparación de la red de supermercados
00:41:16 Enfoque para resolver problemas y escribir un libro de análisis de la cadena de suministro
00:43:44 Simplicidad en el diseño del modelo y diferentes tipos de incertidumbre
00:45:13 Importancia de la iteración rápida y las restricciones del mundo real
00:47:51 Importancia de la viabilidad computacional y desarrollo de herramientas gráficas
00:50:27 El papel de la instrumentación en la optimización y los desafíos de la industria
00:53:11 Trabajar con transportistas y crítica al enfoque académico
00:55:23 El recorrido de Joannes desde los pronósticos hasta la toma de decisiones
00:58:28 Dificultad de acceso a los datos y lidiar con la previsión futura
01:00:32 Importancia de considerar interrupciones importantes y aceptar modelos pesimistas
01:02:45 Variabilidad en la cadena de suministro y la industria de la moda
01:04:43 Renovación anual de productos y pronóstico de nuevos productos
01:06:27 Importancia de modelar la incertidumbre y crítica a las reglas corporativas
01:08:16 Enfoque de Warren para la optimización estocástica y gestión de inventario
01:09:56 Planificación de contingencias y toma de decisiones bajo incertidumbre
01:11:39 Importancia del despacho en tiempo real en el transporte de camiones y selección de carga adecuada
01:13:27 Desafíos en la toma de decisiones bajo incertidumbre y problemas con personas educadas
01:15:45 Limitaciones de Excel para lidiar con la incertidumbre y comprensión de los CEO
01:19:30 Limitaciones de los libros de la cadena de suministro y la importancia de las herramientas fáciles de usar
01:21:46 Iniciativas educativas de Lokad y creación de conjuntos de datos relevantes
01:25:01 Tres preguntas esenciales para resolver problemas y desarrollar categorías de decisiones
01:27:48 El desafío de los MBA no cuantitativos y las empresas que entierran decisiones bajo flujos de trabajo
01:30:26 Precio de la simplicidad y el aprendizaje secuencial como herramienta de toma de decisiones
01:32:33 Enseñar el concepto de apuntar más alto y los desafíos de las políticas rígidas
01:34:34 Dificultad para comprender el concepto de exploración y la importancia del aprendizaje activo
01:37:41 Diferencias entre el transporte de camiones y la cadena de suministro y el tamaño del negocio de carga completa
01:40:04 Título del libro, propósito, estilo de enseñanza y cinco elementos del modelado
01:42:39 Elogio a Optimal Dynamics, Lokad y compartir ideas académicas
01:43:22 Palabras de cierre y agradecimientos

Sobre el invitado

Warren B Powell es Profesor Emérito en la Universidad de Princeton, donde enseñó durante 39 años, y actualmente es el Director de Innovación en Optimal Dynamics. Fue fundador y director del Laboratorio CASTLE, que se centró en la optimización estocástica con aplicaciones al transporte de carga, sistemas de energía, salud, comercio electrónico, finanzas y ciencias de laboratorio, con un apoyo de más de $50 millones en financiamiento gubernamental e industrial. Ha sido pionero en un nuevo marco universal que se puede utilizar para modelar cualquier problema de decisión secuencial, incluida la identificación de cuatro clases de políticas que abarcan todos los métodos posibles para tomar decisiones. Esto está documentado en su último libro con John Wiley: Reinforcement Learning and Stochastic Optimization: A unified framework for sequential decisions. Ha publicado más de 250 artículos, cinco libros y ha supervisado a más de 60 estudiantes de posgrado y postdoctorado. En 2021 recibió el Premio a la Trayectoria de Vida Robert Herman de la Sociedad de Ciencia y Logística del Transporte, y en 2022 recibió el Premio de Escritura Expositiva Saul Gass. Es miembro de Informs y ha recibido numerosos otros premios.

Resumen

En una reciente entrevista de LokadTV, Conor Doherty, Joannes Vermorel y el invitado Warren Powell discutieron los pronósticos probabilísticos y la toma de decisiones en las cadenas de suministro. Warren Powell, un profesor retirado de Princeton y Director de Innovación en Optimal Dynamics, compartió su trayectoria profesional y sus ideas sobre la planificación bajo incertidumbre. Joannes Vermorel, CEO de Lokad, habló sobre su transición de los métodos deterministas a los pronósticos probabilísticos, criticando la falta de aplicación del mundo real en el ámbito académico. Ambos coincidieron en la superioridad de los pronósticos probabilísticos, a pesar de su complejidad y de la dificultad que enfrentan las empresas para aplicarlos. La conversación destacó la necesidad de una perspectiva más amplia y un enfoque unificado para lidiar con la incertidumbre en la toma de decisiones.

Resumen Extendido

En una reciente entrevista conducida por Conor Doherty, Jefe de Comunicación en Lokad, Warren Powell, un profesor retirado de la Universidad de Princeton y Director de Innovación en Optimal Dynamics, y Joannes Vermorel, CEO y fundador de Lokad, participaron en una discusión provocadora sobre pronósticos probabilísticos y toma de decisiones secuenciales en la cadena de suministro en presencia de incertidumbre.

Warren Powell, un veterano experimentado en el campo de la toma de decisiones en campos complejos, comenzó compartiendo su trayectoria profesional. Su trabajo comenzó con la desregulación del transporte de carga en los Estados Unidos, lo que lo llevó a centrarse en la planificación bajo incertidumbre. También habló sobre su papel en Optimal Dynamics, una startup con la que trabaja, donde guía a sus antiguos estudiantes de doctorado y contempla nuevas direcciones para la empresa.

La conversación luego se centró en el libro de Powell, “Reinforcement Learning and Stochastic Optimization”, que explora el ámbito de los pronósticos distribucionales o probabilísticos. Powell compartió una anécdota sobre una empresa que quería entender el valor de ofrecer un descuento a un transportista si podían predecir las cargas futuras. Esto despertó su interés en el tema y lo llevó a explorar los desafíos de los pronósticos en el transporte de carga debido a su naturaleza estocástica.

Joannes Vermorel, por otro lado, compartió su trayectoria desde los métodos deterministas hasta los pronósticos probabilísticos. Discutió su realización de que los métodos deterministas no estaban funcionando y la necesidad de abrazar la incertidumbre en los problemas de la cadena de suministro. También criticó a la comunidad académica por su falta de aplicación en el mundo real y su enfoque en demostrar teoremas y realizar trabajos numéricos.

La discusión luego se centró en la diferencia entre los pronósticos deterministas y probabilísticos. Powell explicó que mientras que los pronósticos deterministas proporcionan un número único y accionable, no tienen en cuenta la variabilidad del mundo real. Argumentó que los pronósticos distribucionales, que proporcionan un rango de posibles resultados, son superiores, aunque las empresas a menudo tienen dificultades para comprender y aplicar este concepto.

Vermorel estuvo de acuerdo con Powell, agregando que los pronósticos probabilísticos requieren métricas más complejas y una comprensión más profunda de las distribuciones de probabilidad. Comparó los pronósticos deterministas con mirar una sección pequeña y detallada de un escritorio a través de un microscopio, mientras que los pronósticos probabilísticos proporcionan una visión más amplia y completa.

La conversación concluyó con Vermorel compartiendo su experiencia en la implementación de pronósticos probabilísticos en Lokad. Señaló que les llevó varios años descubrir cómo optimizar las decisiones basadas en estos pronósticos. También discutió la falta de una comunidad o paradigma unificado para lidiar con la incertidumbre en la toma de decisiones. Powell estuvo de acuerdo, describiendo el campo de las decisiones y la incertidumbre como una “jungla” debido a la variedad de comunidades, idiomas y sistemas de notación diferentes. Compartió sus diversas experiencias en varios campos, desde el transporte de carga hasta los sistemas de energía, y cómo estas experiencias lo llevaron a darse cuenta de las limitaciones de ciertos enfoques y la necesidad de una perspectiva más amplia.

Transcripción completa

Conor Doherty: Bienvenidos de nuevo. Identificar y evaluar decisiones viables en la cadena de suministro es difícil, especialmente si aún se utilizan métricas tradicionales. Warren Powell, el invitado de hoy, ha pasado 40 años analizando la toma de decisiones en diversos campos complejos. Además, ha escrito cinco libros, alrededor de 250 artículos y es profesor jubilado de Princeton. Entonces, Warren, en primer lugar, bienvenido de nuevo a Lokad. En segundo lugar, para aquellos que puedan haberse perdido tu primera aparición, ¿podrías presentarte de nuevo y darles una idea de lo que has estado haciendo?

Warren Powell: Bueno, gracias por invitarme de nuevo. He tenido una carrera interesante. Mi carrera comenzó cuando el transporte de carga en los Estados Unidos se desreguló, y así me metí en esta industria llamada transporte de carga completa. Uno de los primeros problemas de los que hablaron fue la incertidumbre y cómo planificar bajo incertidumbre, y eso prácticamente terminó definiendo mi carrera. Pasé por varias aplicaciones diferentes.

He terminado mi carrera ayudando a mi startup, Optimal Dynamics, en el transporte de carga completa, que es lo que inició mi carrera. Estamos utilizando una variedad de técnicas, pero afortunadamente, he podido trabajar en suficientes aplicaciones diferentes como para darme cuenta de que hay más de una herramienta en este conjunto de herramientas de incertidumbre. Así que espero con ansias esta discusión. Es agradable hablar con otras personas que comparten mi pasión por modelar la incertidumbre.

Conor Doherty: Gracias. Y mencionaste Optimal Dynamics. Eres el Director de Innovaciones, el CIO. Nunca había escuchado ese término antes. ¿Podrías explicar qué haces allí?

Warren Powell: Les gusta llamarme Yoda. No estoy involucrado en ninguna de las tareas de gestión. Nadie trabaja para mí. Tengo cinco de mis antiguos estudiantes de doctorado trabajando allí, y básicamente trabajo con ellos de la misma manera que lo hacía cuando era profesor en el laboratorio. Espero a que levanten la mano y digan: “Oye, necesitamos ayuda”. De lo contrario, paso mi tiempo pensando en cosas y también pensando en nuevas direcciones para la empresa si surge la oportunidad.

Pero de vez en cuando, me llaman para ayudar con un problema, y he encontrado algunas innovaciones nuevas que han sido de ayuda. Pero realmente estoy aquí para ayudar a la empresa cuando necesitan ayuda, y de lo contrario, me gusta mantenerme fuera de su camino. He aprendido que como académico, uno de los mayores desafíos, especialmente cuando trabajas con personas brillantes, es saber cuándo ayudar y cuándo mantenerse al margen. Y así, afortunadamente, eso me ha dado mucho tiempo para escribir libros y cosas así.

Conor Doherty: De hecho, hablando de escribir libros, uno de tus libros, “Reinforcement Learning and Stochastic Optimization”, es una de las cosas de las que estábamos más interesados en hablar contigo. Tu enfoque para la toma de decisiones y sé que tienes interés en el enfoque de pronóstico distribucional o probabilístico que hace Lokad. Entonces, para comenzar la entrevista adecuadamente, ¿qué es lo que te fascina tanto del pronóstico distribucional y que nos llevó a esta conversación hoy?

Warren Powell: Bueno, el mayor desafío cuando me enfrenté a modelar mi problema de carga completa, es que en el transporte de carga completa es muy escaso. Puede haber una carga entre un par de ciudades, o puede que no haya ninguna. Cuando envías a un conductor, digamos de Chicago a Atlanta, cuando llegas a Atlanta, hay cargas que van en direcciones muy diferentes. Puede haber una carga que vaya a Texas, o puede que no haya ninguna. Entonces, tienes algo que es 0 o 1. ¿Qué pronosticas? ¿Haces cero o uno, o pronosticas un 0.2, que es la expectativa más realista?

Tenía una empresa aquí en los Estados Unidos, Schneider National, que en la década de 1970 vio que se avecinaba la desregulación, y trabajaron con un miembro de la facultad de la Universidad de Cincinnati en la construcción de modelos de optimización tempranos, pero todos eran deterministas. Y alguien de Schneider me visitó en Princeton y me miró y dijo, y esto era alguien con una maestría en investigación de operaciones, “Warren, el transporte de carga completa es estocástico.

No sabemos qué cargas estarán disponibles incluso mañana. Nos encantaría saber cuál sería el valor de darle un descuento a un cargador si nos dijera las cargas en el futuro”. Y recuerdo que durante esa conversación en la cena pensé: “Dios mío, qué gran pregunta”. No es que no sepa la respuesta, es que no sé cómo pensar en ello.

Más tarde, en la década de 1980, escribí un artículo que llamo mi artículo del museo. De hecho, está en internet como el artículo del museo. Tengo cinco formas diferentes de modelar estos problemas de transporte de carga completa, todas tratando la incertidumbre de manera diferente, y era plenamente consciente de que ninguna de ellas funcionaría. Y así estaba yo, a finales de la década de 1980, pensando: “No sé qué más hacer. Nada de lo que sale de la comunidad académica está funcionando”.

Así que eso inició este proceso de varias décadas en el que yo trataba de entender y tenía estos momentos de iluminación. Y así tuve uno grande a principios de 2000. Schneider realmente vino a mí y me dijo: “Oye, Warren, realmente necesitamos ayuda. ¿Podrías construirnos este modelo?” Ese modelo terminó siendo el software fundamental para Optimal Dynamics. Pero incluso desde que se construyó ese modelo, que podía manejar la incertidumbre, fue cuando salió mi trabajo en programación dinámica aproximada.

Diría que cada pocos años, tengo otro de estos grandes momentos de iluminación. De hecho, incluso desde que me gradué, he tenido algunos más de estos momentos de “Dios mío, nunca lo había pensado de esa manera”.

Conor Doherty: Joannes, ¿es así como llegaste a los pronósticos probabilísticos? ¿Muchos momentos de iluminación?

Joannes Vermorel: Sí, más o menos. Fue un viaje ligeramente diferente para mí porque cuando comencé Lokad en 2008, en realidad seguí directamente las teorías convencionales de la cadena de suministro. Así que no fue tanto que alguien se me acercara y pronunciara la palabra estocástico. Estoy bastante seguro de que la mayoría de las personas que conocí hasta muy tarde en mi vida, si hubiera pronunciado la palabra estocástico, no habrían estado seguros de si estaba hablando de algo como una variante de elástico o algo así.

Pero de todos modos, eran inteligentes, pero no eran estadísticos o probabilistas o algo así. Y así, mi camino fue más bien durante los primeros años de Lokad, en realidad apliqué esos métodos deterministas con bastante éxito como proveedor de software empresarial, lo que significa que logré vender mi producto. No significa que realmente funcione, ya sabes, son dos métricas diferentes. Puedes tener éxito como proveedor empresarial y aún así no tener nada que realmente funcione.

Ha habido competidores que han hecho toda su carrera haciendo precisamente eso. Pero, me llevó algunos años darme cuenta de que simplemente no estaba funcionando y nunca funcionaría. Que la perspectiva convencional, la perspectiva de la cadena de suministro, que se basa en esta perspectiva totalmente determinista de que no hay incertidumbre, que el éxito no estaba a la vuelta de la esquina. No se trataba de obtener ese 1% adicional de precisión en el pronóstico que de repente lo haría funcionar.

No, me llevó bastante tiempo, más bien cuatro años, renunciar a la idea de que a pesar de avanzar en el pronóstico, a pesar de mejorar el proceso, mejorar todo, no, el éxito no estaba a la vuelta de la esquina. Y así tuvimos este momento de revelación, pero fue más por desesperación que como consecuencia de una gran conversación con alguien que me iluminara. De todos modos, llegamos a eso un poco. Tomó tiempo. Pero diría que, avanzando rápidamente una década ahora, ahora es dolorosamente obvio. Diría que mis primeros años en Lokad fueron tratar de abordar problemas de la cadena de suministro sin abrazar la incertidumbre. Eso fue simplemente un callejón sin salida, y bueno, me llevó algunos años llegar allí.

Warren Powell: ¿Cuáles son los desafíos que encontré, si puedo, viniendo del lado académico, entonces Joannes, cuando hablo contigo, casi siento que estoy hablando con un compañero académico, pero tú vienes del lado de la industria. Mi laboratorio fue inusual desde el primer día. Tuve que salir y hablar con empresas y conseguir dinero. La Fundación Nacional de Ciencia, que financia a muchos académicos, tenía una política explícita en mi campo. Decían: “No financiamos la investigación. La bendecimos. Ve a conseguir dinero de la industria y luego esparciremos el polvo de ángel de la NSF”.

Pero tenemos demasiados académicos, y todavía persiste hoy en día, donde no están trabajando con la industria, por lo que trabajan con modelos inventados y prueban sus teoremas, ejecutan su trabajo numérico, y todo es completamente dentro de la comunidad académica. Y esto es particularmente cierto en la optimización estocástica. No es tan cierto con el aprendizaje automático. Los aprendices de máquina salen, obtienen conjuntos de datos reales, ajustan modelos.

Ni siquiera es cierto con la optimización determinista. No hay escasez de optimización determinista del mundo real. Pero lo que me gusta llamar decisiones secuenciales, eso, por cierto, me aleja de esa palabra estocástica, hay algo en ese campo donde hay un océano de artículos de modelos inventados por académicos que realmente no entienden cuáles son los problemas reales porque es difícil trabajar con la industria, y tienes que conseguir empresas, y he tenido empresas. Tuvieron que trabajar en lo que luego llamaron la vanguardia, donde tuvieron que ser la empresa donde aprendí qué funcionaba y qué no.

Así que realmente es un problema de cómo trabajan los académicos. Una cosa, tuve una exitosa carrera de publicación, pero chico, hacia el final, pensé: “Sabes, es un poco un juego”. Sabes, para ser publicado, tienes que seguir un cierto estilo que los diarios quieren, y la comunidad de optimización estocástica no es una comunidad. Son más de una docena. Todos tienen sus propios lenguajes y estilos y pequeñas herramientas y técnicas, y todos están muy orgullosos de ello, y prueban sus teoremas, e incluso ejecutan números, pero casi ninguno de eso funciona en la práctica.

Conor Doherty: Bueno, gracias. Para subrayar el punto, la diferencia entre un enfoque puramente académico y uno más práctico, estábamos hablando del enfoque determinista para la previsión frente al enfoque distribucional o probabilístico. Voy a usar el término probabilístico para mayor facilidad. Warren, primero para ti, para explicar a las personas que pueden estar escuchando esto por primera vez, nuevamente, esta dicotomía. ¿Cuál es la diferencia desde tu perspectiva en términos del enfoque determinista para la previsión frente al enfoque probabilístico y por qué el enfoque probabilístico, digamos, es superior en tu opinión?

Warren Powell: Bueno, cada vez que conozco a alguien del mundo empresarial que usa la palabra previsión, inmediatamente digo, vale, se refiere a la previsión puntual. A todos les encanta la previsión puntual. Quieren saber, “Voy a vender 500 widgets o dos autos o habrá seis camiones de carga”. Les encanta ese número porque es accionable. Dice, “Oh, va a haber seis camiones, así que tengo que tener seis conductores”.

El desafío es, y por cierto, esto sucede todos los días en el transporte de carga completa. Tendrás un cargador importante, pero él sabe que es uno de tus principales cargadores y llamará y, para citar las palabras de un despachador, dice: “Mira, este tipo puede necesitar entre 10 y 20 camiones”. Bueno, eso es bastante frustrante, pero así es el mundo real en la planificación de rutas. Pero en los modelos de previsión, todas las matemáticas están diseñadas para obtener un solo número.

A la gente también le gusta un solo número. Es accionable, es fácil de entender. Si dices, “Mira, estará en algún lugar entre 10 y 20”, ya sabes, ¿cuántos conductores se supone que debo tener para satisfacer una demanda que está en algún lugar entre 10 y 20? Bueno, te diré lo que hacen los transportistas. Dirán, “Bueno, ese es un transportista realmente importante. Tal vez no tendré 20 conductores, pero tal vez tendré 17. Pero si él viene y solo necesita 12, entonces tomaré esos cinco conductores y los enviaré a otro lugar”. Y tendrán lo que se conoce en optimización como un recurso. Es como, “Bueno, si esto sucede, entonces esto es lo que haré”.

Pero a todos les encanta esa previsión puntual. Comencé a hacer previsión distribucional en la década de 1990 y estaba trabajando con Yellow Freight. Dije, “Mira, me encantaría hacer intervalos de confianza”, y ellos respondieron: “Nuestros chicos simplemente no saben cómo lidiar con eso”. Nuestro mayor problema, no hace mucho tiempo, estábamos trabajando con un cargador importante y se entusiasmaron mucho con la previsión distribucional y luego dieron la vuelta y dijeron: “Sí, bueno, vamos a tomarlo y ver qué tan preciso es”. Veo a Joannes sonriendo. Es como, “Bueno, ¿cómo lidiar con la pregunta de ‘Oh, eso suena genial, previsión distribucional. ¿Qué tan preciso es?’ ¿Cómo respondes a esa pregunta, Joannes?”

Joannes Vermorel: Sí, quiero decir, con algo como entropía cruzada u otra métrica que funcione para la previsión probabilística, CRPS es otra. Pero efectivamente, ese es el caso. Cuando entras en el ámbito de esas distribuciones de probabilidad, aún tienes métricas, pero no son como esas métricas fáciles e intuitivas que literalmente podrías enseñar a niños de secundaria y lo entenderían. La norma uno, norma dos, en la secundaria, más o menos lo entiendes. ¿Cuál es la distancia?

Cuando entras en las distribuciones de probabilidad, para ser justos, no es tan difícil. No es especialmente difícil si optas por, digamos, la máxima verosimilitud o algo así. No es algo en lo que necesites tener un doctorado en estadística para entenderlo, pero llevará más de 2 minutos. Y luego, la intuición, probablemente necesitarías pasar por el formalismo y eso llevará aproximadamente media hora, tal vez dos horas si eres muy ignorante.

Warren Powell: Sí, y en ese punto, los empresarios, sus ojos se están nublando y están pensando: “Oh sí, lo entiendo. Entonces, ¿qué tan precisa es?”

Joannes Vermorel: Eso es algo muy extraño. Se trata de tener una previsión más rica. Cuando tenemos estas decisiones que queremos optimizar, se trata de mejorar el tipo de profundidad de visión. ¿Qué ves? Quiero decir, estás haciendo una proyección sobre el futuro, una afirmación sobre el futuro. Pero ¿qué tan precisa, pero qué tan completa, cuánta cobertura tienes en tu previsión?

Entonces, es algo muy inusual porque la gente diría que con una previsión puntual, tendrían algo que es increíblemente preciso. Es un poco como si tomaras un microscopio y lo acercaras mil veces a un punto de tu escritorio. Así que puedes tener tu microscopio y luego miras un milímetro cuadrado en tu escritorio y tienes una visión perfecta, pero el resto de tu escritorio, no ves nada. Y la gente dice: “Oh, sabes qué, creo que necesito un microscopio más grande para poder mirar este milímetro cuadrado aún más nítidamente”. Y la previsión probabilística es: “No, probablemente deberías echar un vistazo al resto del escritorio en lugar de concentrarte en este punto que ya ves bastante nítidamente en comparación con todo lo demás”.

Warren Powell: Ahora aquí hay algo que cualquier empresario, especialmente en ventas minoristas, entenderá perfectamente, y es la cobertura de la demanda. Y dirán: “Mira, queremos satisfacer el 97% de la demanda”. Ahora eso no es una solicitud inusual. Ahora, ¿cómo satisfaces el 97% sin el concepto de una previsión de distribución? Entonces, aquí es donde puedes volver y decir: “Sí, pero quieres cubrir el 97% de la demanda. No puedo hacer eso hasta que tenga una previsión de distribución. ¿Necesito 20 unidades adicionales o 200 unidades adicionales?” Así que este es quizás el punto de partida para decir: “Miren, ustedes quieren cubrir un alto porcentaje de su demanda. Quiero decir, nadie quiere cubrir la demanda promedio. Estarás corto la mitad del tiempo. Así que de alguna manera tenemos que aprender cómo llevar ese requisito empresarial muy familiar a la ‘Bueno, si quieres esto, entonces tenemos que hacer una previsión de distribución o una previsión probabilística’”.

Joannes Vermorel: Y lo interesante es que una vez que en Lokad comenzamos a hacer eso en 2012, y como una transición a tu libro, nos llevó en realidad algunos años después de que comenzamos a hacer previsión probabilística hasta que realmente logramos descubrir cómo hacer cualquier tipo de optimización sofisticada sobre ella. Porque verás, diría que la previsión probabilística fue difícil de llegar a un acuerdo con el hecho de que necesitábamos hacer eso. Esa fue la primera parte de mi viaje en Lokad.

Resultó que en 2012, la previsión probabilística se había vuelto bastante popular por razones completamente diferentes en deep learning. Eran muy populares en deep learning porque las métricas de entropía cruzada como esa te dan gradientes muy pronunciados que ayudan para la optimización. Entonces, la comunidad de Deep Learning estaba utilizando esas previsiones probabilísticas, aunque no estaban interesados en absoluto en las probabilidades. Solo estaban interesados en la previsión puntual, pero las pendientes súper pronunciadas que se podían obtener con la entropía cruzada eran propiedades numéricas muy agradables para hacer que esos modelos funcionaran.

Así que eso fue como, bueno, un poco de desviación. Comenzamos a utilizar esas previsiones probabilísticas por sí mismas en lugar de ser solo trucos numéricos ingeniosos para los gradientes. Pero luego, una vez que tienes eso, te das cuenta de que, bueno, tengo decisiones que quiero optimizar. Quiero tomar la mejor opción y obviamente habrá un negocio repetitivo, por lo que hay como esta secuencia de decisiones.

Y luego terminas con, “¿Qué necesito como instrumento de software para resolver eso?” Y ahí es donde, como una transición a tu libro, es un problema muy difícil porque el desafío principal al que me enfrenté fue incluso un semi-vacío en términos de paradigmas. No hay, como dijiste, tenías como media docena de comunidades donde podías publicar, pero, en mi opinión, incluso hoy en día, todavía no hay una comunidad realmente unificada que simplemente tome esos problemas con incertidumbre donde quieres hacer optimización y simplemente seguir adelante. Simplemente no está ahí.

Así que fue como un golpe o falla. Había hecho un poco de aprendizaje por refuerzo, había hecho optimización clásica. Mi desafío era realmente esa falta de paradigmas. Y eso es bastante interesante en este libro muy extenso, ya sabes, 1100 páginas, es que realmente vas y propones tus propios paradigmas para simplemente pensar en el dominio y analizar el dominio. Y sí, quiero decir, todavía, ya sabes, este libro sigue siendo único en su tipo. No hay tantos.

Quiero decir, si quieres tener un libro sobre, digamos, clasificadores, hay, ya sabes, para el aprendizaje automático, habrá 500 libros que te den todos los clásicos de los clasificadores, desde la clasificación lineal hasta las máquinas de vectores de soporte y los árboles de refuerzo de gradiente y demás. Hay como 500 libros que enmarcan el problema de la clasificación y demás. Aquí, todavía es muy, diría yo, todavía es algo que, bueno, disculpa por mi respuesta muy larga, la comunidad todavía no está mirando el problema.

Warren Powell: Sí, el tema de las decisiones e incertidumbre es un campo asombrosamente rico. Si vas a la programación matemática determinista, sí, hay muchos programas matemáticos deterministas, pero todos siguen el paradigma fundamental que se estableció con George Dantzig. Tienes una función objetivo, tienes una restricción, tienes una variable de decisión, tienes un algoritmo. Vale, y porque todos encajan dentro de ese marco, aprendizaje automático, estadísticas, aprendizaje automático, de nuevo, en gran medida, tienes alguna función, estás tratando de ajustarla a los datos.

Ahora, hay muchos conjuntos de problemas diferentes, pero porque todos están básicamente en ese mismo enfoque, aquí hay una de una familia de funciones. Y así, la mayoría de los libros populares de estadísticas te expondrán a todas las diferentes funciones. Y así, si tomas un curso de estadísticas o aprendizaje automático, prácticamente todos salen con el mismo conjunto de herramientas. Y eso también les permite utilizar este software de dominio público.

Una vez que mezclas decisiones e incertidumbre, en 2014 di esta charla, un tutorial en INFORMS, y lo llamé “Despejando la jungla de la optimización estocástica”. Y tuve que escribir un artículo tutorial. Siempre recuerdo uno de los informes de los árbitros. El árbitro dice: “Oh, no es tan malo. Tal vez deberías llamarlo ‘El jardín de la optimización estocástica’”. Y me reí a carcajadas y dije: “Nunca intentaste publicar un artículo en estos campos. Es una jungla porque tienes todas estas comunidades diferentes, más de una docena, y hablan diferentes idiomas. Conté ocho sistemas de notación fundamentalmente diferentes. Y luego, por supuesto, obtienes los derivados.

Así que el aprendizaje por refuerzo adoptó la notación de los procesos de decisión de Markov, pero el control estocástico tiene su notación y la programación estocástica tiene su notación, los árboles de decisión. Y es un desastre. Pero cada uno tiene una comunidad bastante grande. Así que tienen su grupo de personas que hablan el mismo idioma. Y cuando escribes artículos, esperan ciertas cosas.

Dirigí un laboratorio lo suficientemente grande y diverso. Así que mientras comencé y terminé en el transporte de carga, en el medio dirigí todo un laboratorio de sistemas de energía. Hice un montón de trabajo en aprendizaje óptimo y ciencia de materiales. Eso fue una experiencia interesante por un tiempo. Comercio electrónico, finanzas, y en Princeton, tienes que hacer una tesis de licenciatura. Así que supervisé alrededor de 200 tesis. Y te diré, cuando supervisas suficientes estudiantes y haces una amplia variedad de problemas, en aquel entonces, cuando acababa de escribir mi libro de ADP y pensé: “Wow, ADP es genial. Mira, puedo optimizar compañías de camiones. Y esto no es falso. Esto es real. Hubo un momento en el que decía: “Pero esto no es solo una aplicación de broma. Esta es una aplicación industrial real. Debe ser capaz de hacerlo todo”. Vaya, estaba equivocado.

Vale, fue la segunda edición de mi libro de ADP en la que escribí un capítulo, el capítulo seis, que decía: “Sabes qué, parece que hay estas cuatro clases de políticas”. Ahora no tenía las cuatro. Tenía tres de ellas. La cuarta, la entendí mal. Y seis meses después de enviarlo al editor, tuve este pensamiento: “Oh Dios mío, descubrí la cuarta clase de política”. Y desde entonces, hasta que salió el gran libro en 2022, seguí evolucionando, y escribí otro artículo tutorial en 2016, y luego lo grande fue que la Revista Europea de Investigación Operativa me invitó a escribir un artículo de revisión.

Ese, uh, Roman Slowinski, uno de los editores principales, uh, me invitó a hacer esto, y ese artículo terminó siendo el esquema de este gran libro. Tan pronto como hice ese artículo, pensé: “Vale, ese es el nuevo libro”, y quería hacer una tercera edición de mi libro de ADP, y lo que digo es: “No, simplemente no puedo, ADP, específicamente en el sentido de aproximación de función de valor, es una herramienta muy poderosa para un número muy pequeño de problemas, y si tienes un martillo, y tienes tu martillo favorito, y todos tenemos nuestros martillos favoritos, todos en la academia tenemos nuestros martillos favoritos, puedes encontrar problemas que se ajusten a tu martillo.

Pero si vienes de un área de aplicación, toma un área de aplicación rica como la gestión de la cadena de suministro, bueno, vas a necesitar un conjunto de herramientas. No puedes entrar en la gestión de la cadena de suministro con algún martillo, y no importa qué martillo tengas, tendrás que entrar con un conjunto completo de herramientas, porque hacer pronósticos de distribución es bueno, pero al final del día, tienes que tomar una decisión, lo que significa que estás tomando una decisión bajo incertidumbre.

Conor Doherty: Bueno, si puedo seguir ahí porque es una transición perfecta. Cuando hablas del conjunto de herramientas y hablas del énfasis en el pronóstico probabilístico, proporcionando algo que sea práctico y que la gente quiera, entonces, ¿podrías explicar, en el contexto de la gestión de la cadena de suministro, cómo tu marco universal para la toma de decisiones secuenciales realmente lleva a mejores decisiones?

Warren Powell: Bueno, una de mis transiciones más grandes, tengo esta diapositiva de PowerPoint que me encanta. Tengo alrededor de 15 libros en ella, todos ellos tratando algún tipo de problema de decisión secuencial. Cada uno de esos libros, y uno de ellos es mi libro de ADP, es un martillo buscando un clavo. Todos tenemos nuestra técnica favorita para tomar decisiones, así que los libros fueron escritos alrededor de uno o dos martillos fundamentales.

Si vienes de aplicaciones, comenzarás a darte cuenta de que todos estos martillos son buenos. Ninguno de ellos funciona en todos los problemas. Cuando realmente vienes de un lado de aplicación, uh, ya sabes, no puedes elegir tu problema. Así que los académicos que trabajan en métodos, elegimos qué problema probar nuestros métodos. Cuando vienes de una aplicación, no puedes hacerlo. Te dicen: “Aquí está el problema. Tengo que resolverlo. ¿Qué vas a hacer?”, y mi gran logro profesional fue darme cuenta de que todos los métodos se dividen en estas cuatro clases, y luego en el artículo de 2019, me di cuenta de que esas cuatro clases se dividían en dos categorías principales.

La categoría más simple toma una decisión basada en alguna función que no está planeando en el futuro, pero tiene parámetros ajustables que debes ajustar para que funcionen bien en el futuro. El ejemplo más simple en las cadenas de suministro es el pedido de inventario. Cuando el inventario baja por debajo de cierto nivel, se realiza un pedido hasta otro nivel. No estoy mirando hacia el futuro. No estoy planeando. Es solo una regla, pero esos niveles de pedido deben ajustarse para que funcionen bien a lo largo del tiempo.

El segundo de los más simples es típicamente, casi siempre, un modelo de optimización determinista, simplificado, pero con parámetros ajustables. Ahora, esto es algo a lo que le di el nombre de “aproximación de función de costo”. No lo encontrarás en ningún otro lugar que no sea mi gran libro, pero se usa ampliamente en la industria. La gente de la industria diría: “Sí, hacemos eso todo el tiempo. Pensamos que era un truco de la industria”.

Me di cuenta de que si tomas un programa lineal que es una aproximación de algún problema estocástico complicado y luego introduces algunos parámetros ajustables para capturar cosas como stocks de seguridad o correcciones por rendimiento o un margen, ya sabes, las aerolíneas hacen esto, simplemente dicen: “Vale, cuando vuelo de Atlanta a Nueva York, puede haber un retraso por el clima. Añadiré 20 minutos adicionales”.

Hacer estos problemas deterministas con parámetros ajustables es excepcionalmente poderoso. A los académicos les encanta menospreciarlo como “tonterías deterministas”. Decidí que realmente no es muy diferente del pronóstico paramétrico. Entonces, cuando estás haciendo pronósticos, quieres saber que la demanda es una función del precio. Bueno, un precio más alto significará una demanda más baja. Inventemos una función descendente, tal vez solo una línea, tal vez una curva en forma de S, y luego ajustemos la mejor función que podamos. Podemos hacer lo mismo con modelos deterministas parametrizados.

Ahora, a los académicos les encantan las otras clases de políticas. Estas son las políticas que toman una decisión ahora planificando hacia el futuro. Una es, si tomo una decisión ahora, ahora tomo la acción. Digamos que tengo una cierta cantidad de inventario. Pido más inventario. Eso me coloca en un estado en el futuro, y obtengo el valor de estar en ese estado. Eso es lo que llaman programación dinámica o la ecuación de Bellman. A los académicos les encanta la ecuación de Bellman, o si vienes de la ingeniería, lo llaman ecuación de Hamilton-Jacobi. Y si entras en cualquier curso en cualquier buena universidad que enseñe cómo tomar decisiones a lo largo del tiempo bajo incertidumbre, lo primero que te van a mostrar es la ecuación de Bellman.

Escribí un libro de 500 páginas construido en torno a la aproximación de la ecuación de Bellman. Estaba muy orgulloso de ello. Es una técnica poderosa que funciona en muchos problemas. Bueno, quiero decir, honestamente, sal al mundo empresarial donde las personas toman decisiones secuenciales y pregunta: “¿Cuántos han oído siquiera hablar de la ecuación de Bellman?”, y casi nadie. Nadie usa la ecuación de Bellman.

La última clase es la planificación completa. Utilizo como ejemplo Google Maps. Si quieres planificar una ruta hacia un destino, tienes que planificar hasta el final. Hay varios modelos de planificación que necesitan planificar hacia el futuro. No utilizan una función de valor. Hacen explícitamente un modelo completo hacia el futuro, y eso se hace mucho más a menudo que salir y hacer una aproximación de función de valor.

Entonces, a los académicos realmente les encantan esas técnicas más avanzadas. Cuando sales al mundo real, en su mayoría encontrarás una de tres clases de políticas: las reglas simples como “ordenar hasta”, “comprar barato, vender caro” o “usar un abrigo”. Para los problemas más complejos, hago un modelo determinista que no es demasiado complicado. Introduzco algunos parámetros ajustables y luego ajusto los parámetros. La tercera técnica es la planificación determinista hacia el futuro, como Google Maps. Esas son las tres principales.

Creo que si realmente pudieras hacer una lista de todas las decisiones que todos toman en cualquier lugar y en cualquier entorno, el 97% de esas decisiones se tomarían con esas tres clases de políticas. ¿Adivina qué? No se enfatizan en los libros. Aquí es donde me dirijo. Gran parte de este pensamiento lo voy a atribuir a ti; no encontrarás esa discusión particular ni siquiera en mi gran libro, así que eso tendrá que esperar a la segunda edición.

Este es mi momento de revelación cuando dije, sabes, tomemos las cuatro clases de políticas, tomemos la planificación hacia el futuro y divídamosla en dos: planificación determinista hacia el futuro y planificación estocástica hacia el futuro. Ahora tengo cinco políticas, y me pregunto cuáles de estas se usan más. La categoría uno, ampliamente utilizada, son las primeras tres: las aproximaciones de función de política como reglas simples, las aproximaciones de función de costo que son deterministas parametrizadas y la planificación determinista hacia el futuro. Esas son las tres principales.

Ahora, hay momentos en los que necesitamos una planificación estocástica hacia el futuro. Por ejemplo, estoy haciendo un pedido desde China; normalmente tarda cinco semanas, pero podría tardar siete. Bueno, si entras y dices, bueno, planificaré en base a siete, eso es en realidad una forma de planificación estocástica hacia el futuro llamada optimización robusta utilizando un pronóstico probabilístico. Porque planeé en base a lo máximo que podría ser en lugar de lo que típicamente es.

Las aproximaciones de función de valor, el tema de mi libro anterior, están ahí abajo en el fondo. Honestamente, creo que es una gran herramienta para muchos problemas. Si realmente necesitas eso, es mejor que llames a un experto, pero para las cosas del día a día, simplemente no lo vas a usar. Es demasiado difícil de usar.

Ahora, algunas personas hablarán sobre el aprendizaje por refuerzo. El aprendizaje por refuerzo en los primeros días era solo otro nombre para la programación dinámica aproximada. Eran solo palabras diferentes para lo mismo. La comunidad de ORL ha descubierto lo mismo que yo descubrí; encontraron, wow, esto no siempre funciona. Si pasas de la primera edición del libro de Sutton y Barto, donde todo lo que verás es programación dinámica aproximada, y pasas a la segunda edición, si sabes lo que estás buscando, puedes encontrar las cuatro clases de políticas en su segunda edición. Pero aún creo que la mayoría de las personas, cuando dicen que están usando aprendizaje por refuerzo, se refieren a la programación dinámica aproximada. Los científicos de la computación son mucho mejores que el resto de nosotros en comercializar sus herramientas.

Conor Doherty: Bueno, gracias. Voy a pasar inmediatamente a ti, Joannes. ¿Coincide eso con tu opinión sobre cómo tomamos decisiones aquí en Lokad?

Joannes Vermorel: Quiero decir, no del todo, pero siendo justos, esta división es, creo, muy técnicamente correcta en cómo se divide el dominio. No cuestionaré ese punto. Y cuando digo el dominio, me refiero a tener el tipo de modelo intelectual acordado donde tenemos funciones de transición de estado y una función de recompensa, y luego queremos optimizar esas decisiones, etc. Entonces, desde esta perspectiva, diría que sí, la forma en que lo describes es correcta.

Pero la forma en que yo abordo personalmente el problema es a través de ángulos relativamente diferentes. Mi primera perspectiva, incluso antes de considerar la lista de técnicas, sería: ¿qué pasa con el enunciado del problema en sí? El camino hacia el enunciado del problema es crucial. Es un poco de crítica injusta a este libro porque ya tiene 1100 páginas, y aparentemente, tus editores no querían un libro de 3000 páginas.

En Lokad, cuando abordamos eso, la primera pregunta que haríamos es cuánto deberíamos aproximar el estado. La gente podría pensar que es algo dado, pero no lo es. Siempre estás modelando el mundo real, y no lo modelas hasta la posición de cada átomo, por lo que hay una gran cantidad de margen de maniobra en lo que decides que es un estado. Luego tienes la función de transición, que nuevamente tiene una gran cantidad de margen de maniobra para decidir cómo puedes pasar de un estado a otra versión de este estado.

Creo que eso es parte de resolver el problema. Si tomas la decisión equivocada en esta etapa, si tienes un estado que es demasiado granular o una función de transición que es demasiado compleja, tus herramientas simplemente se desmoronarán después. Entonces, lo primero para mí es tomar la decisión correcta y tener el paradigma correcto para hacerlo. Lo mismo ocurre con la función de costo o la función de recompensa.

Tenemos un caso clásico para clientes que necesitan evaluar el costo de un faltante de stock o el costo de dar un descuento. Si das un descuento una vez, estás regalando una parte de tu margen. Eso está bien, puedes medirlo, es bastante sencillo. Pero luego también estás creando un mal hábito porque la gente esperará que se aplique este descuento nuevamente. Entonces te estás creando un problema para ti mismo más adelante.

Es muy difícil evaluar exactamente el comportamiento, cuánto recordará la gente tus descuentos anteriores, y cosas por el estilo. Esa es tu función de transición; tienes que aproximar eso. Lo primero para mí serían las aproximaciones antes de aproximar los diversos engranajes del proceso algorítmico con este marco.

Mi perspectiva comienza antes con la definición misma de los modelos. No tomo la perspectiva de que el modelo en general, lo que quieres optimizar, sea algo dado. Para mí, es parte de la metodología. Eso sería lo primero. Lo siento, no he terminado. La segunda cosa es, pero eso es más por mi formación en ciencias de la computación, es mirar la dimensión del problema.

Es muy diferente si estás abordando un problema pequeño, como unas pocas mil decisiones como una ruta en una ciudad con unas pocas cientos de entregas y cosas por el estilo. Mil decisiones, por lo que a mí respecta, es un problema muy pequeño. Tenemos problemas donde llegamos a mil millones de variables. Si estamos mirando una cadena de suministro grande, como un hipermercado, puedes tener en un hipermercado 100,000 SKUs. Si tienes mil hipermercados, eso te da 100 millones de SKUs. Para cada SKU, tienes media docena de decisiones, y repites eso unas semanas en el futuro. Puedes terminar con problemas que son super pequeños, como la optimización de rutas, o muy grandes, donde ni siquiera cabrían en la memoria.

Entonces, para mí, eso sería el tipo de problema en el que si tengo que abordarlo, comenzaría a tratar de capturar las características clave del problema. La dimensionalidad es una de ellas. Otra, que es muy importante, es lo difícil que es navegar hacia la mejor solución. Si tomo esos dos ejemplos, la optimización de rutas es algo muy no lineal, muy frágil. Solo mueves, intercambias dos ubicaciones, y puedes pasar de una solución muy pobre a una solución muy buena simplemente intercambiando dos puntos. Entonces tu solución se comporta un poco como un cristal; tiene este tipo de fragilidad. Es muy fácil interrumpir la solución y pasar de algo bueno a algo muy terrible.

Por otro lado, si voy a este espectro de problemas con mi red de supermercados, si decido poner una unidad que se suponía que debía estar allí en otro lugar, el problema es muy insensible. Puedes tener mucho margen de maniobra. Quieres tener algo que sea mucho más direccionado correctamente. Este espectro va desde propiedades cristalinas hasta propiedades de barro. Las propiedades cristalinas son frágiles y quebradizas, y se rompen fácilmente, mientras que las propiedades de barro son amorfas. Si estás direccionado correctamente, está bien. Esa sería la segunda consideración.

La tercera sería la característica de tiempo que estás buscando. Las características de tiempo van desde pilotar robots en un almacén, donde quieres respuestas de tiempo constante, memoria constante en milisegundos. Cuando la gente dice que tienes 10 milisegundos para dar una respuesta, si no lo haces, tenemos todo tipo de otros problemas, a diferencia de otro problema como la compra en el extranjero, donde tomará 10 semanas venir desde China. Si tu cálculo tarda 24 horas, no importa. Podemos permitirnos esas 24 horas; no tenemos ninguna restricción en absoluto.

Así es como divido y desgloso el dominio. Entiendo que la forma en que divido y desgloso el dominio no dice mucho sobre los algoritmos que quieres usar, pero lo uso como una forma de eliminar lo que ni siquiera consideraré como posibles soluciones para el tipo de problemas en los que estoy interesado.

Warren Powell: Me encanta que vengas de un dominio de aplicación. Una de las cosas que descubrí cuando comencé a escribir mi libro de análisis de la cadena de suministro, que es el primer libro que he escrito sobre una clase de problemas, es que todos mis otros libros han sido fundamentalmente libros de métodos, y es muy divertido.

Ahora, dale crédito a mi gran libro por una cosa: tengo un capítulo completo, de 90 páginas, dedicado a la modelización, pero modelización de una manera muy genérica. Aprecio absolutamente todo el proceso que describiste. Esto es una variable de estado. En problemas complejos, tengo algunos tutoriales donde digo que tenemos cinco elementos del problema, comenzando con las variables de estado. Pero cuando hago la modelización, hago la variable de estado al final.

Además, realmente es iterativo. Vas a tener un proceso en el que pasas por la modelización. La variable de estado es solo información. Pasas por el modelo y dices, ok, necesito esta información, esta información, esta información, ahí está mi variable de estado. Pero, por ejemplo, ¿cómo tomas decisiones? Depende de cómo estés modelando la incertidumbre. ¿Cómo modelas la incertidumbre? Depende de cómo tomes decisiones.

Así que describo el proceso de modelar la incertidumbre y tomar decisiones como subir dos escaleras. No vengas con un método increíblemente sofisticado para tomar decisiones bajo incertidumbre si tu modelo solo tiene un modelo de probabilidad muy básico. Con nuestros problemas complejos, podemos hacer modelos de incertidumbre tan complicados como queramos.

Generalmente, no vas a empezar con el modelo más complicado. Vas a empezar con algo más básico. Luego quieres tener algo que tome decisiones. No necesitas hacer algo increíblemente complicado porque es solo un modelo básico. Una vez que tienes un modelo de decisión decente, puedes volver a tu modelo de incertidumbres porque tal vez ahora quieres obtener otras métricas de riesgo.

Ahora quieres tener decisiones que reflejen el riesgo. Así que estás subiendo esta escalera, y estoy seguro de que todo tu proceso en Lokad ha sido iterativo. Siempre queremos el modelo más simple que resuelva el problema. La pregunta es, ¿qué se necesita para cumplir los objetivos comerciales? Y eso es un proceso de aprendizaje.

Joannes Vermorel: Absolutamente. Le doy crédito a tu libro. Creo que allí estás enumerando, creo que algo así como 15 tipos diferentes de incertidumbre y esa es probablemente la lista más larga que he visto recopilada y sí, eso es una preocupación muy real. Cuando dices incertidumbre, la gente piensa, oh, solo estás hablando de las inexactitudes de la previsión puntual. Y yo diría, ciertamente no, hay tantas fuentes de incertidumbre. Eso puede ser el precio de las materias primas en las que dependes que varía, eso puede ser la fuerza laboral en la que dependes que se va a huelga o simplemente no está calificada o simplemente no está allí.

Puede ser la posibilidad de tener problemas de vivienda en tus ubicaciones. Esto es mirar la incertidumbre solo a través de la lente de las inexactitudes de tus ventas porque eso es solo una cosa, la demanda de la previsión de ventas, la previsión puntual de ventas, es extremadamente estrecha. Estoy completamente de acuerdo contigo. Ser súper iterativo en Lokad es exactamente lo que hacemos, lo que plantea otra pregunta, una gran preocupación, que es la productividad de los ingenieros que tienes que poner en el caso para iterar más rápido.

En Lokad, la forma en que normalmente abordamos esos problemas de optimización estocástica es identificando paradigmas de programación. Tenemos una colección de estos paradigmas. No están unificados, más bien como una pequeña biblioteca de cosas que puedes usar. Estos paradigmas te dan un enfoque para avanzar relativamente rápido en la implementación de tu solucionador. Aquí, estoy completamente de acuerdo con el proceso iterativo. El desafío que tenemos desde una perspectiva empresarial es que mis clientes son muy impacientes.

Necesitamos iterar muy rápidamente, pero estamos tratando con algo complicado, que involucra algorítmica avanzada. Necesitan que su algoritmo se implemente en un tiempo finito. Otra consideración que nunca se discute es que muchos métodos que he visto en libros funcionan si tienes profesores universitarios superinteligentes con una década para implementar el algoritmo. En el mundo real, si tienes 100 horas para implementarlo, algunos métodos son increíblemente difíciles de implementar correctamente a nivel de implementación. Por eso ayuda tener esos paradigmas de programación. Proporcionan una forma de codificarlo de manera que funcione en producción en una cantidad finita de tiempo mientras se itera en las cosas.

Warren Powell: Hacia el final del capítulo 11, creo que en la última sección, tengo una subsección sobre los aspectos suaves de la evaluación de políticas. Entonces, en el libro, siempre escribo que la optimización de políticas es maximizar sobre políticas, la expectativa de algo. Hacia el final del capítulo 11, que se puede descargar desde el sitio web, tengo alrededor de cinco cualidades diferentes, como la complejidad metodológica es una de las cualidades. Cuando miras un método, absolutamente lo que acabas de decir es muy importante, la tratabilidad computacional, la transparencia. Todos hemos codificado algoritmos y la respuesta sale algo y nos rascamos la cabeza y nosotros, y el cliente no entiende y quieres poder decir, bueno, aquí está por qué salió así porque podría ser un error de datos, podría ser un cambio de regla.

Quiero decir, en Optimal Dynamics, obtenemos estos datos de compañías de camiones y estamos enfrentando las mismas historias que tú y cuando no les gusta una respuesta, les gustaría que se solucione bastante rápido. Una de las herramientas más poderosas e importantes que desarrollé en mi laboratorio en la universidad es una herramienta gráfica llamada Pilot View donde tiene dos módulos. Uno es un mapa donde puedes ver flujos y filtrarlo de todas las formas imaginables, pero el otro, lo llamo mi microscopio electrónico, es donde puedo mostrar conductores individuales y cargas individuales y hacer clic en cualquier cosa y ver qué conductor fue asignado a qué carga, pero no solo qué conductor fue asignado a qué carga, sino qué cargas consideramos porque si tengo mil conductores y mil cargas, no puedo considerar todas las combinaciones posibles de mil conductores por mil cargas y no tiene nada que ver con el algoritmo, tiene todo que ver con el generador de red.

Entonces usamos cosas sofisticadas pero puedo tener un conductor al que no asigné una carga, ¿por qué no? Bueno, tal vez porque las penalizaciones eran demasiado altas, tal vez porque el costo era demasiado alto o tal vez porque una de mis reglas de poda simplemente no lo consideró y eso nos sucedió. Y por supuesto, cuando el cliente se queja, necesitas una respuesta muy rápida porque una vez que estás en el campo, eso es todo para algoritmos complicados.

Joannes Vermorel: Me identifico enormemente con eso. No se me ocurrió esta observación, la encontré en Internet, no recuerdo exactamente quién lo dijo, pero la esencia de ello fue que para depurar un algoritmo se requiere que seas el doble de inteligente que para implementar el algoritmo.

Entonces, si eliges un algoritmo que ya es, cuando lo implementas, tan inteligente como puedes ser, eso significa que una vez que estés en producción y quieras depurarlo, tienes que ser como el doble de inteligente y eso ni siquiera es posible porque implementar el algoritmo ya fue lo mejor que pudiste hacer. Entonces necesitas una solución que no sea lo mejor de ti para que cuando quieras depurarlo puedas hacerlo. Además, estoy muy de acuerdo con lo que describes, que es esta herramienta de apoyo. El papel de la instrumentación es absolutamente fundamental y creo que eso también es algo, pero es difícil. Este libro contiene tanto, te doy crédito por eso, no es exactamente un libro que carezca de ideas, el papel de la instrumentación es fundamental.

La comunidad clásica de optimización en el sentido determinista simplemente diría, cuántos segundos de CPU necesitas y cuál es el rendimiento de la solución que obtienes y eso es todo. Pero cuando entras en este ámbito de la optimización estocástica, necesitarás una instrumentación de apoyo extensa para entender qué está sucediendo. Y creo que eso es algo en lo que también hay una especie de brecha paradigmática en la forma de verlo, porque significa que no es solo la herramienta que te permite generar la decisión, sino también todos los instrumentos que puedes agregar para que puedas dar sentido a tu proceso de toma de decisiones, no solo una decisión, sino el proceso de toma de decisiones, y sin eso las personas plantearían preocupaciones y estarías atrapado y no puedes simplemente decir, confía en mí, es bueno. En la optimización estocástica eso no funciona tan bien como en la optimización matemática clásica.

Warren Powell: Sí, obviamente es un desafío interesante trabajar con la industria. He tenido esa experiencia desde que comencé mi carrera. No fue hasta la década de 1990 cuando establecí mi laboratorio y contraté a algunos programadores profesionales, quiero decir, todos con doctorados, pero tenían sus doctorados y estaban allí solo para programar y sin las dos personas que tenía en mi laboratorio, nunca habría despegado. Es sorprendente cómo, no sé si alguna vez has encontrado esto, donde tu algoritmo presenta una solución y no te gusta y al cliente tampoco le gusta y todos están sentados alrededor de la mesa rascándose la cabeza y diciendo, ¿qué creemos que está mal y la cantidad de veces que hemos hecho este ejercicio y diferentes personas tienen teorías que reflejan sus habilidades. Así que ahí estoy yo, oh Dios mío, creo que el algoritmo podría ser más sofisticado y este tipo se preocupa por los datos y este tipo se preocupa por un error de programación y la cantidad de veces que nos sentamos a hipotetizar y todos estábamos equivocados.

Es realmente sorprendente. Obviamente, me encantaría sentarme contigo en algún momento y aprender más sobre tus problemas para obtener los datos en bruto. En mi industria de transporte de carga completa, solo trabajamos con transportistas que ya están trabajando con algún sistema TMS comercial, y eso no significa que sea perfecto, pero significa que estamos mucho más avanzados. Pero es un desafío, es muy divertido. Una cosa que me gustaría hacer más es desafiar a la comunidad académica con problemas del mundo real, y de alguna manera me rendí con la comunidad académica.

No están ahí para resolver problemas, están ahí para demostrar teoremas y escribir artículos. Viví en ese mundo durante casi 40 años y lo entiendo, pero creo que es fundamentalmente defectuoso. Entonces, una cosa que tuve con mis compañías de transporte de carga es que todas estaban dispuestas a compartir datos. Eso no es cierto con los cargadores.

Nunca me he encontrado con un cargador dispuesto a compartir datos de la cadena de suministro. Eso está fuera de discusión, no lo van a hacer. Hice un gran proyecto de cadena de suministro para Pratt and Whitney, el fabricante de motores a reacción, y estaba siendo financiado por el gobierno y todo estaba siendo bendecido por la empresa que los poseía, llamada United Technologies, pero ni siquiera escucharían una propuesta para compartir sus datos. Dijeron: “Dios mío, eso es demasiado confidencial”.

Y así, felizmente se involucraron en el proyecto donde tuvimos que escribir nuestro propio generador de datos sofisticado e inventar demandas aleatorias en todo el mundo, y dijeron: “No, algunos de nuestros proveedores son realmente secretos, ya sabes, no podemos dejar que alguien sepa que hay un proveedor que hace eso en cualquier parte del estado de Connecticut”. Simplemente dijeron que no, eso sería demasiada información.

Por lo tanto, es difícil resolver estos problemas del mundo real en un entorno donde no se puede obtener los datos. Me he unido a la Universidad de Rutgers, ahora soy un ejecutivo residente en su departamento de gestión de la cadena de suministro, y espero convencerlos de construir un simulador con datos falsos e intentar que al menos trabajen con problemas simulados realistas.

Joannes Vermorel: Puedo relacionarme mucho con la serie de problemas a los que te enfrentaste. Creo que yo venía del otro extremo del mundo de la cadena de suministro. En un extremo del espectro, tienes el transporte de carga que es casi como las decisiones finales a corto plazo, aún más extremo sería pilotar robots, ese es un extremo del espectro.

En el otro extremo del espectro, tienes S&OP, planificación de ventas y operaciones, un plan súper macro a nivel corporativo, y demás. Luego tienes todo lo que hay en medio. Mi propio viaje venía del otro extremo, el S&OP, muy estratégico, muy orientado a la previsión. Los primeros años de Lokad, las decisiones ni siquiera estaban involucradas, era solo pura previsión.

Volviendo a tu preocupación, mi problema era que veía en el ámbito académico, por cierto, soy un doctorado incompleto, así que no hice sentir orgulloso a mi supervisor de doctorado y abandoné sin vergüenza mi doctorado para crear Lokad. La academia se centra en la precisión de la previsión, publicando 20,000 modelos para mejorar las previsiones de ventas desde prácticamente siempre.

En la industria, tenemos exactamente la situación que describes, 10 personas se sientan alrededor de la mesa, miran el problema desde su perspectiva y cuando hablamos de previsión, que es la etapa previa a la toma de decisiones, primero quieren hacer la previsión. Las personas luchan por dirigir la previsión hacia arriba o hacia abajo.

En el S&OP, tienes a los vendedores que quieren subestimar la previsión, así que quieren tener una previsión de ventas muy baja para poder superar las expectativas. Luego tienes a las personas de fabricación que quieren inflar la previsión porque si inflan la previsión, tendrán más presupuesto para sus activos de fabricación y, por lo tanto, cualquier pedido que finalmente lleguen a fabricar, si tienen más capacidad, será más fácil.

Tienes esta lucha de poder donde las ventas quieren tirar los números al suelo, la fabricación quiere enviarlos al cielo, y no es muy racional. Lo interesante es que en la academia, las personas publicarían un artículo donde encuentran una forma increíblemente sofisticada, aprovechando una teoría rusa oscura, para eliminar el 0.1% de sesgo.

Luego terminas en esta sala con una lucha de poder donde las personas literalmente dicen: “Quiero menos 50%”, y otro dice: “Quiero más 50%”. Eso te da una especie de desconexión. Acceder a los datos siempre ha sido increíblemente doloroso.

Warren Powell: Una pregunta sobre pronósticos, y me encantaría saber qué haces al respecto. Hay mucha matemática para tomar el historial y pronosticar el futuro, pero sabemos que muchas veces el futuro es probablemente muy diferente al pasado, por cualquier motivo, y especialmente, y no sé si el futuro va a subir o bajar, pero sí sé que podría ser bastante diferente a cualquier cosa que haya visto en el pasado. ¿Puedo preguntar cómo lidias con eso?

Joannes Vermorel: Sí, absolutamente. Entonces, la forma típica es que queremos introducir algún tipo de incertidumbre macro que no está exactamente justificada. Eso suena extraño. Pensarías, bueno, tenemos el pronóstico de la demanda, bien, y vamos a decir, agreguemos una variable donde tenemos un 4% de probabilidad cada año de tener una caída brusca del 30% de la demanda, de la actividad, de todo.

Luego la gente dice: “Wow, una caída del 30% en un año, eso es enorme. ¿Por qué considerarías eso alguna vez?” Mi opinión es que si miras el siglo XX, hubo dos guerras mundiales, una serie de otras guerras. Luego, más recientemente, tuvimos bloqueos globales y demás. Entonces, decir que cada 25 años hay un asteroide en tu cara que daña tu industria, no creo que sea tan descabellado.

Pero la gente espera que pronostiquen algo que conocen, y aquí decimos, no, realmente no necesitas saber exactamente. Solo puedes decir, vamos a asumir una gran disrupción, sea lo que sea, y luego vamos a inventar números. Esos números son completamente inventados, 4% de probabilidad anual, 30%, puedes cambiarlo, puedes decir cinco, y puedes decir 50%.

Te obliga a considerar tu gran disrupción todo el tiempo. Por ejemplo, estábamos sirviendo a clientes en aviación. La gente decía: “Oh, no es tan frecuente”. Pero sí es frecuente, porque cuando miras la industria, por ejemplo, el 737 Max de Boeing fue puesto en tierra. Para mi cliente que estaba sirviendo aviones y tenía docenas de esos aviones, fue un problema importante.

La conclusión es aceptar incluir cosas increíblemente pesimistas en tus modelos. Eso generalmente es muy difícil de vender porque no es consensual. El problema no es realmente que falte matemática, es que da miedo y la gente no quiere tener miedo. Pero si no te preparas para esos eventos impactantes importantes, entonces estarás desprevenido. Es tan simple como eso.

La otra cosa es que eso sería un lado, ese es un lado muy pesimista, necesitas mirar esas grandes disrupciones, estar bien con eso y aceptar el hecho de que sucederá con un 100% de certeza si le das suficiente tiempo. Ese es un aspecto.

El otro aspecto es que la mayoría de mis clientes, cuando miran la incertidumbre y la incertidumbre de la toma de decisiones, solo ven el resultado negativo. Creo que el problema viene con la variabilidad. La gente equipara los resultados negativos. En la fabricación, personas como Deming popularizaron la idea de que necesitas ser consistente. Es una virtud cardinal. Tienes que ser absolutamente consistente. Está bien hacer productos de mala calidad si siempre haces productos de mala calidad de la misma manera. Será barato y la gente sabe qué esperar.

Lo que no está bien es hacer algo bueno, algo malo. No, necesitas ser absolutamente consistente todo el tiempo. Entonces, la gente equipara la variabilidad en la fabricación con algo malo. ¿Pero realmente lo es? Una vez que sales del mundo de la fabricación, ¿la variabilidad es algo tan malo? No naturalmente.

Un ejemplo claro sería la moda. En la moda, creas productos que pueden ser un éxito o un fracaso. Si puedes aumentar la varianza de tus éxitos y fracasos debido al hecho de que tienes un bajo que va a ser una cola gorda, significa que si puedes aumentar la varianza, sí, tendrás más fracasos, pero puedes tener éxitos que sean de un orden de magnitud mayor.

La variabilidad en la fabricación es mala, pero en la cadena de suministro en general, no es tan mala. Si puedes tener un flujo de oportunidades completamente casi perfectamente constante, muy constante, pero si te interrumpen, te va a matar, en comparación con algo que es un poco errático, un poco irregular, pero donde hay mucho riesgo constante que manejas cuidadosamente con decisiones que se optimizan bajo incertidumbre para que cuando cometas un error, no te mate.

Puedes terminar en un lugar donde cuando llega la interrupción, no es tan impactante. Por ejemplo, si estás en un negocio donde esperas que el 98% de tus productos se renueven de un año a otro, si la ley cambia y el 20% de tus productos se consideran ilegales porque usaste el producto incorrecto, el proceso incorrecto, lo incorrecto, eso será un golpe masivo.

Estabas en un negocio donde el 2% de tus productos cambiaban cada año, y ahora tienes el 20% que se elimina debido a la regulación. Pero si estás en un negocio donde cada año renuevas, digamos, el 15% de tus productos, bueno, está bien, hay un año donde tienes el 20%, pero podrás recuperarte mucho más rápido porque tienes este tipo de apetito por las novedades que mantienes a tu alrededor.

No todas las incertidumbres son malas. A veces perseguir un poco de ella es bueno. Por ejemplo, la mayoría de los practicantes de pronóstico odian pronosticar nuevos productos porque no tienen ningún historial para la serie de tiempo. Si miras la literatura de pronóstico de series de tiempo, el 99% del tiempo, las personas excluyen los productos que no tienen historial. Desde mi perspectiva, pronosticar los productos que no tienen historial es lo más interesante.

Ahí es donde se libran las verdaderas batallas de la cadena de suministro. Son esos productos que son nuevos, que pueden ser éxitos y pueden cambiar el rumbo de la empresa. Así que es una respuesta larga a tu pregunta.

Warren Powell: Haré un comentario final. Una de las cosas que más aprecio de mi marco de trabajo con mis cuatro clases de políticas es que me permite decir: no te preocupes por la decisión. Elegiremos una de las cuatro clases, elegiremos algo sensato, no te preocupes por eso. Ese no es el gran problema. El gran problema es modelar la incertidumbre. Si puedo alejar a las personas de las complejidades de tomar decisiones bajo incertidumbre y enfocarlas más en modelar las incertidumbres, eso es lo más importante.

Joannes Vermorel: Estoy completamente de acuerdo contigo. Las grandes corporaciones, cuando se enfrentan a la incertidumbre, una de las peores cosas que pueden hacer es inventar reglas para reducir la incertidumbre. Inventarías reglas solo para simplificar tu problema. Por ejemplo, han leído que UPS solo hace giros a la izquierda en sus circuitos, y luego dicen, bueno, nosotros mismos vamos a hacer solo giros a la izquierda porque eso simplifica algo.

Ves que cuando tienes tanto potencial y opciones establecidas, tanta incertidumbre con la que lidiar, y creo que una de las formas más adversas de abordar el problema es inventar una serie completa de restricciones que son restricciones completamente inventadas para que tengas un problema que sea más manejable. Para pasar a tus marcos de trabajo, diría que esa es la forma incorrecta porque hay opciones para lidiar con los verdaderos problemas.

Así que no empieces a inventar restricciones solo por el hecho de hacerlo, solo porque tienes miedo de que nunca haya ninguna solución para considerar tu problema. Hay muchas soluciones, así que debes retrasar la invención de reglas y restricciones solo por el bien de simplificar la resolución del proceso de toma de decisiones.

Conor Doherty: Bueno, todavía estoy aquí, y está bien. He tomado tres o cuatro páginas separadas de notas, pero una de las cosas, y es un seguimiento, usas el término manejo de riesgo financiero, y he escrito compensaciones, preocupaciones comerciales, evaluación de rendimiento y manejo de riesgo financiero.

Entonces, Warren, como una especie de oportunidad para resumir tu marco de trabajo y tu enfoque de la optimización estocástica, sé que tu perspectiva es la de manejar las preocupaciones comerciales y manejar las compensaciones inherentes a la toma de decisiones. Entonces, tómate todo el tiempo que quieras, pero ¿cómo exactamente tu marco de trabajo maneja el riesgo financiero asociado con, ya sea la optimización de rutas o el manejo de inventario o el pronóstico y manejo de inventario para productos para los que no tenemos historial?

Warren Powell: Claro. En primer lugar, creo que uno de los subproductos que Johannes y yo tenemos, ambos trabajamos en problemas reales. Y una vez que trabajas en problemas reales, vas a llegar a ciertas cosas en las que todos estamos de acuerdo, una de las cuales es modelar primero, luego resolver. Tienes que entender el problema. Usas la palabra riesgo, y eso para mí destaca que tienes que hablar de incertidumbre, y esto es mucho más complicado que una distribución normal.

A los estadísticos les gusta, cada vez que lidias con incertidumbre, lo primero que van a hacer es introducir a un estudiante en la distribución normal. Dirán, okay, tenemos una media y tenemos una varianza. Hay aleatoriedad alrededor de la media, y no parecen reconocer que la mayor fuente de incertidumbre es la media. No sabemos cuál será la media. La media se mueve. Ahora hay ruido alrededor de la media, pero es el movimiento de la media lo peor.

Y luego estos eventos que realmente no pertenecen a una distribución de probabilidad, son contingencias. Son como, mira, no sé acerca de una probabilidad, pero aquí hay algo que podría suceder. ¿Qué haría yo dado esa contingencia? Y no me importa la probabilidad de eso. Hay cosas que creo que pueden suceder, y tengo que saber qué sucede si ese barco llega un mes tarde. ¿Qué pasa si este puerto se cierra? ¿Qué pasa si hay un terremoto en Japón? Hay estos eventos importantes. No necesariamente necesito saber exactamente qué evento, pero tengo que planificar para contingencias.

Todo el negocio de tomar decisiones bajo incertidumbre, una de las primeras cosas que me gusta decir es, vaya, hay mucha matemática complicada, pero ¿te das cuenta de que los humanos tomamos decisiones bajo incertidumbre todo el tiempo? Y al principio de mi carrera, cuando realmente estaba luchando con mis problemas de camiones, pensé, pero los despachadores de camiones ya están haciendo esto. Tenemos que recordarnos a nosotros mismos, una cosa en la que el cerebro humano es asombrosamente bueno es en tomar decisiones bajo incertidumbre.

Muchos de estos problemas, la gente dirá, oh, no me gusta lo estocástico. Y sin embargo, esa misma persona planificará eventos aleatorios, incertidumbres y contingencias. Es algo que está incorporado en el cerebro humano porque supongo que nosotros, los animales, hemos tenido que lidiar con esto durante toda nuestra evolución. El mayor desafío no es tomar decisiones bajo incertidumbre. El mayor desafío es enseñar a las computadoras cómo tomar decisiones bajo incertidumbre.

Y entonces, no creo que alguna vez vaya a haber un fin a esta conversación. Necesitamos cuantificar, necesitamos usar computadoras porque la idea de salas llenas de personas tomando decisiones se vuelve un poco anticuada. En las compañías de camiones, tenemos una suite completa de modelos en Optimal Dynamics, desde estratégicos hasta en tiempo real. Pero el producto que es absolutamente la base de lo que estamos vendiendo es el que hace despacho en tiempo real porque no hay un ejecutivo de carga de camiones en cualquier lugar de los Estados Unidos que no piense que el problema número uno de su empresa es el piso de despacho, ya sea cierto o no, esa es su creencia.

He aprendido que la idea de encontrar al conductor adecuado para mover una carga no es realmente lo más importante. Lo más importante es elegir la carga correcta y eso es como la gestión de ingresos para las aerolíneas. Tienes que planificar un poco en el futuro, pero es tan difícil encontrar al conductor adecuado que llegará a casa y cumplirá con las horas del DOT y todo eso que todos se enfocan demasiado en el problema de despacho del conductor.

Pero realmente se trata de encontrar la carga correcta porque lo difícil de encontrar la carga correcta es que puedo tener que comprometer varios días en el futuro o una semana y no sé dónde estarán mis conductores y no sé qué puedo manejar. Así que tienes que poder planificar bajo incertidumbre. Los despachadores lo saben y tal vez no tengan herramientas sofisticadas pero tienen esta intuición de, “Hey, ese es un buen lugar. Probablemente tendré un conductor allí”.

He visto a personas decir directamente que no lidiamos con ninguna incertidumbre porque los CEO no entienden lo estocástico. No, no entienden la palabra estocástico, todos entienden la incertidumbre. Ahora, por cierto, tenemos que superar su insistencia en cumplir con el pronóstico.

Creo que uno de los mayores problemas con las personas del transporte, me refiero al lado de la cadena de suministro, es que todos tienen un presupuesto para su presupuesto de transporte específicamente de carga completa y ninguno de ellos cumple con el presupuesto. Siempre es una estimación optimista de su gasto en transporte y siempre logran gastar más y es algo que viene con el espacio de ser un tipo de cadena de suministro que tiene que planificar los activos de transporte.

Así que, muchos problemas divertidos. No creo que nos quedemos sin cosas que decir.

Joannes Vermorel: Sí, y francamente, para retomar tu caso de la mente humana que lidia naturalmente con la toma de decisiones bajo certeza, estoy completamente de acuerdo. Y veo esta situación muy peculiar donde en realidad las discusiones más difíciles no son con personas que no tienen educación en matemáticas o en el otro extremo del espectro, que están súper educadas en matemáticas. Esos son los puntos dulces, los completamente no educados y los súper educados.

El punto difícil para mí son los ligeramente educados porque lo curioso es que en realidad es bastante difícil hacer que una computadora lide con la incertidumbre. Estoy muy de acuerdo y ¿qué significa eso para una persona que está ligeramente educada en el arte? Significa Excel, Microsoft Excel.

Y así, el problema es, y lo he visto muy frecuentemente, es que saben un poco, así que conocen Excel y ahora hay este problema de mirar el universo solo a través de la solución que puedes pensar. Así que terminas con el lego que no sabe nada sobre Excel, así que simplemente, ya sabes, como jugar al póker, se ha vuelto bueno a través de los hábitos. No tiene las teorías pero logró jugar un juego de póker y desempeñarse decentemente.

Y lo mismo con elegir la carga correcta. Estoy bastante seguro de que encontrarás muchas personas que no tienen ningún concepto de probabilidades pero a través de la experiencia se han convertido en jugadores muy buenos. Tienen esta intuición aunque no tengan el formalismo.

Y en el medio, te encuentras con personas que conocen Excel y dicen: “Ok, necesito implementar esto en Excel”. Y Excel es una herramienta terrible para eso porque Excel no maneja probabilidades. Excel no está diseñado para hacer nada que sea como Monte Carlo y Excel es la peor herramienta para hacer eso. Excel es genial para hacer tu contabilidad pero absolutamente terrible para lidiar con cualquier tipo de incertidumbre.

Y así que mi situación más difícil es como las personas que están comprometidas con la solución de Excel. Si está fuera de Excel y puede estar fuera porque es solo una corazonada que es más correcta que el cálculo de Excel o porque es demasiado sofisticado y ya no encaja en el cálculo de Excel, hay este fuerte rechazo.

Así que eso es muy interesante y me relaciono mucho y tengo este tipo de segmentos intermedios de personas que se han comprometido con las hojas de cálculo de Microsoft Excel y ahí es donde es muy difícil.

Y creo que la mayoría de las veces cuando dicen que al CEO no le gusta, con mucha frecuencia he encontrado que es una proyección de su propia percepción del problema. Los CEO son casi invariablemente, quiero decir, pasada cierto tamaño de empresa, personas que son excelentes para lidiar con una gran cantidad de desorden.

Creo que es muy difícil para cualquier persona alcanzar una posición de CEO de una empresa, digamos unas pocas cientos de personas y más, y no estar completamente imperturbable por el hecho de que el mundo es súper caótico. Quiero decir, esa es tu vida diaria, lidiar con tonterías que te lanzan todo el tiempo.

Entonces, mi opinión es que he visto con mucha frecuencia que cuando la gente me dice: “Oh, es demasiado complicado. El CEO no lo entendería o lo que sea”, no, es su propio miedo proyectado a que el CEO de todos modos apenas tiene tiempo para entender algo sobre esta empresa. Así que eso va a ser solo una cosa de mil cosas que esta persona no entiende sobre su propia empresa y eso no va a ser lo último. Entonces, quiero decir, esa es mi opinión. ¿Qué piensas tú?

Warren Powell: Sí, bueno, a menudo los CEO vienen de un nivel completamente diferente. Están enfocados en el panorama general de las finanzas, especialmente en las empresas más grandes. Los detalles minuciosos de lo que sucede en el piso de operaciones probablemente sea algo que pasaron por alto en su carrera.

Quiero decir, en los viejos tiempos, por cierto, en mi época cuando iba a la escuela, muchas personas, incluso de Princeton, podrían ir a trabajar para Proctor and Gamble y pasar seis meses en el piso de la fábrica y luego ascender en los rangos de la gerencia. Así que estaban en una vía rápida pero les decían que comenzaran desde abajo. Eso murió en la década de 1980.

En la década de 1980, cuando comencé a enseñar en Princeton, ninguno de los estudiantes de Princeton trabajaba para una empresa. Lo más popular era trabajar para empresas de consultoría de gestión. Y así obtenían su experiencia en el campo trabajando para una empresa de consultoría de gestión, volvían a hacer un MBA, regresaban, trabajaban durante unos años más y luego generalmente se iban a un puesto ejecutivo de alto nivel en una de las empresas. Así que pasaban por alto todos esos detalles.

Tu punto sobre Excel, cuando trabajé en la industria del transporte, las únicas personas con las que me encontré fueron los despachadores y los gerentes de nivel bajo. Había muy pocas personas que pudieran hacer incluso trabajos básicos en una hoja de cálculo de Excel. Mientras que en la cadena de suministro, hay millones de ellos sentados allí haciendo cosas muy básicas.

Ahora mira los libros. A medida que me involucro en un programa de cadena de suministro real en Rutgers, he estado revisando todos estos libros y o bien son juegos matemáticos o realmente lo simplifican. Así que no solo tenemos a estas personas que piensan que pueden hacer cualquier cosa dentro de una hoja de cálculo de Excel, los libros solo les enseñan cosas que se pueden hacer dentro de una hoja de cálculo de Excel.

Y así creo que tenemos más que solo un problema de hojas de cálculo de Excel. Tenemos que pensar en quién va a resolver estos problemas y usarlo. Me alineo mucho contigo en el sentido de que lo que necesitamos son buenas herramientas donde bajo el capó las herramientas pueden ser bastante sofisticadas pero deben ser fáciles de usar.

En Optimal Dynamics, nos enfocamos mucho en tratar de hacer que nuestras herramientas sean fáciles de usar. Pero debajo del capó, siempre y cuando funcione, la gente realmente quiere la mejor solución posible. La cadena de suministro, siento que, ya sabes, mientras empiezo a echar un vistazo y mirar por encima del hombro de las personas y decir: “Hay este interesante mundo de la cadena de suministro, pero lo que está sucediendo es que tienes”, sé que vi una estadística, “el 93% de las personas hacen su planificación en una hoja de cálculo”.

Bueno, estás limitado a lo que puedes hacer en una hoja de cálculo. Y así, cuando empiezas a hablar de, ya sabes, incluso ejecutar simulaciones simples, pero quiero decir que puedo hacer una hoja de cálculo de simulación de inventario simple, pero hablemos de introducir tiempos de entrega largos en múltiples proveedores y, bueno, ya sabes, eso va más allá de la capacidad de una hoja de cálculo muy rápidamente. También va más allá de la capacidad de las personas que están programando esa hoja de cálculo y que piensan que pueden hacerlo por sí mismas.

Tengo una ex estudiante de doctorado, ahora es nuestra directora de análisis, muy brillante, pero pasó ocho años haciendo planificación de operaciones en Kimberly Clark en Brasil. Hay una larga historia detrás de eso y en un momento dado estaba luchando con los problemas habituales de planificación de inventario. Así que llamó, trabajó brevemente en McKinsey, así que llamó a sus antiguos amigos de McKinsey y adivina qué, McKinsey solo sabía lo que estaba en los libros de texto y ella supo de inmediato que no tenían ni idea de lo que estaban hablando y los echó de inmediato. No estamos enseñando ni siquiera a los mejores y más brillantes cómo resolver problemas. No estoy hablando de hacer matemáticas extrañas, estoy hablando de hacer cosas prácticas, el tipo de modelado que absolutamente se debe hacer para resolver el problema. No se enseña en ningún lugar.

Conor Doherty: Si me permites, se está enseñando en algún lugar. Autopromoción descarada.

Joannes Vermorel: Autopromoción descarada. En Lokad hemos comenzado a enseñar esto en media docena de universidades que están principalmente en París. También hemos comenzado una serie completa de talleres públicos para situaciones de resolución de problemas en la cadena de suministro y uno de los mayores esfuerzos que tenemos, nuestra mayor inversión que tenemos que hacer, es crear conjuntos de datos.

Así que creamos y publicamos los conjuntos de datos relevantes y, de hecho, mi opinión personal era que crear un conjunto de datos completamente sintético es demasiado difícil, así que simplemente tenemos que anonimizar completamente los datos de los clientes existentes con su permiso. Tomamos datos reales, los anonimizamos por completo, preservamos los patrones extraños y los envolvemos en conjuntos de datos relativamente pequeños y bien organizados para que los estudiantes puedan abordar el problema sin pasar tres meses lidiando con ángulos sueltos en los datos. Estoy muy de acuerdo, y por cierto, mis dos padres comenzaron en Procter & Gamble, así que puedo entender muy bien el sentimiento.

Warren Powell: Entonces, ¿a qué tipo de estudiantes estás enseñando en las escuelas de París?

Joannes Vermorel: Oh, es muy clásico. El sistema francés tiene dos años de escuela preparatoria, así que básicamente es un examen nacional. Haces dos años, exámenes nacionales, todos obtienen rangos y tus calificaciones se publican en el periódico, así que si obtienes malas calificaciones, está en el periódico, no hay presión. Luego, está lo que llamamos las Grandes Escuelas, pero puedes pensar en ellas como la mini Ivy League francesa. La gente ingresa a esas escuelas de ingeniería. Así que solo estoy hablando de tres segmentos: escuelas de ingeniería, escuelas de negocios y escuelas administrativas. Aquí, solo estoy hablando de las escuelas de ingeniería.

Warren Powell: Ingeniería, entiendo. En Princeton, enseñé a los ingenieros. Ahora que me estoy involucrando con Rutgers, será la primera vez en una escuela de negocios y ya me han advertido amablemente que, de todas las categorías de estudiantes en la escuela de negocios, aquellos que eligen la gestión de la cadena de suministro tienden a estar en la parte inferior de la lista en términos de habilidades técnicas. Los que están más arriba se dedican a las finanzas y hay un efecto de goteo hacia abajo. Aún no he comenzado, no voy a enseñar un curso, estoy enseñando a los profesores, pero dependeré de ellos para decirme: “Mira, Warren, simplemente no vamos a poder salirnos con la nuestra”.

Una cosa en la que me estoy enfocando es, digo: “Mira, hay una parte muy importante de mi marco de trabajo que no involucra matemáticas. Involucra las siguientes tres preguntas y no puedes responderlas, no puedes construir un modelo sin estas tres preguntas”. Incluso si no vas a construir un modelo, aún así, si quieres resolver un problema, debes responder las siguientes tres preguntas: ¿cuáles son tus métricas, qué tipos de decisiones estás tomando, cuáles son los tipos de incertidumbres?

En términos sencillos es como lo expresamos aquí, y así es como digo que no hay matemáticas, pero estas son las preguntas a las que si quiero construir un modelo matemático, aún tengo que tener las respuestas. Así que he decidido, vas a la comunidad empresarial y preguntas sobre métricas, todos conocen las métricas, tienen listas y listas de métricas. Luego llegas a las decisiones y dices: “¿Tienes un pequeño libro rojo con una lista de las decisiones que tomas?” y te miran sin comprender.

Así que después de esta charla, Joannes, estoy empezando a generar una serie de pensamientos y notas que voy a compartir con los demás profesores de Rutgers. Es un documento de Google Docs que se puede editar públicamente y me verás desarrollando diferentes categorías. Acabo de comenzar la sección sobre decisiones y también te lo enviaré a ti porque creo que te divertirás. Esto no es para un libro ni nada, esto es solo charla, esta es mi forma de enseñar a los profesores porque no puedo decirles qué hacer, los profesores tienen que decir: “Oh, eso es una buena idea, creo que lo usaré”. Si no hacen eso, entonces la idea no se incorpora a la clase, pero tengo que confiar en su conocimiento de lo que los estudiantes están haciendo. Hay un curso sobre análisis de operaciones y ese es el curso donde se tratan los problemas de inventario. Creo que puedes imaginar lo que se enseña allí, es una presentación muy básica y yo digo: “Lo siento, ¿no deberíamos al menos enseñarles cómo, incluso en una hoja de cálculo, pueden simular un problema de inventario muy básico?”

Así que te enviaré el enlace al documento de Google Docs. Una de las cosas que me encantaría compilar, y aún no lo he hecho, estoy empezando a pensar en esto, es una lista de decisiones. Esto no va a ser algo pequeño; las decisiones vienen en muchos sabores y categorías, no todo es inventario. Hay finanzas, decisiones informativas, y así que al final me gustaría ponerlo en una hoja de cálculo y luego me encantaría enviarlo y simplemente invitar a la gente, “Oye, ¿cuál es una categoría mía o cuáles son ejemplos de decisiones?” porque tengo esta frase que dice: “Si quieres gestionar cualquier cosa mejor, llámalo supply chain, tienes que tomar mejores decisiones.” Nunca he oído a nadie estar en desacuerdo con eso, todos dicen: “Sí, es cierto.” Bueno, si quieres tomar mejores decisiones, ¿cuál es tu lista de decisiones? Y luego obtengo estas miradas en blanco.

Así que voy a empezar con un enfoque muy no cuantitativo, así que esto apela a tu sentido de que primero tienes que modelar y creo que para un MBA no cuantitativo, esto es un buen desafío para ellos porque responder y luego, por supuesto, las incertidumbres, carreras enteras se construyen identificando fuentes de incertidumbre para las cadenas de suministro, pero realmente me encanta lo de las decisiones. ¿No deberíamos todos ser capaces de saber qué decisiones estamos tomando? Entiendo por qué en los negocios no lo hacen porque es como “Bueno, ese es el problema de otra persona, solo evaluaré qué tan bien lo hace.” Así que en los negocios, es completamente el lenguaje de las métricas, pero ¿no debería haber un pequeño libro rojo en algún lugar que tenga las decisiones?

Joannes Vermorel: Sí, estoy muy de acuerdo y las decisiones son muy difíciles porque las grandes empresas tienden a enterrar las decisiones y los procesos de toma de decisiones bajo flujos de trabajo y procesos. De hecho, ni siquiera ven una decisión porque hay una regla que se está aplicando que en realidad es un proceso de toma de decisiones. Y ya es tan ambiental que ya no lo ven, simplemente está dirigiendo la empresa. Puede ser una mala política, existe, dirige el negocio, efectivamente toma potencialmente miles de decisiones al día y nadie ni siquiera lo ve. Una vez que ha estado en su lugar durante un tiempo, esta cosa ni siquiera tiene un comando. No hay nadie a cargo de eso simplemente porque es como tener aire fresco en el edificio, simplemente sucede, la gente ni siquiera sabe exactamente por qué es, simplemente es.

Estoy muy de acuerdo con tu idea de decisión. Es difícil porque la gente tiene la idea equivocada sobre las decisiones. Piensan que una decisión es algo donde hay una reunión, hay tensión y hay un jefe, se presentarán argumentos y el jefe decidirá. Ese es un tipo de decisión, pero hay decisiones mucho más mundanas que son mucho más importantes. Cuando son tan mundanas que ni siquiera las ves, eso es muy intrigante.

Warren Powell: Porque, como dijiste, ya han elegido la política, así que una vez que arreglas la política, deja de ser una decisión. Y en realidad la decisión no es la decisión, la decisión es qué política.

Ahora déjame ofrecerte otra idea. Sabes, hablo de las políticas complicadas y las políticas simples. Una línea que estoy bastante seguro de que uso en mi gran libro es que el precio de la simplicidad son los parámetros ajustables. Casi cualquier política simple como las políticas SS, tienen parámetros ajustables, y ajustarlos es difícil. Ajustar es uno de esos tipos universales de decisiones. Es un problema de aprendizaje activo.

Estoy dando una charla en una conferencia taller de análisis de la cadena de suministro en Rutgers en junio, y una de las cosas sobre las que tengo una sección completa es que hay algo que absolutamente todos, sin importar en qué campo estés, deben entender. Hay una clase de problema de decisión secuencial que se llama aprendizaje.

Se le conoce con muchos nombres. Puede ser prueba y error inteligente, búsqueda estocástica o bandit de múltiples brazos, pero son problemas de aprendizaje. No hay nada físico. Cuando tienes algo físico, las cosas se complican más, pero hay muchos problemas donde no es físico, es solo aprendizaje.

Pruebas esto, funcionó o no funcionó, probaré algo más. Es una decisión secuencial, pero lo único que llevas de un momento a otro es lo que aprendiste y tu creencia sobre lo que funciona mejor.

El aprendizaje secuencial debería enseñarse a nivel de pregrado, no en un solo curso, sino a lo largo del currículo, como se enseña la estadística en diferentes estilos. El aprendizaje activo debería enseñarse a cualquier persona fuera de las carreras de humanidades.

A menos que seas un estudiante de humanidades puro, nombra cualquier campo en el que no tengas que hacer alguna forma de prueba y error inteligente. Este es un proceso fundamentalmente humano, y hay herramientas simples para ello, para que puedas hacer que las personas comiencen.

Hay políticas básicas llamadas políticas UCB que puedes enseñar a las personas en un minuto. Solo dices, mira, tienes opciones discretas, así es como creo que es de bueno cada una, pero aquí está mi incertidumbre.

Hay un ejercicio simple que dice que si todo lo que haces es basarlo en lo bueno que crees que es, eso puede ser seriamente subóptimo. Quieres apuntar un poco más alto, quieres apuntar a lo bueno que algo podría ser. Esa es una idea que puedes enseñar en un minuto, y sin embargo hay sutilezas que lo hacen mucho más rico y esto realmente necesita ser enseñado.

Joannes Vermorel: Estoy muy de acuerdo. Es muy curioso porque desde un punto de vista de aprendizaje automático, Lokad era principalmente aprendizaje automático de pronóstico.

La situación típica era que esas políticas simplistas con parámetros ajustables nunca se ajustaban en la práctica. Cuando finalmente tienes acceso a los datos de una empresa, es complicado, pero en Lokad finalmente tenemos los datos.

Aplicas tus algoritmos de aprendizaje y te das cuenta de que hay muy poco que aprender porque la empresa ha estado operando con un piloto automático increíblemente rígido durante tanto tiempo que puedes tener miles de millones de dólares o euros de historial y sin embargo tan poco que aprender porque has hecho lo mismo una y otra vez sin ninguna variación.

Uno de los desafíos a los que nos enfrentamos es que con frecuencia, cuando queremos aprender, tenemos que comenzar a explorar y agregar un poco de ruido. Este ruido es solo por el bien del aprendizaje.

Debes asegurarte de que no sea demasiado costoso, pero la idea de desviarse de lo que se considera óptimo, no tienen idea de si es óptimo, pero ciertamente es el valor predeterminado, el statu quo, la práctica.

Desviarse de la práctica para explorar al azar algo tan abstracto como recopilar información sobre cómo se ve el panorama cuando te desvías de lo que sueles hacer, es muy desconcertante.

Hay muy pocas personas que hayan cursado MBAs y demás que puedan comprender esta idea de dejar caer pequeñas gotas. Si eres una empresa grande, incluso una pequeña dosis de exploración, si operas a gran escala, te dará mucha información con el tiempo.

En la fabricación, la desviación es mala. Quieres ser lo más rígido y consistente posible. Pero en el aprendizaje activo, si haces eso en el mundo de la cadena de suministro y eres tan rígido y esta política que permanece inmutable, apenas aprendes algo.

Ese es un concepto muy extraño. Ser introducido a la idea de aprendizaje activo, que puedes seleccionar tus desviaciones para informarte al máximo, por lo que no solo estás haciendo algo al azar, sino con la intención de aprender algo, es crucial.

Warren Powell: Las ideas que acabas de articular son tan fundamentalmente importantes que deberían enseñarse en todas partes, en todo tipo de campos, no solo en campos analíticos.

Puedes enseñar eso a nivel analítico avanzado y a nivel básico, dependiendo de los estudiantes. No sé por qué no se enseña esto.

Estoy escribiendo un artículo para Princeton localmente para decir, oye, mira, 40 años de Princeton, adivina qué curso no estamos enseñando. Aproximadamente la mitad de la universidad está involucrada en departamentos donde hay alguna oportunidad de pensar en prueba y error de alguna forma.

Podemos seguir durante varias horas más.

Conor Doherty: Voy a volver y cerrar un ciclo. Uno de los anuncios descarados, solo para aclarar, cuando hablas de que los estudiantes de cadena de suministro aprenden, los talleres que mencionaste en realidad están disponibles públicamente en nuestro sitio web.

En cuanto a aprender a programar para problemas de cadena de suministro, tenemos recursos disponibles públicamente y completamente gratuitos en nuestro sitio web, docs.lokad.com. Estos son ejercicios guiados diseñados por nuestros Supply Chain Scientists para imitar el tipo de árboles de decisiones de los que estás hablando.

Si quieres evaluar el rendimiento, el análisis de proveedores, tenemos un tutorial guiado gratuito para eso donde puedes ver todos los fragmentos de código diseñados específicamente para este tipo de problemas en lugar de una aproximación aproximada en una hoja de cálculo de Excel.

Warren Powell: Sé que en Lokad tienes tu propio lenguaje de programación. Así que encontré eso muy interesante. Me encantan los recursos que estás poniendo a disposición. Estamos tratando de hacer algo similar para el transporte de camiones, pero el transporte de camiones es un negocio muy diferente.

Estamos tratando de poner cosas muy educativas. Nunca intentaríamos poner algo así. En primer lugar, no tenemos ese código simple y no hay nadie dentro de la industria del transporte de carga.

Una cosa interesante del transporte de carga es que no tenemos mucha competencia. No es el alcance del negocio de transporte de carga que en Estados Unidos es de aproximadamente $800 mil millones al año. Quiero decir, es un gran mercado, pero es una fracción pequeña de las cadenas de suministro.

La cadena de suministro es un verdadero océano, mientras que el transporte de carga es un mar o algo así. Pero voy a llamar la atención de los recursos al departamento de Rutgers porque creo que podría ser muy interesante.

Tengo que lidiar con el hecho de que estos son estudiantes de negocios a quienes necesito que aprendan sus lecciones. También tienen un departamento de ingeniería industrial y tengo la sensación de que eso será a nivel de ingeniería.

De hecho, creo que los dos departamentos deberían trabajar juntos porque el primer paso de esas tres preguntas, responder esas tres preguntas, es realmente difícil. Realmente tienes que saber de qué estás hablando. Así que necesitas un buen pensamiento de consultoría de gestión inteligente para responder esas preguntas.

Una vez que las hayas respondido, ahora necesitas un conjunto de habilidades diferente para convertirlas en análisis y usar una computadora para ayudar. Así que espero en Rutgers, conozco bastante bien a las personas en ingeniería industrial. El grupo que no conozco tan bien es el departamento de gestión de la cadena de suministro. Parecen gustarles lo que estoy diciendo y voy a intentar convencerlos de que los unamos.

Conor Doherty: Creo que eso lleva bastante tiempo y he agotado todas mis preguntas. Pero es costumbre en Lokad ofrecer la última palabra al invitado. Así que Warren, te permitiré cerrar con cualquier llamado a la acción o promoción descarada. No nos importa eso aquí.

Joannes Vermorel: Hay un claro llamado a la acción, que es comprar el libro. Es un libro muy sólido y bueno.

Warren Powell: Recomiendo que las personas no comiencen con el libro grande, sino que comiencen con un libro que puedan descargar de forma gratuita.

Tinyurl.com/SDAmodeling, ese es el libro que escribí para la clase de pregrado. Se llama Análisis y Modelado de Decisiones Secuenciales. Trabajo con una editorial, no me pagan nada, pero me permiten ofrecer el PDF de forma gratuita, la versión publicada.

Este es el libro. Utiliza un estilo de enseñanza a través de ejemplos. Así que, aparte del capítulo uno, que dice aquí está el marco universal y hay ejemplos de inventario en él, cada capítulo, excepto el capítulo 7, son solo ejemplos diferentes, todos escritos en el mismo estilo exacto con énfasis en el modelado.

Así que tengo mis cinco elementos: Estado, decisión, información, transición, objetivo. Siempre comienzo con una narrativa, una narrativa en inglés sencillo, y luego tengo los cinco elementos. Luego digo algo sobre la incertidumbre del modelado, no mucho. Luego digo algo sobre, aquí hay una forma en que podríamos tomar decisiones.

Cuando llego al capítulo 7, he dado ejemplos de las cuatro clases de políticas. Entonces, el capítulo 7 dice, hagamos una pausa por un momento, veamos lo que acabamos de hacer. Los capítulos restantes, del 8 al 14, son simplemente ejemplos más avanzados, incluido el juego de la cerveza.

El juego de la cerveza es mi oportunidad de resolver un problema de múltiples agentes. Uno de mis capítulos favoritos en mi libro grande es el último capítulo sobre múltiples agentes. Escribí ese capítulo y dije, si comenzara mi carrera de nuevo hoy, el problema de múltiples agentes sería muy divertido.

Y, por supuesto, en el mundo de la cadena de suministro, todo es de múltiples agentes. Casi define el problema que no tienes uno. Como en mi trabajo de camiones, aunque hay diferentes gerentes, actuamos aproximadamente como si la compañía de camiones fuera un solo agente.

Cadena de suministro, no puedes. Simplemente no funciona. Tienes que modelar el hecho de que tienes todos estos componentes interactivos, lo que abre la puerta a modelar quién sabe qué. Así que ahora estás modelando la organización de la información, no solo ordenando inventario.

Esta es un área tan fabulosamente rica. Miro 70 años de escritura de libros de texto y me doy cuenta de que nuestros libros parecen estar muy por detrás de lo que se requiere para resolver realmente el problema. Me sorprende un poco eso. Es una oportunidad interesante. Ojalá fuera un par de décadas más joven.

Entonces, es genial que estés haciendo esta serie de televisión. Definitivamente voy a promocionar esto. Seguramente me gustaría enviar este enlace, pero también señalaré a las personas tu sitio web porque me encanta tu estilo académico.

Optimal Dynamics es una gran compañía. No puedo hacer mucha publicidad descarada porque se centra realmente en transportistas de carga completa, pero sí haré publicidad descarada de Lokad. Me gusta tu estilo. Hablo de ustedes porque dice que tienen un punto de vista muy académico.

Me encanta cómo les gusta compartir. A los académicos les encanta compartir. Sí, nos gustaría ganar dinero, pero aún así no podemos evitar compartir nuestras ideas y estar muy orgullosos de ello, como deberíamos. Aprecio eso porque he revisado tu sitio web con cuidado y me está ayudando a aprender cosas y a entender tu estilo.

Conor Doherty: Muchas gracias. No tengo más preguntas. Joannes, muchas gracias por tu tiempo, Warren. Muchas gracias por el tuyo. Y gracias a todos por ver. Nos vemos la próxima vez.