Forecast probabilísticos & Toma de decisiones secuencial (con Warren Powell) - Ep 163

00:00:00 Introducción de los invitados
00:01:27 El rol de Warren en Optimal Dynamics y su libro
00:03:06 Desafíos y forecast en el transporte de carga de camiones
00:04:31 El artículo de Warren y la comprensión de la incertidumbre
00:06:41 El trayecto de Joannes y su éxito en el software
00:08:12 Abrazando la incertidumbre y la perspectiva académica en supply chain
00:09:39 Decisiones secuenciales y la dificultad de la colaboración en la industria
00:11:13 Forecast probabilístico vs determinista
00:13:27 Métricas para forecasts probabilísticos y la comprensión de dificultades
00:15:28 Importancia de la cobertura del forecast y de forecasts precisos
00:17:09 El trayecto de Lokad con forecasts probabilísticos y desafíos
00:19:15 La dificultad de los problemas de incertidumbre y la falta de una comunidad unificada
00:21:05 Decisiones e incertidumbre en la programación matemática
00:23:03 Diversas experiencias en laboratorio y aplicaciones del libro ADP
00:25:07 Necesidad de una caja de herramientas en supply chain y la transición a un nuevo enfoque
00:27:35 Optimización determinista y aproximación de la función de costo
00:29:57 Google Maps como ejemplo de vista hacia adelante
00:31:51 Vista hacia adelante estocástica y aproximaciones de la función de valor
00:33:21 La perspectiva de Joannes sobre la toma de decisiones y la formulación del problema
00:35:29 Importancia de un estado correcto, la función de transición y la función de costo
00:37:28 Considerando la dimensionalidad del problema y problemas a gran escala
00:39:15 La fragilidad de las soluciones y la comparación con la red de supermercados
00:41:16 Enfoque para la resolución de problemas y la redacción de un libro de análisis en supply chain
00:43:44 La simplicidad en el diseño del modelo y los diferentes tipos de incertidumbre
00:45:13 La importancia de la iteración rápida y las restricciones del mundo real
00:47:51 La importancia de la viabilidad computacional y el desarrollo de la herramienta Graphics
00:50:27 El rol de la instrumentación en la optimización y los desafíos de la industria
00:53:11 Trabajando con transportistas y crítica al enfoque académico
00:55:23 El trayecto de Joannes desde el forecast hasta la toma de decisiones
00:58:28 La dificultad en el acceso a datos y el manejo del forecast a futuro
01:00:32 La importancia de considerar interrupciones importantes y aceptar modelos pesimistas
01:02:45 La variabilidad en supply chain y la industria de la moda
01:04:43 Renovar productos anualmente y forecast de nuevos productos
01:06:27 La importancia de modelar la incertidumbre y la crítica a las reglas corporativas
01:08:16 El enfoque de Warren para la optimización estocástica y la gestión de inventario
01:09:56 La planificación de contingencias y la toma de decisiones bajo incertidumbre
01:11:39 La importancia del despacho en tiempo real en el trucking y la selección de la carga adecuada
01:13:27 Desafíos en la toma de decisiones bajo incertidumbre y problemas con individuos altamente educados
01:15:45 Las limitaciones de Excel para tratar la incertidumbre y la comprensión de los CEOs
01:19:30 Las limitaciones de los libros de supply chain y la importancia de las herramientas fáciles de usar
01:21:46 Las iniciativas educativas de Lokad y la creación de conjuntos de datos relevantes
01:25:01 Tres preguntas esenciales para la resolución de problemas y el desarrollo de categorías de decisiones
01:27:48 El desafío de los MBA no cuantitativos y las empresas enterrando decisiones bajo flujos de trabajo
01:30:26 El precio de la simplicidad y el aprendizaje secuencial como herramienta para la toma de decisiones
01:32:33 Enseñando el concepto de aspirar a más y los desafíos de las políticas rígidas
01:34:34 La dificultad de comprender el concepto de exploración y la importancia del aprendizaje activo
01:37:41 Las diferencias entre el trucking y supply chain y el tamaño del negocio de truckload
01:40:04 El título del libro, su propósito, el estilo de enseñanza y los cinco elementos de la modelización
01:42:39 Elogios para Optimal Dynamics, Lokad y compartir ideas académicas
01:43:22 Palabras de cierre y agradecimientos

Acerca del invitado

Warren B Powell es Profesor Emérito en la Universidad de Princeton, donde enseñó durante 39 años, y actualmente es el Chief Innovation Officer en Optimal Dynamics. Fue el fundador y director de CASTLE Lab, que se centró en la optimización estocástica con aplicaciones al transporte de carga, sistemas energéticos, salud, ecommerce, finanzas y las ciencias de laboratorio, respaldado por más de $50 millones en financiamiento del gobierno y la industria. Ha sido pionero en un nuevo marco universal que puede usarse para modelar cualquier problema de decisión secuencial, incluyendo la identificación de cuatro clases de políticas que abarcan cada método posible para tomar decisiones. Esto se documenta en su último libro con John Wiley: Reinforcement Learning and Stochastic Optimization: A unified framework for sequential decisions. Ha publicado más de 250 artículos, cinco libros, y ha formado a más de 60 estudiantes de posgrado y post-doctorados. Es el receptor en 2021 del Robert Herman Lifetime Achievement Award de la Society for Transportation Science and Logistics, y en 2022 del Saul Gass Expository Writing Award. Es miembro de Informs, y receptor de numerosos otros premios.

Resumen

En una reciente entrevista en LokadTV, Conor Doherty, Joannes Vermorel y el invitado Warren Powell discutieron forecasts probabilísticos y la toma de decisiones en supply chains. Warren Powell, un profesor retirado de Princeton y Chief Innovation Officer en Optimal Dynamics, compartió su trayectoria profesional y sus ideas sobre la planificación bajo incertidumbre. Joannes Vermorel, CEO de Lokad, expuso su transición de los métodos deterministas al forecast probabilístico, criticando la falta de aplicación en el mundo real por parte de la academia. Ambos coincidieron en la superioridad del forecast probabilístico, a pesar de su complejidad y la dificultad de las empresas para aplicarlo. La conversación destacó la necesidad de una perspectiva más amplia y un enfoque unificado para abordar la incertidumbre en toma de decisiones.

Resumen Ampliado

En una reciente entrevista conducida por Conor Doherty, Jefe de Comunicación en Lokad, Warren Powell, un profesor retirado de la Universidad de Princeton y Chief Innovation Officer en Optimal Dynamics, y Joannes Vermorel, CEO y fundador de Lokad, se sumergieron en una discusión que invita a la reflexión sobre forecasts probabilísticos y la toma de decisiones secuencial en supply chain bajo la presencia de incertidumbre.

Warren Powell, un veterano experimentado en el campo de la toma de decisiones en ámbitos complejos, comenzó compartiendo su trayectoria profesional. Su trabajo inició con la desregulación del transporte de carga en los Estados Unidos, lo que le llevó a centrarse en la planificación bajo incertidumbre. También habló sobre su rol en Optimal Dynamics, una startup con la que colabora, donde guía a sus antiguos estudiantes de doctorado y contempla nuevas direcciones para la empresa.

La conversación luego se centró en el libro de Powell, “Reinforcement Learning and Stochastic Optimization,” que profundiza en el ámbito del forecast distributivo o probabilístico. Powell compartió una anécdota sobre una empresa que quería entender el valor de ofrecerle a un cargador un descuento si podían predecir cargas futuras. Esto despertó su interés en el tema y le llevó a explorar los desafíos del forecast en el truckload trucking debido a su naturaleza estocástica.

Por otro lado, Joannes Vermorel compartió su trayectoria desde los métodos deterministas hacia el forecast probabilístico. Expuso su comprensión de que los métodos deterministas no funcionaban y la necesidad de abrazar la incertidumbre en supply chain problems. Además, criticó a la comunidad académica por su falta de aplicación práctica y por enfocarse en probar teoremas y realizar trabajos numéricos.

La discusión luego se centró en la diferencia entre el forecast determinista y el forecast probabilístico. Powell explicó que, si bien el forecast determinista proporciona un único número accionable, no logra tener en cuenta la variabilidad del mundo real. Argumentó que el forecast distributivo, que ofrece un rango de posibles resultados, es superior, aunque las empresas a menudo tienen dificultades para entender y aplicar este concepto.

Vermorel coincidió con Powell, añadiendo que el forecast probabilístico requiere métricas más complejas y una comprensión más profunda de las distribuciones de probabilidad. Comparó el forecast determinista con observar una pequeña y detallada sección de un escritorio a través de un microscopio, mientras que el forecast probabilístico ofrece una vista más amplia y completa.

La conversación concluyó con Vermorel compartiendo su experiencia en la implementación del forecast probabilístico en Lokad. Señaló que le tomó varios años descubrir cómo optimizar las decisiones basadas en estos forecasts. También habló sobre la falta de una comunidad o paradigma unificado para abordar la incertidumbre en la toma de decisiones. Powell coincidió, describiendo el campo de las decisiones y la incertidumbre como una “jungla” debido a la variedad de comunidades, lenguajes y sistemas de notación. Compartió sus diversas experiencias en distintos ámbitos, desde el transporte de carga hasta los sistemas energéticos, y cómo estas experiencias le llevaron a darse cuenta de las limitaciones de ciertos enfoques y de la necesidad de una perspectiva más amplia.

Transcripción Completa

Conor Doherty: Bienvenido de nuevo. Identificar y evaluar decisiones viables en supply chain es difícil, especialmente si aún utilizas métricas tradicionales. Warren Powell, el invitado de hoy, ha pasado 40 años analizando la toma de decisiones en diversos campos complejos. Además, ha escrito cinco libros, alrededor de 250 artículos, y es un profesor retirado de Princeton. Entonces, Warren, en primer lugar, bienvenido de nuevo a Lokad. En segundo lugar, para quienes se hayan perdido tu primera aparición, ¿podrías reintroducirte y dar a todos una idea de en qué has estado trabajando?

Warren Powell: Bueno, gracias por invitarme de nuevo. He tenido una carrera interesante. Mi carrera comenzó cuando el transporte de carga en los Estados Unidos fue desregulado, y así me involucré en esta industria llamada truckload trucking. Uno de los primeros temas de los que se habló fue la incertidumbre y cómo planificar bajo incertidumbre, lo que prácticamente llegó a definir mi carrera. Recorrí una serie de diversas aplicaciones.

He concluido mi carrera ayudando a mi startup, Optimal Dynamics, en truckload trucking, que es lo que inició mi carrera. Estamos utilizando una variedad de técnicas, pero afortunadamente, he podido trabajar en suficientes aplicaciones diferentes para darme cuenta de que hay más de una herramienta en esta caja de herramientas de la incertidumbre. Así que, espero con interés esta discusión. Es agradable hablar con otras personas que comparten mi pasión por modelar la incertidumbre.

Conor Doherty: Gracias. Y mencionaste Optimal Dynamics. Eres el Chief Innovations Officer, el CIO. Nunca había oído ese término antes. ¿Podrías explicar qué es lo que haces allí?

Warren Powell: A ellos les gusta llamarme Yoda. No estoy involucrado en la gestión. Nadie trabaja para mí. Tengo a cinco de mis antiguos estudiantes de doctorado trabajando allí, y básicamente trabajo con ellos de la misma manera en que lo hacía cuando era profesor en el laboratorio. Espero a que levanten la mano y digan, “Oye, necesitamos ayuda.” De lo contrario, paso mi tiempo pensando en cosas y también en nuevas direcciones para la empresa si surge la oportunidad.

Pero de vez en cuando, me involucran nuevamente para ayudar con algún problema, y he ideado algunas innovaciones nuevas que han sido de ayuda. Pero realmente estoy aquí para ayudar a la empresa cuando lo necesiten, y de lo contrario, prefiero mantenerme al margen. He aprendido que, como académico, uno de los mayores desafíos, especialmente cuando trabajas con personas brillantes, es saber cuándo ayudar y cuándo mantenerse al margen. Y así, afortunadamente, eso me ha dado mucho tiempo para escribir libros y cosas por el estilo.

Conor Doherty: En realidad, mencionando la escritura de libros, uno de tus libros, “Reinforcement Learning and Stochastic Optimization,” es una de las cosas sobre las que estábamos más interesados en hablar contigo. Tu enfoque en la toma de decisiones y sé que tienes interés en el enfoque de forecast distributivo o probabilístico que utiliza Lokad. Entonces, para iniciar correctamente la entrevista, ¿qué es lo que te fascina tanto del forecast distributivo y que ha llevado a esta conversación hoy?

Warren Powell: Bueno, el mayor desafío cuando me dediqué a modelar mi problema de truckload, es que en trucking, el truckload trucking es muy esporádico. Podrías tener una carga que va entre un par de ciudades, o podrías no tenerla. Cuando envías a un conductor, digamos, de Chicago a Atlanta, al llegar a Atlanta, hay cargas que se dirigen en direcciones muy diferentes. Puede que tengas una carga rumbo a Texas, o puede que no. Entonces, tienes algo que es 0 o 1. ¿Qué forecast haces? ¿Haces cero o uno, o forecast un 0.2, que es la expectativa más realista?

I had a company here in the United States, Schneider National, that back in the 1970s saw that deregulation was coming in, and they worked with a faculty member at the University of Cincinnati on building early optimization models, but they were all deterministic. And somebody from Schneider visited me at Princeton and looked at me and said, and this was somebody with a masters in operations research, “Warren, truckload trucking is stochastic.” Tuve una empresa aquí en los Estados Unidos, Schneider National, que en la década de 1970 vio que se avecinaba la desregulación, y trabajaron con un miembro de la facultad en la Universidad de Cincinnati en la construcción de los primeros modelos de optimización, pero todos eran deterministas. Y alguien de Schneider me visitó en Princeton, me miró y dijo, y esto fue alguien con una maestría en investigación operativa, “Warren, el truckload trucking es estocástico.” No sabemos qué cargas estarán disponibles ni siquiera mañana. Nos encantaría saber cuál sería el valor de dar un descuento a un shipper si él nos dijera las cargas del futuro." Y recuerdo que, sentado en esa conversación durante la cena, pensaba: “Dios mío, qué gran pregunta.” No es que no conozca la respuesta, es que no sé cómo pensar en ello.

Más tarde, en los años 80, escribí un artículo al que llamo mi museum paper. De hecho, está en internet como el museum paper. Tengo cinco formas diferentes de modelar estos problemas de truckload trucking, todas abordando la incertidumbre de manera distinta, y era plenamente consciente de que ninguna de ellas funcionaría. Y allí estaba yo, a finales de los 80, diciendo: “No sé qué más hacer. Nada de lo que sale de la comunidad académica está funcionando.”

Así comenzó este proceso de varias décadas en el que, de alguna manera, logré captar el asunto y tuve esos momentos de “ajá”. Y tuve uno importante a principios de los años 2000. Schneider, de hecho, vino a mí y dijo: “Oye, Warren, realmente necesitamos ayuda. ¿Podrías construirnos este modelo?” Ese modelo terminó siendo el software fundamental para Optimal Dynamics. Pero incluso después de que se construyó ese modelo, que podía manejar la incertidumbre, fue cuando surgió mi trabajo en programación dinámica aproximada.

Diría que cada pocos años tenía otro de estos grandes momentos de “ajá”. De hecho, incluso desde que me gradué, he tenido algunos más. Quiero decir, este campo es simplemente asombrosamente rico, y sigo teniendo esos momentos del tipo “Dios mío, nunca lo había pensado de esa manera”.

Conor Doherty: Joannes, ¿esto coincide con cómo llegaste al forecast probabilístico? ¿Muchos momentos de “ajá”?

Joannes Vermorel: Sí, quiero decir, más o menos. Para mí fue un camino ligeramente diferente, porque cuando empecé en Lokad en 2008, en realidad me fui directamente con las teorías convencionales de supply chain. Así que no fue tanto que alguien se acercara a mí e incluso pronunciara la palabra estocástico. Estoy bastante seguro de que la mayoría de las personas que había conocido hasta muy tarde en mi vida, si hubiera pronunciado la palabra estocástico, no habrían estado seguros de si estaba hablando de algo parecido a una variante de elástico o algo así.

Pero en fin, eran inteligentes, pero no eran estadísticos ni probabilistas ni lo que fuera. Y así, mi camino fue más bien que durante los primeros años de Lokad, apliqué esos métodos deterministas con bastante éxito como proveedor de software empresarial, lo que significa que logras vender realmente tus productos. Eso no quiere decir que en realidad funcionen, ya sabes, son dos métricas diferentes. Puedes tener éxito como proveedor empresarial y, aun así, tener algo que en realidad no funcione.

Ha habido competidores que hicieron toda su carrera haciendo justamente eso. Pero me tomó realmente algunos años darme cuenta de que simplemente no estaba funcionando, y que nunca iba a funcionar. Que la perspectiva convencional, la perspective de supply chain, que se basa en esta visión totalmente determinista de que no hay incertidumbre, no tenía el éxito a la vuelta de la esquina. No se trataba de obtener aún ese 1% extra de precisión de forecast que de repente lo haría funcionar.

No, me tomó realmente varios años, más bien unos cuatro, para renunciar a la idea de que, a pesar de avanzar en forecast, a pesar de mejorar el proceso, de mejorar todo, no, el éxito no estaba a la vuelta de la esquina. Y así tuvimos este momento de “ajá”, pero fue más por desesperación que como consecuencia de una gran conversación con alguien que fuese tan iluminador. En fin, llegamos a ello poco a poco. Tomó tiempo. Pero diría que, adelantando una década, ahora es dolorosamente obvio. Diría que, completamente, mis primeros años en Lokad fueron para intentar abordar problemas de supply chain sin abrazar la incertidumbre. Eso era simplemente un callejón sin salida, y bueno, me tomó algunos años llegar a ello.

Warren Powell: ¿Cuáles son los desafíos que encontré, si se me permite, viniendo del lado académico, así que, Joannes, cuando te hablo casi siento que estoy hablando con un colega académico, pero tú vienes del lado de la industria. Mi laboratorio fue inusual desde el primer día. Tuve que salir a la calle, hablar con empresas y conseguir dinero. La National Science Foundation, que financia a muchos académicos, tenía una política explícita en mi campo. Decían: “No financiamos investigaciones. Las bendecimos. Consigue dinero de la industria, y luego rociamos NSF angel dust.”

Pero tenemos demasiados académicos, y aún persiste hoy el hecho de que no trabajan con la industria, por lo que se dedican a modelos inventados, demuestran sus teoremas, realizan sus cálculos numéricos, y todo se queda enteramente dentro de la comunidad académica. Y esto es particularmente cierto en la optimización estocástica. No es tan cierto con el machine learning. Los machine learners salen, obtienen conjuntos de datos reales y ajustan modelos.

Ni siquiera es cierto con la optimización determinista. No hay faltante de stock de optimización determinista en el mundo real. Pero a lo que ahora me gusta llamar decisiones secuenciales —por cierto, eso me aleja de esa palabra estocástico— hay algo en ese campo: existe un océano de artículos sobre modelos inventados por académicos que realmente no entienden cuáles son los problemas reales, porque es difícil trabajar con la industria, y tienes que conseguir empresas, y yo he tenido empresas. Tuvieron que trabajar en lo que luego llamaron la bleeding edge, donde fueron la empresa en la que aprendí qué funcionaba y qué no.

Así que es realmente un problema de cómo trabajan los académicos. Una cosa, tuve una carrera exitosa en publicaciones, pero, caray, hacia el final, estaba pensando: “Sabes, es como un juego.” Ya sabes, para publicar, tienes que seguir un cierto estilo que desean las revistas, y la comunidad de optimización estocástica no es una sola comunidad. Son más de una docena. Todas tienen sus propios lenguajes, estilos, pequeñas herramientas y técnicas, y están muy orgullosas de ello, demuestran sus teoremas, e incluso hacen cálculos, pero casi nada de ello funciona en la práctica.

Conor Doherty: Bueno, gracias. Para subrayar el punto, la diferencia entre un enfoque puramente académico y uno más práctico, estábamos hablando del enfoque determinista al forecast versus el distributional o el probabilístico. Voy a usar simplemente el término probabilístico por facilidad. Warren, tú primero, para esbozar para las personas que podrían estar escuchando esto por primera vez esta dicotomía. ¿Cuál es la diferencia, desde tu perspectiva, en cuanto al enfoque determinista al forecast versus el probabilístico, y por qué consideras que el probabilístico es superior, digamos, en tu opinión?

Warren Powell: Bien, así que cada vez que me encuentro con alguien del mundo empresarial que usa la palabra forecast, inmediatamente digo: “vale, quiere decir forecast puntual.” A todos les encanta el forecast puntual. Quieren saber: “Voy a vender 500 widgets o dos coches o habrá seis truckloads de freight.” Les encanta ese número porque es accionable. Dice: “Oh, van a ser seis camiones, así que tengo que tener seis conductores.”

El desafío es, y por cierto, esto sucede todos los días en el truckload trucking. Tendrás un shipper destacado, pero él sabe que es uno de tus principales shippers y llamará y, para citar las palabras de un despachador, dirá: “Mira, este tipo puede llamar necesitando entre 10 y 20 camiones.” Bueno, eso es bastante frustrante, pero ese es el mundo real en el despacho. Pero en los modelos de forecast, toda la matemática está diseñada para obtener un solo número.

A la gente también le gusta un solo número. Es accionable, es fácil de entender. Si dices: “Mira, estará entre 10 y 20,” sabes, ¿cuántos conductores se supone que debo tener para satisfacer una demanda que esté entre 10 y 20? Bueno, te diré lo que hacen los truckers. Dirán: “Bueno, ese es un trucker realmente importante. Quizá no tenga 20 conductores, pero tal vez tenga 17. Pero si llega y solo necesita 12, entonces tomaré esos cinco conductores y los enviaré a otro lugar.” Y tendrán lo que en optimización se conoce como un recourse. Es como: “Bueno, si esto sucede, entonces esto es lo que haré.”

Pero a todos les encanta ese forecast puntual. Empecé a hacer forecast distributional en los años 90 y estaba trabajando con Yellow Freight. Dije: “Mira, me encantaría hacer intervalos de confianza,” y ellos respondieron: “Nuestros chicos simplemente no saben cómo lidiar con eso.” Nuestro mayor problema, no hace mucho, estábamos trabajando con un importante shipper, y se entusiasmaron muchísimo con el forecast distributional y luego se dieron la vuelta y dijeron: “Sí, bueno, tomémoslo y veamos qué tan preciso es.” Veo a Joannes sonriendo. Es como: “Vale, ¿y cómo manejas el, ‘Oh, eso es genial, forecast distributional, suena bien. ¿Qué tan preciso es?’ ¿Cómo respondes a esa pregunta, Joannes?”

Joannes Vermorel: Sí, quiero decir, con algo como cross entropy o cualquier otra métrica que funcione para el forecast probabilístico, CRPS es otra. Pero, en efecto, ese es el caso. Cuando entras en el ámbito de esas distribuciones de probabilidad, aún tienes métricas, pero no son como esas métricas fáciles e intuitivas que literalmente podrías explicar a niños de junior high school y ellos lo entenderían. La norma uno, norma dos, junior high school, se entiende, en cierto modo. ¿Cuál es la distancia?

Cuando te adentras en las distribuciones de probabilidad, para ser justos, no es tan difícil. No lo es especialmente si optas, digamos, por la máxima verosimilitud o algo así. No es algo para lo que necesites tener un PhD en estadística para entenderlo, pero te tomará más de 2 minutos. Y luego, la intuición, probablemente necesites repasar el formalismo, y eso tomará algo así como media hora, tal vez dos horas si eres muy ignorante.

Warren Powell: Sí, y en ese punto, la gente de negocios, sus ojos se vidrian y dicen: “Oh, sí, lo entendí. Entonces, ¿qué tan preciso es?”

Joannes Vermorel: Eso es algo muy extraño. Se trata de tener un forecast más completo. Cuando tenemos estas decisiones que queremos optimizar, se trata de mejorar la profundidad de tu visión. ¿Qué ves? Quiero decir, estás haciendo una proyección sobre el futuro, una declaración sobre el futuro. Pero no se trata de qué tan preciso, sino de cuán completo, de cuánta cobertura tienes en tu forecast.

Así que es algo muy inusual, porque la gente diría que con un forecast puntual tendrías algo increíblemente nítido. Es un poco como si tomaras un microscopio y hicieras zoom mil veces en un punto de tu escritorio. Así, puedes tener tu microscopio y luego mirar un milímetro cuadrado en tu escritorio y verlo perfecto, pero el resto de tu escritorio, no ves nada. Y la gente dice: “Oh, ¿sabes qué? Creo que necesito un microscopio más grande para poder observar este milímetro cuadrado aún más nítidamente.” Y el forecast probabilístico es: “No, probablemente deberías echar un vistazo al resto del escritorio en lugar de concentrarte en ese único punto que ya ves bastante nítidamente en comparación con todo lo demás.”

Warren Powell: Ahora, aquí hay algo que cualquier persona de negocios, especialmente en ventas minoristas, entenderá absolutamente: la cobertura de la demanda. Y dirán: “Mira, queremos satisfacer el 97% de la demanda.” Esa no es una petición inusual. ¿Cómo satisfaces el 97% sin el concepto de un forecast distributional? Así que aquí es donde puedes volver y decir: “Sí, pero quieren cubrir el 97% de la demanda. No puedo hacerlo hasta que tenga un forecast distributional. ¿Necesito 20 unidades extra o 200 unidades extra?” Así que quizás esto lleve a decir: “Miren, ustedes quieren cubrir un alto porcentaje de su demanda. Quiero decir, nadie quiere cubrir la demanda promedio. Estarás corto la mitad del tiempo. Así que, de alguna manera, tenemos que aprender a incorporar ese requisito empresarial tan familiar en el, ‘Pues, si quieres esto, entonces tenemos que hacer forecast distributional o forecast probabilístico.’”

Joannes Vermorel: Y lo interesante es que, una vez en Lokad, empezamos a hacer eso en 2012, y como introducción a tu libro, nos tomó en realidad algunos años después de haber comenzado con el forecast probabilístico hasta que realmente logramos descifrar cómo hacer algún tipo de optimización sofisticada encima de ello. Porque verás, diría que el forecast probabilístico fue difícil de aceptar, el hecho de que necesitábamos hacerlo. Así que esa fue la primera parte de mi camino en Lokad.

Resultó que en 2012, el forecast probabilístico se había vuelto bastante popular por razones completamente diferentes en deep learning. Eran muy populares en deep learning porque las métricas de cross entropy, por ejemplo, te proporcionan gradientes muy pronunciados que ayudan en la optimización. Así que la Deep Learning Community estaba utilizando esos forecasts probabilísticos, aunque absolutamente no estaban interesados en las probabilidades. Solo les interesaba el forecast puntual, pero los gradientes súper pronunciados que podías obtener, esencialmente, con cross entropy, eran propiedades numéricas muy agradables para hacer funcionar esos modelos.

Así que eso fue como, bueno, una pequeña desviación. Empezamos a utilizar esos forecasts probabilísticos por sí mismos, en lugar de ser simplemente trucos numéricos ingeniosos para gradientes. Pero luego, una vez que tienes eso, te das cuenta de que, vale, tengo decisiones que quiero optimizar. Quiero tomar la mejor opción y, obviamente, habrá negocios recurrentes, así que existe una secuencia de decisiones.

Y luego terminas con, “¿Qué necesito como herramienta de software para resolver eso?” Y ahí es donde, como introducción a tu libro, es un problema muy difícil, porque el principal desafío que enfrenté fue incluso un semivacío en términos de paradigmas. No existe, como dijiste, media docena de comunidades donde pudieras publicar, pero a mi parecer, incluso hoy en día, aún no existe una comunidad realmente unificada que aborde esos problemas con incertidumbre, en los que quieres hacer optimización y simplemente seguir adelante. No existe.

Así que fue como un acierto o un error. Había hecho un poco de reinforcement learning, había hecho optimización clásica. Mi desafío fue realmente esa falta de paradigmas. Y es bastante interesante en este libro tan pesado, ya sabes, de 1100 páginas, que en realidad sales y propones tus propios paradigmas para analizar el dominio y simplemente desmenuzarlo. Y sí, quiero decir, sigue siendo, ya sabes, este libro sigue siendo único en su tipo. No hay tantos.

I mean, if you want to have a book about, let’s say, classifiers, there is, you know, for machine learning, there will be 500 books that give you all the classics from classifiers, from linear classification to support vector machines and gradient booster trees and whatnot. There is like 500 books that frame the problem of classification and whatnot. Here, it’s still very much, I would say, it’s still something that, well, sorry for my very long answer, where the community is still just not looking at the problem yet.

Warren Powell: Sí, el tema de las decisiones y la incertidumbre es un campo sorprendentemente rico. Si te adentras en la programación matemática determinística, sí, hay muchos programas matemáticos determinísticos, pero todos siguen el paradigma fundamental establecido por George Dantzig. Tienes una función objetivo, tienes una restricción, tienes una variable de decisión, tienes un algoritmo. Bien, y dado que todos encajan dentro de ese marco, el aprendizaje automático, la estadística, el aprendizaje automático, en gran medida, tienes alguna función que intentas ajustar a los datos.

Ahora, existen muchos conjuntos de problemas diferentes, pero como todos se basan básicamente en ese mismo enfoque, aquí tienes uno de una familia de funciones. Y la mayoría de los libros populares de estadística te exponen a todas las funciones diferentes. Así que cuando tomas un curso de estadística o de aprendizaje automático, prácticamente todos salen con un conjunto de herramientas casi idéntico. Y eso también les permite utilizar ese software de dominio público.

Una vez que mezclas decisiones e incertidumbre, en 2014, di esta charla, un tutorial en INFORMS, y lo llamé “Despejando la Jungla de la Optimización Estocástica.” Y tuve que escribir un artículo tutorial. Siempre recuerdo uno de los informes de los árbitros. El árbitro dice, “Oh, no está tan mal. Tal vez deberías llamarlo ‘El Jardín de la Optimización Estocástica’.” Y me reí a carcajadas y dije, “Nunca has intentado publicar un artículo en estos campos. Es una jungla porque tienes todas estas comunidades diferentes, más de una docena, y hablan idiomas distintos. Conté ocho sistemas de notación fundamentalmente diferentes. Y luego, por supuesto, aparecen los spin-offs.”

Así que el aprendizaje por refuerzo adoptó la notación de los procesos de decisión de Markov, pero el control estocástico tiene su notación y la programación estocástica tiene la suya, los árboles de decisión. Y es un completo desorden. Pero cada uno tiene una comunidad bastante sustancial. Así que tienen su grupo de personas que hablan el mismo idioma. Y cuando escribes artículos, esperan ciertas cosas.

Dirigí un laboratorio lo suficientemente grande y diverso. Así que, aunque comencé y terminé en el transporte de carga, en el intermedio, dirigí todo un laboratorio de sistemas energéticos. Realicé un montón de trabajos sobre aprendizaje óptimo y ciencia de materiales. Fue una experiencia muy interesante por un tiempo. E-commerce, finanzas, y en Princeton, tienes que hacer una tesis de último año de pregrado. Así que supervisé alrededor de 200 tesis. Y te diré, cuando supervisas a suficientes estudiantes y abordas una amplia gama de problemas, allá por el tiempo en que acababa de escribir mi libro de ADP y pensaba, “Vaya, ADP es genial. Mira, puedo optimizar compañías de transporte de camiones. Y esto no es falso. Es real. Hubo un tiempo en que decía, ‘Pero esto no es solo una aplicación de broma. Es una aplicación industrial real. Debe ser capaz de hacerlo todo.’ Vaya, qué equivocado estaba.

Bueno, fue en la segunda edición de mi libro de ADP cuando escribí un capítulo, el capítulo seis, que decía, “Sabes qué, parecen existir estas cuatro clases de política.” Ahora, yo no tenía las cuatro. Tenía tres de ellas. La cuarta, la entendí mal. Y seis meses después de enviarlo al editor, pensé, “Dios mío, he descubierto la cuarta clase de política.” Y desde entonces, hasta que salió, bueno, el gran libro en 2022, seguí evolucionando, y escribí otro artículo tutorial en 2016, y luego lo grande fue que la European Journal of Operational Research me invitó a escribir un artículo de revisión.

Eso, uh, Roman Slowinski, uno de los editores principales, uh, me invitó a hacer esto, y ese artículo terminó siendo el esquema para este gran libro. Tan pronto como terminé ese artículo, pensé, “Bien, ese es el nuevo libro”, y yo quería hacer una tercera edición de mi libro de ADP, y lo que dije fue, “No, simplemente no puedo, ADP, en el sentido específico de aproximar la función de valor, es una herramienta muy poderosa para un número muy reducido de problemas, y si tienes un martillo, y tienes tu martillo favorito, y todos tenemos nuestros martillos favoritos, cada persona en la academia tiene su martillo favorito, puedes encontrar problemas que se ajusten a tu martillo.”

Pero si vienes de un área de aplicación, toma un área de aplicación rica como supply chain management, pues vas a necesitar una caja de herramientas. No puedes adentrarte en supply chain management con algún martillo, y no me importa qué martillo tengas, tendrás que entrar con una caja de herramientas completa, porque hacer forecast distributivo es bueno, pero al final del día, tienes que tomar una decisión, lo que significa que estás tomando una decisión bajo incertidumbre.

Conor Doherty: Bueno, si puedo continuar, pues es una transición perfecta. Cuando hablas de la caja de herramientas, y haces énfasis en el forecast probabilístico, proporcionando algo que sea accionable, y la gente quiere algo accionable, entonces, ¿podrías desempaquetar la caja de herramientas y explicar, en el contexto de supply chain management, cómo tu marco universal para la toma de decisiones secuencial conduce en realidad a mejores decisiones?

Warren Powell: Bueno, una de mis mayores transiciones, tengo esta diapositiva de PowerPoint que me encanta. Tengo alrededor de 15 libros sobre ella, todos tratando algún tipo de problema de decisión secuencial. Cada uno de esos libros, y uno de ellos es mi libro de ADP, es como un martillo en busca de un clavo. Todos tenemos nuestra técnica favorita para tomar decisiones, por lo que los libros se escribieron en torno a uno o dos martillos fundamentales.

Si vienes del área de aplicaciones, empezarás a darte cuenta de que todos estos martillos son buenos. Ninguno de ellos funciona en todos los problemas. Cuando realmente provienes del lado de la aplicación, ya sabes, no puedes elegir tu problema. Así que, los académicos que trabajan en métodos, elegimos en qué problema probar nuestros métodos. Cuando vienes de una aplicación, no puedes. Te dicen, “Este es el problema. Tengo que resolverlo. ¿Qué vas a hacer?”, y mi gran logro profesional fue darme cuenta de que todos los métodos caen en estas cuatro clases, y luego, con el artículo de 2019, me di cuenta de que esas cuatro clases se reducen a dos categorías principales.

La categoría más simple toma una decisión basada en alguna función que no planifica hacia el futuro, pero tiene parámetros ajustables que debes sintonizar para que funcionen bien en el futuro. El ejemplo más simple en supply chain es el pedido de inventario. Cuando el inventario cae por debajo de cierto nivel, se ordena hasta otro nivel. No estoy mirando hacia el futuro. No estoy planificando. Es solo una regla, pero esos niveles de pedido deben ajustarse para que funcionen bien a lo largo del tiempo.

El segundo de los más simples es, típicamente, casi siempre un modelo de optimización determinística, simplificado, pero con parámetros ajustables. Ahora, esto es algo a lo que llamé “cost function approximation”. No lo encontrarás en ningún otro lugar salvo en mi gran libro, pero se usa ampliamente en la industria. La gente de la industria diría, “Sí, lo hacemos todo el tiempo. Simplemente pensamos que era un truco de la industria.”

Me doy cuenta de que si tomas un programa lineal que es una aproximación de algún problema estocástico complicado y luego le añades algunos parámetros ajustables para capturar cosas como stocks de seguridad o correcciones por rendimiento o un margen, ya sabes, las aerolíneas hacen esto, simplemente dicen, “Está bien, cuando vuelo de Atlanta a Nueva York, podría haber un retraso por el clima. Agregaré 20 minutos extra.”

Realizar estos problemas determinísticos con parámetros ajustables es excepcionalmente poderoso. A los académicos les encanta desestimarlo, diciendo, “Oh, simplemente una tontería determinística.” Yo decidí que en realidad no es muy distinto al forecast paramétrico. Entonces, cuando haces forecast, quieres saber, la demanda es una función del precio. Bueno, un precio más alto tendrá una demanda menor. Inventemos alguna función decreciente, tal vez solo una línea, tal vez una curva en S, y luego ajustemos la mejor función posible. Podemos hacer lo mismo con modelos determinísticos parametrizados.

Ahora, a los académicos les encanta la otra clase de políticas. Estas son las políticas que toman una decisión ahora planificando hacia el futuro. Una es, si tomo una decisión ahora, entonces actúo de inmediato. Digamos que tengo cierta cantidad de inventario. Yo ordeno más inventario. Eso me sitúa en un estado en el futuro, y obtengo el valor de estar en ese estado. A eso lo llaman programación dinámica o la ecuación de Bellman. A los académicos les encanta la ecuación de Bellman, o si vienes de la ingeniería, la llaman ecuación de Hamilton-Jacobi. Y si asistes a cualquier curso en alguna buena universidad que enseñe cómo tomar decisiones a lo largo del tiempo bajo incertidumbre, lo primero que te mostrarán es la ecuación de Bellman.

Escribí un libro de 500 páginas completamente basado en la aproximación de la ecuación de Bellman. Estaba muy orgulloso de ello. Es una técnica poderosa que funciona para muchos problemas. Bueno, quiero decir, honestamente, sal a una comunidad empresarial donde las personas que toman decisiones secuenciales digan, “¿Cuántos han oído siquiera hablar de la ecuación de Bellman?”, y casi nadie. Nadie utiliza la ecuación de Bellman.

La última clase es la de la planificación completa hacia el futuro. Yo uso como ejemplo Google Maps. Si quieres planificar un camino hacia un destino, tienes que planificar todo el trayecto. Existen varios modelos de planificación que necesitan proyectarse hacia el futuro. No utilizan una función de valor. Hacen explícitamente un modelo completo hacia el futuro, y eso se hace con mucha más frecuencia que salir y hacer una aproximación de la función de valor.

Así que, a los académicos realmente les encantan esas técnicas más avanzadas. Cuando sales al mundo real, en su mayoría vas a encontrar una de tres clases de políticas: las reglas simples como “ordenar hasta”, “comprar barato, vender caro” o “usar abrigo.” Para los problemas más complejos, yo empleo un modelo determinístico que no es demasiado complicado. Incorporo algunos parámetros ajustables y luego los ajusto. La tercera técnica es la planificación determinística hacia el futuro, como Google Maps. Esas son las tres principales.

Creo que si pudieras hacer una lista de todas las decisiones que todos toman en cualquier lugar y en cualquier contexto, el 97% de esas decisiones se tomarían con esas tres clases de políticas. ¿Sabes qué? No se enfatizan en los libros. De aquí es a donde me dirijo. Gran parte de este pensamiento se lo voy a atribuir a ti; no encontrarás esa discusión en particular ni siquiera en mi gran libro, así que eso tendrá que esperar a la segunda edición.

Este es mi momento “aha” cuando dije, ya sabes, tomemos las cuatro clases de políticas, tomemos la planificación hacia el futuro, y dividámosla en dos: planificación determinística hacia el futuro y planificación estocástica hacia el futuro. Ahora tengo cinco políticas, y me pregunté, ¿cuáles de estas se usan más? La categoría uno, de amplio uso, son las primeras tres: las aproximaciones de la función de política como reglas simples, las aproximaciones de la función de costo que son determinísticas parametrizadas, y la planificación determinística hacia el futuro. Esas son las tres principales.

Ahora, hay ocasiones en las que necesitamos una planificación estocástica hacia el futuro. Por ejemplo, estoy haciendo un pedido desde China; normalmente tarda cinco semanas, pero podría tardar siete. Pues, si entras y dices, “Bueno, planearé para siete”, eso es en realidad una forma de planificación estocástica hacia el futuro llamada optimización robusta utilizando un forecast probabilístico. Porque planeé en función de lo máximo que pudiera ser en lugar de lo que típicamente es.

Las aproximaciones de la función de valor, el tema de mi libro anterior, están ahí, en la parte inferior. Honestamente, creo que es una gran herramienta para muchos problemas. Si realmente la necesitas, será mejor que llames a un experto, pero para asuntos cotidianos, simplemente no acabarás usándola. Es demasiado difícil de usar.

Ahora, algunas personas hablarán sobre el aprendizaje por refuerzo. En los primeros tiempos, el aprendizaje por refuerzo era solo otro nombre para la programación dinámica aproximada. Eran simplemente palabras diferentes para lo mismo. La comunidad ORL ha descubierto exactamente lo que yo descubrí; encontraron, ¡vaya!, que esto no siempre funciona. Si pasas de la primera edición del libro de Sutton y Barto, donde solo verás programación dinámica aproximada, a la segunda edición, y si sabes lo que buscas, puedes encontrar las cuatro clases de políticas en esa segunda edición. Pero sigo pensando que la mayoría de la gente, cuando dice que utiliza aprendizaje por refuerzo, se refieren a programación dinámica aproximada. Los informáticos son mucho mejores que nosotros para comercializar sus herramientas.

Conor Doherty: Bueno, gracias. Voy a pasarte la palabra de inmediato, Joannes. ¿Se alinea eso con tu forma de ver cómo tomamos decisiones aquí en Lokad?

Joannes Vermorel: Quiero decir, no del todo, pero para ser justos, esta división es, creo, muy técnicamente correcta en cómo se segmenta el dominio. No voy a disputar ese punto. Y cuando digo el dominio, me refiero a tener ese modelo intelectual acordado en el que contamos con funciones de transición de estados y una función de recompensa, y luego queremos optimizar esas decisiones, etc. Así que aquí, si lo miramos desde esta perspectiva, diría que sí, la forma en que lo describes es correcta.

Pero la forma en que yo personalmente abordo el problema es desde ángulos relativamente distintos. Mi primera perspectiva, incluso antes de considerar la lista de técnicas, sería: ¿qué pasa con la definición misma del problema? El camino hacia la definición del problema es crucial. Es una crítica un poco injusta a este libro, porque ya tiene 1100 páginas, y aparentemente, tus editores no querían un libro de 3000 páginas.

En Lokad, cuando abordamos esto, la primera pregunta que nos hacemos es cuánto debemos aproximar el estado. La gente podría pensar que es algo dado, pero no lo es. Siempre estás modelando el mundo real, y no lo modelas a la posición de cada átomo, por lo que hay una gran holgura en lo que decides que es un estado. Luego tienes la función de transición, la cual nuevamente tiene mucha flexibilidad para decidir cómo puedes pasar de un estado a otra versión de ese mismo estado.

Creo que ello es parte de resolver el problema. Si tomas la decisión equivocada en esta etapa, si tienes un estado que es demasiado granular o una función de transición que es demasiado compleja, tus herramientas simplemente se desmoronarán después. Así que, para mí, lo primero es tomar la decisión correcta y contar con el paradigma adecuado para ello. Lo mismo ocurre con la función de costo o la función de recompensa.

Tenemos un caso clásico para clientes que necesitan evaluar el costo de un faltante de stock o el costo de ofrecer un descuento. Si das un descuento una vez, estás regalando una parte de tu margen. Eso está bien, puedes medirlo, es bastante sencillo. Pero luego también estás creando un mal hábito porque la gente esperará que este descuento se aplique de nuevo. Así que te estás creando un problema para ti mismo más adelante.

Esto es muy difícil de evaluar exactamente el comportamiento, cuánto recordarán las personas tus descuentos anteriores y demás. Esa es tu función de transición; tienes que aproximarla. Lo primero que haría sería las aproximaciones antes de aproximar los diversos engranajes del proceso algorítmico con este marco.

Mi perspectiva empieza antes, con la propia definición de los modelos. No tomo la perspectiva de que el modelo en general, aquello que deseas optimizar, sea algo dado. Para mí, es parte de la metodología. Eso sería lo primero. Perdonen, no he terminado. La segunda cosa es, pero eso es más mi formación en informática, mirar la dimensión del problema.

Es muy diferente si te enfrentas a un problema pequeño, como unos pocos miles de decisiones, como una ruta en una ciudad con unos pocos cientos de entregas y demás. Mil decisiones, en mi opinión, es un problema muy pequeño. Tenemos problemas en los que llegamos hasta mil millones de variables. Si estamos observando una gran supply chain, como un hipermercado, puedes tener en un hipermercado 100,000 SKUs. Si tienes mil hipermercados, eso te da 100 millones de SKUs. Por cada SKU, tienes media docena de decisiones, y repites eso unas semanas en el futuro. Puedes terminar con problemas que son ya sea super pequeños, como la optimización de rutas, o muy grandes, donde ni siquiera cabrían en la memoria.

Para mí, eso sería la clase de cosas en que, si tengo que abordar el problema, empezaría tratando de capturar las características clave del mismo. La dimensionalidad es una de ellas. Otra, que es muy importante, será cuán difícil es navegar hacia la mejor solución. Si tomo esos dos ejemplos, la optimización de rutas es algo muy no lineal, muy frágil. Simplemente mueves, cambias la posición de dos ubicaciones, y puedes pasar de una solución sumamente pobre a una solución sumamente buena simplemente intercambiando dos puntos. Así que tu solución se comporta un poco como un cristal; tiene esta clase de fragilidad. Es muy fácil perturbar la solución y pasar de algo bueno a algo muy terrible.

Por otro lado, si voy a este espectro de problemas con mi red de supermercados, si decido poner una unidad que se suponía debía estar en otro lugar, el problema es muy insensible. Puedes contar con mucha holgura. Quieres tener algo que sea mucho más correcto direccionalmente. Este espectro va desde propiedades cristalinas hasta propiedades de barro. Las propiedades cristalinas son frágiles y quebradizas, y se rompen fácilmente, mientras que las propiedades de barro no tienen forma definida. Mientras seas correcto direccionalmente, está más o menos bien. Esa sería la segunda consideración.

La tercera sería la característica temporal que buscas. Las características temporales van desde pilotear robots en un almacén, donde deseas respuestas de tiempo constante y memoria constante en milisegundos. Cuando la gente dice que tienes 10 milisegundos para dar una respuesta, y si no lo haces, tenemos todo tipo de otros problemas, en contraposición a otro problema como la compra al exterior, donde va a tomar 10 semanas para venir de China. Si tu cálculo toma 24 horas, no es gran cosa. Podemos permitirnos esas 24 horas; no tenemos restricciones en absoluto.

Así que, esa es un poco la forma en que analizo el dominio. Entiendo que la manera en que analizo el dominio no dice mucho acerca de los algoritmos que deseas usar, pero lo utilizo como una forma de eliminar lo que siquiera consideraría como soluciones potenciales para el tipo de problemas que me interesan.

Warren Powell: Me encanta que vengas de un dominio de aplicación. Una de las cosas que encontré cuando empecé a escribir mi libro de supply chain analytics, que es el primer libro que he escrito sobre una clase de problemas, es que todos mis otros libros han sido, fundamentalmente, libros de métodos, y es muy divertido.

Ahora, dale crédito a mi gran libro por una cosa: tengo un capítulo entero, de 90 páginas, dedicado al modelado pero modelado de una manera muy genérica. Aprecio absolutamente todo el proceso que describías. Esto es una variable de estado. En problemas complejos, tengo algunos tutoriales en los que digo que tenemos cinco elementos del problema, comenzando con las variables de estado. Pero cuando hago modelado, pongo la variable de estado al final.

Además, realmente es iterativo. Vas a tener un proceso en el que atraviesas el modelado. La variable de estado es solo información. Recorres el modelo y dices, está bien, necesito esta información, esta información, esta información—ah, ahí está mi variable de estado. Pero, por ejemplo, ¿cómo tomas decisiones? Depende de cómo estés modelando la incertidumbre. ¿Cómo modelas la incertidumbre? Depende de cómo estés tomando decisiones.

Así que describo el proceso de modelar la incertidumbre y tomar decisiones como escalar dos escaleras. No llegues con algún método increíblemente sofisticado para tomar decisiones bajo incertidumbre si tu modelo solo tiene un modelo de probabilidad muy básico. Con nuestros problemas complejos, podemos crear modelos de incertidumbre tan complicados como queramos.

Generalmente, no vas a comenzar con el modelo más complicado. Vas a empezar con algo más básico. Luego, quieres tener algo que tome decisiones. No necesitas hacer algo increíblemente complicado porque es solo un modelo básico. Una vez que tengas un modelo de decisiones decente, puedes volver a tu modelo de incertidumbres porque tal vez ahora quieras obtener otras métricas de riesgo.

Ahora quieres tener decisiones que reflejen el riesgo. Así que estás subiendo esta escalera, y estoy seguro de que todo tu proceso en Lokad ha sido iterativo. Siempre queremos el modelo más sencillo que resuelva el problema. La pregunta es, ¿qué se necesita para alcanzar los objetivos de negocio? Y eso es un proceso de aprendizaje.

Joannes Vermorel: Absolutamente. Le doy crédito a tu libro. Creo que en él estás enumerando, creo algo así, olvido si son como 15 tipos diferentes de incertidumbre y esa es probablemente la lista más larga que he visto recopilada y, sí, esa es una preocupación muy real. Cuando dices la incertidumbre, la gente piensa, oh, solo estás hablando de las inexactitudes del forecast puntual. Y yo diría, ciertamente no, hay tantas fuentes de incertidumbre. Eso puede ser el precio de las commodities de las que dependes que varían, eso puede ser la mano de obra de la que dependes, que puede hacer huelga o simplemente no estar calificada o simplemente no estar allí.

Puede ser la posibilidad de tener problemas de vivienda en tus ubicaciones. Esto es ver la incertidumbre solo a través del lente de las inexactitudes de tus ventas, porque eso es solo una cosa, la demanda para el forecast de ventas, forecast puntual de ventas, es extremadamente reducido. Estoy completamente de acuerdo contigo. Ser súper iterativo en Lokad es exactamente lo que hacemos, lo cual plantea otra pregunta, una gran preocupación, que es la productividad de los ingenieros que tienes que asignar al caso para iterar más rápido.

En Lokad, la forma en que abordamos típicamente esos problemas de optimización estocástica es identificando paradigmas de programación. Tenemos una colección de estos paradigmas. No están unificados, más bien son como una pequeña biblioteca de cosas que puedes utilizar. Estos paradigmas te dan un ángulo para avanzar relativamente rápido en la implementación de tu solucionador. Aquí, estoy completamente de acuerdo con el proceso iterativo. El desafío que tenemos desde una perspectiva de negocio es que mis clientes son muy impacientes.

Necesitamos iterar muy rápidamente, pero estamos tratando con algo complicado, que involucra algoritmos hardcore. Necesitan que su algoritmo se implemente en un tiempo finito. Otra consideración que nunca se discute es que muchos métodos que he visto en libros funcionan si tienes profesores universitarios súper inteligentes con una década para implementar el algoritmo. En el mundo real, si tienes 100 horas para implementarlo, algunos métodos son increíblemente difíciles de acertar a nivel de implementación. Por eso, tener esos paradigmas de programación ayuda. Proporcionan una manera de codificarlo de forma que funcione en producción en un tiempo finito mientras se itera sobre las cosas.

Warren Powell: Hacia el final del capítulo 11, creo que en la última sección, tengo una subsección sobre los temas suaves de evaluar políticas. Así que, en el libro, en todo momento escribo que la optimización de políticas es maximizar sobre políticas, expectativa de algo. Hacia el final del capítulo 11, que se puede descargar desde el sitio web, tengo alrededor de cinco cualidades diferentes, siendo la complejidad metodológica una de ellas. Cuando miras un método, absolutamente lo que acabas de decir es muy importante, la tractabilidad computacional, la transparencia. Todos hemos programado algoritmos y la respuesta sale de cierta manera y estamos rascándonos la cabeza y, y el cliente no entiende, y quieres poder decir, bueno, aquí está la razón por la que salió así, porque podría ser un error de datos, podría ser un cambio de regla.

Quiero decir, en Optimal Dynamics, obtenemos estos datos de compañías de transporte por camión y estamos viviendo todas las mismas historias de guerra a las que tú te enfrentas, y cuando no les gusta una respuesta, quisieran que se arregle bastante rápido. Una de las herramientas más poderosas e importantes que desarrollé en mi laboratorio en la universidad es una herramienta gráfica llamada Pilot View, que tiene dos módulos. Uno es un mapa donde puedes ver flujos y filtrarlos de todo tipo de maneras sofisticadas, pero el otro, lo llamo mi microscopio electrónico, es donde puedo mostrar conductores individuales y cargas individuales y hacer clic en cualquier cosa y ver qué conductor fue asignado a qué carga, pero no solo qué conductor fue asignado a qué carga, sino qué cargas consideramos, porque si tengo mil conductores y mil cargas, no puedo considerar todas las combinaciones posibles de mil conductores por mil cargas y no tiene nada que ver con el algoritmo, tiene todo que ver con el generador de red.

Así que usamos cosas sofisticadas, pero puede que tenga un conductor al que no asigné a una carga, ¿por qué no? Bueno, quizás porque la penalización era demasiado alta, o porque el costo era demasiado alto o tal vez porque una de mis reglas de poda simplemente no lo consideró y eso sucedió. Y, por supuesto, cuando el cliente se queja, necesitas una respuesta muy rápidamente, porque una vez que estás en el campo, se acabaron los algoritmos complicados.

Joannes Vermorel: Me identifico enormemente con eso. No fui yo quien tuvo esta observación, la encontré en internet, no recuerdo exactamente quién lo dijo, pero lo esencial es que, para depurar un algoritmo, se requiere que seas dos veces más inteligente que al implementarlo.

Así que, si optas por un algoritmo que ya, cuando implementas el algoritmo, es tan inteligente como puedes ser, entonces eso significa que, una vez que estés en producción y quieras depurar, tendrás que ser como dos veces más inteligente y eso ni siquiera es posible, porque al implementar el algoritmo ya estabas en tu mejor versión. Así que necesitas una solución que no sea tú en tu mejor momento para que, cuando quieras depurarla, puedas hacerlo. Además, estoy totalmente de acuerdo con lo que describes, que es esta herramienta de apoyo. El papel de la instrumentación es absolutamente fundamental y creo que eso también es algo, pero es difícil. Este libro contiene tanto, te doy crédito por ello, no es exactamente un libro que carezca de ideas; el papel de la instrumentación es primordial.

La comunidad clásica de optimización en el sentido determinista, simplemente diría, cuántos segundos de CPU necesitas y cuál es el desempeño de la solución que obtienes, y eso es todo. Pero cuando entras en este ámbito de la optimización estocástica, necesitarás ampliamente instrumentación de apoyo para entender lo que está sucediendo. Y creo que eso es algo donde también existen este tipo de brechas paradigmáticas en la forma de verlo, porque significa que no es solo la herramienta la que te permite generar la decisión, sino también todos los instrumentos que puedes incorporar para que puedas comprender, de alguna manera, tu proceso de toma de decisiones, no necesariamente solo una decisión, sino el proceso de toma de decisiones, y sin eso la gente levantaría inquietudes y te quedarías atascado y no puedes simplemente decir, confía en mí, es bueno. En la optimización estocástica eso no funciona tan bien como en la optimización matemática clásica.

Warren Powell: Sí, obviamente es un bonito desafío trabajar con la industria. He tenido esa experiencia desde que empecé mi carrera. No fue hasta los años 90 cuando establecí mi laboratorio y contraté a algunos programadores profesionales, o sea, todos con doctorado, pero tenían sus doctorados y estaban ahí solo para programar, y sin esas dos personas que tuve, mi laboratorio simplemente nunca habría despegado. Es asombroso cómo, no sé si te ha pasado, que tu algoritmo presenta una solución y no te gusta y al cliente tampoco le gusta y todos se sientan alrededor de la mesa rascándose la cabeza diciendo, ¿qué creemos que está mal? y la cantidad de veces que hemos hecho este ejercicio y diferentes personas tienen todas una teoría que refleja su conjunto de habilidades. Así que ahí estoy, oh Dios mío, creo que el algoritmo podría ser más sofisticado y este tipo se preocupa por los datos y ese tipo se preocupa por un error de programación y la cantidad de veces que nos sentábamos en tamaño de hipótesis y todos estábamos equivocados.

Es realmente asombroso. Obviamente, me encantaría sentarme contigo en algún momento y aprender más sobre tus problemas para obtener los datos sin procesar. En mi industria del transporte de carga por camión, solo trabajamos con transportistas que ya trabajan con algún sistema TMS comercial, y eso no significa que sea perfecto, pero significa que estamos en un nivel muy superior. Pero es un desafío, es muy divertido. Una cosa que desearía que pudiéramos hacer más es desafiar a la comunidad académica con problemas del mundo real, y, de alguna manera, renuncié a la comunidad académica.

No están ahí para resolver problemas, están ahí para probar teoremas y escribir artículos. Viví en ese mundo durante casi 40 años, y lo entiendo, pero creo que está fundamentalmente defectuoso. Así que, una cosa que tuve con mis empresas de transporte de carga es que todas estaban dispuestas a compartir datos. Eso no es cierto con los cargadores.

Nunca he encontrado un transportista dispuesto a compartir datos de supply chain. Eso está descartado, no lo van a hacer. Hice un gran proyecto de supply chain para Pratt and Whitney, el fabricante de motores a reacción, y fue financiado por el gobierno y todo fue aprobado por la compañía que los poseía, llamada United Technologies, pero ni siquiera escucharon una propuesta para compartir sus datos. Dijeron, “Dios mío, eso es demasiado propietario.”

Y así, se involucraron felizmente en el proyecto en el que tuvimos que escribir nuestro propio generador de datos elegante y fabricar demandas aleatorias en todo el mundo, y dijeron, “No, algunos de nuestros proveedores son realmente secretos, ya sabes, ni siquiera podemos dejar que alguien sepa que hay un proveedor que hace eso en algún lugar del estado de Connecticut.” Simplemente dijeron que no, que esa sería, que sería demasiada información.

Así, es difícil abordar estos problemas del mundo real en un entorno donde no se pueden conseguir los datos. Me he inscrito en la Universidad de Rutgers, ahora soy un ejecutivo en residencia en su departamento de gestión de supply chain, y espero poder convencerlos de construir un simulador con datos falsos, y tratar de que al menos trabajen con problemas realistas simulados.

Joannes Vermorel: Puedo relacionarme muchísimo con la serie de problemas que enfrentaste. Creo que venía del otro extremo del mundo de supply chain. En un extremo del espectro, tienes el transporte por carretera, que son casi las decisiones finales a corto plazo; aún más extremo sería pilotar robots, ese es un extremo del espectro.

En el otro extremo del espectro, tienes S&OP, ventas y operaciones, un plan súper macro, a nivel corporativo, y demás. Luego tienes todo lo que está en el medio. Mi propio camino venía desde el otro extremo, el S&OP, muy estratégico, muy orientado al forecast. Los primeros años de Lokad, ni siquiera se tomaban decisiones, era simplemente forecast puro.

Volviendo a tu preocupación, mi problema era que veía en la academia, por cierto, soy un desertor del doctorado, así que no hice sentir orgulloso a mi supervisor, y abandoné descaradamente mi doctorado para crear Lokad. La academia se centra en la precisión del forecast, publicando 20,000 modelos para mejores forecast de ventas desde siempre.

En la industria, tenemos exactamente la situación que describes: 10 personas se sientan alrededor de la mesa, miran el problema desde su ángulo, y cuando hablamos del forecast, que es la etapa previa a la decisión, justo antes de tomarla, primero quieren hacer el forecast. La gente lucha por orientar el forecast hacia arriba o hacia abajo.

En S&OP, tienes vendedores que quieren subestimar el forecast, de modo que desean un forecast de ventas muy bajo para poder superar las expectativas. Luego tienes personas de manufactura que quieren inflar el forecast porque si lo inflan, tendrán más presupuesto para sus activos de manufactura, y de este modo, cualquier pedido que finalmente lleguen a fabricar, si tienen más capacidad, será más fácil.

Tienes este tira y afloja donde ventas quiere tirar los números a la baja y manufactura quiere enviarlos a las alturas, y no es nada racional. Lo interesante es que en la academia, la gente publicaría un artículo donde encuentran una manera increíblemente sofisticada, aprovechando una teoría rusa oscura, para eliminar un 0,1% de sesgo.

Luego terminas en esta sala con un tira y afloja donde la gente literalmente dice, “Quiero menos 50%,” y otro dice, “Quiero más 50%.” Eso te genera una especie de desconexión. Acceder a los datos siempre ha sido increíblemente doloroso.

Warren Powell: Una pregunta sobre forecast, y me encantaría saber qué haces con esto. Hay muchas matemáticas en tomar la historia para forecast del futuro, pero sabemos que muchas veces el futuro probablemente será muy diferente al pasado, por alguna de varias razones, y sobre todo, y no sé si el futuro subirá o bajará, pero sí sé que podría ser bastante diferente a cualquier cosa que haya visto antes. ¿Puedo preguntar cómo manejas eso?

Joannes Vermorel: Sí, absolutamente. Entonces, la manera típica es que queremos introducir algún tipo de incertidumbre macro que no está exactamente justificada. Suena raro. Uno pensaría, está bien, tenemos el forecast de demanda, perfecto, y vamos a decir, añadamos una variable donde tengamos un 4% de probabilidad cada año de experimentar una fuerte caída del 30% en la demanda, en la actividad, en todo.

Luego la gente dice, “Guau, una caída del 30% en un año, eso es enorme. ¿Por qué considerarías eso?” Mi opinión es que, si miras el siglo XX, hubo dos guerras mundiales, y una serie de otras guerras. Luego, más recientemente, tuvimos confinamientos globales y demás. Así que, decir que cada 25 años hay un asteroide en tu cara que daña tu industria, no creo que sea tan descabellado.

Pero la gente espera forecast de algo que conocen, y aquí decimos, no, realmente no necesitas saberlo exactamente. Podrías simplemente decir, vamos a asumir una gran disruption, lo que sea, y luego inventaremos números. Esos números son completamente inventados, un 4% de probabilidad anual, 30%, puedes cambiarlo, puedes decir cinco, y puedes decir 50%.

Te obliga a considerar tu gran disrupción todo el tiempo. Estábamos atendiendo, por ejemplo, a clientes en aviation. La gente decía, “Oh, no es tan frecuente.” Pero sí lo es, porque cuando miras la industria, por ejemplo, el 737 Max de Boeing fue inmovilizado. Para mi cliente, que atendía aviones y tenía docenas de esos aviones, fue un problema importante.

Lo fundamental es aceptar incluir cosas increíblemente pesimistas en tus modelos. Generalmente es muy difícil de vender porque no es consensuado. El problema no es realmente que falte matemática, es que da miedo, y la gente no quiere asustarse. Pero si no te preparas para esos grandes eventos impactantes, entonces estarás desprevenido. Es así de simple.

La otra cosa es que, esa sería una parte, una parte muy pesimista; necesitas considerar esas grandes disrupciones, estar bien con ello, y aceptar el hecho de que sucederá con 100% de certeza si le das suficiente tiempo. Ese es un aspecto.

El otro aspecto es que la mayoría de mis clientes, cuando miran la incertidumbre y la incertidumbre en las decisiones, solo ven el mal resultado. Creo que el problema viene con la variabilidad. La gente asocia la variabilidad con resultados negativos. En manufactura, personas como Deming popularizaron la idea de que necesitas ser consistente. Es una virtud cardinal. Tienes que ser absolutamente consistente. Está bien hacer productos de mala calidad si los produces de mala calidad siempre de la misma forma. Será barato, y la gente sabe qué esperar.

Lo que no está bien es hacer algo bueno y algo malo. No, necesitas ser absolutamente consistente todo el tiempo. Así, la gente equipara la variabilidad en manufactura con algo negativo. ¿Pero lo es? Una vez que sales del mundo de la manufactura, ¿es la variabilidad algo tan malo? No necesariamente.

Un ejemplo primordial sería la moda. En la moda, creas productos que pueden ser un éxito o un fracaso. Si puedes aumentar la varianza de tus aciertos y errores debido a que tienes una probabilidad baja con una cola pesada, eso significa que, si aumentas la varianza, sí, tendrás más fracasos, pero podrías lograr aciertos que sean de un orden de magnitud mayor.

La variabilidad en la manufactura es mala, pero en la supply chain en general, no es tan mala. Si puedes tener un flujo casi perfectamente constante de oportunidades, súper constante, pero si sufres una disrupción, eso te va a destruir, en contraposición a algo que es algo errático, algo accidentado, pero en el que hay una constante asunción de riesgos que gestionas cuidadosamente con decisiones optimizadas bajo la incertidumbre para que, cuando cometas un error, eso no te arruine.

Podrías terminar en un escenario en el que, cuando llegue la disrupción, su impacto no sea tan fuerte. Por ejemplo, si estás en un negocio donde esperas que el 98% de tus productos se repita de un año a otro, si la ley cambia y el 20% de tus productos se consideran ilegales porque usaste el producto equivocado, el proceso equivocado, o lo que sea, eso va a ser un golpe masivo.

Estabas en un negocio donde el 2% de tus productos cambiaba cada año, y ahora tienes un 20% que se elimina gradualmente debido a la regulación. Pero si estás en un negocio donde cada año renuevas, digamos, el 15% de tus productos, bueno, puede que haya un año en el que tengas un 20%, pero te recuperarás mucho más rápido porque tienes ese tipo de apetito por las novedades que mantienes.

No todas las incertidumbres son malas. A veces, perseguir un poco de ellas es bueno. Por ejemplo, a la mayoría de los practicantes del forecast les disgusta forecast de nuevos productos porque no tienen ningún historial para las time series. Si miras la literatura de forecast de series de tiempo, el 99% de las veces, se excluyen productos que no tienen historial. Desde mi perspectiva, forecast de los productos que no tienen historial es lo más interesante.

Ahí es donde se libran las verdaderas batallas de supply chain. Son esos productos que son nuevos, que podrían ser éxitos y cambiar el rumbo de la compañía. Así que es una respuesta larga a tu pregunta.

Warren Powell: Haré un comentario final. Una de las cosas que más he apreciado de mi marco de trabajo con mis cuatro clases de políticas es que me permite decir, no te preocupes por la decisión. Escogeremos una de las cuatro clases, escogeremos algo sensato, no te angusties. Ese no es el gran problema. El gran problema es modelar la incertidumbre. Si puedo alejar a la gente de las complejidades de tomar decisiones bajo incertidumbre y hacerla enfocarse más en modelar las incertidumbres, esa es la gran victoria.

Joannes Vermorel: Estoy completamente de acuerdo contigo. Las grandes corporaciones, cuando se enfrentan a la incertidumbre, una de las peores cosas que pueden hacer es inventar reglas para reducirla. Inventarías reglas solo para simplificar tu problema. Por ejemplo, han leído que UPS solo realiza giros a la izquierda en sus rutas, y luego dicen, está bien, nosotros mismos haremos solo giros a la izquierda porque eso simplifica algo.

Ves que cuando tenías tanto potencial y tantas opciones, tanta incertidumbre con la que lidiar, y creo que una de las maneras más contraproducentes de abordar el problema es inventar toda una serie de restricciones completamente inventadas, de modo que el problema se vuelva más manejable. En cuanto a tus marcos, diría que esa es la forma equivocada, porque existen opciones para abordar los verdaderos problemas.

Así que no empieces a inventar restricciones solo por hacerlo, solo porque tienes miedo de que nunca haya una solución para tu problema. Hay muchas soluciones, por lo que necesitas posponer la invención de reglas y restricciones únicamente para simplificar la resolución del proceso de toma de decisiones.

Conor Doherty: Bueno, todavía estoy aquí, y eso está bien. He hecho tres o cuatro páginas separadas de notas, pero una de las cosas —y es en seguimiento—a lo que te refieres al usar el término gestionar el riesgo financiero, y he escrito trade-offs, preocupaciones empresariales, evaluación del rendimiento y gestión del riesgo financiero.

Así que, Warren, como una especie de oportunidad para resumir tu marco y tu enfoque de la optimización estocástica, sé que tu perspectiva es la de gestionar las preocupaciones empresariales y manejar los trade-offs que son endémicos en la toma de decisiones. Tómate el tiempo que necesites, pero, ¿cómo es que, ya sean tus conferencias en línea, las cuales veo y son encantadoras, o el libro de 1100 páginas, exactamente tu marco gestiona el riesgo financiero asociado con, ya sea la optimización de rutas, la gestión de inventario o el forecast y la gestión de inventario para productos de los que no tenemos historial?

Warren Powell: Claro. Primero que nada, creo que uno de los subproductos que Johannes y yo tenemos, es que ambos trabajamos en problemas reales. Y una vez que trabajas en problemas reales, sales con ciertas conclusiones en las que todos estamos de acuerdo, una de las cuales es: primero modela, luego resuelve. Tienes que entender el problema. Usas la palabra riesgo, y eso para mí resalta que tienes que hablar de la incertidumbre, y esto es mucho más complicado que una distribución normal.

A los estadísticos les gusta, cada vez que tratas con incertidumbre, lo primero que hacen es presentar a un estudiante la distribución normal. Dicen, está bien, tenemos una media y una varianza. Hay aleatoriedad alrededor de la media, y no parecen reconocer que la mayor fuente de incertidumbre es la media. No sabemos cuál va a ser la media. La media se mueve. Ahora, hay ruido alrededor de la media, pero es el movimiento de la media lo peor.

Y luego estos eventos que realmente no pertenecen a una distribución de probabilidad son contingencias. Es como, mira, no sé sobre la probabilidad, pero aquí hay algo que podría suceder. ¿Qué haría yo dada esa contingencia? Y no me importa la probabilidad de ello. Hay cosas que creo que pueden suceder, y tengo que saber qué pasa si ese barco llega un mes tarde. ¿Qué pasa si este puerto se cierra? ¿Qué pasa si hay un terremoto en Japón? Son esos grandes eventos. No necesito saber exactamente cuál evento, pero tengo que planificar para las contingencias.

Todo el asunto de tomar decisiones bajo incertidumbre, una de las primeras cosas que me gusta decir es: vaya, hay muchas matemáticas complicadas, pero ¿te das cuenta de que nosotros, los humanos, tomamos decisiones bajo incertidumbre todo el tiempo? Y al principio de mi carrera, cuando realmente estaba luchando con los problemas de mi camioneta, pensaba: pero los despachadores de camiones ya hacen esto. Debemos recordarnos que una cosa en la que el cerebro humano es asombrosamente bueno es en tomar decisiones bajo incertidumbre.

Muchas de estas cuestiones, la gente dirá, “oh, no me gusta lo estocástico”. Y, sin embargo, esa misma persona planifica para eventos aleatorios, incertidumbres y contingencias. Es simplemente algo que está incorporado en el cerebro humano, porque supongo que nosotros, los animales, hemos tenido que lidiar con esto durante toda nuestra evolución. El mayor desafío no es tomar decisiones bajo incertidumbre. El mayor desafío es enseñar a las computadoras a tomar decisiones bajo incertidumbre.

Y así, no creo que esta conversación tenga un final. Realmente necesitamos cuantificar, realmente necesitamos usar computadoras porque la idea de salas llenas de gente tomando decisiones se queda un poco anticuada. En las compañías de camiones, en Optimal Dynamics tenemos toda una serie de modelos, desde el estratégico hasta el tiempo real. Pero el producto que es absolutamente la base de lo que estamos vendiendo es el que realiza despachos en tiempo real, ya que no existe ningún ejecutivo de camiones en los Estados Unidos que no piense que el principal problema de su compañía es el área de despacho, ya sea cierto o no, esa es su creencia.

He aprendido que la idea de encontrar al conductor adecuado para mover una carga no es realmente lo más importante. Lo más importante es elegir la carga correcta y eso es como Revenue management para aerolíneas. Tienes que planificarlo un poco hacia el futuro, pero es tan difícil encontrar al conductor adecuado que llegue a casa y cumpla con las horas del DOT y todo lo demás, que todos se enfocan excesivamente en el problema del despacho de conductores.

Pero en realidad se trata de encontrar la carga correcta, porque lo difícil de encontrar la carga adecuada es que puede que tenga que comprometerme varios días en el futuro o una semana y no sé dónde estarán mis conductores ni qué puedo manejar. Entonces, tienes que ser capaz de planificar bajo incertidumbre. Los despachadores saben esto y, tal vez, no tengan herramientas sofisticadas, pero sí cuentan con esa corazonada de, “Oye, ese es un buen lugar. Probablemente tendré un conductor allí.”

He visto a gente decir de plano que no tratamos con ninguna incertidumbre porque los CEOs no entienden lo estocástico. No, no entienden la palabra estocástico, todos entienden incertidumbre. Ahora, por cierto, tenemos que dejar de lado su insistencia en cumplir el forecast.

Creo que uno de los mayores problemas con la gente de Transporte, me refiero a la del lado de supply chain, es que todos tienen un presupuesto para su gasto en transporte, específicamente de camiones, y ninguno respeta el presupuesto. Siempre se hace alguna estimación optimista de su gasto en transporte y siempre terminan gastando más; es algo que acompaña el hecho de ser un tipo de supply chain que tiene que planificar los activos de transporte.

Así que, muchos problemas interesantes. No creo que nos quedemos sin cosas que decir.

Joannes Vermorel: Sí, y francamente, para retomar tu caso de la mente humana enfrentándose a decisiones bajo certeza de manera natural, estoy completamente de acuerdo. Y veo esta situación muy peculiar donde, en realidad, las discusiones más difíciles no son con las personas que carecen de educación en matemáticas ni con las que están en el otro extremo del espectro y son súper educadas en matemáticas. Esos son los puntos óptimos, los completamente deseducados y los súper educados.

El punto difícil para mí son los ligeramente educados, porque lo curioso es que, en realidad, es bastante difícil lograr que una computadora maneje la incertidumbre. Estoy totalmente de acuerdo, y ¿qué significa para una persona que está ligeramente educada en el arte? Significa Excel, Microsoft Excel.

Y entonces el problema es, y lo he visto muy frecuentemente, que saben un poco, así que conocen Excel, y ahora surge este problema de ver el universo únicamente a través de la solución que se les ocurre. Así que terminas con el profano que no sabe nada de Excel y, simplemente, ya sabes, como jugando al póker, se ha vuelto bueno a través de la experiencia. No tiene las teorías, pero logró jugar una partida de póker y rendir decentemente.

Y lo mismo pasa al elegir la carga correcta. Estoy bastante seguro de que encontrarás a muchas personas que no tienen ningún concepto de probabilidades, pero que, a través de la experiencia, se han vuelto muy buenos jugadores. Tienen esa intuición, aunque no poseen el formalismo.

Y en medio, terminas con personas que conocen Excel y dicen, “Está bien, necesito implementar esto en Excel.” Y Excel es una herramienta terrible para eso porque Excel no maneja probabilidades. Excel no está diseñado para hacer nada parecido a Monte Carlo, y Excel es la peor clase de herramienta para ello. Excel es genial para llevar la contabilidad, pero absolutamente terrible para manejar cualquier tipo de incertidumbre.

Y así, mi situación más difícil es con la gente que está comprometida con la solución de Excel. Si la solución está fuera de Excel, ya sea porque es simplemente una corazonada que es más correcta que el cálculo en Excel o porque es demasiado sofisticada y ya no encaja en el cálculo de Excel, se genera un rechazo fuerte.

Así que eso es muy interesante y me identifico mucho, y tengo este tipo de segmentos intermedios de personas que se han comprometido con las hojas de cálculo de Microsoft Excel, y ahí es donde realmente hay una lucha.

Y creo que, la mayoría de las veces, cuando dicen que al CEO no le gusta, muy frecuentemente he descubierto que es una proyección de su propia percepción del problema. Los CEOs son casi invariablemente, quiero decir, una vez que la empresa alcanza cierto tamaño, personas que son excelentes para lidiar con una gran cantidad de desorden.

Creo que es muy difícil para cualquiera alcanzar la posición de CEO de una empresa, digamos, de unas pocas centenas de personas en adelante, y no estar completamente impasible ante el hecho de que el mundo es sumamente caótico. Quiero decir, esa es tu vida diaria, lidiando con tonterías que te lanzan todo el tiempo.

Así que mi punto de vista es que he visto muy frecuentemente que cuando la gente me dice, “Oh, es demasiado complicado. Al CEO no le entendería o lo que sea”, no, es su propio miedo proyectado, ya que el CEO, de todas formas, apenas tiene tiempo para comprender nada sobre esta empresa. Así que eso será solo una cosa de entre mil que esa persona no entiende de su propia empresa, y esa no será la última. Entonces, es, quiero decir, ese es mi punto de vista. ¿Qué piensas tú?

Warren Powell: Sí, bueno, a menudo los CEOs provienen de un nivel completamente diferente. Se enfocan en la visión global de las finanzas, especialmente en las empresas más grandes. Los detalles minuciosos de lo que sucede en el piso de operaciones probablemente fueron algo que omitieron en su carrera.

Quiero decir, en los viejos tiempos, por cierto, en mis días cuando estaba estudiando, muchos, incluso los estudiantes de pregrado de Princeton, podían ir a trabajar a Proctor and Gamble y pasaban seis meses en el piso de la fábrica y luego ascendían en la jerarquía de gestión. Y así estaban en una vía rápida, pero les decían que empezaran desde abajo. Eso desapareció en los años 80.

En los años 80, cuando comencé a enseñar en Princeton, ninguno de los estudiantes de pregrado de Princeton fue a trabajar a una empresa. Lo de moda era ir a trabajar a firmas de consultoría de gestión. Y así obtenían experiencia de campo trabajando para una firma de consultoría de gestión, volvían a hacer un MBA, regresaban, trabajaban algunos años más y luego, usualmente, se iban a ocupar un puesto ejecutivo de alto nivel en alguna de las empresas. Así que omitían todos esos detalles.

Tu comentario sobre Excel, cuando trabajé en la industria del transporte, las únicas personas que encontré fueron camioneros, quiero decir, lo siento, despachadores y gerentes de nivel bajo. Había muy pocas personas que pudieran hacer incluso trabajos básicos en una hoja de cálculo de Excel. Mientras que en supply chain, hay un millón de ellos sentados ahí haciendo cosas muy básicas.

Ahora mira los libros. A medida que me involucro en un programa real de supply chain en Rutgers, he estado revisando todos estos libros y, ya sea que los libros sean juegos matemáticos o realmente lo simplifiquen. Así que, no solo tienes a esas personas que creen que pueden hacer cualquier cosa dentro de una hoja de cálculo de Excel, sino que los libros solo les enseñan cosas que se pueden hacer dentro de una hoja de cálculo de Excel.

Y así, creo que tenemos más que solo un problema de hojas de cálculo de Excel. Tenemos que pensar en quién va a resolver estos problemas y usarlos. Estoy totalmente de acuerdo contigo en que, “Bueno, lo que necesitamos son buenas herramientas en las que, bajo el capó, las herramientas pueden ser bastante sofisticadas, pero tienen que ser fáciles de usar.”

En Optimal Dynamics, nos concentramos muchísimo en tratar de hacer que nuestras herramientas sean fáciles de usar. Pero bajo el capó, mientras funcione, la gente realmente quiere la mejor solución posible. Supply chain, siento que, ya sabes, mientras empiezo a echar un vistazo y mirar por encima del hombro de la gente y digo, “Existe este interesante mundo de supply chain, pero lo que ocurre es que tienes,” recuerdo haber visto una estadística, “el 93% de la gente planifica en una hoja de cálculo.”

Bueno, estás limitado a lo que puedes hacer en una hoja de cálculo. Y así, cuando empiezas a hablar, ya sabes, incluso de ejecutar simulaciones simples —quiero decir, puedo hacer una hoja de cálculo para simular inventario de forma sencilla— pero empecemos a hablar de introducir long lead times en múltiples proveedores y, bueno, ya sabes, eso excede rápidamente la capacidad de una hoja de cálculo. También excede la capacidad de las personas que están programando esa hoja de cálculo y que creen que pueden hacerlo por sí mismos.

Tengo una ex estudiante de doctorado, ahora es nuestra chief analytics officer, súper brillante, pero pasó ocho años haciendo planificación de operaciones en Kimberly Clark en Brasil. Hay una larga historia detrás de eso y, en un momento, estuvo luchando con, ya sabes, los problemas habituales de planificación de inventario. Así que llamó a sus viejos amigos de McKenzie —ella trabajó brevemente en McKenzie— y, adivina qué, McKenzie solo sabía lo que estaba en los libros de texto y ella se dio cuenta de inmediato de que no tenían ni idea de lo que estaban diciendo y los echó de golpe. No estamos enseñando ni siquiera a los mejores y más brillantes cómo resolver problemas. No estoy hablando de hacer matemáticas raras, estoy hablando de hacer cosas prácticas, el tipo de modelado que absolutamente debería hacerse para resolver el problema. No se está enseñando en ningún lado.

Conor Doherty: Si se me permite, se está enseñando en algún lugar. Shameless plug.

Joannes Vermorel: Shameless plug. En Lokad hemos comenzado a enseñar esto en media docena de universidades que, mayormente, están alrededor de París. También hemos iniciado una serie completa de talleres públicos para situaciones de resolución de problemas en supply chain y uno de los mayores esfuerzos que tenemos, nuestra mayor inversión que debemos hacer, es crear conjuntos de datos.

Así que creamos y publicamos los conjuntos de datos relevantes, y de hecho, mi opinión personal era que crear un conjunto de datos completamente sintético es demasiado difícil, así que simplemente tenemos que anonimizar por completo los datos existentes de los clientes con su aprobación. Tomamos datos reales, los hacemos completamente anónimos, preservamos los patrones extraños y los organizamos en conjuntos de datos relativamente pequeños y bien estructurados para que los estudiantes puedan abordar el problema sin pasar tres meses lidiando con aspectos sueltos de los datos. Estoy totalmente de acuerdo, y por cierto, mis dos padres comenzaron en Procter & Gamble, así que puedo relacionarme muy bien con ese sentimiento.

Warren Powell: Entonces, ¿a qué tipo de estudiante estás enseñando en las escuelas alrededor de París?

Joannes Vermorel: Oh, es muy clásico. El sistema francés tiene dos años de clases preparatorias, lo que básicamente implica un examen nacional. Haces dos años, exámenes nacionales, todos obtienen ranking, y tus calificaciones se publican en el periódico, así que si sacas malas, está en el periódico, sin presión. Luego, están las Grandes Écoles, pero puedes pensarlas como la mini Ivy League francesa. La gente ingresa a esas escuelas de ingeniería. Así que solo estoy hablando de tres segmentos: escuelas de ingeniería, escuelas de negocios y escuelas administrativas. Aquí, solo estoy hablando de las escuelas de ingeniería.

Warren Powell: Ingeniería, de acuerdo. Entonces, en Princeton, enseñé a los ingenieros. Ahora que me involucro con Rutgers, será la primera vez en una escuela de negocios y ya me han advertido sutilmente que, de todas las diferentes categorías de estudiantes en la escuela de negocios, aquellos que eligen la gestión de supply chain tienden a estar al final de la lista en términos de habilidades técnicas. Los de niveles superiores se inclinan hacia las finanzas y, por lo tanto, hay un efecto de reducción progresiva. No he comenzado, no voy a impartir un curso, estoy enseñando a los profesores, pero dependeré de ellos para que digan, “Mira, Warren, simplemente no vamos a poder salir con esto.”

Una cosa en la que me estoy enfocando es, digo, “Mira, hay una parte muy importante de mi marco conceptual que no involucra ninguna matemática. Se trata de las siguientes tres preguntas y, si no las respondes, no puedes construir un modelo sin estas tres preguntas.” Incluso si no vas a construir un modelo, aún deberías, si quieres resolver un problema, responder las siguientes tres preguntas: ¿cuáles son tus métricas, qué tipos de decisiones estás tomando, y cuáles son los tipos de incertidumbres?

En términos sencillos es la forma en que lo expresamos aquí, así que, sin matemáticas, estas son las preguntas para las que, si quiero construir un modelo matemático, aún debo tener las respuestas a esas preguntas. Así que he decidido: vas a la comunidad de negocios y preguntas sobre métricas, todos conocen las métricas, tienen listas y listas de métricas. Luego pasas a las decisiones y dices, “¿Tienen un pequeño libro rojo con una lista de las decisiones que toman?” y te quedan miradas en blanco.

Así que, después de esta charla, Joannes, estoy empezando a generar una serie de ideas y notas que compartiré con el resto del profesorado de Rutgers. Es un documento de Google Docs que se puede editar públicamente y me verás desarrollando diferentes categorías. Acabo de comenzar la sección sobre decisiones y también te lo enviaré porque creo que te divertirás. Esto no es para un libro ni nada, es solo charla, es mi forma de enseñar a los profesores porque no puedo decirles qué hacer; los profesores tienen que decir, “Oh, es una buena idea, creo que voy a usar eso.” Si no lo hacen, la idea no llega a la clase, pero tengo que confiar en su conocimiento acerca de lo que los estudiantes están haciendo. Existe este curso sobre análisis de operaciones, y ese es el curso donde se tratan los problemas de inventario. Creo que puedes imaginar lo que se está enseñando allí, es una presentación muy básica y yo digo, “Lo siento, ¿no deberíamos al menos decirles cómo, incluso en una hoja de cálculo, se puede simular un problema muy básico de inventario?”

Así que te enviaré el enlace al Google Doc. Una de las cosas que me encantaría compilar, y no lo he hecho, apenas estoy empezando a pensar en esto, pero no he hecho supply chain management toda mi carrera, he trabajado en un conjunto mucho más amplio de problemas. Quiero elaborar una lista de decisiones. Esto no va a ser algo pequeño; las decisiones vienen en muchos sabores y categorías, no todo es inventario. Hay finanzas, hay decisiones informacionales, y al final se va a dar, me gustaría ponerlo en una hoja de cálculo y luego me encantaría enviarlo y simplemente invitar a la gente, “Oye, ¿cuál es una de mis categorías o cuáles son ejemplos de decisiones?” porque tenía este eslogan que dice, “Si quieres gestionar cualquier cosa de mejor forma, llámalo supply chain, tienes que tomar mejores decisiones.” Nunca he oído a nadie estar en desacuerdo con eso, todos dicen: “Sí, es cierto.” Bueno, si quieres tomar mejores decisiones, ¿cuál es tu lista de decisiones? Y luego recibo miradas en blanco.

Así que voy a comenzar con un enfoque muy no cuantitativo, esto apela a tu sentido de que primero hay que modelar y pienso que para un MBA no cuantitativo, este es un buen desafío para ellos porque, al responder y luego, por supuesto, las incertidumbres, carreras enteras se construyen identificando fuentes de incertidumbre para supply chains, pero realmente me encanta lo de las decisiones. ¿No deberíamos todos ser capaces de saber qué decisiones estamos tomando? Entiendo por qué en los negocios no lo hacen, porque es como, “Bueno, ese es el problema de otra persona, yo simplemente evaluaré qué tan bien lo hace”. Así que en los negocios, todo es el lenguaje de las métricas, pero ¿no debería haber un pequeño libro rojo en algún lugar que contenga las decisiones?

Joannes Vermorel: Sí, estoy totalmente de acuerdo y las decisiones son muy difíciles porque las grandes empresas tienden a enterrar las decisiones y los procesos de toma de decisiones bajo workflows y procesos. De hecho, ni siquiera ven una decisión porque se está aplicando una regla que en realidad es un proceso de toma de decisiones. Y ya es tan ambiental que ya no lo ven, simplemente dirige la empresa. Puede ser una mala política, existe, dirige el negocio, efectivamente genera potencialmente miles de decisiones al día, y nadie ni siquiera lo ve. Una vez que ha estado en vigor por un tiempo, esta cosa ni siquiera tiene un comando. No hay nadie encargado de eso, es como tener aire fresco en el edificio, simplemente sucede, la gente ni siquiera sabe exactamente por qué es, simplemente es.

Estoy completamente de acuerdo con tu idea de decisión. Es difícil porque la gente tiene una noción equivocada sobre las decisiones. Piensan que una decisión es algo en lo que hay una reunión, hay tensión y hay un jefe, se presentarán argumentos y el jefe decidirá. Ese es un tipo de decisión, pero hay decisiones mucho más mundanas que tienen consecuencias mucho mayores. Cuando son tan mundanas que ya ni las ves, eso es muy intrigante.

Warren Powell: Porque, como dijiste, ya han elegido la política, así que una vez que fijas la política, deja de ser una decisión. Y en realidad, la decisión no es la decisión, la decisión es qué política.

Ahora permíteme ofrecer otra perspectiva. Sabes que hablo de las políticas complicadas frente a las políticas simples. Una frase que estoy casi seguro de que uso en mi gran libro es: el precio de la simplicidad son los parámetros ajustables. Prácticamente cualquier política simple, como las políticas SS, tiene parámetros ajustables, y afinarlos es difícil. Afinar es uno de esos tipos universales de decisiones. Es un problema de aprendizaje activo.

Estoy dando una charla en un taller de conferencias de supply chain analytics en Rutgers en junio, y una de las cosas que tengo es una sección completa sobre que hay algo que absolutamente todo el mundo, sin importar en qué campo esté, debe entender. Existe una clase de problema de decisiones secuenciales que se denomina aprendizaje.

Se conoce con muchos nombres. Puede ser ensayo y error inteligente, búsqueda estocástica, o multi-arm bandit, pero son problemas de aprendizaje. No hay nada físico. Cuando tienes algo físico, las cosas se complican, pero hay muchos problemas donde no es físico, es solo aprendizaje.

Pruebas esto, eso funcionó o no funcionó, probaré algo diferente. Es una decisión secuencial, pero lo único que llevas de un momento a otro es lo que aprendiste y tu creencia sobre lo que funciona mejor.

El aprendizaje secuencial debería enseñarse a nivel de pregrado, no en un solo curso, sino a lo largo del currículo, tal como se enseña estadística en diferentes estilos. El aprendizaje activo debería enseñarse a cualquiera que no sea estudiante de inglés.

A menos que seas un estudiante de humanidades, nombra cualquier campo en el que no tengas que hacer alguna forma de ensayo y error inteligente. Este es un proceso fundamentalmente humano, y existen herramientas para ello que son simples, para que puedas poner a la gente en marcha.

Existen políticas básicas llamadas políticas UCB que puedes enseñar a la gente en un minuto. Simplemente dices, mira, tienes opciones discretas, aquí está qué tan buena creo que es cada una, pero aquí está mi incertidumbre.

Hay un ejercicio simple que dice que si todo lo que haces es basarte en qué tan bueno crees que es, eso puede ser seriamente subóptimo. Quieres aspirar un poco más alto, quieres apuntar a lo bueno que algo podría ser. Esa es una perspectiva que puedes enseñar en un minuto, y sin embargo hay sutilezas que la hacen mucho más rica y que realmente deben enseñarse.

Joannes Vermorel: Estoy completamente de acuerdo. Es muy gracioso porque, desde una formación en machine learning, Lokad se dedicaba principalmente a forecast machine learning.

La situación típica era que esas políticas simplistas con parámetros ajustables nunca se afinaban en la práctica. Cuando finalmente pones las manos en el conjunto de datos de una empresa, es complicado, pero en Lokad, finalmente obtenemos el conjunto de datos.

Aplicas tus algoritmos de aprendizaje y te das cuenta de que hay muy poco que aprender porque la empresa ha estado operando con un autopiloto increíblemente rígido durante tanto tiempo que puedes tener miles de millones de dólares o euros de historial y, sin embargo, tan poco para aprender, ya que has hecho lo mismo una y otra vez sin variaciones.

Uno de los desafíos que enfrentamos es que, frecuentemente, cuando queremos aprender, tenemos que comenzar a explorar y añadir un poco de ruido. Este ruido es solo por el bien del aprendizaje.

Tienes que asegurarte de que no sea demasiado costoso, pero la idea de desviarse de lo que se considera óptimo, ellos no tienen idea de si es óptimo, pero sin duda es lo predeterminado, el status quo, la práctica.

Desviarse de la práctica para explorar de forma aleatoria algo tan abstracto como recolectar información sobre cómo es el panorama cuando te desvías de lo que usualmente haces, es muy desconcertante.

Pocas personas que han cursado MBAs y similares pueden comprender esta idea de introducir pequeñas dosis. Si eres una gran empresa, incluso una pequeña dosis de exploración, si operas a gran escala, te proporcionará mucha información con el tiempo.

En la manufactura, desviarse es malo. Quieres ser lo más rígido y consistente posible. Pero en el aprendizaje activo, si haces eso en el mundo de supply chain y eres tan rígido, y esa política permanece inmutable, casi no aprendes nada.

Ese es un concepto muy extraño. Ser introducido a la idea del aprendizaje activo, en el que puedes seleccionar cuidadosamente tus desviaciones para informarte al máximo, de modo que no sea solo hacer algo al azar, sino con la intención de aprender algo, es crucial.

Warren Powell: Las perspectivas que acabas de articular son tan fundamentalmente importantes que deberían enseñarse en todas partes, en todo tipo de campos, no solo en campos analíticos.

Eso se puede enseñar a un nivel analítico avanzado y a un nivel básico, dependiendo de los estudiantes. No sé por qué no se está enseñando.

Estoy escribiendo un artículo para Princeton localmente para decir, mira, 40 años de Princeton, adivina qué curso no estamos enseñando. Cerca de la mitad de la universidad participa en departamentos donde hay alguna oportunidad para aplicar alguna forma de pensamiento mediante ensayo y error.

Podríamos seguir durante varias horas más.

Conor Doherty: Voy a intervenir de nuevo y cerrar un círculo. Uno de los plugs sin vergüenza, solo para aclarar, cuando hablas de que los estudiantes de supply chain aprenden, los talleres que mencionaste están, de hecho, disponibles públicamente en nuestro sitio web.

En cuanto a aprender a programar para problemas de supply chain, tenemos recursos completamente gratuitos y disponibles públicamente en nuestro sitio web, docs.lokad.com. Estos son ejercicios guiados diseñados por nuestros supply chain scientists para imitar el tipo de árboles de decisión de los que estás hablando.

Si quieres evaluar el rendimiento, análisis de proveedores, tenemos un tutorial guiado gratuito para eso donde puedes ver todos los fragmentos de código diseñados específicamente para este tipo de problemas en lugar de una aproximación burda en una hoja de cálculo de Excel.

Warren Powell: Sé que en Lokad tienen su propio lenguaje de programación. Así que encontré eso muy interesante. Me encantan los recursos que están poniendo a disposición. Estamos tratando de hacer algo en esa línea para el trucking, pero el trucking es un negocio muy diferente.

Estamos tratando de poner material muy educativo. Nunca intentaríamos poner algo como eso. Primero que nada, no tenemos ese código simple y no hay nadie en la industria del truckload.

Una cosa que es bastante interesante acerca del transporte de truckload es que, bueno, no tenemos mucha competencia. No es el alcance del negocio del truckload, que en los Estados Unidos es de aproximadamente 800 mil millones de dólares al año. Quiero decir, es un gran mercado, pero es una fracción diminuta de los supply chains.

El supply chain es un verdadero océano, mientras que el truckload trucking es como un mar o algo así. Pero voy a hacer llegar tus recursos a la atención del departamento en Rutgers porque creo que eso podría ser muy interesante.

Tengo que lidiar con el hecho de que se trata de estudiantes de negocios a quienes necesito hacer aprender. También cuentan con un departamento de ingeniería industrial y tengo la sensación de que ese se orienta a un nivel más de ingeniería.

En realidad, creo que los dos departamentos deberían trabajar juntos porque ese primer paso, contestar esas tres preguntas, es realmente difícil. Realmente tienes que saber de lo que estás hablando. Así que se necesita un pensamiento de consultoría de gestión, bueno e inteligente, para responder a esas preguntas.

Una vez que las hayas respondido, ahora necesitas un conjunto de habilidades diferente para convertirlas en analíticas y usar una computadora para ayudar. Así que tengo la esperanza de que en Rutgers, pues conozco bastante bien a la gente de ingeniería industrial. El grupo que no conozco tan bien es el departamento de supply chain management. Les parece bien lo que digo y voy a intentar hacer la propuesta de unirlos.

Conor Doherty: Creo que eso ya va desde hace un buen rato y he agotado todas mis preguntas. Pero es costumbre en Lokad ofrecer la última palabra al invitado. Así que, Warren, te permitiré cerrar con algún llamado a la acción o plugs sin vergüenza. Aquí no nos importan esos.

Joannes Vermorel: Hay un llamado a la acción claro, que es comprar el libro. Es un libro muy sólido y bueno.

Warren Powell: Recomiendo que la gente no comience con el gran libro, sino con un libro que puedan descargar de forma gratuita.

Tinyurl.com/SDAmodeling, ese es el libro que escribí para la clase de pregrado. Se llama Sequential Decision Analytics and Modeling. Trabajo con un editor, ellos no me pagan nada, pero me permiten ofrecer el PDF de forma gratuita, la versión publicada.

Este es el libro. Utiliza un estilo de enseñanza mediante el ejemplo. Así que, aparte del capítulo uno, que dice “aquí está el marco universal” y contiene ejemplos de inventario, cada capítulo, excepto el capítulo 7, son solo diferentes ejemplos, todos escritos de la misma manera exacta con un énfasis en la modelación.

Entonces, tengo mis cinco elementos: Estado, decisión, información, transición, objetivo. Siempre empiezo con una narrativa, una narrativa en inglés sencillo, y luego tengo los cinco elementos. Después, digo una palabra sobre la modelación de la incertidumbre, no mucho. Luego, digo algo sobre, aquí hay una forma en que podríamos tomar decisiones.

Para el momento en que llego al capítulo 7, he dado ejemplos de las cuatro clases de políticas. Así que, el capítulo 7 dice, hagamos una pausa, miremos lo que acabamos de hacer. Los capítulos restantes, del 8 al 14, son simplemente ejemplos más avanzados, incluyendo el beer game.

El beer game es mi oportunidad para abordar un problema multi-agent. Uno de mis capítulos favoritos en mi gran libro es el último capítulo sobre multi-agent. Escribí ese capítulo y dije, si estuviera comenzando mi carrera de nuevo hoy, multi-agent sería muy divertido.

Y, por supuesto, en el mundo supply chain, todo es multi-agent. Casi define el problema que no tienes uno. Como en mi trabajo de trucking, a pesar de que hay diferentes gerentes, actuamos aproximadamente como si la compañía de trucking fuera un solo agente.

Supply chain, no puedes. Simplemente no funciona. Tienes que modelar el hecho de que tienes todos estos componentes interactuando, lo cual abre la puerta a modelar quién sabe qué. Así que ahora, estás modelando la organización de la información, no solo la ordenación de inventario.

Esta es un área fabulosa y rica. Miro 70 años de escritura de libros de texto y me doy cuenta de que nuestros libros parecen estar tan rezagados respecto a lo que se requiere para realmente resolver el problema. Me sorprende un poco eso. Es una oportunidad interesante. Ojalá fuera un par de décadas más joven.

Así que, es genial que estés haciendo esta serie de TV. Definitivamente voy a promover esto. Sin duda me gustaría enviar este enlace, pero también señalaré a la gente tu sitio web porque me encanta tu estilo académico.

Optimal Dynamics es una gran compañía. No puedo hacer mucho de un plug sin vergüenza porque está realmente enfocado en transportistas de truckload, pero haré el plug sin vergüenza de Lokad. Me gusta tu estilo. Hablo de ustedes porque significa que tienen un punto de vista muy académico.

Me encanta cómo les gusta compartir. A los académicos les encanta compartir. Sí, nos gustaría ganar algo de dinero, pero aún así no podemos evitar compartir nuestras ideas y sentirnos muy orgullosos de ello, como deberías. Aprecio eso porque he revisado tu sitio web con atención y me está ayudando a aprender cosas y captar tu estilo.

Conor Doherty: Muchas gracias. No tengo más preguntas. Joannes, te doy las gracias por tu tiempo, Warren, muchas gracias por el tuyo. Y gracias a todos por vernos. Nos vemos la próxima vez.