00:00:43 Introducción de Pierre Pinson
00:01:25 Antecedentes de Pierre Pinson y su trabajo en la ingeniería de diseño centrado en datos y forecast.
00:02:20 Cómo Pierre se interesó en el forecast probabilístico y sus aplicaciones en energía, logística y análisis de negocios.
00:04:17 Evaluando la calidad del forecast, su importancia en la toma de decisiones, y cómo se relaciona con el valor del forecast.
00:07:41 Reacciones iniciales al forecast probabilístico.
00:08:27 El problema del exceso de confianza.
00:10:00 La crítica de Claude Bernard a las estadísticas y probabilidades.
00:13:00 Determinismo vs. comportamientos estocásticos en el mundo.
00:14:37 Conectando la meteorología y los negocios con forecast probabilístico.
00:15:11 La importancia del forecast meteorológico y sus implicaciones culturales.
00:16:46 Explicando probabilidades y comprendiendo los forecast.
00:18:58 Desafíos de la sobrecarga de información y la toma de decisiones.
00:20:31 Transformando probabilidades en evaluaciones de riesgo.
00:22:14 Equilibrando la toma de decisiones automatizada y la confianza del usuario.
00:23:36 La importancia de los forecast meteorológicos en los negocios y la logística.
00:25:01 Los forecast de viento y su importancia en el sector energético.
00:26:00 Uso de datos meteorológicos en el forecast de la demanda de energía y situaciones de supply chain.
00:30:25 Diferencias en la aplicación del forecast probabilístico en contextos meteorológicos y logísticos.
00:32:46 Discutiendo los desafíos de traducir forecast probabilísticos complejos para los clientes.
00:33:32 Preocupaciones sobre el costo de la computación en la nube y el alojamiento de grandes cantidades de datos.
00:35:02 Uso de histogramas bidimensionales y su impacto en la memoria y el costo.
00:37:19 Enseñando forecast probabilístico y los desafíos que enfrentan los estudiantes.
00:40:00 Facilitando el forecast probabilístico y comprendiendo la verificación del modelo.
00:42:40 Ineficiencia en los procesos y métodos de transporte.
00:43:57 El desafío de eliminar las incertidumbres de la supply chain.
00:45:20 El costo de eliminar las incertidumbres y su impacto en diversas industrias.
00:47:00 La evolución del forecast y su transición de las matemáticas aplicadas a la economía.
00:50:53 La convergencia de diferentes campos en el forecast y la toma de decisiones bajo incertidumbre.
00:52:30 Adaptando la explicación del forecast probabilístico para diferentes perfiles.
00:53:21 Aplicando el forecast probabilístico a diversos negocios y sus beneficios.
00:55:53 El atractivo de los forecast probabilísticos visualmente interesantes y las historias de infracción de copyright.
00:58:03 Las limitaciones de los gráficos de pastel para transmitir información y su uso en etapas previas a la venta.
01:00:01 Aceptar la incertidumbre en las carreras profesionales y comprender la perspectiva probabilística.
01:02:23 Un enfoque interdisciplinario y la incertidumbre en diversas industrias.
01:04:27 La importancia de la educación y cómo las nuevas generaciones impactan la industria.
01:07:00 La curva de adopción del forecast probabilístico en diferentes campos.
01:08:33 La visión de Joannes sobre un horizonte temporal de un siglo para aceptar la incertidumbre.
01:10:37 Desafíos para adoptar nuevas ideas y el lento ritmo de cambio en algunos campos.
01:12:14 La importancia de las matemáticas en la tecnología de forecast.
01:13:26 Los avances futuros en la ciencia y tecnología del forecast.
Resumen
En una entrevista con Conor Doherty, Joannes Vermorel, fundador de Lokad, y Pierre Pinson, Chair of Data-centric Design Engineering en Imperial College London, discuten forecast probabilístico y sus aplicaciones en diversos campos. Enfatizan la importancia de comprender la incertidumbre en el forecast y la necesidad de una educación continua en el área. Los tres coinciden en que la innovación sucede más rápido de lo que la gente puede abrazarla, y animan a mantenerse actualizados sobre los nuevos desarrollos en el campo y a estar preparados para los avances que aún están por venir.
Resumen ampliado
En esta entrevista, el anfitrión Conor Doherty discute el forecast probabilístico con los invitados Joannes Vermorel, fundador de Lokad, y Pierre Pinson, Chair of Data-centric Design Engineering en Imperial College London. Pinson cuenta con una amplia experiencia en ingeniería de diseño centrado en datos y se ha centrado en diversas áreas de aplicación, incluyendo energía y logística. Vermorel, por su parte, abordó el forecast probabilístico desde una perspectiva de supply chain.
Inicialmente, Pinson se interesó por el clima y la energía renovable, y le ofrecieron un doctorado en el forecast para parques eólicos. Él enfatiza la importancia de comprender la incertidumbre de un forecast y el rango potencial de resultados. El camino de Vermorel hacia el forecast probabilístico comenzó con la constatación de que muchos forecast de supply chain eran mayormente cero. Descubrió que, si bien todo es posible, no todo es igualmente probable, y comprender la estructura de las inexactitudes del forecast puede ser valioso.
La meteorología utiliza diversas métricas para evaluar la calidad del forecast, como la distancia entre las predicciones y los resultados reales, y el promedio de las diferencias absolutas entre ambos. Sin embargo, estas métricas no siempre pueden indicar si un forecast es bueno o malo para una aplicación específica. Vermorel añade que el forecast probabilístico puede ayudar a proporcionar una opinión fundamentada sobre el ámbito de las posibilidades.
Un desafío al que se enfrentan quienes trabajan con forecast probabilístico es convencer a otros de aceptar y adoptar la idea de cuantificar la incertidumbre. Generalmente, la gente prefiere forecasts deterministas debido a sesgos cognitivos que favorecen el exceso de confianza. Sin embargo, los forecasts probabilísticos proporcionan una representación más transparente y justa de los posibles resultados. El uso de forecasts probabilísticos en la toma de decisiones puede conducir a mejores resultados, pero es necesario que las personas estén abiertas a la idea de la incertidumbre.
Claude Bernard, un fisiólogo francés del siglo XIX, se opuso al uso de estadísticas y probabilidades en experimentos científicos, sugiriendo que la variabilidad era el resultado de una comprensión incompleta o de una ciencia perezosa. Sin embargo, Pinson cree que, si bien los enfoques deterministas pueden funcionar bien para ciertos problemas, el mundo no es fundamentalmente determinista. El forecast probabilístico es valioso para situaciones con comportamiento estocástico e incertidumbre inherentes.
Uno de los principales desafíos del forecast probabilístico es la sobrecarga de información. La gente ya tiene mucha información que procesar, y añadir datos probabilísticos puede dificultar aún más la comprensión de todo. Esto puede ser especialmente cierto al tratar con grandes conjuntos de datos, como en el forecast para millones de productos en una supply chain.
Para abordar este problema, algunas empresas han recurrido a la toma de decisiones automatizada o a evaluaciones de riesgo para ayudar a los usuarios a comprender los forecasts probabilísticos. Al transformar los datos probabilísticos en riesgos cuantificados, los usuarios pueden entender mejor las posibles consecuencias de sus decisiones sin verse abrumados por la complejidad de los datos.
En el campo de la meteorología, el forecast probabilístico ha demostrado ser útil para predecir variables como la temperatura, la precipitación, la velocidad del viento y la radiación solar. Estas variables pueden tener un impacto significativo en diversos aspectos de la vida diaria y de los negocios, como la producción y el consumo de energía. En algunos casos, el uso de datos meteorológicos en el forecast de supply chain puede conducir a predicciones más precisas, particularmente al lidiar con cambios repentinos en los patrones climáticos.
Sin embargo, los entrevistados también reconocen que incorporar datos meteorológicos en el forecast de supply chain ha sido un desafío, con pocos ejemplos exitosos. Un caso involucró el uso de datos meteorológicos para mejorar los forecasts de demanda de energía para un proveedor eléctrico en Europa. Al incorporar datos meteorológicos en sus forecasts, la compañía pudo reducir las inexactitudes provocadas por cambios rápidos en el clima.
Vermorel comparte sus experiencias con Lokad, que ha logrado una precisión impresionante en sus modelos de forecast, a pesar de su simplicidad. Un ejemplo que proporciona es un proyecto con un vendedor de helados que quería predecir picos en la demanda basándose en las condiciones meteorológicas. Aunque el análisis post-mortem fue exitoso para determinar las razones del aumento en las ventas, predecir la demanda resultó ser más difícil debido a los largos tiempos de entrega involucrados en la supply chain. Vermorel enfatiza que, a pesar de los desafíos enfrentados, aún existe potencial para que el forecast probabilístico sea exitoso en diversas industrias.
Pinson discute las diferencias entre aplicar el forecast probabilístico en contextos meteorológicos versus contextos de logística y negocios. Explica que el principal desafío es determinar el forecast adecuado que se utilizará como insumo para los procesos de toma de decisiones. Menciona que escenarios, intervalos y cuantiles son algunas de las opciones que se pueden considerar, pero en última instancia depende de las necesidades específicas del cliente o consumidor.
Vermorel también destaca la importancia de considerar los costos de computación al implementar técnicas de forecast probabilístico. Según su experiencia, los histogramas y las densidades de probabilidad proporcionan la información más detallada, pero pueden ser computacionalmente costosos, especialmente al tratar con datos de alta dimensión. Como resultado, Lokad a menudo emplea una combinación de técnicas para mantener los costos manejables y los cálculos eficientes.
Al enseñar a los estudiantes sobre el forecast probabilístico, Pinson encuentra que el mayor desafío no es convencerlos de los méritos del concepto, sino ayudarlos a comprender las implicaciones prácticas de aplicar estas técnicas en situaciones del mundo real. Vermorel añade que es crucial que los profesionales equilibren los aspectos teóricos del forecast probabilístico con las consideraciones prácticas de costo y eficiencia computacional.
Vermorel comparte sus dificultades al enseñar a personas que ya han recibido una educación de consultores que abogan por movimientos lean y por eliminar la incertidumbre de las supply chains. Él cree que algunas incertidumbres pueden ser eliminadas, pero otras son aceptables y deben gestionarse con las herramientas adecuadas.
Pinson enfatiza que eliminar la incertidumbre puede ser costoso, y que es mejor aceptarla y gestionarla de manera sensata. Da el ejemplo de la energía renovable, donde desarrollar sistemas de almacenamiento para manejar una cantidad infinita de energía sería extremadamente caro e inviable. En cambio, aceptar la incertidumbre y hacer forecast puede ser más rentable y práctico.
La discusión pasa a los aspectos históricos y culturales del forecast, donde la gente siempre ha tratado de vivir en un mundo determinista y eliminar la incertidumbre. También discuten la convergencia de diferentes campos, como las ciencias naturales, las ciencias sociales y la economía, en el forecast y la toma de decisiones bajo incertidumbre.
Pinson habla sobre los desafíos de enseñar el forecast probabilístico a personas con diferentes antecedentes y la necesidad de una versión abreviada para aquellos que no tienen una sólida formación matemática. Sugiere comenzar con ejemplos simples y aumentar gradualmente la complejidad, mientras se enfatiza la importancia de comprender los principios y conceptos subyacentes.
Vermorel comparte su experiencia con la infracción de copyright, ya que algunos de los gráficos de su compañía fueron reutilizados en LinkedIn sin permiso. Sin embargo, estos gráficos atractivos pueden captar la atención de potenciales clientes y hacer que la compañía parezca más avanzada tecnológicamente.
Pinson habla de cómo la incertidumbre está presente en cada aspecto de nuestras vidas, y de cómo comprenderla y gestionarla es crucial para los profesionales en diversos campos. La educación juega un papel clave en promover este entendimiento, ya que los estudiantes que aprenden sobre el forecast probabilístico pueden aportar estas habilidades al mundo laboral y marcar la diferencia en sus compañías.
Pinson cree que la adopción del forecast probabilístico seguirá creciendo en diferentes industrias, a medida que más personas se eduquen sobre él y las compañías se inspiren mutuamente para obtener ideas. Cita la industria naviera como un ejemplo de un campo que ha sido lento en adoptar el forecast probabilístico, pero que ahora busca orientación en otros campos para incorporarlo en sus operaciones.
Vermorel destaca la importancia de comprender la incertidumbre en el forecast, citando el ejemplo de la Batalla del siglo XIX, donde casi tomó un siglo entero para que la gente admitiera que la química era relevante para la medicina. Sugiere que la innovación sucede más rápido de lo que la gente puede abrazarla, y que la educación juega un papel crucial en este proceso. Vermorel también menciona la cita de Niels Bohr, “La ciencia progresa un funeral a la vez,” enfatizando la noción de que los avances significativos pueden ocurrir rápidamente, pero comprender sus implicaciones parece llevar una eternidad.
Pinson discute las aplicaciones de forecast probabilístico en meteorología, mencionando que, aunque las matemáticas detrás de la tecnología de forecast puede que no sean la parte más relevante de la discusión, es esencial reconocer los desarrollos en curso en las matemáticas aplicadas. Explica que diseñar maquinaria para forecast millones de time series en paralelo presenta desafíos, pero los investigadores están desarrollando continuamente nuevos modelos y tecnologías para el futuro.
Ambos Vermorel y Pinson coinciden en que aún queda mucho progreso por hacer en forecast y forecast probabilístico, así como en la necesidad de educación continua y de comprender la incertidumbre. Animan a mantenerse actualizados sobre los nuevos desarrollos en el campo y a estar preparados para los avances que aún están por venir.
Transcripción Completa
Conor Doherty: ¡Bienvenidos de nuevo a LokadTV! Soy su anfitrión, Conor, y como siempre, estoy acompañado por el fundador de Lokad, Joannes Vermorel. Nos acompaña hoy Pierre Pinson, quien es el editor en jefe de la International Journal of Forecasting y Chief Scientist en Half Space. Hoy nos hablará sobre múltiples aplicaciones interesantes de forecast probabilístico. Bienvenido a Lokad, un placer conocerte.
Pierre Pinson: Gracias por invitarme hoy.
Conor Doherty: Y muchas gracias por acompañarnos. Ambos estamos muy emocionados de tenerte aquí. Ahora, Pierre, en realidad hice una introducción muy breve; en realidad tienes un CV bastante extenso. Así que, en primer lugar, ¿podrías darnos a todos una idea de tu trayectoria y a qué te dedicas, ya que sé que estás involucrado en múltiples proyectos en varios campos?
Pierre Pinson: Sí, muchas gracias. En primer lugar, soy profesor actualmente en el Imperial College de Londres. Encabezo una cátedra que se centra en la ingeniería de diseño centrada en datos. Dado que hoy en día fluye cada vez más data, tenemos que generar valor a partir de ella, y ese es el objetivo de mi investigación y de mi docencia. Obviamente, una de las aplicaciones más interesantes y primeras que pensamos con los datos es el forecast, así que es algo que he estado haciendo durante los últimos 20 años, centrándome en diferentes áreas de aplicación, principalmente en energía, ya que hay tanto forecast que es relevante y necesario para la energía hoy en día, pero también para la logística, business analytics, etc.
Conor Doherty: Muchos campos interesantes y mucho solapamiento con lo que queremos hacer. Entonces, en primer lugar, ¿cómo te introdujiste en el forecast probabilístico?
Pierre Pinson: Bueno, en realidad, nunca quise hacer forecast probabilístico desde el principio, debo confesar. Me interesaban mucho el clima y las energías renovables, y se me ofreció hacer un doctorado en forecast para renovables, para parques eólicos, ya sabes, en cuánto iban a producir los parques eólicos mañana. La cuestión es que un forecaster siempre se equivoca, y mi director de tesis dijo: “Bueno, nos gustaría saber cuán equivocados están, pero no debería ser solo una métrica, ¿verdad? Que un forecast sea tan bueno o tan malo en promedio. Nos gustaría saber, en este preciso momento, mirando hacia mañana, si mi forecast va a ser bueno o no.” Y fue así como me desvié hacia el forecast probabilístico, porque entonces tienes esta idea, condicional a lo que sé hoy, proyectándome hacia mañana, y cómo puedo describir de alguna manera la incertidumbre de lo que puede suceder y tal vez indicar cuál es el resultado más probable, cuál sería el resultado esperado, y cuál podría ser, quizás, algún intervalo para lo que pueda suceder.
Conor Doherty: Bueno, eso es interesante, y me dirigiré a ti, Joannes, en un momento sobre esto, pero cuando hablas de qué hace que un forecast sea bueno en meteorología, ¿qué métricas utilizas para medir su efectividad? No puede ser simplemente “bueno, hoy no llovió, por lo tanto fue 100% preciso”. ¿Cuáles son las métricas para eso?
Pierre Pinson: Sí, por eso en realidad es una ciencia en sí misma, ya sabes, cómo evaluar un forecast y decidir si fue un buen forecast o no. En principio, cuando tienes un forecast para una variable continua, como la velocidad del viento o la temperatura, pensamos en la calidad del forecast como la relacionada con la distancia entre lo que predijiste y lo que realmente ocurrió. Luego hay diferentes formas de tratar esta distancia. Puedes tomar una suma de distancias al cuadrado o errores cuadrados, puedes observar el promedio de la diferencia absoluta entre ambos, etc. Entonces, hay muchas métricas que indican qué tan bueno es el forecast o no. El problema es que es solo un número. Así que, si te digo que en promedio mi forecast tiene un error de dos, podrías decir, “Está bien, genial,” pero, ¿eso hace que el forecast sea bueno o malo para mi aplicación? Y ese ha sido muy a menudo el problema durante las últimas décadas de desarrollo en forecast: necesitamos vincular la calidad del forecast —qué tan bueno eres en términos de esta distancia— con el valor del forecast, es decir, qué tan bueno será si utilizo este forecast para mis problemas de toma de decisiones.
Conor Doherty: ¿Hay alguna similitud con la forma en que nosotros lo abordamos?
Joannes Vermorel: Es muy interesante, porque en Lokad llegamos al forecast probabilístico por una ruta completamente diferente, y lo que describes se acerca mucho a la opinión fundamentada que adquirí tras algunos años, a diferencia del punto de partida. Mi enfoque inicial era algo mucho más mundano. Era el hecho de que, en realidad, estábamos haciendo forecast de muchas cosas en supply chain, y simplemente predecíamos ceros. He contado esta anécdota un par de veces porque cuando hicimos nuestros primeros intentos de forecast de ventas para mini markets, en los que la mayoría de los productos se venden, en promedio, cero veces al día, eso es lo más cercano que se puede obtener redondeado al entero más cercano. Tienes como el 95% de los productos en un mini market típico vendiéndose cero unidades en cualquier día. Y el problema era literalmente ese, y así empezamos a tener un sesgo en el forecast que nos llevó a los quantiles. Y luego, mientras jugábamos con los quantiles, nos dimos cuenta de que probablemente deberíamos tener todos los quantiles de una vez, y pasamos a los forecast probabilísticos. Pero hoy en día, cuando tengo que explicar por qué importan los forecast probabilísticos, creo que la forma en que lo abordamos es que, sí, tu forecast es desesperadamente inexacto, lo sabemos. Mi forecast, en el caso de que sea un proveedor, es desesperadamente inexacto, pero esto no es lo mismo que decir que no tengo la más mínima idea acerca de cuáles serán esas inexactitudes. En realidad, tengo una opinión bastante fundamentada sobre el reino de las posibilidades. Todo es posible, pero no todo es igualmente probable. En tu opinión fundamentada sobre el reino de las posibilidades, todo es posible pero no igualmente probable, y existe una estructura para analizar el error. ¿Puedes elaborar sobre eso?
Pierre Pinson: Lo más extraño e intrigante para la gente es la idea de que existe una estructura en este análisis del error. La gente piensa intuitivamente que la incertidumbre surge de no saber las cosas, y luego les dices que hay una estructura en lo que no saben. Suena confuso. Cuando empecé a abogar por los forecast probabilísticos, la reacción inicial que recibí fue que, sin importar lo que suceda, nunca me equivocaría porque mi forecast siempre tomaría en cuenta la posibilidad de que algo ocurra. La gente lo veía como el mecanismo de defensa definitivo para el proveedor.
Joannes Vermorel: Es interesante escuchar tus anécdotas, pero también se puede ver desde otra perspectiva. Existe la “paradoja del ratón grande” de la psicología y el marketing, donde se le da más crédito a las personas demasiado seguras en una sala, incluso si pueden estar equivocadas. La mayoría de la gente prefiere un forecast determinista porque les brinda una sensación de confianza, a pesar de saber que va a estar equivocado. Proporcionar un forecast probabilístico es, en realidad, ser más transparente y justo, pero la gente tiene que aceptar eso y luchar contra su sesgo cognitivo hacia el determinismo.
Cuando confesamos que no podemos ser exactos, pero podemos dar una idea bastante buena del rango de posibilidades, estamos siendo más transparentes y posiblemente mejores en términos de la calidad del forecast. El mayor problema para aquellos de nosotros que trabajamos con forecast probabilístico es lograr que la gente acepte la idea de abrazar la incertidumbre y utilizarla en la toma de decisiones. En realidad, esto conducirá a mejores resultados. Este tipo de determinismo en la vida es un gran problema que tenemos como personas que trabajamos con forecast probabilístico. Tenemos que lograr de alguna manera que la gente acepte que debe relajarse con la idea de que quieren que ese único punto sea informativo y verdadero. Tienen que aceptar el hecho de que, mientras se pueda cuantificar la incertidumbre y usarla en la toma de decisiones, las cosas serán mejores. Solo se puede mejorar.
Conor Doherty: ¿Cuáles son tus pensamientos sobre esto, Joannes?
Joannes Vermorel: Es muy interesante esta idea de admitir tu propia debilidad. Si retrocedes en el tiempo hasta Claude Bernard, quien inventó el experimento de control, él presentó un argumento completo contra el uso de estadísticas y probabilidades. Su punto, de hecho, está muy bien expresado. Argumentó que si tienes algo que varía, simplemente significa que tienes un experimento deficiente y no controlas lo suficiente las variables. Él estaba en el campo de la medicina y dijo que, si hay variabilidad, existe una tercera variable que la explica. Así que se oponía a la idea de usar estadísticas y probabilidades porque, desde su perspectiva, era una admisión de tener una comprensión incompleta, de ser un científico perezoso. Terminas con estas estadísticas elegantes que son solo una excusa para tus propias insuficiencias. ¿Cuál es tu perspectiva sobre esta objeción, Pierre?
Pierre Pinson: Estoy de acuerdo en que es cierto para ciertos problemas en los que se confía únicamente en las leyes de la física, en un entorno muy controlado, y se piensa que el enfoque determinista debería ser suficiente. No deberías preocuparte demasiado por todas estas incertidumbres y por tener un marco probabilístico. Pero si miras el caso más general, es casi una declaración filosófica sobre el mundo. ¿Creemos que el mundo es fundamentalmente determinista en todo lo que sucede? ¿O es que en realidad existe algún tipo de comportamiento estocástico a nuestro alrededor? Ya sabes, algunas reglas estocásticas, y eso hace que la idea básica del determinismo no sea siempre aplicable. Lo vemos con el clima, y hemos estado tratando de pensar: ya sabes, si tenemos más y más mediciones, si somos mejores entendiendo las leyes de la física, de alguna manera deberíamos poder verlo como un proceso determinista y predecirlo. Y esa es una buena esperanza, pero ha habido, creo, experimentos repetidos durante los últimos 100 años en los que nos damos cuenta de que, eventualmente, tal vez no todo pueda ser determinista, e incluso estos argumentos que mencionaste, este conocimiento incompleto, creo que hay tantas cosas que necesitamos modelar y predecir donde nunca tendremos suficiente conocimiento para terminar ubicándonos dentro de un marco determinista. Simplemente no es posible.
Conor Doherty: Bueno, si puedo intervenir en ese punto, porque una pregunta que quería hacer hace un momento fue si, de alguna manera, se fusionaron la idea de negocio y la meteorología, ya que hay un puente interesante entre estos dos aspectos, especialmente dado tu trasfondo, porque, de nuevo, tienes experiencia tanto en negocios como en meteorología. Así que, presumiblemente, te encontraste en una situación en la que aplicaste forecast probabilístico a un problema empresarial, tal vez enfrentándote a cierto grado de resistencia, como “oh, no quiero usar forecast probabilístico, eso es el arte oscuro”, pero esa misma persona, 10 segundos después, saca su iPhone y dice, “oh, 60% de probabilidad de que llueva más tarde, será mejor llevar un paraguas.” ¿Cómo transitas en ese momento esa especie de disonancia cognitiva?
Pierre Pinson: Es un muy buen punto, y hay una cuestión cultural allí. Creo que hemos observado que, como mencionaste, el forecast meteorológico es un campo importante porque está en todas partes; todos lo usan y son muy sensibles a él. La gente es sensible a esta información, por lo que es, en realidad, un campo donde se ha comprobado que si cambiamos la forma en que comunicamos la información del forecast, hay cosas que funcionan y hay cosas que no. A veces es difícil para la gente apreciar realmente de qué se trata la información, pero encontramos que es útil, pase lo que pase. Sabemos que le encontramos utilidad, pero es un proceso, y creo que es el mismo proceso que tenemos que atravesar en diferentes campos. Eso puede ser en negocios, en problemas de ingeniería, en seguros; pueden haber tantas áreas en las que, en realidad, nosotros como científicos o proveedores de forecast, dentro del ecosistema industrial, tenemos que contribuir a cambiar la cultura para que la gente, los clientes o los usuarios en general, se den cuenta de que podemos pensar de manera diferente y que existen beneficios.
Conor Doherty: Bueno, solo para continuar, ya que dijiste que, si entendí correctamente, encontraste que había ciertos mecanismos para transmitir información, información meteorológica o forecast meteorológicos, que resonaban con la gente, y había mecanismos que no. ¿Podrías ampliar un poco más sobre eso, por favor, o dar quizás un ejemplo para que la gente pueda entender?
Pierre Pinson: Se han realizado diferentes estudios por psicólogos que trabajan con forecasters del clima. Por ejemplo, si se hiciera una afirmación hablando sobre la probabilidad de lluvia, como decir que hay un 60% de probabilidad de lluvia sobre Londres en las próximas dos horas, la gente lo interpretaría de manera diferente. Algunas personas piensan que significa que lloverá el 60% del tiempo en Londres, mientras que otras creen que significa que hay un 60% de probabilidad de lluvia en una ubicación determinada de Londres. A la gente le cuesta comprender lo que la probabilidad significa fundamentalmente.
Joannes Vermorel: Sí, hemos visto este problema también al trabajar con usuarios o clientes. Se invierte una cantidad significativa de trabajo en desarrollar la metodología de forecast de probabilidad y en analizar cómo podría utilizarse en la práctica. Pero también se debe dedicar mucho esfuerzo a ayudar a la gente a entender lo que realmente significa la información y cómo puede afectar su forma de tomar decisiones. El desafío es lograr que la gente comprenda cómo pasar de un forecast probabilístico a una decisión que sea mejor que si hubieran usado forecasts deterministas. Si no lo entienden, no lo aceptarán.
Conor Doherty: ¿Cómo lo haces claro? ¿Utilizas un enfoque de caja blanca?
Joannes Vermorel: Estamos haciendo algo que es a la vez similar y disímil. Mi lucha, viniendo de un fondo de supply chain, es lidiar con la sobrecarga de información. La gente ya tiene demasiada información. Incluso los forecast deterministas pueden ser abrumadores, ya que a menudo están súper agregados y presentan diversos problemas. Cuando te adentras en el ámbito del forecast probabilístico, se vuelve dos órdenes de magnitud peor, con histogramas para cada punto de datos y aún más complejidad si consideras probabilidades de alta dimensión.
Inicialmente, tratamos de mejorar la visualización y otros aspectos, pero al final, convergimos en una solución en la que eliminamos las probabilidades desde la perspectiva del usuario. Basamos las decisiones en probabilidades, pero las transformamos en evaluaciones de riesgo expresadas en moneda. Por ejemplo, podríamos decirle a un cliente que el riesgo de sobrestock es de X cantidad, y el riesgo de faltante de stock es de Y cantidad. Cuantificamos las clases y perspectivas de riesgo, siendo el forecast probabilístico subyacente la base para estas evaluaciones.
Por supuesto, esta no es la solución perfecta, pero funciona para nuestros clientes. A veces, los equipos de data scientist adoran trabajar con probabilidades, pero los expertos en supply chain, que no están tan versados en probabilidades, encuentran este enfoque más accesible. Diría que el experto en supply chain, que es increíblemente competente en supply chain pero no tan versado en probabilidades, encuentra muy difícil interesarse en ello, debido a la sobrecarga de información que esto demanda. Muy rápidamente, estos gerentes deben evaluar si vale la pena dedicar tiempo a estos histogramas. Ese es un argumento de venta muy difícil cuando empiezas a hablar con personas que valoran altamente su tiempo.
Pierre Pinson: De acuerdo, estoy totalmente de acuerdo. Existen trayectorias muy diferentes. Como mencionaste, hay diferentes maneras de abordar este problema de la sobrecarga de información. Estoy totalmente de acuerdo con tu estrategia. Creo que intentar implementar una toma de decisiones automatizada, o sugerir decisiones óptimas, habiendo comprendido la relación costo-pérdida del usuario, etc., es algo bueno. Pero, de nuevo, tienen que entender cómo se llegó a esa solución y por qué deberían confiar en ella desde el principio, lo cual es curioso porque cuando era determinista, confiaban en ello. Y ahora que aparece la palabra probabilidad, ya no confían en ello. Pero esa es otra historia. La belleza de tener información probabilística es que puedes ofrecer esa capa extra de evaluaciones muy básicas, evaluaciones de riesgo, que es lo que realmente desean cuando dicen aceptar lo probabilístico. Por favor, dime a qué riesgo estoy expuesto. Este es el tipo más sencillo de información que se puede proporcionar y que ofrece los beneficios del forecast probabilístico sin esa sobrecarga de información que mencionaste. Así que, en realidad, creo que es una muy buena estrategia.
Conor Doherty: Bueno, hemos empezado a fusionar los temas, como la meteorología y los negocios. Entonces, en este punto, Pierre, dado que tienes mucha experiencia en ambos, ¿cuáles son algunos ejemplos de forecast meteorológicos clave o datos meteorológicos que has tomado y aplicado en un contexto empresarial o logístico?
Pierre Pinson: La información de forecast meteorológico que puedes querer usar como entrada para la toma de decisiones tiene muy pocas variables que son extremadamente importantes, y luego la importancia de la variable disminuye rápidamente. Las variables más importantes son la temperatura, que impulsa tantos otros procesos en nuestras vidas, y luego está la precipitación. Más recientemente, está el viento porque, en los viejos tiempos, hace unos 30 años, cuando los pronosticadores del tiempo hablaban sobre el viento, producían forecast de viento casi por diversión, porque a nadie le importaba demasiado. Es simplemente, ¿va a hacer viento o no? Y tal vez, si practicas vela, te interesa un poco más. Pero hoy, debido a las aplicaciones energéticas, los forecast de velocidad del viento son extremadamente importantes porque solo un pequeño error en el forecast de la velocidad del viento se traduce en enormes errores en el forecast de la energía que estará disponible mañana. Así que, piensa en un país como Dinamarca, donde en promedio, la mitad de la energía proviene del viento. Es bastante importante tener buenos forecast de viento. Estas son las variables más relevantes, y ahora también se está incorporando la irradiancia solar debido a la energía solar. Pero diría que estas son las variables más importantes, y después de eso, en términos de impacto, estas variables meteorológicas se utilizan en todas partes hoy en día. Quiero decir, cuando observas la importancia del forecast meteorológico y la calidad de los forecast en nuestra vida diaria, tanto en un contexto empresarial como en el cotidiano, es extremadamente importante.
Conor Doherty: Seguramente, en términos de plazos de entrega cuando se trata de que las mercancías se envíen desde el extranjero, es decir, entendiendo lo que Pierre acaba de describir, eso debe influir en el forecast probabilístico para supply chains, por ejemplo.
Joannes Vermorel: En toda la historia de Lokad, creo que solo tuvimos dos ocasiones en las que realmente logramos utilizar datos meteorológicos en situaciones de supply chain. De nuevo, eso pudo ser por falta de talento, falta de dedicación, o muchas otras cosas. Pero lo fundamental fue que, para el forecast, tuvimos a un importante proveedor eléctrico europeo hace una década, y teníamos un contrato para mejorar su forecast de demanda eléctrica tomando en cuenta el clima. Y ese, para mí, es el único caso en que hubo una ganancia muy clara al usar datos meteorológicos. Funciona, y lo esencial fue que estábamos observando forecasts que ya estaban bastante agregados, esencialmente por regiones. Así que, el forecast incluso sin el clima ya era muy preciso, quiero decir, con una precisión del 2% porque estaban muy agregados. Pero, cabe mencionar, eso era solo la demanda eléctrica, no solo, y la demanda eléctrica solo de un día para el siguiente. Así que, solo mirabas 24 horas por delante, y las regiones agregadas serían, digamos, un país como Bélgica, o tal vez Francia dividida en cinco áreas, de un nivel bastante alto.
Sin el clima, tendrías un forecast, un forecast de series temporales que tenía un 2% de precisión, y la mayoría de las imprecisiones se debían a cambios bruscos en el clima. Cuando hace frío, tiende a mantenerse frío, pero luego, cuando de repente hay un cambio en el clima, ocurre ese salto y no se percibe. Así que, era más como si tuvieras un forecast que tenía un 0.5% de precisión en promedio, pero luego se acumulaba quizá un 5 o 6% de imprecisión en el día en que el clima cambiaba. Y al incorporar el clima, ya habían logrado algo como un 0.5% de precisión, y con Lokad, logramos casi el mismo tipo de precisión, pero solo con modelos que eran en realidad mucho más simples y manejables en términos de software de computadora. Así que, fue un tipo específico de iniciativa.
Esa fue la primera vez en la que dije que realmente funciona muy bien. La segunda fue con marcas FMCG que querían forecast, esencialmente, picos de demanda utilizando forecast meteorológicos. Desafortunadamente, los resultados fueron en su mayoría negativos. Lo que funcionó muy bien fue, y no voy a dar el nombre de la marca, pero digamos que fue un vendedor de helados, y que solo querían saber qué funcionaba muy bien después del verano. La pregunta era, ¿vendimos más helados porque hacía mucho calor o porque la promoción de marketing era muy buena? Como técnica post-mortem para explicar la situación, funcionó bien. Sin embargo, el problema a la hora de predecir es que los plazos de entrega involucrados en la mayoría de las situaciones de supply chain son significativos. Por ejemplo, si produces helados, tienes que pedir materias primas y preparar tu programa de producción con unas seis semanas de antelación. En ese punto, la precisión de los forecast meteorológicos tiende a regresar a promedios estacionales, los cuales no son lo suficientemente mejores que el promedio estacional para cambiar tu decisión. En nuestra experiencia, resultó ser increíblemente difícil, y tuvimos pocos éxitos, pero fue muy educativo en muchos aspectos.
Conor Doherty: Pierre, cuando se trata de aplicar forecast probabilístico en un contexto meteorológico, ¿cómo se traduce eso al aplicarlo en un contexto logístico o empresarial? ¿Existen similitudes en términos de restricciones o el proceso?
Pierre Pinson: Uno de los principales problemas que resulta clave cuando pensamos en diferentes aplicaciones, ya sea en meteorología o en sectores sensibles al clima, es el tipo de producto de forecast que es útil como insumo para la toma de decisiones. Típicamente, los forecast meteorológicos utilizan forecast de conjunto, que consisten en múltiples trayectorias o futuros potenciales. Por ejemplo, el Centro Europeo dispone de 51 escenarios alternativos. Sin embargo, existen muchos tipos de procesos de decisión donde se requieren diferentes productos de forecast.
En el trading, por ejemplo, la gente prefiere usar densidades, que son descripciones completas de la función de densidad de probabilidad. Algunas personas prefieren intervalos y niveles predefinidos de confianza como insumo para la toma de decisiones. Otros solicitan cuantiles específicos basados en sus consideraciones costo-pérdida. Entonces, la principal diferencia que he observado entre la meteorología y otros campos es que tenemos que dedicar mucho tiempo a pensar en el producto de forecast adecuado para usar como insumo. Tenemos que ponernos en el mundo de nuestros clientes y encontrar la mejor manera de transformar la información compleja de los forecast probabilísticos en lo que les sea más útil. Así, el forecast debe ser útil para los clientes, y tu enfoque se centra en eso también. ¿Puedes elaborar más sobre las preocupaciones con los costos de computación en la nube y cómo afectan tu trabajo?
Joannes Vermorel: Sí, como proveedor de enterprise software, una de las preocupaciones principales es el costo de computación en la nube, de manera muy mundana. Solo para darte una idea de la escala, la base de clientes de Lokad gestiona alrededor de un petabyte de datos, y eso es por lo que estamos pagando actualmente a Microsoft, nuestro proveedor de hosting en la nube. Es un buen negocio tanto para Microsoft como para Lokad, pero hay costos involucrados. La mayor parte de lo que observamos está impulsada por la eficiencia de costos que podemos tener en términos del hardware de computación.
Los histogramas y las densidades de probabilidad suelen ser lo mejor. Son súper ricos, súper agradables y súper fáciles de usar. Pero el problema es que, en una dimensión, esto está bien. Tienes un costo fijo, así que inflas la cantidad de datos, digamos, 100 veces y obtienes un buen histograma. Pero luego, si pasas a dos dimensiones, porque quieres tener una matriz de probabilidades, se vuelve más complicado. Por ejemplo, podrías querer observar las probabilidades de tener una demanda específica para un producto y las probabilidades de tener la misma demanda para otro producto, pero de manera conjunta. La razón es que estos productos son competidores, y cuando la demanda se dispara para un producto, suele deberse a la canibalización del otro. Así que deseas probabilidades que reconozcan el hecho de que, muy probablemente, si la demanda de un producto va a dispararse, significa que la demanda de otro va a disminuir, y viceversa. Ahora, si lo haces con una matriz, tienes un histograma bidimensional, y la memoria requerida aumenta significativamente. Se agrava a medida que aumentas las dimensiones, encareciendo mucho las cosas.
Del mismo modo, cuando quieres recurrir a simulaciones al estilo Monte Carlo, que son muy buenas para manejar cosas de alta dimensión, el problema es que los rendimientos decrecen con muchos escenarios. Puede que necesites muchos escenarios incluso para poder observar un riesgo que es algo raro, como 10,000 casos. La mayoría de nuestras consideraciones se deben al hecho de que necesitamos mantener los costos de computación manejables. No se trata solo del costo que pagamos a Microsoft, sino también del hecho de que, cuando usas algo más complejo, los cálculos toman más tiempo, y la gente tiene que esperar a que se complete el forecast antes de poder continuar con sus tareas.
Para las técnicas deterministas de series temporales, especialmente las anteriores al machine learning que se usaban hasta los años 90, puedes tenerlas casi en tiempo real, incluso si hay ciclicidades y demás. Son súper ágiles, y puedes obtener resultados rápidamente con métodos como ARIMA o suavizamiento exponencial; todas esas cosas se pueden hacer en tiempo real, incluso si hay ciclicidades y demás. Pero si optas por algo súper sofisticado, como una red de Deep Learning muy profunda, este tipo de cosas puede tardar horas en entrenarse, y para nosotros, eso implica un gran costo. Además, desde nuestra perspectiva, lo que tiende a dominar es la practicidad, y esa es una gran preocupación.
Conor Doherty: Pierre, una de las cosas que haces es enseñar en el Imperial College London, y te encuentras con estudiantes que asisten a tu clase para aprender sobre forecast probabilístico por primera vez. Con personas que ya tienen una formación en matemáticas y que ya están, de alguna manera, convencidos del concepto de abrazar la incertidumbre, en tu experiencia, ¿cuál es el mayor desafío que enfrentan en términos de aprender estas habilidades, siguiendo esencialmente tu ejemplo?
Pierre Pinson: En cuanto a la enseñanza del forecast, lo hice más cuando estaba radicado en Dinamarca con un gran enfoque en la energía. Creo que los problemas siempre son los mismos. Uno de los primeros problemas es lo que ya hemos escuchado; se trata de aceptarlo. ¿Por qué optaría por lo probabilístico en primer lugar? Debo decir que, normalmente, dedico bastante tiempo a describir problemas, problemas de toma de decisiones, y a mostrar a los estudiantes que solo se pueden tomar mejores decisiones si se opta por lo probabilístico. Es muy importante para un desarrollador o usuario de un forecast, un cliente por ambos lados, entender que solo se puede mejorar si se opta por lo probabilístico. Eso te va a costar algo, pero si lo abrazas, irá mejor. Se necesita mucho trabajo para convencerse a uno mismo y darse cuenta y entender por qué. Si no entiendes por qué sería mejor, quizá tendrás dificultades para aceptarlo. Así que, dedicamos bastante tiempo a eso.
Entonces quiero que entiendan que no es difícil producir estos forecast. Mencionaste algunos de los modelos clásicos, pero se puede pensar en ello incluso en términos de variables aleatorias básicas. Si quieres hacer un forecast probabilístico para algo que es gaussiano, cuando hacemos el forecast puntual clásico, solo estamos prediciendo la media. Y ahora que decimos que queremos ir probabilísticamente, solo necesitamos predecir la varianza adicional, y luego tenemos un forecast probabilístico completo. Incluso si no quieres ir por lo paramétrico, si quieres predecir cuantiles, en realidad puedes usar los mismos modelos que para el caso determinista, simplemente cambias la loss function en tu entrenamiento, y ¡voilà!, tienes un quantile forecast. Un aspecto importante es que enseño a los estudiantes que no es algo que sea órdenes de magnitud más complejo de aprender y manejar.
La última parte es la verificación porque también discutimos anteriormente que algunas personas tienen la idea de que ahora pueden tomárselo con calma, ¿no? Porque si optas por lo probabilístico, podrías decir lo que sea, y de alguna manera me vas a decir después que nunca te equivocas. Pero existen algunos marcos muy rigurosos para verificar los forecast probabilísticos y, en realidad, demostrar que tienen sentido, que tus probabilidades son correctas y que estás intentando concentrar información, etcétera. Estos son los bloques principales que reviso con mis estudiantes, y mi experiencia es que estos son los fundamentos que necesitas si después tienes que manejar forecast probabilísticos en tu trabajo.
Joannes Vermorel: Mi lucha es graciosa porque probablemente eres privilegiado en el sentido de tener a tus estudiantes. Mis prospectos típicamente ya han recibido una educación en la forma de lo que los consultores les dicen. Hagamos enemigos hoy. El problema es que existe una anti-defensa, como el movimiento lean. El movimiento lean y la idea, por ejemplo, de que deberíamos desperdiciar menos. Quiero decir, como principio general, sí, es mejor evitar el desperdicio. Por definición, el desperdicio es algo no deseado, así que es tautológico en la naturaleza de la afirmación. Nadie está diciendo que produzcamos desperdicio por el simple hecho de hacerlo, pero eso forma parte del movimiento de lean manufacturing y del movimiento de lean supply chain. El problema con esta línea de pensamiento es que terminas con cosas como, por ejemplo, si tienes procesos derrochadores como largos tiempos de entrega, quieres eliminarlos. Pero en algún momento, puedes tener un proceso que no es necesariamente muy derrochador pero sí muy ineficiente, debido a que has intentado comprimir tus tiempos de entrega tanto como sea posible. Por ejemplo, si quieres mover cosas lo más rápido posible, un avión es lo mejor, pero la eficiencia de los aviones en términos de combustible es terrible comparada con los trenes o los barcos de carga. Así que, en sí mismo, optar directamente por un enfoque radical en términos de zero stock, zero delay, zero waste, que es la perspectiva general defendida por ciertos movimientos, es un intento de eliminar por completo la incertidumbre. Si tienes cero tiempo de entrega, de repente, ¿por qué forecast? Solo necesitas ocuparte de lo que está justo enfrente tuyo. Si tienes cero stock, ¿por qué necesitas gestionar el riesgo potencial de sobrestock o algo similar? Así que, mi interesante punto de vista es que parte del desafío es que las personas que no se beneficiaron en los primeros años de un curso que demostraba la superioridad del pensamiento probabilístico pasaron por una o dos, y a veces tres o cuatro décadas de abogacía opiniada por consultores para eliminar toda clase de incertidumbres de su supply chain. Algunas de las incertidumbres, diría yo, son las accidentales, en las que simplemente tienes incertidumbres que emergen debido a un proceso de porquería – esas, sí, deberías eliminarlas. Si las personas, por ejemplo, no tienen las habilidades adecuadas y algunas simplemente hacen basura, ese no es el tipo de incertidumbre que deseas. Pero tienes otras incertidumbres, como el hecho de que quizá los barcos de carga sean un poco más lentos debido al clima, así que no van a ir a la misma velocidad cada vez. Pero es perfectamente aceptable tolerar esta incertidumbre si tienes las herramientas para lidiar con ella de una manera que tenga sentido.
Pierre Pinson: Tienes razón. Típicamente, enmarcamos este tema como una cuestión de costo porque, de alguna manera, para eliminar incertidumbres, hay un costo. Si tuvieras una cantidad infinita de dinero dispuesta a invertir en eliminar todas las incertidumbres, podrías hacerlo. Pero cualquier tipo de incertidumbre, aparte de aquellas debido a que estás haciendo algo mal o algunas ineficiencias, cualquier otra incertidumbre más fundamental en tu proceso que quieras eliminar, probablemente te costará mucho. Así que, es un problema típico en el que dices: “Está bien, genial, quieres eliminar todas las incertidumbres como si vinieran gratis. Si vinieran gratis, nosotros también lo habríamos hecho.” Entonces, este costo es algo que tenemos que decidir si podemos asumir. Tenemos un paralelo, que es muy interesante en el ámbito de la energía. Por ejemplo, trabajo mucho con energía renovable. Si estuviéramos desarrollando almacenamiento para tener una cantidad infinita de energía que pudiéramos almacenar en cualquier momento y por el tiempo que quisiéramos, de alguna manera el problema se acabaría. Algunas personas dicen que no necesitaríamos forecast, no tendríamos que preocuparnos. Pero desarrollar y desplegar baterías a esta escala
