00:00:00 Discusión sobre volatilidad e introducción de Peter Cotton.
00:01:22 El desempeño de Peter en la competencia M6 y su estructura.
00:03:21 El tema de la competencia M6 y la investigación de la hipótesis de los mercados eficientes.
00:06:01 El enfoque del modelo de Peter para predecir la volatilidad utilizando el mercado de opciones.
00:08:10 Comparación entre finanzas y cadena de suministro en términos de comprensión de la volatilidad.
00:09:20 Pronósticos probabilísticos en la cadena de suministro y las finanzas.
00:10:01 La dificultad de hacer que las personas piensen de manera estocástica.
00:12:26 IA como una palabra de moda y su impacto en la previsión.
00:14:55 Simplicidad y robustez frente a la complejidad.
00:17:01 Evaluación de algoritmos de predicción de series de tiempo y su rendimiento.
00:18:58 Discusión sobre cómo una visión distorsionada del rendimiento del modelo puede llevar al sobreajuste y al P-hacking.
00:20:14 Propósito de las competencias de pronóstico para prevenir el sobreajuste y la manipulación de datos.
00:21:27 Crítica a la estructura de incentivos académicos y defensa de la prueba continua de algoritmos en el mundo real.
00:22:55 Comparación entre finanzas y gestión de la cadena de suministro y la necesidad de racionalidad y eficiencia.
00:27:15 El potencial de los mercados de predicción para obtener pronósticos precisos y superar los sesgos.
00:28:14 Discusión sobre las probabilidades futuras y los mecanismos de descubrimiento.
00:29:34 Comparación de mecanismos probados con opiniones ponderadas compensadas.
00:31:40 Discrepancia en los números durante la competencia M6 y la crisis financiera de 2006.
00:32:25 Distorsión en las expectativas y efecto de las promociones en el comercio minorista.
00:36:31 Los traders cuantitativos rompen barreras y automatizan procesos en la cadena de suministro.
00:38:09 Importancia de la disciplina en los mercados de predicción.
00:39:58 El impacto de las regulaciones en los mercados de predicción.
00:40:44 El problema con los modelos estadísticos y el ejemplo de las elecciones de Trump.
00:42:57 La necesidad de bucles de retroalimentación y consecuencias en el mundo real.
00:46:10 El éxito del modelo Philip en la competencia M6 al encontrar más datos.
00:47:20 Mecanismos ligeros para predicciones en tuberías de ciencia de datos.
00:48:41 MicroPrediction.org y su microestructura única para predicciones.
00:50:47 La evolución de los conceptos de cadena de suministro y logística.
00:52:35 Desafío cultural al abrazar la incertidumbre en la gestión de la cadena de suministro.
00:54:46 Historia de la ciencia de datos en finanzas y su relación con las probabilidades.
00:56:41 Vencer al mercado de valores y compararlo con Warren Buffett.
00:58:36 Concurso M6, esfuerzos individuales y actividad colectiva.
01:00:08 La lección moral del M6 y el uso del poder del mercado en otros ámbitos.
Resumen
En una entrevista, Peter Cotton, Chief Data Scientist en Intech, y Joannes Vermorel, fundador de Lokad, discuten pronóstico probabilístico, la competencia de pronósticos M6 y las diferencias entre las perspectivas de finanzas y cadena de suministro sobre la volatilidad y la incertidumbre. Enfatizan que los pronósticos perfectos son imposibles y que el pronóstico probabilístico puede ayudar a tomar mejores decisiones en medio de la volatilidad. Ambos coinciden en el valor de la simplicidad y la robustez en el manejo de sistemas complejos, ya sean mercados financieros o cadenas de suministro. También discuten temas como el P-hacking, la transparencia en los errores del modelo de predicción y los mecanismos de mercado para mejorar las predicciones. Vermorel destaca los desafíos culturales en la gestión de la cadena de suministro, mientras que Cotton enfatiza la importancia de los mercados en la mejora de los pronósticos en general.
Resumen extendido
En esta entrevista, Peter Cotton, Chief Data Scientist en Intech y trader cuantitativo especializado en pronósticos, es invitado por Conor Doherty, el presentador, y habla con Joannes Vermorel, fundador de Lokad, una empresa de software especializada en optimización de la cadena de suministro. La discusión gira en torno al pronóstico probabilístico, la competencia de pronósticos M6 y las diferencias entre las perspectivas de finanzas y cadena de suministro sobre la volatilidad y la incertidumbre.
Peter Cotton, quien se ubicó entre los 10 primeros en la competencia de pronósticos M6, comparte que el objetivo de la competencia era investigar la hipótesis de los mercados eficientes y si los buenos pronosticadores podían crear carteras diversificadas sensatas que tuvieran un buen desempeño. Explica que su enfoque en la competencia fue diferente al de otros, ya que utilizó datos del mercado de opciones para predecir la volatilidad en lugar de pronosticarla él mismo. Vio la competencia M6 como una batalla entre científicos de datos, pronosticadores y profesionales de finanzas cuantitativas contra el mercado de opciones. A pesar de su alta clasificación, Peter se sorprendió de lo bien que le fue en comparación con otros participantes.
Joannes Vermorel agrega que las finanzas han estado mucho más avanzadas que la cadena de suministro en términos de reconocer y lidiar con la volatilidad y la incertidumbre. Señala que los profesionales de la cadena de suministro aún suelen esforzarse por obtener pronósticos perfectos, lo cual es irrealista. El primer paso para abordar este problema es reconocer que los pronósticos perfectos son imposibles, y el segundo es comprender que la incertidumbre no significa que las cosas sean desconocidas. El pronóstico probabilístico puede ayudar a cuantificar la estructura de la incertidumbre y tomar mejores decisiones frente a la volatilidad.
Tanto Peter como Joannes coinciden en que aún queda mucho trabajo por hacer para fomentar que el mundo piense en términos más estocásticos e incorpore esta comprensión en los procesos de toma de decisiones. Si bien las finanzas tienen una larga historia de lidiar con la incertidumbre y el riesgo, ha llevado mucho más tiempo que estos conceptos sean ampliamente reconocidos y utilizados en la industria de la cadena de suministro.
Vermorel observa que la inteligencia artificial se ha convertido en una palabra de moda que a menudo oculta la incompetencia. Él cree que cuando los profesionales son competentes, se refieren a sus técnicas por sus nombres técnicos, como modelos hiperparamétricos o árboles de aumento de gradiente.
Vermorel y Cotton discuten la complejidad y la naturaleza caótica de las cadenas de suministro y el mejor enfoque para manejar dichos sistemas. Ambos están de acuerdo en que en lugar de centrarse en la complejidad, un camino más razonable hacia adelante es encontrar algo simple y robusto. Cotton comparte su experiencia con la micro-predicción, que se centra en mantener paquetes de código abierto para la predicción de series de tiempo. Él enfatiza que los modelos más exitosos suelen ser los más simples, como promedios ponderados de precisión del rendimiento reciente.
Los entrevistados también abordan el problema del P-hacking, donde los investigadores manipulan los datos para respaldar su resultado deseado. Argumentan que las competencias de pronóstico, como la M5, pueden mitigar este problema al liberar los datos solo después de que los participantes envíen sus resultados, evitando que ajusten sus modelos para generar resultados falsos.
Cotton critica la literatura académica por a menudo tener un concurso cerrado dirigido por la misma persona que participa y juzga la competencia. Sugiere que en lugar de publicar artículos, los investigadores deberían ejecutar sus algoritmos para siempre y permitir que determinen autónomamente su efectividad en diferentes problemas comerciales. Cotton aboga por un enfoque más basado en datos, como convertir todo en una competencia M6 o un mercado de opciones, para aumentar la racionalidad y la eficiencia.
Vermorel también compara el entorno implacable de las finanzas con la inercia presente en las cadenas de suministro, donde las empresas pueden permanecer ineficientes durante largos períodos sin enfrentar graves consecuencias. Cuestiona la práctica de la planificación de ventas y operaciones (S&OP), que implica reunir a personas para discutir y votar pronósticos, sugiriendo que este método no es la forma más efectiva de hacer predicciones.
Vermorel comparte sus experiencias trabajando con grandes minoristas en la predicción del impacto de las promociones. Señala que las expectativas a menudo están infladas y que un modelo de promedio simple que analiza los datos históricos puede producir predicciones más precisas. Sin embargo, presentar estas estimaciones más conservadoras a veces puede encontrar resistencia, ya que podría percibirse como socavar el entusiasmo o disminuir la inteligencia humana.
Cotton destaca la importancia de la disciplina para hacer predicciones precisas, que se puede fomentar a través de enfoques basados en el mercado. Sugiere alentar a las personas a ser más transparentes sobre los errores de su modelo de predicción y considerar el uso de mecanismos de mercado livianos dentro de sus tuberías de ciencia de datos. Los mercados de predicción, aunque interesantes, se han visto obstaculizados por la regulación y las preocupaciones sobre el juego.
Cotton recuerda una discrepancia con el equipo detrás del modelo electoral de The Economist antes de las elecciones presidenciales de EE. UU. de 2016, que había asignado una probabilidad mucho menor a la victoria de Trump en comparación con los mercados de apuestas. El intercambio subraya la necesidad de mejores métodos para evaluar la precisión del modelo y las limitaciones de depender únicamente de la opinión de expertos.
Los participantes coinciden en que los mecanismos de mercado han demostrado ser más confiables que los métodos alternativos para hacer predicciones, pero enfatizan la importancia de encontrar formas de introducir la disciplina del mercado en otras áreas, como la optimización de la cadena de suministro y la predicción minorista.
Vermorel identifica un problema con los ejercicios de pronóstico tradicionales, que a menudo involucran equipos separados que están desconectados del resto de la empresa. Esto lleva a prácticas como el “sandbagging”, donde los vendedores subestiman sus pronósticos para superar sus cuotas y recibir bonificaciones. Por otro lado, la producción tiende a sobreestimar los pronósticos para asegurar presupuestos más altos para aumentar la producción. Vermorel sugiere que crear bucles de retroalimentación con consecuencias del mundo real puede ayudar a fundamentar los modelos predictivos y hacerlos más efectivos.
Cotton habla sobre el papel de los mercados de predicción en la mejora de los modelos de pronóstico. Si bien los mercados de predicción tradicionales pueden ser engorrosos, las alternativas livianas pueden ser más efectivas en una tubería de ciencia de datos. Cotton también menciona su libro sobre mecanismos de micropredicción capaces de recibir o solicitar predicciones y servir para aplicaciones empresariales.
Los entrevistados reconocen los desafíos culturales en la gestión de la cadena de suministro, especialmente porque la cadena de suministro surgió del campo de la logística en la década de 1990. La logística se centra en la certeza operativa, mientras que la gestión de la cadena de suministro implica la planificación a largo plazo y trabajar con la incertidumbre. Vermorel se pregunta cuánto tiempo le llevó a las finanzas adoptar modelos probabilísticos del futuro, mientras que Cotton señala que la ciencia de datos ha estado en serio durante al menos 40 años.
Cotton también menciona la diferencia entre vencer al mercado y proporcionar estimaciones de probabilidad precisas. Explica que si bien personas como Warren Buffett han vencido consistentemente al mercado, no pueden crear modelos independientes que proporcionen mejores estimaciones probabilísticas que el propio mercado. Él enfatiza la importancia de los mercados como una combinación de esfuerzos individuales para crear probabilidades y mejorar los pronósticos generales.
Transcripción completa
Conor Doherty: Bienvenidos de nuevo a Lokad TV, soy su anfitrión Conor, y como siempre, me acompaña el fundador de Lokad, Joannes Vermorel. El invitado de hoy es Peter Cotton, es Vicepresidente Senior y Científico Jefe de Datos en InTech Investment. Hoy nos hablará sobre el pronóstico probabilístico y posiblemente cómo vencer al mercado de valores. Peter, bienvenido a Lokad.
Peter Cotton: Gracias por tenerme.
Conor Doherty: En Lokad, nos gusta saber con quién estamos hablando. Entonces, Peter, ¿podrías contarnos un poco sobre tu experiencia y qué haces en InTech Investment?
Peter Cotton: Oh, claro. Me describiría como un cuantitativo de carrera. He trabajado en el lado de la compra y el lado de la venta, y tuve un breve paso como emprendedor construyendo una empresa de datos. Actualmente paso mi tiempo tratando de predecir cosas, lo cual no te sorprenderá, y también empujando los límites de la teoría de carteras.
Conor Doherty: Deberíamos decir desde el principio, felicitaciones por tu reciente desempeño en la competencia M6. Creo que quedaste entre los 10 primeros, ¿es correcto?
Peter Cotton: Así es. No estoy seguro si es mérito mío o simplemente el mérito de todos esos operadores de opciones y cuantitativos que los respaldan. En cierto sentido, no fue mi trabajo en absoluto; solo fui un mero conducto de una fuente de poder predictivo a otra.
Joannes Vermorel: Para la audiencia, el M6 fue en realidad la sexta iteración de una serie muy conocida de competencias de pronóstico, donde el objetivo es literalmente hacer predicciones. La competencia funciona de la siguiente manera: hay un conjunto de datos que se hace público, luego hay un conjunto de reglas y las personas tienen que hacer predicciones, típicamente en forma de pronósticos de series de tiempo. En este caso, hubo un aspecto probabilístico en las dos últimas iteraciones de la competencia, el M5 y el M6. Fue un juego iterado con 12 iteraciones, donde las personas tenían que enviar sus resultados y la competencia avanzaría. Tenían muchas reglas para establecer quién se desempeñó mejor y realmente superó al mercado. Es un ejercicio muy exigente y muy brutal porque hay muy poco margen para falsificar tus resultados.
Conor Doherty: Mi entendimiento es que cada iteración de la competencia M es diferente. Entonces, Peter, ¿cuál fue el tema del M6? Quiero decir, ¿cuál fue el objetivo explícito?
Peter Cotton: El objetivo de los organizadores, en un sentido amplio, era investigar la Hipótesis de los Mercados Eficientes, que establece, en sus diversas formas, que es difícil superar al mercado. La razón por la que es difícil superar al mercado es que hay mucho incentivo financiero para hacerlo, y hay muchas personas inteligentes que han pasado los últimos 40 años de sus carreras tratando de hacerlo y construyendo equipos para hacerlo, y recopilando todos los datos que pueden encontrar para hacerlo. Sin duda, lo mejor que se puede predecir en el planeta Tierra es probablemente el precio de las acciones de Google o algo así. Todo lo demás está un escalón por debajo de eso en términos de predicción, así que ese fue uno de los objetivos declarados de los organizadores. Otro objetivo era investigar si las personas que podían predecir bien también serían capaces de convertir eso en carteras diversificadas sensatas que se desempeñaran de acuerdo con alguna métrica con la que podamos discutir. Entonces, creo que esos fueron los dos objetivos principales de los organizadores, al menos según mi entendimiento. Y ¿exactamente qué hizo tu modelo que otros participantes no lograron hacer bien?
Lo que fue diferente en mi participación es que, desde una perspectiva filosófica, veía el problema como encontrar cualquier dato relevante. Por supuesto, otras personas también lo ven de esa manera, pero creo que lo que es diferente es que a veces las personas pasan por alto el hecho de que los datos pueden tomar la forma de números implícitos o números que son implícitos en los mercados existentes.
Ahora, si miras la competencia M6, lo que se nos pidió fue tratar de predecir la probabilidad de que una determinada acción o ETF tenga rendimientos en, digamos, el segundo cuantil en comparación con sus pares, de 100, después de un mes. Entonces, te preguntas, ¿qué realmente determina si una acción va a terminar en el segundo cuantil de sus pares? Bueno, si tienes una opinión sobre la dirección de la acción, eso va a aumentar la probabilidad de terminar en los dos primeros cuantiles, obviamente. Pero si no tienes una opinión sobre la acción, lo cual personalmente no tenía, entonces lo principal que va a influir en si terminas en el primer cuantil o en el tercero es la volatilidad de la acción.
Entonces, yo argumentaría que esto realmente fue una competencia para predecir la volatilidad, no la dirección de la acción, tal vez algo contrario a la hipótesis declarada de los organizadores, pero está bien, es un experimento de laboratorio. Entonces, lo que hice fue decir: “Bueno, mira, ya hay una fuente de información increíblemente buena sobre la volatilidad de las acciones. Se llama mercado de opciones”. Así que simplemente voy a mirar el mercado de opciones y, en lugar de pronosticar la volatilidad yo mismo, simplemente usaré esos números. Eso es prácticamente todo lo que hice.
Entonces, podrías pensar en mi participación como simplemente un punto de referencia del mercado, tal vez no el mismo punto de referencia del mercado que la gente anticiparía. Los organizadores han establecido un punto de referencia de mercado diferente y más débil. Pero ese fue el mío, y dije: “Mira, es muy difícil encontrar estimaciones prospectivas mejores de cuánto se va a mover una acción que las que se deducirían del mercado de opciones, porque si pudieras hacer eso, podrías ganar dinero comprando y vendiendo opciones”. Por supuesto, hay algunas personas que ganan dinero vendiendo, comprando y vendiendo opciones, yo lo hago, pero eso lleva al mercado a un estado muy eficiente, y eso es lo que pensé que era divertido de esta competencia.
Fue una forma de reunir a una comunidad de científicos de datos, pronosticadores y algunos cuantitativos, y decir: “Mira, aquí está esta especie de batalla, y pensé que era realmente divertido hacerlo”. Así que eso es lo que hice, y ahora me sorprendió un poco lo alto que terminé en la tabla de clasificación. Creo que estuve dentro de .002 puntos Brier de ganar algo de dinero, muy cerca. Pero el punto principal era simplemente ver, ¿sabes?, ¿superaría al 70% de los participantes, sería el 80%? Resultó ser el 96% de los participantes. Me sorprendió un poco eso, para ser honesto.
Joannes Vermorel: Lo interesante para mí, viniendo de un trasfondo de cadena de suministro, es que siempre me impresiona increíblemente cómo las finanzas están literalmente décadas por delante de la cadena de suministro en lo que respecta a todo tipo de cosas.
Mi principal batalla en Lokad es que la volatilidad existe. Todavía estamos en la batalla de si existe en absoluto porque en los círculos de la cadena de suministro, hay muchas personas que dicen: “Vamos a pronosticar hasta cuatro decimales cuánto vamos a vender el próximo año”. Si tuvieras un pronóstico de ventas perfecto, todo se convierte en una cuestión de orquestación. Puedes decidir exactamente cuánto vas a producir, cuánto necesitas comprar y cuánto necesitas asignar en términos de inventario. Entonces, si tuvieras pronósticos perfectos y toda la ejecución para entregar los bienes y servicios se convierte en una mera cuestión de orquestación mundana.
Cuando Lokad comenzó a impulsar pronósticos probabilísticos en la cadena de suministro hace una década, no era algo nuevo, ya que las finanzas lo han estado haciendo con el valor en riesgo durante al menos tres o cuatro décadas. La idea clave es, en primer lugar, renunciar a la idea de que tendremos un pronóstico perfecto. El primer paso es reconocer que no sabes todo lo que hay que saber sobre el futuro. Parece obvio para las personas que vienen de las finanzas, pero en la cadena de suministro aún no se reconoce ampliamente que no se puede llegar a un pronóstico perfecto.
Una vez que aceptas que tienes incertidumbre, no significa que no sepas nada. Puedes tener incertidumbre y cuantificar la estructura de esta incertidumbre con la volatilidad. No es porque sea incierto que sea desconocido. Hay cosas que se pueden conocer sobre la estructura de la incertidumbre, y es cuando decimos pronósticos probabilísticos. Desde una perspectiva de la cadena de suministro, lo usamos para decir que no tomas las mismas decisiones frente a una gran dispersión o una incertidumbre muy concentrada. Cuando te enfrentas a una enorme volatilidad, no te acercas al riesgo de la misma manera cuantitativa que cuando es casi seguro en comparación.
Peter Cotton: Es cierto que todavía se tarda décadas en tratar de transmitir ese mensaje. Hay personas en la ciencia gerencial que han tratado de popularizar esta noción, como Sam Savage con el Flaw of Averages, y alentar a las personas a comprender que tomar un camino o un valor promedio te llevará a problemas. En las finanzas, has tenido todas estas increíbles nociones muy detalladas de riesgo de convexidad durante años. Es sorprendente lo diferente que es eso.
También lo he notado porque algunos competidores tienen que proporcionar predicciones de distribución, y si vienes de Kaggle o de otro lugar, es posible que no estés familiarizado con la motivación para ello. Entonces, ¿cuál es la solución? ¿Cómo animamos al mundo a pensar en términos más estocásticos y lograr que eso funcione en la toma de decisiones o en las hojas de cálculo de las personas? No es tan fácil.
Joannes Vermorel: Absolutamente. Y creo que uno de los ingredientes que está confundiendo aún más el panorama es que, al menos desde mi experiencia en software empresarial en la cadena de suministro, la palabra de moda de la década ha sido IA. Es interesante porque, tan pronto como tienes IA, supuestamente tienes un mejor entendimiento del futuro.
Desde mi punto de vista personal, la IA es solo una palabra de moda para ocultar tu propia incompetencia con algo. Una vez que eres muy competente, tiendes a llamarlo de otra manera, como un modelo hiperparamétrico o árboles de aumento de gradiente. Cuando dices IA, es solo el palabrerío de algo que no entiendes.
Lo interesante es que, con mucha frecuencia, cuando te enfrentas a algo que es increíblemente caótico y complejo, mi experiencia y nuestros resultados con el M5 muestran que Lokad lo hizo muy bien con un método que era órdenes de magnitud más simple que los métodos impulsados por IA. Lo que encontré interesante de tu enfoque de micro predicción es que creo que hiciste algo muy similar en cuanto a su simplicidad. Entonces, cuando te enfrentas a algo increíblemente complejo, ¿es mejor tener un sistema que refleje toda esa complejidad o, por el contrario, tener algo muy simple que te guíe a través de la tormenta?
Joannes Vermorel: Realicé un par de experimentos al respecto. Tenía muchas ganas de tener tantos buenos algoritmos como pudiera encontrar del mundo de código abierto para la predicción de series de tiempo. Trato de mantener estos paquetes de código abierto que facilitan bastante la comparación de cosas o descubrir qué es una buena serie de tiempo para tu propósito. Algunos de ellos tienen una vida autónoma propia y tratan de ver si son buenos para predecir algo. La micro predicción es algo así como el M6 para los algoritmos, pero típicamente en frecuencias más altas.
Peter Cotton: Por supuesto, comenzamos a desarrollar opiniones a lo largo del tiempo sobre lo que realmente funciona y lo que es robusto en diferentes situaciones. Hice algunas pruebas de referencia fuera de línea de series de tiempo univariadas y probablemente hay 20 o 50 paquetes de Python para la predicción de series de tiempo. La mayoría de ellos envuelven otros paquetes como TSA y modelos estadísticos. Pero cuando los comparas con cosas clásicas, descubres que los promedios ponderados de precisión simple del rendimiento reciente de un montón de modelos simples terminan en la cima. Los modelos simples incluyen cosas como Auto ARIMA y sus variantes o incluso cosas más simples.
Joannes Vermorel: Para la audiencia, creo que lo que estás señalando es que el P-hacking es un problema muy real. Cuando te aventuras en el mundo de los modelos sofisticados, casi siempre puedes encontrar un modelo que accidentalmente funciona bien. Esto puede llevar al sobreajuste y al P-hacking, donde seleccionas dimensiones e hipótesis para pasar alguna prueba estadística de confianza. Las competiciones de pronóstico evitan esto al liberar los datos solo después de que las personas envían sus resultados, por lo que no pueden ajustar sus modelos para obtener resultados falsos.
Peter Cotton: Así es. La mayoría de la literatura académica comprende un pequeño concurso cerrado dirigido por la misma persona que participa. Deciden quién más puede participar, corren la carrera 10 veces y luego publican el resultado. Es ridículo. El objetivo de las competiciones de pronóstico es evitar que esto suceda.
Estoy de acuerdo. Es absolutamente ridículo. ¿Por qué existe incluso una literatura empírica? No lo sé. Pasé mi tiempo tratando de burlarme de la noción misma de una literatura empírica. ¿Por qué tienes esto, sabes, por qué publicar un artículo sobre la eficacia de un modelo en algo en tiempo real si el artículo no se va a actualizar, verdad? No sé qué podemos hacer para alejarnos de esto, desafortunadamente. Como todos sabemos y dice The Economist, la broma sobre los incentivos es que el problema no es que no funcionen, es que funcionan demasiado bien. Entonces, si el único incentivo es publicar artículos, eso es lo que obtendrás. Si el único incentivo es una métrica un poco extraña para el M6 en el lado de la inversión del concurso, encontrarás, ya sabes, tres de cada 200 personas que encontrarán que esa es la forma de aprovecharlo, ¿verdad? Así es como funciona.
Entonces, sí, quiero decir, abogo en lugar de publicar artículos, las personas deberían tomar su algoritmo y ejecutarlo para siempre. Y deberíamos fomentar una infraestructura en la que las empresas puedan compartir y permitir que estos algoritmos viajen de un problema empresarial a otro y descubrir si realmente funcionan bien. Y si estos métodos que están surgiendo en estos días, y algunos de ellos son muy ingeniosos y aprendizaje automático, son capaces de funcionar realmente bien fuera de muestra y si hay suficientes datos para que realmente lo hagan, habrá suficientes datos para determinar de manera autónoma si son buenos o no. Entonces, realmente no necesitamos humanos con sus fuertes opiniones y fuertes prejuicios y sus propios intereses y todo lo demás para determinar qué algoritmo debería funcionar para un determinado problema empresarial. A menudo, al menos en mi dominio, y tu dominio es un poco más desafiante porque tienes pronósticos a más largo plazo, pero en mi dominio, si estás diciendo qué funcionará para ti, ya sabes, predecir cuántos clientes aparecerán en los próximos cinco minutos o cuántos autos pasarán por una intersección en los próximos dos minutos, eso es un problema de datos grandes. No deberíamos tener, no hay razón para que las personas con sus PDF y todo lo demás se interpongan en el camino. Eso es, en mi opinión, convirtamos todo en un M6 pero acelerémoslo o mejor convirtamos todo en un mercado de opciones.
Joannes Vermorel: Sí, y lo interesante es que, una vez más, para mí las finanzas son simplemente una práctica, y lo digo en el buen sentido porque hay esta percepción general del público de que, ya sabes, si hay un villano en una película, va a ser el tipo de finanzas y las opciones. Pero mi opinión es que esos mercados son un ejercicio de racionalidad. Quiero decir, si eres profundamente irracional, simplemente te declaras en bancarrota. Y solo las personas que pueden mantener un nivel muy, muy alto de racionalidad en lo que hacen durante un largo período de tiempo no se declaran en bancarrota. Es un entorno muy implacable. Incluso las pequeñas ineficiencias se explotan rápidamente. Si tienes competidores que año tras año son unos pocos puntos porcentuales más eficientes que tú, entonces las personas reasignan sus fondos hacia esas personas y literalmente te declaras en bancarrota. Así que es literalmente el darwinismo en acción de una manera bastante brutal.
De formas en las que, ya sabes, las predicciones a largo plazo, eso también es algo que la gente no se da cuenta en las cadenas de suministro, que hay muchas empresas que pueden sobrevivir durante décadas no porque sean muy, muy buenas, sino porque hay una inercia increíble en la configuración de la infraestructura, la actualización de las prácticas y demás, puedes ser super ineficiente durante una década o más antes de que incluso haga una mella. Por ejemplo, muchos minoristas fueron a internet para configurar su tienda web dos décadas después de Amazon, y sufrieron mucho en lugar de simplemente desaparecer. En finanzas, había muchas cosas, si llegas dos décadas tarde a la fiesta, eso es simplemente insoportable. Entonces, desde un trasfondo de cadena de suministro, cuando se trata de pensar en el futuro, uno de los métodos más populares sigue siendo S&OP, que significa Ventas y Operaciones. Implica tener a todas las personas juntas en la sala y discutir, para que a través de la discusión, surja el pronóstico adecuado. Desde tu perspectiva de operador cuantitativo, ¿eso suena como una opción razonable? Como, queremos desempeñarnos bien, así que vamos a traer a 20 personas a la sala, vamos a echar un vistazo a esos gráficos y luego votar para decidir el pronóstico, con puntos extra si tienes un rango más alto en la organización.
Peter Cotton: Oh, Dios mío, para ser completamente honesto, no envidio a las personas que están en la posición de hacer pronósticos para uno o dos años en el futuro. Obviamente, es un juego complicado. La cuestión de la inteligencia colectiva entre los humanos en ese tipo de tarea de predicción y cómo se logra eso ciertamente tiene una literatura interesante. Pero siento que a veces hay un simple hecho de que el sesgo puritano estadounidense simplemente está obstaculizando una solución bastante obvia. Quiero decir, crecí en Australia, y si quieres saber si dos moscas están subiendo por una pared, dejas que la gente apueste. Es realmente así de simple. No compliquemos esto.
El mejor dispositivo de predicción, el primer gran dispositivo de predicción, se construyó del tamaño de un edificio en el hipódromo de Ellerslie y se inauguró, creo, en 1913. Fue la primera máquina totalizadora mecánica del mundo. Las personas podían hacer sus apuestas en los caballos, y estos enormes pistones se levantaban lentamente en el aire para que la gente supiera cuánto se había apostado en cada caballo. Y a través de este asombroso aparato mecánico, surgió la probabilidad, el primer ejemplo de probabilidad neutral al riesgo definida en un sistema de procesamiento de información en tiempo real. En 100 años, esa sigue siendo la única forma realmente razonable de llegar a las probabilidades futuras de los eventos que conozco. No creo que haya habido una mejor invención.
Joannes Vermorel: Sí, y un punto que me parece muy interesante es que estás señalando que hay un mecanismo de descubrimiento en juego. De eso es de lo que estamos hablando, y hay ingenio en eso. Lo que realmente vale la pena no es necesariamente el modelo que lo acompaña o el pensamiento de la perspicacia humana, sino tener un enfoque en el que pienses: “¿Cuál es mi mecanismo de descubrimiento para obtener información más confiable sobre este futuro? ¿Existe incluso algo que actúe como un mecanismo de descubrimiento, o simplemente estoy inventando cosas y declarando que esas afirmaciones que estoy haciendo implícitamente son sobre el futuro como buenas y válidas antes de considerar siquiera que podría haber algo de un viaje para llegar allí?” Algo que ha sido diseñado con este descubrimiento en mente, y esa es una excelente manera de expresarlo.
Peter Cotton: Aquí tienes un mecanismo que ha sido probado una y otra vez en mil lugares diferentes durante un siglo, y simplemente sigue funcionando. Las personas constantemente dirán: “Bueno, espera, hay algo más que podemos hacer”, como un gran ejemplo de opiniones ponderadas compensadas en una habitación mirando una propagación. Bueno, tal vez ese sea el mecanismo correcto para la predicción, ¿quién sabe? Mira la historia. Comencé mi carrera en 2001 en crédito y viví la experiencia de 2006. Tenías un mercado que proporcionaba un número de correlación implícita que te decía cuál era la opinión del mercado sobre la interdependencia relativa de las fortunas de una empresa y otra. Digamos que ese número era 30. Las agencias de calificación adoptaron un enfoque actuarial, al igual que los participantes de M6. Ignoraron la información del mercado y crearon su propio modelo, incluso ignorando las matemáticas a veces necesarias para reconocer la información. Les dijeron a los inversores institucionales que el número no era 30, ni siquiera 20, sino el 5 por ciento. Esa es una gran discrepancia en un número. Entonces, ¿cómo ha resultado esto además de una crisis financiera global y otros desastres en la cadena de suministro? ¿Cuánto tiempo nos llevará darnos cuenta de que el mercado es la única forma? ¿Cuántos ejemplos necesitamos?
Joannes Vermorel: Lo curioso es que hay una especie de locura parcial en marcha. Solo para dar un ejemplo, en el comercio minorista, Lokad está trabajando con muchos minoristas grandes. Por lo general, cuando se trata de predecir el impacto de las promociones, como una barra de chocolate con un 30% de descuento, la gente está entusiasmada con el efecto. Quieren mover la aguja y adquirir cuota de mercado. Pero cuando miramos las previsiones de promoción, los números casi siempre están inflados. La gente piensa que las ventas serán tres o cuatro veces la cantidad normal. Sin embargo, cuando aplicas un modelo de promedio súper básico y miras las promociones pasadas, la realidad es más conservadora. Es interesante porque cuando les muestras un modelo más conservador, sienten que su entusiasmo y su inteligencia humana se están disminuyendo.
Peter Cotton: En ciencias de la computación, hay un axioma: escribe primero la prueba. Pero nadie escribe primero la prueba cuando se trata de predecir o hacer predicciones sobre el futuro, ¿verdad? Y solo alrededor del cinco por ciento de las veces escriben la prueba después, si es que alguna vez vuelven de manera rigurosa y miran lo que realmente han hecho.
Sí, es cierto. Los mercados, a pesar de sus defectos, tienen una forma increíble de proporcionar disciplina. Hay una razón por la que algunos de los principales fondos de cobertura, por ejemplo, incorporan cosas como campamentos de póker. Crecí tratando de entender los mercados de apuestas de varios tipos, y si no tienes esa disciplina, no vas a mejorar en la predicción de las cosas. Entonces, ¿cómo creamos esa disciplina?
No queremos que la UE exija que todos pongan los residuos de sus modelos en la cadena de bloques, ya que eso sería ineficiente por varias razones. Sin embargo, tal vez podamos animar a las personas a pensar en cómo podrían utilizar cosas que sean como mercados, pero más livianas, y comenzar a pensar en cómo podrían encajar en sus tuberías de ciencia de datos existentes.
Podríamos comenzar a animar a las personas a decir: “Oye, ¿qué estás haciendo con los errores en tus modelos de predicción? ¿A dónde van? ¿Los tiras a la basura? Hazlos públicos, ¿son realmente tan propietarios?” La mayoría de las personas ni siquiera saben cuál es tu modelo, o qué estás modelando, o cómo solías hacerlo, y estás produciendo algo que afirmas que es ruido.
Bueno, ¿de qué tienes miedo? Esa puede ser una aproximación. El área de los mercados de predicción es ciertamente interesante y, al menos en los Estados Unidos, ha sido bastante obstaculizada a lo largo de los años por la regulación. Todo tipo de personas han intentado utilizar esta disciplina, pero luego retroceden cuando se enfrentan a la etiqueta de juego de azar. Para que las cosas funcionen bien, a veces necesitas apostar, por lo que puede haber un costo. No queremos convertir el mundo en máquinas de póker, pero sin algún tipo de disciplina de mercado, no veo que mejore nunca. Solo veo una repetición de cosas.
Joannes Vermorel: Creo que estás tocando algo muy importante, y también algo en lo que he estado abogando durante décadas: si no tienes un ciclo de retroalimentación del mundo real cuando operas en tu espacio matemático con modelos estadísticos y algoritmos, no sabes si estás haciendo cosas que son insanas o no.
Las matemáticas solo te dicen consistencia, si lo que estás haciendo dentro de este espacio matemático es consistente consigo mismo, no con el mundo. Si no tienes un ciclo de retroalimentación, no lo sabes. En el mejor de los casos, si eres estadísticamente y gráficamente correcto, eso solo significa que eres consistente contigo mismo, lo cual es bueno, pero no dice nada sobre el mundo en general.
Cuando decías: “¿Estarías dispuesto a apostar unos euros o dólares en el caso?”, eso es literalmente el ciclo de retroalimentación. Esa es la sanción, la recompensa y el interés en el juego. En la cadena de suministro, uno de los problemas con esos ejercicios de pronóstico es que típicamente están completamente desconectados de lo que las personas están haciendo.
El problema que he identificado es que la mayoría de las empresas tienen un equipo que hace el pronóstico, produce pronósticos de series temporales, y luego el resto de la empresa lidia con las consecuencias. Terminas con prácticas muy extrañas. Por ejemplo, los vendedores, cuando tienen que contribuir al pronóstico de ventas, subestimarán enormemente en un proceso llamado “sandbagging”. ¿Por qué? Porque si pronostican su cuota como 100 pero están seguros de que venderán 200, superarán su cuota y obtendrán su bonificación.
Por otro lado, en la producción, pronosticar una alta demanda te proporciona más presupuesto para aumentar tu aparato de producción. Si tienes una fábrica que puede producir el doble de lo que necesitas, la producción es fluida porque tu capacidad está mucho más allá de lo que realmente necesitas. El problema no es que las personas estén jugando estos juegos; es tener el ciclo de retroalimentación diseñado de manera que las personas sufran las consecuencias. Quieres que los modelos predictivos estén fundamentados, y las apuestas pueden ser una forma increíblemente directa y fundamentada de lograrlo. Operativamente, también es relativamente simple de ejecutar.
Peter Cotton: Hubo un buen participante en el concurso M6, al que llamaré el “modelo Philip”. Una parte importante de su enfoque fue encontrar más datos. No se conformó con las acciones y ETF proporcionados por los organizadores, así que buscó más datos, construyó modelos y vio cómo funcionaban en un universo más amplio. Esto lo hizo menos propenso a sobreajustar a una historia particular. Si bien los mercados de predicción pueden ser engorrosos, las alternativas livianas sin apuestas aún pueden ser efectivas. Microprediction.org, por ejemplo, permite que lo mejor se destaque sin apuestas.
En mi libro, hablo de “micromanageres”, que son mecanismos autónomos que reciben o solicitan predicciones y sirven a un propósito ascendente para una aplicación empresarial. Hay muchos mecanismos diferentes para hacer esto. Por ejemplo, microprediction.org utiliza un sistema de lotería continua con una distribución colectiva del valor futuro de una variable. Se puede ser recompensado por llevar la distribución colectiva hacia la verdadera. Hay mucha literatura sobre la puntuación y caracterización de estimaciones puntuales y distribucionales. El desafío es más cultural: ¿las empresas quieren tener la disciplina que se encuentra en las finanzas durante los últimos 40 años?
Joannes Vermorel: De hecho, es un problema divertido de resolver y la cultura juega un papel importante. La cadena de suministro es un concepto reciente que surgió en los años 90, siendo la logística el campo dominante antes. La excelencia en logística significa no tener accidentes, eliminar riesgos y garantizar la seguridad en el lugar de trabajo. Se ha avanzado mucho en esta área, con profesiones peligrosas volviéndose mucho más seguras. Sin embargo, la cadena de suministro se centra en la visión a largo plazo, haciendo que las cosas sucedan en el terreno, lo cual es un desafío diferente.
Y lo que sucede es que cuando empiezas a pensar en eso, eso es lo que escuché, ya sabes, todos los conceptos, por ejemplo, ya sabes, la distancia de Kullback-Leibler, eso es todo de nuevo, eso es literalmente todas las herramientas conceptuales donde aceptas que el futuro es incierto y, por lo tanto, puedes trabajar con la incertidumbre, e incluso tienes el instrumento matemático para trabajar con eso.
Eso es lo interesante. El desafío cultural para la cadena de suministro es que es increíblemente difícil. La logística, donde surgió la cadena de suministro, consistía en eliminar la incertidumbre de alguna manera. No quieres tener una probabilidad de que alguien muera bajo tu responsabilidad, quieres que esta probabilidad sea cero o algo tan insignificante que cuando suceda, sea algo que honestamente fue casi imposible de prevenir. Entonces, las personas, y eso es bueno, quieren tener certeza en sus procesos. Pero luego, cuando evolucionas hacia esta mentalidad de cadena de suministro donde piensas en el futuro, de repente no puedes obtener esas certezas para cosas que están a punto de suceder dentro de varios años. Existe esta cultura que necesita ser reingenierizada porque tener certeza completa es muy bueno en el terreno para tu operación, pero es un juego completamente diferente cuando comienzas a pensar en el futuro, especialmente no el futuro inmediato sino un poco más allá.
Conor Doherty: ¿Estimarías cuánto tiempo le llevó a las finanzas adoptar, durante el transcurso del siglo XX, esta visión probabilística más elaborada del futuro? Creo que los instrumentos de Valor en Riesgo se introdujeron en los años 80, pero no estoy 100% seguro de mi cronología.
Peter Cotton: Esa es una buena pregunta. Los mercados de opciones existían mucho antes, y mucha gente tenía una buena comprensión de lo que estaba sucediendo. Siempre ha habido personas inteligentes por ahí, y publicaron mucho. La ciencia de datos no tiene 10 años; tiene al menos 40 años, si lees la biografía de Jim Simons. La idea de que la probabilidad es dinero es muy antigua, y la noción de que la probabilidad es poco confiable si no son dólares también es muy antigua.
Conor Doherty: Solo una última pregunta para unirlo todo. ¿Demostró el M6 que es posible vencer al mercado y hacerlo mejor que otras personas lo han hecho históricamente durante más de seis décadas?
Peter Cotton: El problema con eso, y es una distinción muy importante de hacer, es que Warren Buffett no habría terminado en el top 10. Warren Buffett habría tenido estimaciones de probabilidad horriblemente calibradas. Hay una diferencia entre poder vencer al mercado y crear estimaciones probabilísticas iguales o mejores que las del mercado. Ni Warren Buffett ni Jim Simons ni ningún fondo de cobertura individual pueden hacer eso. El M6 es una competencia y una colección de esfuerzos individuales para crear probabilidades, pero un mercado es mucho más que eso. Es una actividad colectiva, y no puedes vencer esa actividad colectiva. Del M6, esperaba encontrar personas inteligentes y todo el crédito para Philip que me venció de manera justa. Pero si miras una simulación numérica, es imposible decir que Philip fue realmente mejor que yo o viceversa.
El rendimiento general del mercado de opciones en el M6 es abrumador. Hubo una etapa piloto, y luego el primer trimestre, el segundo trimestre, el tercer trimestre y el cuarto trimestre. En cada uno de ellos, cinco de cada cinco veces, mi entrada estuvo en el cuartil superior. Si eso no es suerte, creo que, con suerte, el M6 enseña a las personas que la disciplina del mercado está mucho más arriba en comparación con la disciplina a la que están acostumbrados en sus documentos o conferencias de aprendizaje automático, o cualquier otra cosa.
Espero que la moraleja no sea que las personas deben mantenerse alejadas de los mercados porque son demasiado difíciles de vencer. Espero que la moraleja sea diferente, que las personas comiencen a pensar en cómo pueden utilizar el poder de los mercados o cosas similares, o estos bucles de retroalimentación, en sus propios procesos y sus propias empresas. Eso es lo que espero que las personas saquen de esto. No estoy seguro de si lo harán, pero solo se puede esperar.
Conor Doherty: Creo que eso es probablemente el final. Voy a terminar aquí. Quiero agradecerte por tu tiempo, Peter, y muchas gracias, Joannes, por tu experiencia y felicitaciones nuevamente por el M6. Gracias a todos los que están en casa por ver. Nos vemos la próxima vez.
