00:00:00 Discusión de volatilidad e introducción de Peter Cotton.
00:01:22 El desempeño de Peter en la competencia M6 y su estructura.
00:03:21 El tema de la competencia M6 e investigación de la hipótesis de mercados eficientes.
00:06:01 El enfoque del modelo de Peter para predecir volatilidad utilizando el mercado de opciones.
00:08:10 Comparando finanzas con supply chain en términos de entendimiento de la volatilidad.
00:09:20 Forecast probabilístico en supply chain y finanzas.
00:10:01 La dificultad de lograr que la gente piense de forma estocástica.
00:12:26 AI como palabra de moda y su impacto en el forecast.
00:14:55 Simplicidad y robustez frente a la complejidad.
00:17:01 Benchmarking de algoritmos de predicción de series de tiempo y su rendimiento.
00:18:58 Debatiendo cómo una visión distorsionada del rendimiento del modelo puede conducir a sobreajuste y P hacking.
00:20:14 Propósito de las competiciones de forecast en prevenir el sobreajuste y la manipulación de datos.
00:21:27 Criticando la estructura de incentivos académicos y abogando por pruebas continuas y en el mundo real de los algoritmos.
00:22:55 Comparando finanzas con la gestión de supply chain y la necesidad de racionalidad y eficiencia.
00:27:15 El potencial de los mercados de predicción para obtener forecasts precisos y superar sesgos.
00:28:14 Discusión sobre probabilidades futuras y mecanismos de descubrimiento.
00:29:34 Comparando mecanismos probados con opiniones ponderadas compensadas.
00:31:40 Discrepancia en los números durante la competencia M6 y la crisis financiera de 2006.
00:32:25 Distorsión en las expectativas y efecto de las promociones en retail.
00:36:31 Operadores cuantitativos rompiendo barreras y automatizando procesos en supply chain.
00:38:09 Importancia de la disciplina en los mercados de predicción.
00:39:58 El impacto de las regulaciones en los mercados de predicción.
00:40:44 El problema con los modelos estadísticos y el ejemplo de la elección de Trump.
00:42:57 La necesidad de bucles de retroalimentación y consecuencias en el mundo real.
00:46:10 El éxito del modelo de Philip en la competencia M6 al encontrar más datos.
00:47:20 Mecanismos ligeros para predicciones en pipelines de data science.
00:48:41 MicroPrediction.org y su microestructura única para predicciones.
00:50:47 La evolución de supply chain y conceptos de logística.
00:52:35 El desafío cultural de abrazar la incertidumbre en la gestión de supply chain.
00:54:46 Historia de data science en finanzas y su relación con las probabilidades.
00:56:41 Vencer al mercado de valores y compararlo con Warren Buffett.
00:58:36 Concurso M6, esfuerzos individuales y actividad colectiva.
01:00:08 La moraleja del M6 y el uso del poder de mercado en otros ámbitos.
Resumen
En una entrevista, Peter Cotton, Chief Data Scientist at Intech, y Joannes Vermorel, fundador de Lokad, discuten forecast probabilístico, la competencia de forecast M6, y las diferencias entre las perspectivas de finanzas y supply chain sobre volatilidad e incertidumbre. Enfatizan que forecasts perfectos son imposibles y que el forecast probabilístico puede ayudar a tomar mejores decisiones en medio de la volatilidad. Ambos coinciden en el valor de la simplicidad y la robustez al manejar sistemas complejos, ya sean mercados financieros o supply chain. También discuten temas como P-hacking, la transparencia en los errores de los modelos de predicción, y los mecanismos de mercado para mejorar las predicciones. Vermorel destaca los desafíos culturales en gestión de supply chain, mientras Cotton enfatiza la importancia de los mercados para mejorar el forecast global.
Resumen Extendido
En esta entrevista, Peter Cotton, Chief Data Scientist at Intech y operador cuantitativo especializado en forecast, es invitado por Conor Doherty, el presentador, y conversa con Joannes Vermorel, fundador de Lokad, una empresa de software especializada en la optimización de supply chain. La discusión gira en torno al forecast probabilístico, la competencia de forecast M6, y las diferencias entre las perspectivas de finanzas y supply chain sobre volatilidad e incertidumbre.
Peter Cotton, quien se ubicó entre los 10 mejores en la competencia de forecast M6, comparte que la competencia tenía como objetivo investigar la hipótesis de mercados eficientes y si buenos predictores podrían crear portafolios diversificados sensatos que funcionaran bien. Explica que su enfoque en la competencia fue diferente al de los demás, ya que utilizó datos del mercado de opciones para predecir la volatilidad en lugar de forecastearla él mismo. Consideró la competencia M6 como una batalla entre data scientists, forecasters, y profesionales de finanzas cuantitativas contra el mercado de opciones. A pesar de su alta clasificación, Peter se sorprendió de lo bien que se desempeñó en comparación con otros participantes.
Joannes Vermorel añade que las finanzas han estado mucho más avanzadas que supply chain en términos de reconocer y lidiar con la volatilidad y la incertidumbre. Señala que los profesionales de supply chain aún suelen aspirar a forecasts perfectos, lo cual es irrealista. El primer paso para abordar este problema es reconocer que los forecasts perfectos son imposibles, y el segundo, entender que la incertidumbre no significa que las cosas sean incognoscibles. El forecast probabilístico puede ayudar a cuantificar la estructura de la incertidumbre y a tomar mejores decisiones frente a la volatilidad.
Ambos, Peter y Joannes, coinciden en que aún queda mucho trabajo por hacer para incentivar al mundo a pensar en términos más estocásticos e incorporar este entendimiento en los procesos de decision-making. Mientras que las finanzas tienen una larga historia en el manejo de la incertidumbre y el riesgo, ha tomado mucho más tiempo para que estos conceptos sean ampliamente reconocidos y utilizados en la industria de supply chain.
Vermorel observa que AI se ha convertido en una palabra de moda que a menudo oculta la incompetencia. Él cree que cuando los profesionales son competentes, se refieren a sus técnicas por sus nombres técnicos, tales como modelos hiperparamétricos o gradient boosted trees.
Vermorel y Cotton discuten la naturaleza compleja y caótica de los supply chain y el mejor enfoque para manejar tales sistemas. Ambos coinciden en que, en lugar de profundizar en la complejidad, un camino más razonable es buscar algo simple y robusto. Cotton comparte su experiencia con la micro-prediction, que se centra en mantener paquetes de código abierto para la predicción de series de tiempo. Enfatiza que los modelos más exitosos son a menudo los más simples, como promedios ponderados por precisión del desempeño reciente.
Los entrevistados también abordan el tema del P-hacking, donde los investigadores manipulan datos para apoyar el resultado deseado. Argumentan que las competiciones de forecast, como la M5, pueden mitigar este problema al liberar los datos solo después de que los participantes envíen sus resultados, impidiendo que ajusten sus modelos para fabricar resultados falsos.
Cotton critica la literatura académica por tener a menudo un concurso cerrado organizado por la misma persona que participa y evalúa la competencia. Sugiere que, en lugar de publicar artículos, los investigadores deberían ejecutar sus algoritmos indefinidamente y dejar que determinen de forma autónoma su efectividad en diferentes problemas de negocio. Cotton aboga por un enfoque más impulsado por datos, como convertir todo en una competencia M6 o en un mercado de opciones, para aumentar la racionalidad y eficiencia.
Vermorel también compara el entorno implacable de las finanzas con la inercia presente en los supply chain, donde las empresas pueden permanecer ineficientes durante largos periodos sin enfrentar consecuencias severas. Cuestiona la práctica de sales and operations planning (S&OP), que implica reunir a personas para discutir y votar sobre forecasts, sugiriendo que este método no es la forma más efectiva de hacer predicciones.
Vermorel comparte sus experiencias trabajando con grandes minoristas en forecastear el impacto de promotions. Señala que las expectativas a menudo están infladas, y un simple modelo de promediado basado en datos históricos puede producir predicciones más precisas. Sin embargo, presentar estas estimaciones más conservadoras a veces puede encontrar resistencia, ya que podría percibirse como un menoscabo del entusiasmo o una disminución de la inteligencia humana.
Cotton destaca la importancia de la disciplina para hacer predicciones precisas, la cual puede fomentarse mediante enfoques basados en el mercado. Sugiere incentivar a las personas a ser más transparentes sobre los errores de sus modelos de predicción y a considerar el uso de mecanismos de mercado ligeros dentro de sus pipelines de data science. Los mercados de predicción, aunque interesantes, se han visto obstaculizados por regulaciones y preocupaciones sobre el juego.
Cotton relata un desacuerdo con el equipo detrás del modelo electoral de The Economist antes de las elecciones presidenciales de EE.UU. de 2016, que había asignado una probabilidad mucho menor a una victoria de Trump en comparación con los mercados de apuestas. El intercambio subraya la necesidad de mejores métodos para evaluar la precisión de los modelos y las limitaciones de confiar únicamente en la opinión de expertos.
Los participantes coinciden en que los mecanismos de mercado han demostrado ser más confiables que los métodos alternativos para realizar predicciones, pero enfatizan la importancia de encontrar formas de introducir la disciplina de mercado en otras áreas, como la optimización de supply chain y el forecast en el retail.
Vermorel identifica un problema con los ejercicios tradicionales de forecast, que a menudo involucran equipos separados que están desconectados del resto de la empresa. Esto conduce a prácticas como el sandbagging, donde los vendedores subestiman sus forecasts para superar sus cuotas y recibir bonificaciones. La producción, por otro lado, tiende a sobrestimar los forecasts para asegurar presupuestos más altos para aumentar la producción. Vermorel sugiere que crear bucles de retroalimentación con consecuencias en el mundo real puede ayudar a fundamentar los modelos de predicción y hacerlos más efectivos.
Cotton discute el papel de los mercados de predicción en la mejora de los modelos de forecast. Mientras que los mercados de predicción tradicionales pueden ser engorrosos, las alternativas ligeras pueden ser más efectivas en un pipeline de data science. Cotton también menciona su libro sobre mecanismos de microprediction capaces de recibir o solicitar predicciones y servir para propósitos ascendentes en aplicaciones de negocio.
Los entrevistados reconocen los desafíos culturales en la gestión de supply chain, particularmente porque supply chain emergió del campo de la logística en los años 90. La logística se centra en la certeza operativa, mientras que la gestión de supply chain implica planificación a largo plazo y trabajar con la incertidumbre. Vermorel se pregunta cuánto tiempo le tomó a las finanzas adoptar modelos probabilísticos del futuro, mientras Cotton señala que data science ha estado en auge por al menos 40 años.
Cotton también aborda la diferencia entre vencer al mercado y proporcionar estimaciones de probabilidad precisas. Explica que, aunque individuos como Warren Buffett han vencido al mercado consistentemente, no pueden crear modelos independientes que ofrezcan mejores estimaciones probabilísticas que el propio mercado. Enfatiza la importancia de los mercados como una combinación de esfuerzos individuales para crear probabilidades y mejorar el forecast global.
Transcripción Completa
Conor Doherty: Bienvenido de nuevo a Lokad TV, soy tu presentador Conor, y como siempre, estoy acompañado por el fundador de Lokad, Joannes Vermorel. El invitado de hoy es Peter Cotton, Senior VP y Chief Data Scientist at InTech Investment. Hoy, nos hablará sobre forecast probabilístico y posiblemente cómo vencer al mercado de valores. Peter, bienvenido a Lokad.
Peter Cotton: Gracias por invitarme.
Conor Doherty: En Lokad, nos gusta saber con quién estamos hablando. Entonces, Peter, ¿podrías contarnos un poco sobre tu trayectoria y qué haces en InTech Investment?
Peter Cotton: Oh, claro. Me describiría como un quant de carrera. He trabajado tanto en el buy side como en el sell side, y tuve un breve paso como emprendedor construyendo una empresa de data. Actualmente, paso mi tiempo intentando predecir cosas, lo cual no te sorprenderá, y también empujando los límites de la teoría de portafolios.
Conor Doherty: Debemos decir desde el inicio, felicidades por tu reciente desempeño en la competencia M6. Creo que quedaste entre los 10 mejores, ¿es correcto?
Peter Cotton: Sí. No estoy seguro de si es mérito mío o simplemente el mérito de todos esos operadores de opciones y los quants que los apoyan. En ciertos aspectos, no fue mi trabajo en absoluto; yo solo fui un mero conducto de una fuente de poder predictivo a otra.
Joannes Vermorel: Para la audiencia, el M6 fue en realidad la sexta iteración de una serie muy conocida de competiciones de forecast, donde el objetivo es literalmente hacer predicciones. La competencia funciona de la siguiente manera: se publica un dataset, luego hay un conjunto de reglas, y la gente tiene que hacer predicciones, típicamente en forma de time series forecasts. En este caso, hubo un aspecto probabilístico en las dos últimas iteraciones de la competencia, el M5 y el M6. Fue un juego iterado con 12 iteraciones, en el que la gente debía enviar sus resultados y la competencia avanzaba. Había muchas reglas para establecer quién tuvo el mejor desempeño y, de hecho, superó al mercado. Es un ejercicio muy exigente y brutal, porque hay muy poco margen para falsificar tus resultados.
Conor Doherty: Mi entendimiento es que cada iteración de la competencia M es diferente. Entonces, Peter, ¿cuál fue el tema del M6? Quiero decir, ¿cuál fue el objetivo expreso?
Peter Cotton: El objetivo de los organizadores, en un sentido amplio, era investigar la Hipótesis de Mercados Eficientes, que establece, en sus diversas formas, que es difícil vencer al mercado. La razón por la que es difícil vencer al mercado es que existe un gran incentivo financiero para lograrlo, y hay muchas personas inteligentes que han pasado los últimos 40 años de sus carreras intentando hacerlo, formando equipos y recopilando todos los datos que pueden encontrar para ello. Sin duda, lo mejor que se ha predicho en el planeta Tierra es probablemente el precio de las acciones de Google o algo así. Todo lo demás está un peldaño por debajo en términos de predicción, así que ese fue uno de los objetivos declarados de los organizadores. Otro fue investigar si las personas que podían predecir bien también serían capaces de transformar eso en portafolios diversificados sensatos que funcionaran según algún criterio con el que pudiéramos debatir. Así que, creo que esos fueron los dos objetivos principales de los organizadores, al menos según lo entendí. ¿Y qué fue exactamente lo que hizo tu modelo que otros participantes no lograron hacer bien?
Lo que fue diferente en mi participación es que, desde una perspectiva filosófica, consideré el problema como la búsqueda de cualquier dato que fuera relevante. Por supuesto, otras personas lo verían de esa manera, pero creo que lo que es distinto es que a veces se pasa por alto el hecho de que los datos pueden presentarse en forma de números implícitos o números que están implícitos en los mercados existentes.
Ahora, si observas la competencia M6, se nos pidió intentar predecir la probabilidad de que una acción o ETF determinado tuviera rendimientos en, digamos, el segundo cuantil entre sus 100 pares después de un mes. Entonces, te preguntas, ¿qué es lo que realmente determina si una acción terminará en el segundo cuantil de sus pares? Bueno, si tienes una opinión sobre la dirección de la acción, eso obviamente incrementará la probabilidad de terminar en los dos cuantiles superiores. Pero si no tienes una opinión sobre la acción, como personalmente no la tenía, entonces lo principal que influirá en si terminas en el primer cuantil o en el tercer cuantil es la volatilidad de la acción.
Entonces, argumentaría que en realidad se trataba de un concurso para predecir la volatilidad, no la dirección de la acción, quizás algo contraria a la hipótesis expuesta por los organizadores, pero está bien, es un experimento de laboratorio. Así que, lo que hice fue: dije, “Bueno, mira, ya existe una fuente de información increíblemente buena sobre la volatilidad de las acciones. Se llama el mercado de opciones.” Así que, simplemente observé el mercado de opciones, y en lugar de hacer mi propio forecast de volatilidad, utilicé esos números. Eso fue prácticamente todo lo que hice.
Así que, podrías considerar mi participación simplemente como un benchmark de mercado, quizás no el mismo benchmark de mercado que la gente anticiparía. Los organizadores han establecido un benchmark de mercado diferente y más débil. Pero ese era el mío, y dije, “Mira, es muy difícil obtener mejores estimaciones forward-looking de hasta cuánto se moverá una acción de lo que implicaría el mercado de opciones, porque si pudieras hacerlo, podrías ganar dinero comprando y vendiendo opciones.” Por supuesto, hay algunas personas que ganan dinero vendiendo, comprando y vendiendo opciones, yo lo hago, pero eso lleva al mercado a un estado muy eficiente, y por eso pensé que este concurso era divertido.
Fue una forma de reunir a una comunidad de data scientists, forecasters y algunos quants, y decir, “Mira, aquí está este tipo de enfrentamiento, y me pareció realmente divertido hacerlo.” Así que eso fue lo que hice, y ahora, de hecho, me sorprendió un poco lo alto en lo que terminé en el ranking. Creo que estuve a 0.002 de Brier score de estar en la zona de ganancias, de ganar algo de dinero, tan dolorosamente cerca. Pero el punto principal era simplemente ver, ya sabes, ¿le ganaría al 70% de los participantes, o al 80%? Resultó que le gané al 96% de los participantes. Honestamente, eso me sorprendió un poco.
Joannes Vermorel: Lo interesante para mí, proveniente de un background en supply chain, es que siempre me impresiona de manera increíble lo mucho que las finanzas están literalmente décadas por delante de supply chain en lo que respecta a todo tipo de cosas.
Mi principal lucha en Lokad es que la volatilidad existe. Todavía estamos en la discusión de si existe en absoluto, porque en los círculos de supply chain hay muchas personas que dicen, “Vamos a forecast con cuatro decimales cuánto vamos a vender el próximo año.” Si tuvieras un forecast de ventas perfecto, todo se convertiría en una cuestión de orquestación. Puedes decidir exactamente cuánto vas a producir, cuánto necesitas comprar y cuánto asignar en términos de inventario. Así que, si tuvieras forecast perfectos y toda la ejecución para entregar los bienes y servicios se convirtiera simplemente en una cuestión pura de orquestación mundana.
Cuando Lokad comenzó a impulsar los forecast probabilísticos en supply chain hace una década, no era algo nuevo, ya que las finanzas lo han estado haciendo con el value at risk durante al menos tres o cuatro décadas. La idea clave es, primero, que tenemos que renunciar a la idea de que tendremos un forecast perfecto. El primer paso es reconocer que no se puede saber todo lo que hay que saber sobre el futuro. Parece obvio para la gente que viene de las finanzas, pero en supply chain todavía no se reconoce ampliamente que no se puede lograr un forecast perfecto.
Una vez que aceptas que tienes incertidumbre, eso no significa que no sepas nada. Puedes tener incertidumbre y, a la vez, cuantificar la estructura de esa incertidumbre con volatilidad. No es porque sea incierto que sea incognoscible. Hay cosas que se pueden saber sobre la estructura de la incertidumbre, y es entonces cuando hablamos de forecast probabilísticos. Desde una perspectiva de supply chain, lo usamos para decir que no se toman las mismas decisiones frente a una incertidumbre de dispersión inmensa o muy concentrada. Cuando enfrentas una volatilidad enorme, no abordas el riesgo de manera cuantitativa de la misma forma que cuando, comparativamente, es casi seguro.
Peter Cotton: Es cierto que todavía se están tomando décadas para transmitir ese mensaje. Hay personas en la ciencia de la administración que han intentado popularizar esta noción, como Sam Savage con The Flaw of Averages, y fomentar que la gente entienda que tomar un único camino o un valor promedio te llevará a problemas. En las finanzas han existido todas estas nociones increíblemente detalladas de riesgo de convexidad durante años. Es asombroso lo diferente que es.
También lo he notado, porque algunos competidores tienen que proporcionar predicciones de distribución, y si vienes de Kaggle o de algún otro lugar, puede que no estés familiarizado con la motivación detrás de ello. Entonces, ¿cuál es la solución? ¿Cómo incentivamos al mundo a pensar en términos más estocásticos y a incorporar eso en la toma de decisiones o en las hojas de cálculo? No es tan fácil.
Joannes Vermorel: Absolutamente. Y creo que uno de los ingredientes que está nublando aún más el panorama es que, al menos desde mi experiencia en enterprise software en supply chain, la palabra de moda de la década ha sido AI. Es interesante porque, en cuanto tienes AI, se supone que tienes una comprensión superior del futuro.
Desde mi punto de vista, AI es solo una palabra de moda para enmascarar tu propia incompetencia con algo. Una vez que eres muy competente, tiendes a llamarlo de otra manera, como un modelo hiper-paramétrico o árboles de gradient-boosting. Cuando dices AI, es simplemente el galimatías de algo que no entiendes.
Lo interesante es que, muy frecuentemente, cuando te enfrentas a algo increíblemente caótico y complejo, mi experiencia y nuestros resultados con el M5 demuestran que Lokad lo hizo muy bien con un método que era órdenes de magnitud más simple que los métodos impulsados por AI. Lo que me pareció interesante de tu enfoque de micro prediction es que creo que hiciste algo muy similar en su simplicidad. Entonces, cuando te enfrentas a algo increíblemente complejo, ¿es mejor tener un sistema que refleje toda esa complejidad o, por el contrario, contar con algo muy simple que te guíe a través de la tormenta?
Joannes Vermorel: Realicé un par de experimentos al respecto. Estaba ansioso por contar con la mayor cantidad de buenos algoritmos que pudiera encontrar en el mundo open-source para la predicción de series temporales. Trato de mantener estos paquetes open-source que facilitan bastante la comparación de métodos o determinar cuál es una buena serie temporal para tu propósito. Algunos de ellos tienen una vida autónoma y tratan de ver si son buenos para predecir algo. Micro prediction es como el M6 para algoritmos, pero típicamente en frecuencias más altas.
Peter Cotton: Por supuesto, empezamos a desarrollar opiniones a lo largo del tiempo sobre lo que realmente funciona y qué es robusto en diferentes situaciones. Hice algunas pruebas de referencia offline con series temporales univariantes y probablemente existan entre 20 y 50 paquetes de Python para la predicción de series temporales. La mayoría de ellos envuelven otros paquetes como TSA y stats models. Pero cuando los comparas con métodos clásicos, descubres que simples promedios ponderados por precisión del desempeño reciente de un conjunto de modelos simples terminan estando en la cima. Los modelos simples incluyen cosas como Auto ARIMA y sus variantes o incluso algo más sencillo.
Joannes Vermorel: Para la audiencia, creo que lo que estás señalando es que el P-hacking es un problema muy real. Cuando te aventuras en el ámbito de modelos sofisticados, casi siempre puedes encontrar un modelo que, por casualidad, funciona bien. Esto puede conducir a overfitting y P-hacking, donde seleccionas a conveniencia dimensiones e hipótesis para pasar alguna prueba estadística de confianza. Las competiciones de forecast evitan esto al liberar los datos solo después de que las personas envían sus resultados, de modo que no pueden ajustar sus modelos para generar resultados falsos.
Peter Cotton: Así es. La mayor parte de la literatura académica comprende un concurso pequeño y cerrado organizado por la misma persona que participa. Deciden quién más puede participar, corren la carrera 10 veces y luego publican el resultado. Es ridículo. El objetivo de las competiciones de forecast es evitar que esto ocurra.
Estoy de acuerdo. Es absolutamente ridículo. ¿Por qué existe siquiera una literatura empírica? No lo sé. Pasé mi tiempo tratando de burlarme de la noción misma de una literatura empírica. ¿Por qué publicar un artículo sobre la eficacia de un modelo en algo en tiempo real si el artículo no se va a actualizar a sí mismo, verdad? No sé qué podemos hacer para salir de esto, desafortunadamente. Como todos sabemos y como dice The Economist, la broma sobre los incentivos es que el problema no es que no funcionen, sino que funcionan demasiado bien. Así que, si el único incentivo es publicar artículos, eso es lo que obtendrás. Si el único incentivo es una métrica algo extraña para el M6 en el lado de la inversión del concurso, vas a encontrar, ya sabes, a tres de cada 200 personas que descubrirán que esa es la forma de manipularlo, ¿verdad? Así es como va.
Así que, sí, es decir, abogo por que, en lugar de publicar artículos, la gente debería tomar su algoritmo y ejecutarlo indefinidamente. Y deberíamos fomentar una infraestructura en la que las empresas puedan compartir y que permita que estos algoritmos viajen de un problema de negocio a otro para descubrir si realmente funcionan bien. Y si estos métodos que están surgiendo hoy en día, y algunos de ellos son muy ingeniosos y machine learning, son capaces de desempeñarse verdaderamente bien fuera de la muestra y si hay suficientes datos para que lo hagan, habrá suficientes datos para determinar de forma autónoma si son buenos o no. Y así, realmente no necesitamos humanos con sus opiniones fuertes, fuertes a priori, egoísmo y control de acceso, para determinar qué algoritmo debería funcionar para un problema de negocio dado. A menudo, al menos en mi dominio, y tu dominio es un poco más desafiante porque tienes forecasts a más largo plazo, pero en mi dominio, si se trata de predecir cuántos clientes aparecerán en los próximos cinco minutos o cuántos autos pasarán por una intersección en los próximos dos minutos, eso es un gran problema de datos. No debería haber, no hay razón para que la gente con sus PDFs y todo lo demás se entrometa. En mi opinión, mejor convirtamos todo en un M6, pero acelerado, o mejor aún, convirtamos todo en un mercado de opciones.
Joannes Vermorel: Sí, y lo interesante es que, de nuevo, para mí las finanzas son simplemente ese tipo de práctica, y lo digo en el buen sentido, porque existe esta percepción general del público de que, ya sabes, si hay un villano en una película, va a ser el tipo de finanzas y las opciones. Pero en mi opinión, esos mercados son un ejercicio de racionalidad. Quiero decir, si eres profundamente irracional, simplemente te quebrarás. Y solo las personas que pueden mantener un nivel muy, muy alto de racionalidad en lo que hacen durante un largo periodo de tiempo no se hacen quebrar. Es un ambiente muy implacable. Incluso las pequeñas ineficiencias se explotan muy rápidamente. Si tienes algunos competidores que, año tras año, son algunos porcentajes más eficientes que tú, entonces la gente reasigna sus fondos hacia esas personas y literalmente te quebrarás. Así que es, literalmente, darwinismo acelerado en acción de una manera bastante brutal.
De maneras que esas, ya sabes, predicciones a largo plazo, ese es también el tipo de cosas que la gente no se da cuenta en supply chain, de que hay muchas empresas que pueden sobrevivir durante décadas no porque sean muy, muy buenas, sino porque existe una inercia tan increíble al configurar la infraestructura, actualizar las prácticas y demás, que puedes permanecer súper ineficiente durante una década o más antes de que se note siquiera una mínima diferencia. Por ejemplo, muchos minoristas se lanzaron a internet para configurar su tienda web dos décadas después de Amazon, y sufrieron mucho en lugar de simplemente desaparecer. En finanzas, hubo muchas cosas –si llegas dos décadas tarde a la fiesta, es simplemente insoportable. Entonces, desde un trasfondo de supply chain, cuando se trata de pensar en el futuro, uno de los métodos más populares sigue siendo S&OP, que significa Sales and Operations. Esto implica tener a todas las personas reunidas en la sala y discutir, de modo que a través de la discusión emerja el forecast adecuado. Desde tu perspectiva de trader cuantitativo, ¿te parecería una opción razonable? Es decir, queremos rendir bien, así que reunamos a 20 personas en la sala, echemos un vistazo a esos gráficos y luego hagamos una votación para decidir el forecast, con puntos extra si tienes un rango más alto en la organización.
Peter Cotton: ¡Dios mío, para ser perfectamente honesto, no envidio a la gente que se encuentra en la posición de hacer forecast a uno o dos años de anticipación. Obviamente, es un juego complicado. La cuestión de la inteligencia colectiva entre los humanos en ese tipo de tarea de predicción y cómo se logra, sin duda, tiene una literatura interesante. Pero siento que a veces hay un hecho simple: el sesgo puritano de EE. UU. simplemente se interpone en el camino de una solución bastante obvia. Quiero decir, crecí en Australia, y si quieres saber, por ejemplo, si dos moscas que se arrastran por una pared, cuál llegará primero, dejas que la gente apueste por ello. Es realmente así de simple. No compliquemos esto.
El mejor dispositivo de predicción, el primer gran dispositivo de predicción, fue construido del tamaño de un edificio en Ellerslie Racecourse y se inauguró, creo, en 1913. Fue la primera máquina totalizadora mecánica del mundo. La gente podía apostar a caballos, y estos gigantescos pistones se elevaban lentamente en el aire para informar a los presentes cuánto se había apostado a cada caballo. Y a través de este asombroso aparato mecánico, surgió la probabilidad – el primer ejemplo de probabilidad neutral al riesgo definida en un sistema de procesamiento de información en tiempo real. En 100 años, hasta donde yo sé, sigue siendo la única manera realmente razonable de llegar a las probabilidades futuras de los eventos. No creo que haya habido una invención mejor.
Joannes Vermorel: Sí, y un punto que me resulta muy interesante es que estás señalando que se está poniendo en juego un mecanismo de descubrimiento. De eso estamos hablando, y hay ingenio en ello. Lo que realmente vale la pena no es necesariamente el modelo que lo acompaña ni la noción de perspicacia humana, sino tener un enfoque en el que pienses: “¿Cuál es mi mecanismo de descubrimiento para obtener información más fiable sobre este futuro? ¿Existe siquiera algo que actúe como mecanismo de descubrimiento, o simplemente estoy inventando cosas y declarando que aquellas afirmaciones que hago implícitamente sobre el futuro son tan buenas y válidas, sin siquiera considerar que podría haber un trayecto para llegar ahí?” Algo que ha sido concebido teniendo en mente este descubrimiento, y esa es una gran manera de expresarlo.
Peter Cotton: Aquí tienes un mecanismo que ha sido probado una y otra vez en mil lugares diferentes durante un siglo, y simplemente sigue funcionando. La gente constantemente viene y dice, “Bueno, espera, hay algo más que podemos hacer”, como un gran ejemplo de opiniones ponderadas compensadas en una sala observando una dispersión. Bueno, tal vez ese sea el mecanismo adecuado para la predicción, ¿quién sabe? Mira la historia. Comencé mi carrera en 2001 en crédito y viví la experiencia de 2006. Tenías un mercado que proporcionaba un número de correlación implícita que te decía cuál era la visión del mercado sobre la codependencia relativa de la fortuna de una empresa y otra. Digamos que ese número era 30. Las agencias de calificación adoptaron un enfoque actuarial, al igual que los participantes del M6. Ignoraron la información del mercado y desarrollaron su propio modelo, incluso ignorando las matemáticas que a veces se requerían para reconocer la información. Dijeron a los inversores institucionales que el número no era 30, ni siquiera 20, sino un 5 por ciento. Esa es una discrepancia enorme en un número. Entonces, ¿cómo ha resultado esto, aparte de una crisis financiera global y otros desastres en supply chain? ¿Cuánto tiempo nos llevará darnos cuenta de que el mercado es el único camino? ¿Cuántos ejemplos necesitamos?
Joannes Vermorel: Lo curioso es que hay una especie de locura parcial en marcha. Solo para dar un ejemplo, en retail, Lokad está trabajando con muchos grandes minoristas. Típicamente, cuando se trata de medir el impacto de las promociones, como una barra de chocolate al 30% de descuento, la gente se muestra entusiasta con el efecto. Quieren mover la aguja y adquirir cuota de mercado. Pero cuando observamos los forecast de promoción, los números casi siempre están inflados. La gente piensa que las ventas serán tres o cuatro veces la cantidad normal. Sin embargo, cuando aplicas un modelo de promediado super básico y miras las promociones pasadas, la realidad es más conservadora. Es interesante porque, al mostrarles un modelo más conservador, sienten que se disminuye su entusiasmo y la inteligencia humana.
Peter Cotton: En informática, hay un lema: escribe la prueba primero. Pero nadie escribe la prueba primero cuando se trata de hacer forecast o de predecir el futuro, ¿verdad? Y solo alrededor del cinco por ciento de las veces la escriben después, si es que alguna vez regresan de forma rigurosa y revisan lo que efectivamente han hecho.
Sí, es cierto. Los mercados tienen, a pesar de todas sus fallas, una manera increíble de imponer disciplina. Hay una razón por la que algunos de los principales hedge funds, por ejemplo, incorporan cosas como campamentos de poker. Crecí tratando de entender los mercados de apuestas de diversos tipos, y si no tienes esa disciplina, no vas a mejorar en predecir las cosas. Entonces, ¿cómo creamos esa disciplina?
No queremos que la UE obligue a que todos pongan los residuales de sus modelos en la blockchain, ya que eso sería ineficiente por varias razones. Sin embargo, tal vez podamos alentar a la gente a pensar en cómo podrían emplear cosas parecidas a mercados, pero más ligeros, y comenzar a considerar cómo podrían encajar en sus procesos existentes de ciencia de datos.
Podríamos empezar a animar a la gente a decir, “Oye, mira, ¿qué estás haciendo con los errores en tus modelos de predicción? ¿A dónde van? ¿Se tiran a la basura? Hazlos públicos, ¿realmente son tan propietarios?” La mayoría ni siquiera sabe qué es tu modelo, o qué estás modelando, o cómo solías hacerlo, y estás produciendo algo que afirmas es ruido.
Bueno, ¿a qué tienes miedo? Esa puede ser una aproximación. El área de los prediction markets es sin duda interesante, y al menos en EE. UU. ha sido prácticamente mermada a lo largo de los años por la regulación. Todo tipo de gente ha intentado usar esta disciplina, pero luego se repliegan cuando se enfrentan a la etiqueta de apuestas. Para que las cosas funcionen bien, a veces se necesita staking, por lo que puede haber un costo. No queremos convertir el mundo en máquinas de poker, pero sin algún tipo de disciplina de mercado, no veo que esto mejore nunca. Solo veo una repetición de cosas.
Joannes Vermorel: Creo que estás tocando algo muy importante, y también algo que he estado defendiendo durante décadas: si no tienes un bucle de retroalimentación del mundo real cuando operas en tu espacio matemático con modelos estadísticos y algoritmos, no sabes si estás haciendo cosas que son una locura o no.
Las matemáticas solo te dicen la consistencia, es decir, si lo que haces dentro de este espacio matemático es consistente consigo mismo, pero no con el mundo. Si no tienes un bucle de retroalimentación, no lo sabes. En el mejor de los casos, si eres correcto estadística y gráficamente, eso solo significa que eres consistente contigo mismo, lo cual es bueno, pero no dice nada sobre el mundo en general.
Cuando decías, “¿Estarías dispuesto a apostar unos pocos Euros o dólares en el caso?”, eso es literalmente el bucle de retroalimentación. Ese es el castigo, la recompensa y la participación directa. En supply chain, uno de los problemas con esos ejercicios de forecast es que, por lo general, están totalmente desconectados de lo que hace la gente.
El problema que he identificado es que la mayoría de las empresas tiene un equipo encargado del forecast, produciendo forecast de series temporales, y luego el resto de la empresa se encarga de las consecuencias. Terminas con prácticas muy extrañas. Por ejemplo, los vendedores, cuando tienen que contribuir al forecast de ventas, tienden a subestimar enormemente las cifras en un proceso llamado sandbagging. ¿Por qué? Porque si proyectan su cuota como 100 pero están seguros de que venderán 200, excederán su cuota y obtendrán su bonificación.
Por otro lado, en producción, al forecastear una alta demanda, se obtiene más presupuesto para aumentar el aparato de producción. Si tienes una fábrica que puede producir el doble de lo que necesitas, la producción resulta fluida porque tu capacidad está muy por encima de lo que realmente se requiere. El problema no es que la gente esté jugando estos juegos; es diseñar el bucle de retroalimentación de forma que las personas sufran las consecuencias. Se quiere que los modelos predictivos estén fundamentados, y los compromisos financieros como apostar pueden ser una manera increíblemente directa y sólida de lograrlo. Operativamente, también es relativamente sencillo de ejecutar.
Peter Cotton: Hubo un buen participante en el concurso M6, al que llamaré el “modelo Philip”. Una parte importante de su enfoque fue encontrar más datos. No se conformaba con las acciones y ETFs proporcionados por los organizadores, así que buscó más datos, construyó modelos y observó cómo se desempeñaban contra un universo más amplio. Esto lo hizo menos propenso a sobreajustarse a una historia particular. Si bien los prediction markets pueden ser engorrosos, las alternativas ligeras sin staking aún pueden ser efectivas. Microprediction.org, por ejemplo, permite que la crema suba a la cima sin staking.
En mi libro, hablo de “micromanagers”, que son mecanismos autónomos que reciben o solicitan predicciones y cumplen una función ascendiente para una aplicación empresarial. Existen muchos mecanismos diferentes para hacer esto. Por ejemplo, microprediction.org utiliza un sistema de lotería continua con una distribución colectiva del valor futuro de una variable. Puedes ser recompensado por impulsar la distribución colectiva hacia la verdadera. Hay mucha literatura sobre scoring y caracterizaciones de estimaciones puntuales y de distribuciones. El desafío tiene más que ver con la cultura: ¿quieren las empresas tener la disciplina que se ha encontrado en las finanzas durante los últimos 40 años?
Joannes Vermorel: Realmente es un problema divertido de resolver, y la cultura juega un papel importante. Supply chain es un concepto reciente que surgió en los años 90, habiendo sido la logística el campo dominante anteriormente. La excelencia en logística implica no tener accidentes, eliminar peligros y garantizar la seguridad en el lugar de trabajo. Se ha avanzado muchísimo en esta área, haciendo que las profesiones peligrosas sean mucho más seguras. Sin embargo, supply chain se centra en la visión a largo plazo, en hacer que las cosas sucedan en el terreno, lo cual es un desafío diferente.
Y lo que pasa es que, cuando empiezas a pensar en eso, es lo que escuché, ya sabes, todos esos conceptos, por ejemplo, la distancia de Kullback-Leibler, son, de nuevo, todo tipo de herramientas conceptuales con las que se acepta que el futuro es incierto y, por lo tanto, se puede trabajar con la incertidumbre, e incluso se cuenta con el instrumento matemático para gestionarla.
Eso es lo interesante. El desafío cultural para supply chain es que es increíblemente difícil. La logística, de donde surgió supply chain, consistía en eliminar la incertidumbre de cierta manera. No quieres tener una probabilidad de que alguien muera bajo tu supervisión; quieres que esa probabilidad sea cero o algo tan ínfimo que, cuando ocurra, realmente sea algo que, honestamente, casi era imposible de prevenir. Entonces, la gente, y eso es bueno, quiere tener certeza en sus procesos. Pero luego, cuando evolucionas hacia esa mentalidad de supply chain en la que piensas en años por delante, y de repente no puedes obtener esas certezas para cosas que sucederán dentro de años, existe una cultura que necesita ser reestructurada, porque tener certeza completa es muy bueno en el terreno de la operación, pero es un juego completamente distinto cuando empiezas a pensar en el futuro, especialmente no en el futuro inmediato, sino un poco más allá.
Conor Doherty: ¿Estimarías cuánto tiempo le tomó a las finanzas abrazar, a lo largo del siglo XX, esta visión probabilística más elaborada del futuro? Creo que los instrumentos Value at Risk se introdujeron en los años 80, pero no estoy 100% seguro de mi cronología.
Peter Cotton: Esa es una buena pregunta. Los mercados de opciones existían mucho antes de eso, y mucha gente tenía bastante claro lo que ocurría. Siempre ha habido gente inteligente, y publicaron mucho. La ciencia de datos no tiene 10 años; tiene al menos 40 años, si lees la biografía de Jim Simons. La probabilidad expresada en dólares es una idea muy antigua, y la noción de que la probabilidad es poco fiable si no se expresa en dólares también es muy antigua.
Conor Doherty: Solo una última pregunta para resumirlo todo. ¿Demostró el M6 que es posible superar al mercado y hacerlo mejor de lo que históricamente han logrado otras personas durante más de seis décadas?
Peter Cotton: El problema con eso, y es una distinción muy importante a destacar, es que Warren Buffett no habría terminado entre los 10 primeros. Warren Buffett habría tenido estimaciones de probabilidad terriblemente calibradas. Existe una diferencia entre ser capaz de superar al mercado y crear las mismas o mejores estimaciones probabilísticas que el mercado puede hacer. Ni Warren Buffett, ni Jim Simons, ni ningún hedge fund individual pueden lograrlo. M6 es un concurso y una colección de esfuerzos individuales para crear probabilidades, pero un mercado es mucho más que eso. Es una actividad colectiva, y no puedes vencer esa actividad colectiva. Del M6, esperaba encontrar a gente inteligente y todo el crédito para Philip, quien me venció de manera justa. Pero, si observas una simulación numérica, es imposible decir que Philip fue realmente mejor que yo o viceversa.
El desempeño general del mercado de opciones en el M6 es algo abrumador. Hubo una fase piloto, y luego el primer trimestre, el segundo trimestre, el tercer trimestre y el cuarto trimestre. En cada uno, en cinco de cinco ocasiones, mi entrada estuvo en el cuartil superior. Si eso no es suerte, creo que, con suerte, el M6 enseña a las personas que la disciplina del mercado está muy por encima en comparación con la disciplina a la que están acostumbrados en sus artículos o conferencias de machine learning o lo que sea.
Espero que la moraleja no sea que la gente deba alejarse de los mercados porque son demasiado difíciles de vencer. Espero que la moraleja sea otra, que la gente empiece a pensar en cómo pueden utilizar el poder de los mercados o cosas similares, o estos ciclos de retroalimentación, en sus propias pipelines y en sus propias compañías. Eso es lo que espero que la gente saque de ello. No estoy seguro de que lo hagan, pero solo se puede esperar.
Conor Doherty: Creo que probablemente ese sea el final. Voy a cerrar el asunto. Quiero agradecerte por tu tiempo, Peter, y muchas gracias, Joannes, por tu experiencia y felicitaciones nuevamente por el M6. Gracias a todos en casa por ver. Nos vemos la próxima vez.
