00:00:07 Introducción a Kaggle y al invitado Rafael de Rezende.
00:00:39 El rol y trayectoria de Rafael en Lokad.
00:01:29 Kaggle y sus competiciones de machine learning.
00:04:22 La naturaleza competitiva y colaborativa de Kaggle.
00:06:55 Impacto de la colaboración en la creatividad en las competiciones de Kaggle.
00:08:02 Competencia M5 y su alcance (forecast de ventas para 30,000 SKUs en tiendas Walmart).
00:08:39 Función de pérdida pinball como métrica de puntuación.
00:10:26 Los miembros del equipo y sus roles específicos en la competencia.
00:12:05 La diferencia entre metodologías de competencia y aplicaciones en la vida real.
00:14:25 Análisis de las 10 mejores soluciones y su cercanía en rendimiento.
00:16:00 Discusión sobre costos operacionales y mantenibilidad de modelos.
00:17:47 Importancia de la estabilidad numérica en escenarios del mundo real.
00:19:21 Extensibilidad y limitaciones reales en modelos de competencia.
00:20:35 Posibles mejoras y enfoque futuro tras la competencia.
00:22:14 Importancia del conocimiento de dominio y comparación de rendimiento con el estado del arte.
Resumen
En una entrevista con Kieran Chandler, Joannes Vermorel y Rafael de Rezende de Lokad discuten su participación en una competencia de forecast de ventas de Walmart. Enfatizan la importancia de que los modelos sean numéricamente estables, mantenibles y extensibles. A pesar de las limitaciones, su enfoque condujo a resultados cercanos al estado del arte, validando su concentración en métodos prácticos, rentables y mantenibles de supply chain optimization. La experiencia demostró los beneficios de ser tanto expertos en supply chain como data science. El equipo ahora planea implementar las ideas obtenidas para mejorar las soluciones para sus clientes.
Resumen Extendido
En esta entrevista, el presentador Kieran Chandler conversa con Joannes Vermorel, fundador de Lokad, y Rafael de Rezende, Head of Product Development en Lokad. Ambos invitados tienen experiencia en supply chain optimization y aportan su pericia a la discusión de una reciente competencia en Kaggle que involucra la distribución de uncertainty de las ventas de Walmart.
Rafael de Rezende se presenta como ingeniero industrial con experiencia en supply chain. Ha estado trabajando en Lokad durante los últimos tres años, y su rol ha evolucionado durante ese tiempo. Actualmente, se desempeña como Head of Product Development, liderando un equipo que aborda los temas “geeky” en Lokad. Principalmente trabajan en time series forecast, además de en resolución de imágenes a multi-escala y el sistema MOQ, que ya se había comentado anteriormente en el programa.
Joannes Vermorel ofrece una visión general de la competencia en Kaggle en cuestión y de Kaggle mismo, describiéndolo como una “subcultura muy específica.” Kaggle, ahora propiedad de Google, es una organización que organiza competiciones de machine learning en las que los participantes deben predecir o forecast algo. Las empresas típicamente proveen un conjunto de datos y ofrecen grandes premios en efectivo para incentivar la participación. En el caso de la competencia de ventas de Walmart, había $100,000 en juego.
El ambiente en estas competiciones es altamente competitivo, atrayendo a cientos de profesionales que dominan los algoritmos y publicaciones más recientes. A pesar de su naturaleza nicho, Kaggle tiene una presencia global significativa, contando con más de un millón de participantes registrados. Los competidores no son necesariamente investigadores, sino que son hábiles para identificar los algoritmos más avanzados para un problema dado. Luego buscan pequeñas mejoras para obtener una leve ventaja sobre los demás y, en última instancia, ganar la competencia.
Según Vermorel, los ganadores de Kaggle suelen ser de Norteamérica o Asia, pero cuentan con una comunidad de participantes a nivel mundial. La adquisición de la plataforma por parte de Google subraya aún más su creciente popularidad y significado en el ámbito del machine learning y data science.
Tanto Vermorel como Rezende aprecian la analogía deportiva en lo que respecta a la competencia. Destacan el enfoque colaborativo en el evento, donde los participantes se ayudan mutuamente para mejorar sus habilidades. Al mismo tiempo, reconocen la feroz competencia que se produce debido a los incentivos económicos y a la implicación de grandes organizaciones.
El equipo de Lokad era nuevo en esta competencia, pero ya tenían experiencia previa en competencias intensas en supply chain management. Rezende reconoce que el nivel de competencia en este evento fue mucho mayor que en los desafíos anteriores que habían enfrentado.
Algunos críticos sostienen que la naturaleza colaborativa de la competencia puede obstaculizar la creatividad, ya que los participantes pueden abandonar sus propias ideas y seguir la pauta de soluciones de alta puntuación. Este efecto de rebaño podría limitar el pensamiento innovador.
Desde la perspectiva de la empresa, Vermorel se alegra de que el equipo haya participado en la competencia, a pesar de que ganar no formaba parte de la hoja de ruta estratégica de Lokad. Él cree que tales competencias aclaran el estado del arte en el campo sin necesariamente cambiarlo de manera fundamental. En esta competencia en particular, el equipo, liderado por Rezende, se ubicó en el sexto lugar entre 909 equipos en un desafío de forecast de ventas que involucró a 30,000 SKUs en tiendas Walmart durante 28 días.
A Vermorel le resulta interesante que en esta competencia se haya utilizado por primera vez una pinball loss function como métrica de puntuación, algo que Lokad había propuesto años antes. Explica que los quantile forecasts vienen con un sesgo deliberado para asegurar la disponibilidad de bienes en las tiendas, apuntando a un alto service level. Esta competencia indicó explícitamente el uso de un quantile forecast, lo cual fue una primicia en el campo.
El equipo de Rezende estaba compuesto por cuatro personas, cada una con un rol específico. Trabajaron en el modelo central, analizaron datos y construyeron la infraestructura para la competencia. Como líder del equipo, Rezende se concentró en mantener a todos motivados y trabajando en conjunto.
La entrevista concluye con Rezende comparando su enfoque con una analogía deportiva, lo que implica que pudieron haber adoptado un enfoque único o estratégico para la competencia.
La conversación se centró en las diferencias entre los modelos de competencia y las aplicaciones en la vida real en el ámbito de supply chain optimization.
Los participantes compararon los modelos de competencia con autos de Fórmula Uno, que están afinados para pistas específicas pero no son prácticos para el uso cotidiano. Señalaron que los métodos utilizados en las competiciones son costosos en términos computacionales y no siempre adecuados para escenarios del mundo real. Por ejemplo, los diez ganadores principales en una competencia reciente tardaron aproximadamente 10 horas en procesar un pequeño subconjunto de los datos de Walmart, lo que sería impráctico para operaciones reales.
Vermorel y de Rezende explicaron que Lokad adoptó un enfoque diferente utilizando un marco teórico similar a sus operaciones diarias, realizando solo pequeños ajustes para los propósitos de la competencia. Enfatizaron la importancia de ser profesionales de supply chain ante todo, usando su experiencia e intuición para fundamentar sus decisiones.
Los entrevistados también señalaron que las 10 mejores soluciones en la competencia estaban numéricamente muy cercanas, con solo pequeñas diferencias en su rendimiento. Identificaron tres preocupaciones clave que hacen que los modelos de competencia sean diferentes de las soluciones de supply chain en el mundo real: costo operacional, mantenibilidad y adaptabilidad a condiciones imperfectas. El enfoque de Lokad, en contraste, se centró en minimizar el costo computacional y asegurar la mantenibilidad, a la vez que consideraba los obstáculos e imperfecciones del mundo real.
En general, la discusión destacó la necesidad de métodos prácticos, económicos y mantenibles de supply chain optimization que puedan aplicarse en escenarios reales, en lugar de enfoques puramente teóricos o basados en competencias.
Hablan sobre la importancia de contar con modelos que sean numéricamente estables, mantenibles y extensibles. La estabilidad numérica garantiza que los modelos puedan manejar datos imperfectos y no producir resultados extremadamente inexactos. La mantenibilidad significa que el modelo puede rendir bien incluso en condiciones menos que ideales. La extensibilidad permite incorporar factores adicionales, como niveles de stock y futuras promotions, en el modelo.
El equipo participó en un forecasting competition que enfatizó la importancia del conocimiento de dominio en supply chain optimization. A pesar de tener restricciones no relacionadas con la forecasting accuracy, pudieron lograr resultados cercanos al estado del arte. El desafío validó su enfoque, demostrando que sus modelos son realmente competitivos y, a la vez, esbeltos, mantenibles y extensibles.
Después de la competencia, el enfoque ahora es llevar los aprendizajes y mejoras obtenidas a todo el equipo de Lokad, asegurándose de que puedan implementarse rápidamente para sus clientes. La experiencia también destacó los beneficios de ser tanto expertos en supply chain como en data science en la competencia, en contraposición a ser únicamente expertos en data science.
Transcripción Completa
Kieran Chandler: Hoy estamos encantados de contar con la presencia de uno de nuestros colegas, Rafael de Rezende. Nos va a hablar sobre una reciente competencia M5 que analizó la distribución de uncertainty de las ventas de Walmart. Así que, Rafael, muchas gracias por hacer el viaje por el pasillo para acompañarnos.
Rafael de Rezende: Es genial estar aquí. Quizás pueda contarles un poco más sobre mí y mi trayectoria. He estado trabajando aquí en Lokad durante los últimos tres años. Tengo experiencia en supply chain, soy ingeniero industrial, y durante mi tiempo en Lokad, mi rol ha cambiado bastante. En este momento, soy el Head of Product Development en Lokad, y mi equipo y yo nos encargamos de los temas muy “geeky” de Lokad. Trabajamos en time series forecast, resolución de imágenes y MOQs, que creo que ya se han comentado aquí en el programa.
Kieran Chandler: Genial, y Joannes, hoy vamos a hablar sobre una reciente competencia en Kaggle que se trató de analizar la distribución de uncertainty de las ventas de Walmart. Quizás puedas darnos una visión general del desafío en sí y de Kaggle en general?
Joannes Vermorel: Sí, y quizás sobre Kaggle en sí. Es un tipo muy específico de subcultura. Kaggle es una organización bastante grande que ha sido adquirida por Google. Lo que organiza Kaggle son competiciones de machine learning en las que tienes que predecir o forecast algo. Para organizar una competencia, necesitas un conjunto de datos para predecir o forecast algo, y se requieren grandes premios. Para la competencia de la que hablamos, había $100,000 en premios. Es un ambiente muy competitivo, con cientos de personas que son profesionales completos en ello. Es, de cierta manera, como un deporte de alto nivel.
La comunidad que gana las competiciones en Kaggle no son típicamente investigadores, sino que son muy buenos para descubrir cuál es el estado del arte. Observan todas las cosas que se publican constantemente y señalan cuál será el estado del arte. Luego, tienen que hacer un poco de magia extra para obtener un pequeño porcentaje adicional de precisión que les permita ganar. Necesitan encontrar un detalle diminuto que les dé una pequeña ventaja, y estarán por delante del resto. Es una subcultura muy específica y es masiva. Kaggle tiene más de 1 millón de participantes registrados de todo el mundo, incluso si los ganadores suelen ser de Norteamérica o Asia.
Kieran Chandler: Quiero decir, fue comprado por Google, así que definitivamente está en ascenso. Joannes mencionó la analogía de que es como un evento deportivo, donde los data scientists compiten pero también colaboran, lo cual me parece una analogía muy acertada. Así que hablemos un poco más sobre el desafío en sí. ¿Cuáles fueron los retos clave que enfrentaron y contra quién competían?
Joannes Vermorel: Creo que la analogía deportiva es realmente buena. Es decir, Kaggle realmente se siente como un deporte. Lo positivo en Kaggle es el enfoque tan colaborativo en el que las personas se ayudan mutuamente y dedican un tiempo considerable a que otros mejoren. Esto ocurre al mismo tiempo que la competencia brutal, porque hay dinero involucrado y grandes organizaciones ya sea patrocinando o observando de cerca lo que haces. Éramos novatos en Kaggle, pero nuestro equipo ya había participado en algún tipo de competencia antes, con clientes desafiando nuestra solución en supply chains. Sin embargo, no era al mismo nivel que Kaggle. En Kaggle, teníamos 900 equipos, mientras que antes podríamos haber competido contra dos o tres equipos. Todos estaban intentando ayudarse mutuamente incluso más que en Kaggle.
Rafael de Rezende: Una cosa interesante sobre el lado colaborativo de Kaggle es que muchas personas lo critican porque posiblemente obstaculiza la creatividad. Lo que suele ocurrir es que algunas personas publican una solución que obtiene una buena puntuación al principio, y de repente muchos otros equipos empiezan a seguirla, abandonando lo que hacían antes. Así que se produce este efecto de rebaño, y todos van en la misma dirección. La noción colaborativa es beneficiosa, pero debo estar de acuerdo con quienes dicen que a veces obstaculiza la creatividad.
Kieran Chandler: ¿Qué hay desde la perspectiva de la empresa? Tienen a estos chicos trabajando en su tiempo libre. ¿Qué opinas al respecto?
Joannes Vermorel: Me alegra mucho que lo hayan hecho. Nunca ha sido la estrategia de Lokad tratar de ganar estas competiciones. Hice algunas con mucho menos éxito durante los primeros años de Lokad, pero me di cuenta de que estas competiciones no modifican fundamentalmente el estado del arte. Aclaran cuál es el estado del arte, lo cual es muy bueno. Por ejemplo, esta competición en la que el equipo de Rafael quedó en sexto lugar de entre 909 equipos estaba pensada como una demand forecast, pero resultó ser una sales forecast debido a que no se tuvo en cuenta adecuadamente el faltante de stock. Así que estaban pronosticando ventas, no demanda. Fue una competición de demand forecast para 30,000 SKUs en tiendas de Walmart durante 28 días. Estas competiciones revelan el estado del arte pero no lo modifican fundamentalmente.
Kieran Chandler: Es muy interesante que en esta competición, fuera la primera vez, según yo, que se utilizara una función de pérdida pinball como la métrica para puntuar quién iba ganando. Es muy oscura, ¿sabes? Es literalmente la métrica utilizada para medir la precisión.
Joannes Vermorel: Creo que Lokad fue el primero en proponer, allá por 2012, que los supply chain forecasts debían hacer la transición a quantile forecasts. De hecho, más tarde dijimos que teníamos que hacer la transición a probabilistic forecasts y hacer aún más cosas. Hace ocho años, afirmamos que teníamos que hacer esta transición. Por cierto, estos forecasts son muy extraños porque vienen con un sesgo a propósito. Para la audiencia que pueda estar un poco confundida, ¿por qué querrías un sesgo a propósito en un demand forecast? La respuesta es porque en las tiendas lo que se desea es asegurar la disponibilidad de los productos. No quieres un forecast en el que, en promedio, la gente encuentre lo que busca solo la mitad de las veces. Ese no es el objetivo. Se quiere que la gente tenga, digamos, un nivel de servicio del 98% o algo así, donde generalmente lo que buscan esté presente en la tienda. Así, se desea tener un forecast con sesgo, y esa técnica se conoce como quantile forecast. Esta competición fue muy interesante porque fue la primera vez que hubo una competición pública en la que se establecía explícitamente como quantile forecast.
Rafael de Rezende: Luego, hay que construir la tecnología y las herramientas para resolver este problema. Estoy muy contento y orgulloso de que mi equipo lograra quedar en sexto lugar en una competición tan brutal.
Kieran Chandler: Hablemos un poco más sobre tu equipo. Mencionaste que trabajabas con un equipo. ¿Cuántos eran en ese equipo y quiénes eran las otras personas con las que trabajabas?
Rafael de Rezende: Éramos un equipo de cuatro. Éramos yo y tres diseñadores de Lokad. Uno ya no trabaja aquí, pero aún venía de aquí. Cada uno tenía un rol muy específico dentro del equipo. Huggy trabajaba conmigo en el modelo principal, enfocándose en los pequeños detalles matemáticos sobre cómo íbamos a abordar el problema. Catarina aportaba su visión de negocio, analizando los datos e identificando los puntos principales que debíamos considerar para asegurarnos de modelar las cosas correctamente. Finalmente, estaba Marine, que hizo alrededor del 80% del verdadero trabajo duro. Ella trabajó como ingeniera de datos en esta ocasión y construyó nuestra propia infraestructura para la competición. Mi rol era lograr que todos trabajaran juntos y mantener a la gente motivada.
Kieran Chandler: ¿Podrías explicar un poco más el enfoque que adoptaste? ¿Cómo se diferenciaba de otras metodologías que existen? ¿Qué fue distinto?
Rafael de Rezende: Creo que una buena analogía es compararlo con la Fórmula Uno. Si tomas un coche de Fórmula Uno frente a un coche normal, verías que no es exactamente el mismo coche que el que compras en una tienda. Ambos son coches, pero no son lo mismo. En lo que se refiere a este tipo de competición, la gente tiende a trabajar de manera similar. Construyen métodos que son extremadamente costosos computacionalmente, lo cual es genial para la competición, pero aún no es exactamente lo que obtendrías si compras el producto al final. Puede que haya que hacer algunos cambios. Por ejemplo, la mayoría de los diez primeros ganadores utilizaron métodos que tardaban mucho en ejecutarse, incluso para un subconjunto de datos bastante pequeño de Walmart. Era completamente absurdo, como diez horas solo para un subconjunto muy pequeño. Entonces,
Kieran Chandler: Lo llevamos en una dirección diferente, lo que hicimos, y creo que esta idea estuvo realmente presente desde el principio. Queríamos poner en marcha el mismo marco teórico que utilizamos aquí a diario. Así que lo que hicimos fue que, en realidad, la mayoría de las cosas que usamos no están tan lejos de lo que hacemos cotidianamente. Por supuesto, es cierto que pudimos haber cambiado el coche para poner, digamos, una configuración de carrera más pequeña, hicimos algunos cambios, quitamos el asiento trasero, etc., para hacerlo más orientado al rendimiento. Pero si realmente revisas lo que hicimos y lo que hace la gente aquí, tendrías que ser un experto solo para identificar cuál es la diferencia.
Rafael de Rezende: Bien, lo que dices es que computacionalmente, debido a que solo había alrededor de 30,000 SKUs, algunos de esos otros enfoques funcionaron, pero si estuvieran a gran escala, sería mucho más desafiante que funcionaran en el mundo real. Creo que sí. No digo que no funcionarían en el mundo real; creo que sería complicado. Quiero decir, hay mucho mantenimiento. Usamos métodos de baja dimensionalidad que se conocen desde hace tiempo, pero la forma en que resolvimos el problema no fue desde la perspectiva de la ciencia de datos. En realidad, fuimos profesionales de supply chain en primer lugar. Surgimos con todo lo que sabemos sobre supply chains y nuestra intuición acerca del problema porque hemos pasado por muchas otras competiciones internas antes, así que sabemos cómo se comportan las cosas, y eso es realmente lo que planteamos allí.
Kieran Chandler: ¿Cuáles fueron tus pensamientos sobre este enfoque, y quizás podrías dar una visión general básica de cómo lo viste desde tu perspectiva?
Joannes Vermorel: Es muy interesante porque en el top 10, es decir, básicamente hubo 909 equipos que compitieron. No miré todas las soluciones que se presentaron, miré el top 10. Así que, hubo personas que fueron mejores que Lokad y otras peores que Lokad. Lo primero que resultó muy interesante es que, si observas las 10 mejores soluciones, todas están numéricamente increíblemente cercanas. Básicamente, de la primera a la décima, es casi nada. Creo que estábamos algo como un 0.01% detrás del tipo que quedó en quinto lugar, y la persona en séptimo estaba como un 0.01% detrás. El equipo que quedó en primer lugar estaba unos pocos por ciento adelante, pero en general seguía siendo increíblemente cercano.
Ahora, creo que hay al menos tres aspectos en los que estas competiciones no reflejan lo que se necesita tener en el mundo real del supply chain. Y creo que la diferencia entre tener un coche de Fórmula Uno y un coche que simplemente has ajustado para la carrera es muy precisa en este aspecto. De hecho, hubo tres preocupaciones principales.
Primero fue el costo operativo solo para obtener resultados. De los métodos en el top 10, Lokad fue el único que no tuvo costos computacionales insanos. Y de nuevo, imagina un coche que consume algo como 50 litros por 100 kilómetros. Eso sería algo diez veces más caro que cualquier coche que consuma tanto combustible como un truck. Quiero decir, si puedes hacer paradas en boxes cada 20 minutos, es algo genial, pero de lo contrario, no. Y por cierto, con computación en la nube, esos costos son muy reales. Si necesitas alquilar mil servidores, eso cuesta mucho dinero.
Lo segundo es la mantenibilidad. Los ajustes son, por ejemplo, si observas esta analogía de Fórmula Uno, la cual creo que es excelente, un coche de Fórmula Uno es muy agradable porque funciona en circuitos donde la carretera es perfecta.
Kieran Chandler: Es literalmente como si trataras de correr un coche de Fórmula Uno en París. Por ejemplo, incluso la humedad en las aceras dañaría el coche. El coche no puede soportar más que un bache que sea, ya sabes, de más de unos pocos centímetros porque el Fórmula Uno está tan cerca de la carretera. Literalmente está a un centímetro del suelo. Así que, si tienes algún obstáculo, en realidad se rompería el coche. Obviamente, si decides tener un coche normal, tienes un poco más de holgura y no estás completamente pegado al suelo. No conduces tan rápido, pero adivina qué: si tu carretera es un poco más accidentada, sobrevivirás a los obstáculos.
Joannes Vermorel: Entonces, esos modelos de los que hablo, en términos de estabilidad numérica, necesitan ser tales que, si tus datos no son perfectos, si tienes cosas que están, ya sabes, un poco corruptas aquí y allá, tu modelo no se vuelva loco y no termines con resultados completamente insanos, lo cual sería como si tu coche de Fórmula Uno se saliera totalmente de la pista. La mantenibilidad significa que, si tienes condiciones que no son ideales, sigue funcionando de forma relativamente sensata y conservadora, lo que se traduce en que funcionará.
En esta competición, puedes tener personas que van a pasar literalmente cientos de horas asegurándose de que todo esté perfecto, como en un circuito de carreras. Pero en el mundo real, suceden cosas todo el tiempo, es desordenado, y las carreteras no son perfectas. Eso se traduce en que la estabilidad numérica es muy importante, se deben tener modelos que sean numéricamente estables, quizá un poco menos precisos, para que, cuando tengas un poco de basura, ya sabes, exista el dicho en data mining: “garbage in, garbage out.” Pero la realidad es que siempre hay un poco de basura, así que necesitas tener algo que no se vuelva loco cuando hay un poco de basura.
Lo último, que también estuvo completamente ausente en esta competición, es la extensibilidad. La realidad es que, por ejemplo, en esta competición, los niveles de stock estaban ausentes, las promociones futuras estaban ausentes. El equipo tuvo que hacer forecast para 28 días por adelantado. Tenían el historial de precios pero no contaban con los precios futuros para el período a pronosticar, que eran 28 días. Básicamente, no conocían las promociones futuras. Si quisiéramos tener una configuración del mundo real, tendríamos que incorporar niveles de stock, promociones futuras y, probablemente, nos hubieran gustado restricciones de estantería sobre la cantidad de stock que se puede tener en las estanterías, de verdad. Esas son restricciones que, y luego tendrías, digamos, la pérdida que se usó para evaluar la precisión, que era una pérdida pinball, pero la realidad es que pueden ocurrir todo tipo de no linealidades.
Kieran Chandler: ¿Y cuáles son tus pensamientos ahora que la competición ha terminado? Joannes mencionó que hay líneas realmente finas de 0.1%. Llegar al top five debe ser algo frustrante. ¿Alguna idea de cómo podrían haber mejorado?
Joannes Vermorel: Tuvimos muchas cosas que no intentamos durante la competición. En cierto punto, se llega a la fecha límite y tienes que decir: “Bueno, eso es todo. Vámonos.” Por supuesto, hay muchas ideas que podríamos haber mejorado. No creo que ese sea el próximo enfoque en este momento. El enfoque principal sería tomar las pocas mejoras que hicimos e intentar llevarlas a todo el equipo, a todos los demás científicos, y asegurarnos de que esos insights se reproduzcan rápidamente para todos nuestros clientes.
Rafael de Rezende: Lo cual Walmart no es, por cierto. Así que vamos a tomar todo lo que aprendimos e intentar ponerlo en práctica lo más rápido posible, especialmente compartiendo el conocimiento con otros para poder ayudar a más clientes.
Kieran Chandler: Muy bien. ¿Y tú, Joannes? ¿Hay algo que hayas notado que el equipo hizo y que creas que es particularmente útil para, tal vez, el futuro?
Joannes Vermorel: Francamente, fue genial. Validó gran parte de nuestro enfoque. Cuando digo que necesitamos tener un modelo que sea súper esbelto, mantenible y extensible, tenemos muchas restricciones que están completamente desvinculadas de la precisión del forecast. La pregunta es, cuando tomas esas restricciones en cuenta, ¿qué tan lejos estás del estado del arte? Quizás la conclusión habría sido que nuestros modelos tienen buenas propiedades, que son mantenibles y extensibles, pero que están a años luz de lo que se podría obtener con el estado del arte. La conclusión es exactamente lo opuesto: en realidad, estamos apenas a un pelo de lo que es el estado del arte.
Rafael de Rezende: Me gustaría agregar que fue una competición de supply chain. Es agradable saber que tu conocimiento del dominio es realmente útil. Competíamos mayormente contra personas que no eran expertas en supply chain, sino en data science. Éramos el proveedor de supply chain, que además resultó ser data science experts jugando en el campo, así que esto pudo habernos diferenciado en la competición.
Kieran Chandler: Genial. Y, Rafael, ¿qué sigue para ti? ¿Tienes alguna otra competición en el horizonte?
Rafael de Rezende: No, creo que tuvimos mucho estrés este año, así que lo dejaremos para el próximo año, tomaremos algo de tiempo para refrescarnos, y luego tal vez el próximo año.
Kieran Chandler: Creo que probablemente mereces un descanso. Ese es el show, y dejémoslo así. Gracias por tu tiempo. Eso es todo por esta semana. Muchas gracias por sintonizar, y nos vemos de nuevo en el próximo episodio. ¡Adiós por ahora!
