00:00:08 A/B testing y sus aplicaciones en marketing y cadenas de suministro.
00:01:47 Ejemplos de A/B testing en marketing y cadenas de suministro.
00:03:41 Problemas con A/B testing en cadenas de suministro y cómo desplaza problemas.
00:06:02 Problemas de desplazamiento e interconexión en A/B testing de cadena de suministro.
00:07:45 Cadenas de suministro como sistemas interconectados y los desafíos del A/B testing.
00:09:58 Limitaciones del A/B testing en la gestión de la cadena de suministro.
00:11:45 Aprendizaje por refuerzo para cadenas de suministro.
00:13:22 Equilibrar la exploración y la explotación en la toma de decisiones.
00:15:01 Aleatoriedad para obtener mejores conocimientos de la cadena de suministro.
00:17:08 Empresas que exploran proveedores y mercados alternativos.
00:19:39 Cuantificar el valor del conocimiento en la toma de decisiones empresariales.
00:20:52 Cómo Lokad optimiza las decisiones empresariales considerando los efectos de segundo orden.
00:23:42 La importancia futura de la exploración y cuantificar su valor para las empresas.
Resumen
En esta entrevista, Kieran Chandler habla con Joannes Vermorel, fundador de Lokad, sobre A/B testing y sus limitaciones en la optimización de la cadena de suministro. Discuten la historia y las aplicaciones de A/B testing, que es popular en marketing pero menos en gestión de la cadena de suministro. Vermorel argumenta que A/B testing es insuficiente para la optimización de la cadena de suministro debido a la naturaleza interconectada de las cadenas de suministro y el aprendizaje limitado que proporciona. En cambio, sugiere adoptar un enfoque de machine learning e introducir aleatoriedad en la toma de decisiones. Al explorar continuamente opciones alternativas y cuantificar el conocimiento, Vermorel cree que las empresas de vanguardia pueden mejorar sus procesos de cadena de suministro, impulsando la optimización y la mejora con el tiempo.
Resumen Extendido
En esta entrevista, Kieran Chandler discute A/B testing y sus aplicaciones en la optimización de la cadena de suministro con Joannes Vermorel, el fundador de Lokad, una empresa de software especializada en la optimización de la cadena de suministro. Comienzan explicando qué es A/B testing y su historia antes de adentrarse en sus aplicaciones, limitaciones y alternativas.
A/B testing, un subconjunto del diseño experimental, implica probar dos variantes entre sí para determinar su efectividad. El método probablemente se originó a fines del siglo XIX, aunque los registros no son claros debido a su naturaleza intuitiva. A/B testing es parte del método científico y del campo más amplio del diseño de experimentos, que tiene como objetivo adquirir conocimientos sobre afirmaciones o hipótesis.
A/B testing es particularmente popular en marketing, donde se utiliza para evaluar la efectividad de materiales promocionales, como boletines o anuncios. Un ejemplo de A/B testing en marketing es dividir una base de datos de clientes en dos grupos aleatorios y enviar la versión A de un boletín al primer grupo y la versión B al segundo grupo. Luego se miden los resultados para determinar qué versión funcionó mejor.
A principios de la década de 2000, Google realizó una serie de pruebas A/B para determinar el número óptimo de resultados de búsqueda para mostrar en su página de resultados de búsqueda. Las pruebas ayudaron a la empresa a equilibrar los tiempos de carga de la página y la satisfacción del usuario, lo que finalmente llevó a la decisión de mostrar alrededor de 10 resultados por página.
Aunque A/B testing es menos popular en la gestión de la cadena de suministro, a menudo se le pide a Lokad, de manera explícita o implícita, que realice pruebas A/B para sus clientes. En el contexto de la cadena de suministro, A/B testing generalmente implica comparar el rendimiento de un conjunto de tiendas gestionadas por el sistema de optimización de inventario de Lokad con un conjunto de tiendas comparables gestionadas por el sistema existente del cliente. La comparación se realiza durante un período, como tres meses, y puede denominarse punto de referencia o piloto.
Vermorel argumenta que A/B testing puede parecer un enfoque racional para comparar dos métodos, pero puede ser problemático para la optimización de la cadena de suministro debido a la naturaleza interconectada de las cadenas de suministro.
Vermorel explica que en una cadena de suministro, los problemas a menudo se desplazan en lugar de resolverse. Al comparar el rendimiento de dos técnicas de optimización diferentes, es posible que no sean independientes, ya que compiten por los mismos recursos. Esto lleva a una situación en la que la optimización de una técnica se puede hacer a expensas de la otra. La naturaleza interconectada de las cadenas de suministro también significa que cuando una parte se ve afectada, puede influir en otras partes, lo que dificulta aislar y medir el impacto de una sola variable.
Otro problema con A/B testing en el contexto de las cadenas de suministro es el aprendizaje limitado que proporciona. A/B testing solo prueba una hipótesis a la vez, generando una pequeña cantidad de información. Esto puede ser suficiente si se busca una certeza absoluta sobre algo en lo que se siente fuertemente, pero las cadenas de suministro están en constante cambio y el ritmo lento de A/B testing puede no mantenerse al día con las necesidades en evolución.
Vermorel también señala el problema de la estacionalidad, que puede afectar la validez de los resultados de A/B testing. Para tener esto en cuenta, una prueba puede necesitar ejecutarse durante 12 meses, pero esto a menudo no es factible, ya que solo proporciona un solo dato sobre qué sistema es mejor. Además, diferentes sistemas pueden ser mejores para diferentes tipos de productos o situaciones, lo que limita aún más la utilidad de A/B testing.
En lugar de confiar en A/B testing, Vermorel sugiere analizar el problema desde una perspectiva de aprendizaje automático. Este enfoque se centra en extraer activamente información de los datos, lo que puede ser más efectivo para comprender sistemas complejos e interconectados como las cadenas de suministro. Al considerar cómo las decisiones influyen en las observaciones, se vuelve posible aprender mejor sobre la demanda y optimizar las operaciones de la cadena de suministro.
Vermorel explica que las empresas deben equilibrar la optimización de sus procesos actuales con la exploración de opciones alternativas. Esto puede implicar introducir aleatoriedad en la toma de decisiones, lo que puede ayudar a evitar que las empresas se queden atrapadas en un mínimo local, una situación en la que creen que han encontrado la mejor solución, pero existe una mejor si se desvían de su enfoque actual.
Una forma de introducir aleatoriedad es experimentar con diferentes productos o proveedores. Por ejemplo, una red minorista podría agregar algunos productos aleatorios a su surtido en cada tienda o probar proveedores alternativos para evaluar su confiabilidad y oferta de productos. Incluso las empresas de la industria de repuestos automotrices han implementado este enfoque, pasando una parte de sus pedidos a proveedores que inicialmente no ofrecen los mejores precios o condiciones, simplemente para probar las aguas.
Aunque puede parecer contraintuitivo que las empresas introduzcan tal aleatoriedad en sus procesos, Vermorel argumenta que este enfoque puede mejorar la rentabilidad a largo plazo. Al aprender continuamente sobre su mercado, las empresas pueden descubrir nuevos conocimientos que pueden tener un impacto significativo en sus resultados. Por ejemplo, podrían descubrir que podrían aumentar o reducir sus precios sin afectar las ventas, lo que lleva a un aumento de los ingresos o economías de escala.
La incorporación de la aleatoriedad en la toma de decisiones permite a las empresas probar mercados alternativos, proveedores, puntos de precio e incluso estructuras de organización de la cadena de suministro. Esta inversión en exploración ayuda a las empresas a descubrir pequeñas variaciones que se adaptan mejor a sus operaciones, lo que a su vez puede impulsar el crecimiento y mejorar su rendimiento general.
Joannes Vermorel, fundador de Lokad, habla sobre la importancia de explorar y cuantificar el conocimiento dentro de una empresa. Hace referencia a un artículo que publicó hace más de una década, presentando un algoritmo llamado “precio de conocimiento de póker y recompensa estimada” que puede ayudar a cuantificar el costo y la recompensa de la exploración. Vermorel enfatiza que las empresas deben optimizar las ganancias reales, como los dólares, en lugar de objetivos arbitrarios. Predice que las empresas de vanguardia introducirán cada vez más la exploración y la aleatoriedad en sus procesos de cadena de suministro para impulsar la optimización y mejorar con el tiempo.
Transcripción completa
Kieran Chandler: Hoy vamos a discutir por qué esta técnica es profundamente débil y entender cuáles son algunas de las técnicas alternativas que podemos utilizar para probar nuestras cadenas de suministro de manera más efectiva. Entonces, Joannes, tal vez deberías comenzar, como siempre, contándonos un poco más sobre qué es A/B testing.
Joannes Vermorel: A/B testing es un método para probar si una hipótesis es verdadera o no, típicamente comparando dos grupos, pero puede ser más de dos grupos. Es un poco confuso cuándo se inventó. Probablemente adivinaría que se inventó en algún momento a fines del siglo XIX, pero los registros son confusos y probablemente porque es algo tan intuitivo, la gente pensó en ello mucho antes, simplemente no estaba documentado de manera muy clara y no necesariamente se llamaba A/B testing. Lo interesante es que forma parte del método científico, que está en el campo del diseño de experimentos, una forma científica de adquirir verdades sobre cualquier afirmación que se pueda hacer. No va a demostrar que cualquier afirmación sea verdadera, pero puede darte una respuesta científica a la pregunta de si tu hipótesis es verdadera o no.
Kieran Chandler: Entonces, ¿de qué tipo de experimentos estamos hablando aquí?
Joannes Vermorel: A/B testing es muy popular en marketing. En la cadena de suministro, es mucho menos popular. En marketing, se utiliza mucho para cosas como boletines promocionales. Por ejemplo, si estás anunciando un producto primero y otro producto segundo, puedes dividir tu base de datos de clientes en dos grupos aleatorios, enviar la versión A de tu boletín al primer grupo y la versión B al segundo grupo, y luego medir el resultado. Es una forma bastante eficiente de hacer A/B testing.
Kieran Chandler: Entonces, ¿la idea es enviar dos cosas y ver cuál funciona mejor?
Joannes Vermorel: Exactamente. Estás probando una hipótesis. Google, por ejemplo, hizo una serie de pruebas A/B en los años 2000 para determinar cuántos resultados de búsqueda eran óptimos en términos de visualización. Encontraron un equilibrio a través de las pruebas A/B, que en ese momento era alrededor de 10 resultados.
Kieran Chandler: ¿Por qué es algo que nos interesa aquí en Lokad? ¿Es algo que nuestros clientes realmente están solicitando?
Joannes Vermorel: En la cadena de suministro, a menudo se nos pregunta, ya sea explícitamente o a veces implícitamente, sobre la realización de pruebas A/B. En la cadena de suministro, las pruebas A/B toman otra forma. Por ejemplo, la gente diría: “Dejemos que Lokad administre 10 tiendas con su sistema de optimización de inventario, mientras que otras 10 tiendas comparables se gestionan a través del antiguo sistema. Ejecutaremos eso durante tres meses y compararemos los resultados”. Podrían llamarlo un punto de referencia, pero en realidad es una prueba A/B.
Kieran Chandler: Hay una especie de prueba A/B en marcha, y parece bastante racional. Parece que necesitas una forma de comparar estos dos enfoques diferentes. Entonces, ¿cómo funciona realmente en el mundo real?
Joannes Vermorel: El meollo del problema es que parece obvio y razonable. Podrías decir que parece una forma razonable de comparar esos dos métodos. Solo cambio una variable, como el software que impulsa el stock, y me aseguro de que mi experimento sea representativo. Entonces, tomaría varias tiendas y un período más largo, como tres meses, para garantizar la significancia estadística. Todo eso parece bastante razonable y racional. Pero hay un “pero”: es más complicado de lo que parece. Los problemas que tengo con esos puntos de referencia son, en mi libro, ejemplos de racionalismo ingenuo. Parece muy científico, pero en realidad no es súper científico o racional; solo parece serlo.
El problema en la gestión de la cadena de suministro es que tiendes a desplazar problemas en lugar de resolverlos. Por ejemplo, tienes esas 20 tiendas en la prueba. Parece súper racional. El problema es que todas esas tiendas compiten con el mismo stock en el centro de distribución. Si quiero hacer trampa, siendo Lokad, el software, podría aumentar mis propios resultados consumiendo mucho stock, mejorando el rendimiento de mi alcance a expensas de las otras tiendas. Y si tienes un punto de referencia que dice que el objetivo es maximizar el rendimiento de esas diez tiendas, la optimización matemática lo hará a expensas de las otras tiendas. Entonces, hay un bucle de retroalimentación entre las tiendas porque compiten a través del mismo distribuidor por el mismo stock en el centro de distribución. Esto siempre sucede en las cadenas de suministro; es un sistema y está interconectado por diseño.
Las cadenas de suministro permiten ganancias masivas en términos de eficiencia, confiabilidad, costo y economías de escala. Pero el inconveniente es que, debido a que es un sistema, si tocas una parte, tiendes a influir en las otras partes.
Kieran Chandler: ¿Cuál sería un enfoque mejor entonces? ¿Deberías probar una técnica durante seis meses en veinte ubicaciones y luego otra técnica durante seis meses?
Joannes Vermorel: Otro problema que tengo con este tipo de referencia es que aprendes muy poco sobre tu sistema. Las pruebas A/B suelen ser subestimadas porque solo estás probando una hipótesis a la vez. En términos de información, estamos hablando de un poco de información, solo un cero o uno. Ni siquiera es un byte, sino un bit. Y ni siquiera es un bit completo porque solo tendrás un grado de confianza en tus resultados. Entonces, lo que aprendes es como una fracción de un bit, que suena muy poco, y en realidad, es muy poco. La crítica principal de las pruebas A/B es que aprendes muy poco sobre tu sistema.
Kieran Chandler: Las pruebas son buenas si quieres tener certeza absoluta sobre algo en lo que tienes mucha confianza. Por ejemplo, puedes hacer una prueba A/B para tener la confirmación final de que tenías razón, pero el problema es que estás asumiendo que ya conoces la verdad. Por eso funciona muy bien para la ciencia. En los métodos científicos, las personas recopilan pistas de manera muy indirecta, y una vez que han recopilado una gran cantidad de pistas, realizan una prueba A/B para confirmar su hipótesis de manera más directa. Pero será muy costoso y lento, y esa será la confirmación final, poniendo el clavo en el ataúd y cerrando el caso para siempre.
Joannes Vermorel: El problema con las cadenas de suministro es que las cosas están cambiando todo el tiempo. Tu red es una bestia en constante cambio. Si quieres hacer una prueba A/B para la optimización de la cadena de suministro, es posible que necesites 12 meses en lugar de tres debido a la estacionalidad. Pero entonces, ¿quién puede permitirse 12 meses solo para obtener un poco de información sobre cuál de los dos sistemas es el mejor? Hay tantas otras alternativas en el mercado y solo se pueden realizar tantas pruebas. El sistema A podría ser mejor para los productos de movimiento lento, mientras que el sistema B podría ser mejor para los productos de movimiento rápido. Tener solo un poco de información es muy débil y no te dará ninguna idea sobre la mejor opción.
El problema con las pruebas A/B es que solo estás probando dos posibles caminos, y en una cadena de suministro, hay millones de posibles caminos. ¿Cómo podemos generar información sobre todas esas posibilidades?
Kieran Chandler: Entonces, en una cadena de suministro, tenemos millones de posibles caminos. ¿Cómo podemos generar información sobre todas esas posibilidades?
Joannes Vermorel: Esa es una pregunta muy interesante y una perspectiva más moderna sobre el caso sería el aprendizaje por refuerzo. Cuando quieres pensar en cómo funciona un motor de aprendizaje, puedes extraer información de los datos de manera pasiva, como cuando los datos llegan y quieres aprender, o de manera activa, donde lo que haces tiene influencia en lo que observas, que es el caso en la gestión de la cadena de suministro. Por ejemplo, si decides no poner un producto en oferta en una tienda, nunca observarás la demanda de este producto en esta tienda.
Las pruebas A/B son una forma de adquirir conocimiento, pero son increíblemente lentas. Si tuvieras que aprender a caminar a través de pruebas A/B desde que eras un bebé, te llevaría un millón de años aprender a caminar. Es muy poderoso para la certeza científica, pero no puede ser el proceso que conduzca a la verdad.
En la gestión de la cadena de suministro, una perspectiva más moderna es el aprendizaje por refuerzo, donde se piensa en un equilibrio entre la exploración y la explotación. Tienes una idea de lo que es bueno, pero no estás completamente convencido de que siempre sea lo mejor, por lo que quieres hacer lo que se llama exploración. Aleatorizas un poco tus acciones para aprender más sobre el sistema.
Kieran Chandler: Tienes tu proceso de optimización que intenta optimizar, ya sabes, según métricas especificadas, algún algoritmo que te lleva a lo que crees que es lo óptimo según tus propias mediciones. Pero el problema es que si haces eso, puedes quedarte atrapado en una forma de hacer las cosas, que es, ya sabes, matemáticamente es lo que la gente llama un mínimo local. Intentas minimizar tu función de coste y te quedas atrapado en un área como un mínimo local donde parece que está bien. Si te desvías de este punto, parece que estás en el óptimo, pero en realidad, si quieres tener algo mucho mejor, necesitas divergir.
Joannes Vermorel: Básicamente, estamos hablando de introducir un cierto porcentaje de tu decisión, que en realidad podría no ser correcta y podría no ir realmente con tu optimización. Pero básicamente se trata de introducir este cierto porcentaje de error potencial solo para descubrir más sobre lo que podría funcionar. Y obviamente, esto se trata de experimentar. No quieres hacer cosas locas, pero por ejemplo, si tienes una gran red minorista, la idea sería cambiar tu surtido. Puedes decidir que todo el tiempo en cada tienda, vas a introducir algunos productos que normalmente no forman parte del surtido, más o menos al azar. Obviamente, no intentarás hacer eso con artículos súper caros, como una máquina de jardinería cara si tienes una tienda que está en el centro de una ciudad. No haces cosas que sean completamente absurdas, pero introduces cierta aleatoriedad para probar si algunos productos no obtendrían completamente inesperadamente mucho éxito solo porque los has probado en un centro de la ciudad, y normalmente, pensabas que este producto no era adecuado para esta área. Resultó que tal vez sí lo es. Así que quieres introducir algún tipo de aleatorización.
Se puede hacer en la cadena de suministro, por ejemplo, a veces probar otros proveedores para probar el agua en términos de tiempo de entrega. Tienes tu proveedor de rutina y simplemente pasas algunos pedidos a competidores solo para ver cómo va. E incluso he visto empresas, en el mercado de accesorios de automóviles, por ejemplo, tener eso implementado automáticamente, donde una cierta fracción de los pedidos pasados a los proveedores no se pasan inicialmente a los proveedores que ofrecen el mejor precio y las mejores condiciones, sino que simplemente se pasan para probar el agua y ver si el proveedor es súper confiable y si los productos cumplen las expectativas en términos de proceso de pedido, lo que significa que cuando pides una cierta pieza, realmente es esta pieza la que obtienes y no otra.
Kieran Chandler: Parece muy sorprendente porque las empresas, en general, normalmente se basan en la rentabilidad y en actuar de la manera más eficiente posible, maximizando esa línea de fondo. De hecho, están introduciendo estos diferentes proveedores solo para probar cosas. Pero ¿es difícil incorporar eso?
Joannes Vermorel: Eso es, nuevamente, yo diría que el enfoque racional ingenuo diría: “Oh, simplemente optimizamos directamente”. Pero eso no es ni racionalismo ni el mejor enfoque. Si comienzas a pensar en los efectos de segundo orden, la idea es que siempre quieres estar aprendiendo sobre tu mercado. Quieres probar proveedores alternativos, mercados alternativos para tus clientes, puntos de precio alternativos porque la idea es que el conocimiento tiene un precio y es valioso. Puedes tener grandes recompensas.
Podrías estar atrapado, por ejemplo, podrías darte cuenta de que estás vendiendo tu producto a un cierto precio, pero en realidad podrías subir el precio y seguir vendiendo más o menos lo mismo. Es solo que nunca lo has intentado; no pensaste que la gente percibiera tu producto tan valioso como lo hace.
Kieran Chandler: La realidad es que, por lo general, estás atrapado en lo que has estado haciendo hasta ahora. O tal vez a veces sucede lo contrario: en realidad, estás vendiendo tu producto a un precio demasiado alto. Y si intentaras bajar el precio, en realidad aumentarías enormemente la demanda, y luego tendrías economías de escala que entrarían en juego. Y luego podrías producir a un precio más barato y tener cosas que se van acumulando en términos de lograr mucho crecimiento para la empresa. Entonces, la idea es que esta aleatorización que se puede introducir es en realidad una inversión que haces en la idea de que vas a descubrir pequeñas variaciones que se adaptan mejor a tu empresa. Pueden ser variaciones en tus puntos de precio, en tus proveedores o incluso en tus organizaciones de cadena de suministro, como qué almacén suministra a qué plantas, o viceversa. ¿Hay alguna forma de cuantificar este conocimiento y trabajar realmente cuánto vale este conocimiento para una empresa?
Joannes Vermorel: En realidad, sí. Quiero decir, incluso publiqué un artículo hace más de una década llamado “POKER: Precio del Conocimiento y Recompensa Estimada”. Entonces, si realmente quieres hacerlo de manera elegante, puedes cuantificar literalmente el costo de la exploración versus la recompensa de la exploración de lo que ganas al tener un cierto horizonte. Porque obviamente, tienes que seguir jugando, es la idea de tener un juego iterado donde juegas el mismo juego una y otra vez. Y cuando exploras, bueno, haces cosas que típicamente son menos óptimas, pero a veces encuentras un punto dulce, y luego después puedes aprovechar este hallazgo. Pero la idea es que para hacer eso, necesitas tener un algoritmo, especialmente, yo diría, en el lado del aprendizaje automático, que realmente pueda aprovechar este ruido en tus datos y pueda aprovecharlo para aprender no solo un poco de información sino mucho más. Y nuevamente, esto no es solo como una prueba A/B donde básicamente estableces tu porcentaje o algo así. Es algo que puede capturar, diría yo, patrones mucho más difusos donde tienes toneladas de efectos interconectados y pueden impulsar un mejor rendimiento en una situación muy dimensional.
Kieran Chandler: ¿Cómo encaja este enfoque con lo que hacemos aquí en Lokad? Porque lo que estamos haciendo aquí en Lokad es optimizar esas decisiones comerciales que se pueden tomar en cualquier momento. Introduciendo este tipo de ruido, haciendo cosas que están intencionalmente un poco mal.
Joannes Vermorel: Sí, y eso va fundamentalmente en contra de esa creencia. Quiero decir, no es mi creencia, pero cuando quieres realmente tener en cuenta los efectos de segundo orden. En Lokad, realmente intentamos aplicar no el irracionalismo, sino tratar de ser racionales, teniendo en cuenta esos otros efectos que son maliciosos. Durante la primera década de Lokad, para la gran mayoría de nuestros clientes, ni siquiera estaban optimizando nada. Estaban optimizando porcentajes de error, que en mi opinión, ni siquiera es una optimización. Si optimizas porcentajes de error, ni siquiera sabes lo que estás haciendo para tu empresa. Necesitas optimizar dólares. El primer paso es avanzar hacia un proceso de optimización donde realmente intentes optimizar, en lugar de simplemente repetir objetivos que son completamente arbitrarios. Ahora, lo que vemos es que con nuestros clientes más avanzados, especialmente en el lado del comercio electrónico, ahora que este proceso de optimización está en marcha, comienza a surgir la idea de exploración. Por lo general, comienza con cosas como la fijación de precios, que nuevamente, desde mi perspectiva, está muy dentro del alcance de la cadena de suministro porque ahí es donde proviene la demanda. Necesitas tener un buen precio, y el precio explica gran parte de la demanda. Pero el precio ciertamente no es la única área donde quieres hacer exploración. Lo que veo para los próximos años es que creo que las empresas para mantenerse a la vanguardia, necesitan tener la ambición de estar a la vanguardia en lo que respecta a su cadena de suministro. Cada vez más introducirán la idea de un poco de exploración y aleatorización, solo para generar resultados que impulsen el propio proceso de optimización y lo mejoren con el tiempo.
Kieran Chandler: Entonces, para concluir, se puede ver que en el futuro habrá un momento en el que realmente se le dará mucha más importancia a este tipo de exploración y a la importancia de cuantificar cuánto te aporta eso como empresa en términos de conocimiento.
Joannes Vermorel: Exactamente, perfecto.
Kieran Chandler: Muy bien, tendremos que terminar aquí por hoy. Gracias por su tiempo.
Joannes Vermorel: Eso es todo por hoy. Muchas gracias por sintonizar, y nos vemos la próxima vez.
Kieran Chandler: Gracias por ver.
