A/B Testing, Exploration vs. Exploitation

00:00:08 L’A/B testing et ses applications dans le marketing et les supply chains.
00:01:47 Exemples d’A/B testing dans le marketing et les supply chains.
00:03:41 Problèmes de l’A/B testing dans les supply chains et comment il déplace les problèmes.
00:06:02 Problèmes de déplacement et d’interconnexion dans l’A/B testing de la supply chain.
00:07:45 Les supply chains en tant que systèmes interconnectés et les défis de l’A/B testing.
00:09:58 Limitations de l’A/B testing dans la gestion de la supply chain.
00:11:45 L’apprentissage par renforcement pour les supply chains.
00:13:22 Équilibrer l’exploration et l’exploitation dans la prise de décision.
00:15:01 L’aléatoire pour de meilleures informations sur la supply chain.
00:17:08 Les entreprises qui explorent des fournisseurs et des marchés alternatifs.
00:19:39 Quantifier la valeur de la connaissance dans la prise de décision commerciale.
00:20:52 Comment Lokad optimise les décisions commerciales en tenant compte des effets de second ordre.
00:23:42 L’importance future de l’exploration et la quantification de sa valeur pour les entreprises.

Résumé

Dans cette interview, Kieran Chandler discute avec Joannes Vermorel, fondateur de Lokad, de l’A/B testing et de ses limites dans l’optimisation de la supply chain. Ils abordent l’histoire et les applications de l’A/B testing, qui est populaire dans le marketing mais moins dans la gestion de la supply chain. Vermorel soutient que l’A/B testing est insuffisant pour l’optimisation de la supply chain en raison de la nature interconnectée des supply chains et de l’apprentissage limité qu’il offre. Au lieu de cela, il suggère d’adopter une approche basée sur l’apprentissage automatique et d’introduire de l’aléatoire dans la prise de décision. En explorant continuellement des options alternatives et en quantifiant les connaissances, Vermorel estime que les entreprises de pointe peuvent améliorer leurs processus de supply chain, favorisant ainsi l’optimisation et l’amélioration au fil du temps.

Résumé étendu

Dans cette interview, Kieran Chandler discute de l’A/B testing et de ses applications dans l’optimisation de la supply chain avec Joannes Vermorel, fondateur de Lokad, une entreprise spécialisée dans l’optimisation de la supply chain. Ils commencent par expliquer ce qu’est l’A/B testing et son histoire avant d’approfondir ses applications, ses limites et ses alternatives.

L’A/B testing, une sous-catégorie de la conception expérimentale, consiste à tester deux variantes l’une contre l’autre pour déterminer leur efficacité. La méthode a probablement été développée à la fin du XIXe siècle, bien que les archives ne soient pas claires en raison de sa nature intuitive. L’A/B testing fait partie de la méthode scientifique et du domaine plus large de la conception d’expériences, qui vise à acquérir des vérités sur des déclarations ou des hypothèses.

L’A/B testing est particulièrement populaire dans le marketing, où il est utilisé pour évaluer l’efficacité de supports promotionnels tels que des newsletters ou des publicités. Un exemple d’A/B testing en marketing consiste à diviser une base de données clients en deux groupes aléatoires et à envoyer la version A d’une newsletter au premier groupe et la version B au deuxième groupe. Les résultats sont ensuite mesurés pour déterminer quelle version a mieux performé.

Au début des années 2000, Google a réalisé une série de tests A/B pour déterminer le nombre optimal de résultats de recherche à afficher sur leur page de résultats de recherche. Les tests ont aidé l’entreprise à équilibrer les temps de chargement de la page et la satisfaction des utilisateurs, ce qui a finalement conduit à la décision d’afficher environ 10 résultats par page.

Bien que l’A/B testing soit moins populaire dans la gestion de la supply chain, Lokad est souvent sollicité, de manière explicite ou implicite, pour réaliser des tests A/B pour ses clients. Dans le contexte de la supply chain, l’A/B testing consiste généralement à comparer les performances d’un ensemble de magasins gérés par le système d’optimisation des stocks de Lokad à celles d’un ensemble de magasins comparables gérés par le système existant du client. La comparaison est réalisée sur une période, telle que trois mois, et peut être appelée un benchmark ou un pilote.

Vermorel soutient que l’A/B testing peut sembler une approche rationnelle pour comparer deux méthodes, mais il peut poser problème pour l’optimisation de la supply chain en raison de la nature interconnectée des supply chains.

Vermorel explique que dans une supply chain, les problèmes sont souvent déplacés plutôt que résolus. Lors de la comparaison des performances de deux techniques d’optimisation différentes, elles peuvent ne pas être indépendantes, car elles se disputent les mêmes ressources. Cela conduit à une situation où l’optimisation d’une technique peut se faire au détriment de l’autre. La nature interconnectée des supply chains signifie également que lorsqu’une partie est affectée, cela peut influencer d’autres parties, ce qui rend difficile l’isolement et la mesure de l’impact d’une seule variable.

Un autre problème de l’A/B testing dans le contexte des supply chains est l’apprentissage limité qu’il fournit. L’A/B testing ne teste qu’une seule hypothèse à la fois, générant une petite quantité d’informations. Cela peut être suffisant si l’on recherche une certitude absolue sur quelque chose dont on est convaincu, mais les supply chains évoluent constamment et le rythme lent de l’A/B testing peut ne pas suivre les besoins en évolution.

Vermorel souligne également le problème de la saisonnalité, qui peut affecter la validité des résultats de l’A/B testing. Pour tenir compte de cela, un test peut devoir être effectué pendant 12 mois, mais cela n’est souvent pas réalisable car cela ne fournit qu’un seul élément d’information sur lequel système est meilleur. De plus, différents systèmes peuvent être meilleurs pour différents types de produits ou de situations, limitant davantage l’utilité de l’A/B testing.

Au lieu de s’appuyer sur l’A/B testing, Vermorel suggère d’aborder le problème d’un point de vue de l’apprentissage automatique. Cette approche consiste à extraire activement des informations des données, ce qui peut être plus efficace pour comprendre des systèmes complexes et interconnectés tels que les supply chains. En tenant compte de la manière dont les décisions influencent les observations, il devient possible d’en apprendre davantage sur la demande et d’optimiser les opérations de la supply chain.

Vermorel explique que les entreprises doivent équilibrer l’optimisation de leurs processus actuels avec l’exploration d’options alternatives. Cela peut impliquer d’introduire de l’aléatoire dans leur prise de décision, ce qui peut aider à éviter aux entreprises de rester bloquées dans un minimum local - une situation où elles pensent avoir trouvé la meilleure solution, mais une meilleure solution existe si elles s’écartent de leur approche actuelle.

Une façon d’introduire de l’aléatoire est d’expérimenter avec différents produits ou fournisseurs. Par exemple, un réseau de vente au détail pourrait ajouter quelques produits aléatoires à leur assortiment dans chaque magasin ou tester des fournisseurs alternatifs pour évaluer leur fiabilité et leurs offres de produits. Les entreprises de l’industrie de l’après-vente automobile ont même mis en œuvre cette approche, en passant une partie de leurs commandes à des fournisseurs qui n’offrent pas initialement les meilleurs prix ou conditions, simplement pour tester les eaux.

Bien que cela puisse sembler contre-intuitif pour les entreprises d’introduire une telle aléatoire dans leurs processus, Vermorel soutient que cette approche peut en réalité améliorer la rentabilité à long terme. En apprenant continuellement sur leur marché, les entreprises peuvent découvrir de nouvelles informations qui peuvent avoir un impact significatif sur leur résultat net. Par exemple, elles pourraient découvrir qu’elles pourraient augmenter ou diminuer leurs prix sans affecter les ventes, ce qui entraînerait une augmentation des revenus ou des économies d’échelle.

L’introduction de l’aléatoire dans la prise de décision permet aux entreprises de tester des marchés alternatifs, des fournisseurs, des points de prix et même des structures d’organisation de la supply chain. Cet investissement dans l’exploration aide les entreprises à découvrir de légères variations qui conviennent mieux à leurs opérations, ce qui peut à son tour stimuler la croissance et améliorer leurs performances globales.

Joannes Vermorel, fondateur de Lokad, aborde l’importance d’explorer et de quantifier les connaissances au sein d’une entreprise. Il fait référence à un article qu’il a publié il y a plus d’une décennie, introduisant un algorithme appelé “poker price of knowledge and estimated reward” qui peut aider à quantifier le coût et la récompense de l’exploration. Vermorel souligne que les entreprises devraient optimiser les gains réels, tels que les dollars, plutôt que des objectifs arbitraires. Il prédit que les entreprises à la pointe de la technologie introduiront de plus en plus l’exploration et la randomisation dans leurs processus de supply chain pour stimuler l’optimisation et s’améliorer avec le temps.

Transcription complète

Kieran Chandler: Aujourd’hui, nous allons discuter de la raison pour laquelle cette technique est profondément faible et comprendre quelles sont les techniques alternatives que nous pouvons utiliser pour tester nos supply chains de manière plus efficace. Alors, Joannes, peut-être devriez-vous commencer, comme toujours, par nous en dire un peu plus sur ce qu’est l’A/B testing.

Joannes Vermorel: L’A/B testing est une méthode permettant de tester si une hypothèse est vraie ou non, généralement en comparant deux groupes, mais cela peut être plus que deux groupes. C’est un peu flou quant à son invention. Je suppose probablement qu’il a été inventé quelque part à la fin du XIXe siècle, mais les archives sont floues, et probablement parce que c’est quelque chose de si intuitif, les gens y ont pensé bien plus tôt, ce n’était simplement pas très clairement documenté et n’était pas nécessairement appelé A/B testing. Ce qui est intéressant, c’est que cela fait partie de la méthode scientifique, qui est dans le domaine de la conception d’expériences, une manière scientifique d’acquérir des vérités sur toute déclaration que vous pouvez faire. Cela ne prouvera pas que toute déclaration est vraie, mais cela peut vous donner une réponse scientifique à la question de savoir si votre hypothèse est vraie ou non.

Kieran Chandler: Quels types d’expériences parlons-nous vraiment ici ?

Joannes Vermorel: L’A/B testing est très populaire en marketing. En supply chain, c’est beaucoup moins populaire. En marketing, cela est largement utilisé pour des choses comme les newsletters promotionnelles. Par exemple, si vous faites la publicité d’un produit en premier et d’un autre produit en second, vous pouvez diviser votre base de données clients en deux groupes aléatoires, envoyer la version A de votre newsletter au premier groupe et la version B au deuxième groupe, puis mesurer les résultats. C’est une manière assez efficace de faire de l’A/B testing.

Kieran Chandler: Donc, l’idée est que vous envoyez deux choses et vous voyez laquelle fonctionne le mieux ?

Joannes Vermorel: Exactement. Vous testez une hypothèse. Google, par exemple, a fait très célèbre une série de tests A/B au début des années 2000 pour déterminer combien de résultats de recherche étaient optimaux en termes d’affichage. Ils ont trouvé un équilibre grâce à l’A/B testing, qui était d’environ 10 résultats à l’époque.

Kieran Chandler: Pourquoi est-ce quelque chose qui nous intéresse ici chez Lokad ? Est-ce quelque chose que nos clients demandent vraiment ?

Joannes Vermorel: En supply chain, on nous demande fréquemment, que ce soit explicitement ou parfois implicitement, de faire des tests A/B. En supply chain, l’A/B testing prend une autre forme. Par exemple, les gens pourraient dire : “Laissons Lokad gérer 10 magasins avec leur système d’optimisation des stocks, tandis que 10 autres magasins comparables sont gérés avec l’ancien système. Nous ferons cela pendant trois mois et comparerons les résultats.” Ils pourraient l’appeler un benchmark, mais c’est en réalité un test A/B.

Kieran Chandler: Il y a en quelque sorte un test A/B en cours, et cela semble assez rationnel. Il semble que vous ayez besoin d’un moyen de comparer ces deux approches différentes. Alors, comment cela fonctionne-t-il réellement dans le monde réel ?

Joannes Vermorel: Le cœur du problème est que cela semble évident et raisonnable. On pourrait dire que c’est une façon raisonnable de comparer ces deux méthodes. Je ne change qu’une variable, comme le logiciel qui gère les stocks, et je m’assure que mon expérience est représentative. Donc, je prendrais plusieurs magasins et une période plus longue, comme trois mois, pour garantir une signification statistique. Tout cela semble assez raisonnable et rationnel. Mais il y a un “mais” - c’est plus compliqué qu’il n’y paraît. Les problèmes que j’ai avec ces benchmarks sont, dans mon livre, des exemples de rationalisme naïf. Cela semble très scientifique, mais ce n’est pas vraiment super scientifique ou rationnel ; cela semble juste l’être.

Le problème dans la gestion de la supply chain est que vous avez tendance à déplacer les problèmes plutôt qu’à les résoudre. Par exemple, vous avez ces 20 magasins dans le test. Cela semble super rationnel. Le problème est que tous ces magasins sont en concurrence avec le même stock au centre de distribution. Si je veux tricher, en tant que Lokad, le logiciel, je pourrais booster mes propres résultats en consommant beaucoup de stock, améliorant les performances de ma portée au détriment des autres magasins. Et si vous avez un benchmark qui dit que l’objectif est de maximiser les performances de ces dix magasins, l’optimisation mathématique le fera au détriment des autres magasins. Il y a donc une boucle de rétroaction entre les magasins car ils sont en concurrence par le biais du même distributeur pour le même stock au centre de distribution. Cela se produit toujours dans les supply chains ; c’est un système, et il est interconnecté par conception.

Les supply chains permettent des gains massifs en termes d’efficacité, de fiabilité, de coûts et d’économies d’échelle. Mais l’inconvénient est que, parce que c’est un système, si vous touchez une partie, vous avez tendance à influencer les autres parties.

Kieran Chandler: Quelle serait alors une meilleure approche ? Devriez-vous essayer une technique pendant six mois dans vingt endroits, puis une autre technique pendant six mois ?

Joannes Vermorel: Un autre problème que j’ai avec ce genre de benchmark, c’est que vous apprenez très peu de choses sur votre système. Les tests A/B sont généralement sous-estimés car vous ne testez qu’une seule hypothèse à la fois. En termes d’information, nous parlons d’un peu d’information, juste un zéro ou un un. Ce n’est même pas un octet, mais un bit. Et ce n’est même pas un bit complet car vous n’aurez qu’un degré de confiance dans vos résultats. Donc, ce que vous apprenez est comme une fraction d’un bit, ce qui semble très peu, et en réalité, c’est très peu. La principale critique des tests A/B est que vous apprenez très peu de choses sur votre système.

Kieran Chandler: Les tests sont utiles si vous voulez avoir une certitude absolue sur quelque chose sur laquelle vous avez une forte conviction. Par exemple, vous pouvez faire un test A/B pour avoir la confirmation finale que vous aviez raison, mais le problème est que vous supposez que vous connaissez déjà la vérité. C’est pourquoi cela fonctionne très bien pour la science. Dans les méthodes scientifiques, les gens rassemblent des indices de manière très indirecte, et une fois qu’ils ont rassemblé une multitude d’indices, ils effectuent un test A/B pour confirmer leur hypothèse de manière plus directe. Mais cela va être très coûteux et lent, et ce sera la confirmation finale, en mettant le clou dans le cercueil et en fermant définitivement le dossier.

Joannes Vermorel: Le problème avec les chaînes d’approvisionnement, c’est que les choses changent tout le temps. Votre réseau est une bête en constante évolution. Si vous voulez faire un test A/B pour l’optimisation de la chaîne d’approvisionnement, vous pourriez avoir besoin de 12 mois au lieu de trois en raison de la saisonnalité. Mais alors, qui peut se permettre 12 mois juste pour obtenir un peu d’information sur lequel des deux systèmes est le meilleur ? Il y a tellement d’autres alternatives sur le marché, et seulement autant d’essais que vous pouvez mener. Le système A pourrait être meilleur pour les produits à rotation lente, tandis que le système B pourrait être meilleur pour les produits à rotation rapide. N’avoir qu’un seul bit d’information est très faible, et cela ne vous donnera aucune indication sur la meilleure option.

Le problème avec les tests A/B est que vous ne testez que deux chemins possibles, et dans une chaîne d’approvisionnement, il y a des millions de chemins possibles. Comment pouvons-nous générer des informations sur toutes ces possibilités ?

Kieran Chandler: Donc, dans une chaîne d’approvisionnement, nous avons des millions de chemins possibles. Comment pouvons-nous générer des informations sur toutes ces possibilités ?

Joannes Vermorel: C’est une question très intéressante, et une perspective plus moderne sur le sujet serait l’apprentissage par renforcement. Lorsque vous voulez réfléchir à la façon dont fonctionne un moteur d’apprentissage, vous pouvez extraire des informations des données de manière passive, comme si les données arrivaient et que vous vouliez apprendre, ou de manière active, où ce que vous faites a une influence sur ce que vous observez, ce qui est le cas dans la gestion de la chaîne d’approvisionnement. Par exemple, si vous décidez de ne pas mettre un produit en vente dans un magasin, vous n’observerez jamais la demande pour ce produit dans ce magasin.

Les tests A/B sont un moyen d’acquérir des connaissances, mais ils sont incroyablement lents. Si vous deviez apprendre à marcher en passant par des tests A/B, cela prendrait un million d’années pour apprendre à marcher. C’est très puissant pour la certitude scientifique, mais cela ne peut pas être le processus qui mène à la vérité.

Dans la gestion de la chaîne d’approvisionnement, une perspective plus moderne est l’apprentissage par renforcement, où vous réfléchissez à un compromis entre l’exploration et l’exploitation. Vous avez une idée de ce qui est bon, mais vous n’êtes pas complètement convaincu que c’est toujours le meilleur, donc vous voulez faire ce qu’on appelle l’exploration. Vous randomisez un peu vos actions pour en apprendre davantage sur le système.

Kieran Chandler: Vous avez votre processus d’optimisation qui essaie d’optimiser, vous savez, selon des métriques spécifiées, un algorithme qui vous conduit à ce que vous pensez être l’optimum selon vos propres mesures. Mais le problème est que si vous faites cela, vous pouvez être bloqué dans une façon de faire les choses, ce qui est, vous savez, mathématiquement ce que les gens appellent un minimum local. Vous essayez de minimiser votre fonction de coût, et vous êtes coincé dans une zone comme un minimum local où cela semble bon. Si vous vous éloignez de ce point, il semble que vous êtes à l’optimum, mais en réalité, si vous voulez avoir quelque chose de bien meilleur, vous devez diverger.

Joannes Vermorel: Donc fondamentalement, nous parlons d’introduire un certain pourcentage de votre décision, qui en réalité pourrait ne pas être correct et pourrait ne pas correspondre à votre optimisation. Mais il s’agit essentiellement d’introduire ce certain pourcentage d’erreur potentielle simplement pour en savoir plus sur ce qui pourrait éventuellement fonctionner. Et évidemment, il s’agit d’expérimenter. Vous ne voulez pas faire des choses folles, mais par exemple, si vous avez un vaste réseau de vente au détail, l’idée serait de changer votre assortiment. Vous pouvez décider que tout le temps, dans chaque magasin, vous allez introduire quelques produits qui ne font généralement pas partie de l’assortiment, pratiquement au hasard. Évidemment, vous n’essayerez pas de le faire avec des articles très chers, comme une machine de jardinage coûteuse si vous avez un magasin qui est au milieu d’une ville. Vous ne faites pas des choses complètement absurdes, mais vous introduisez une certaine aléatoire pour essayer si certains produits n’obtiendraient pas complètement inopinément beaucoup de succès simplement parce que vous les avez essayés dans un centre-ville, et habituellement, vous pensiez que ce produit n’était pas adapté à cette région. Il s’est avéré que peut-être que si. Donc vous voulez introduire une certaine randomisation.

Cela peut être fait dans la chaîne d’approvisionnement, par exemple, simplement essayer parfois d’autres fournisseurs pour tester les délais d’approvisionnement. Vous avez votre fournisseur habituel, et vous passez simplement quelques commandes à des concurrents juste pour voir comment ça se passe. Et j’ai même vu des entreprises, dans l’après-vente automobile par exemple, avoir cela en place automatiquement, où une certaine fraction des commandes passées aux fournisseurs ne sont pas initialement passées aux fournisseurs qui offrent le meilleur prix et les meilleures conditions, mais elles sont simplement passées pour tester les eaux et voir si le fournisseur est super fiable, et si les produits répondent aux attentes en termes de processus de commande, c’est-à-dire que lorsque vous commandez une certaine pièce, c’est vraiment cette pièce que vous obtenez et pas une autre.

Kieran Chandler: Cela semble très surprenant car les entreprises, dans l’ensemble, sont normalement tellement axées sur la rentabilité et agissent aussi efficacement que possible, maximisant cette ligne du bas. Elles introduisent en fait ces différents fournisseurs juste pour tester les choses. Mais est-ce une chose difficile à incorporer ?

Joannes Vermorel: C’est, encore une fois, je dirais que l’approche rationnelle naïve dirait : “Oh, nous optimisons directement.” Mais ce n’est ni du rationalisme ni la meilleure approche. Si vous commencez à réfléchir aux effets de second ordre, l’idée est que vous voulez toujours en apprendre davantage sur votre marché. Vous voulez tester des fournisseurs alternatifs, des marchés alternatifs pour vos clients, des points de prix alternatifs car l’idée est que la connaissance a un prix, et elle est précieuse. Vous pouvez avoir de grandes récompenses.

Vous pourriez être bloqué, par exemple, vous pourriez réaliser que vous vendez votre produit à un certain prix, mais en réalité, vous pourriez augmenter votre prix et il se vendrait toujours plus ou moins de la même manière. C’est juste que vous n’avez jamais essayé ; vous ne pensiez pas que les gens percevaient votre produit comme aussi précieux qu’ils le font.

Kieran Chandler: La réalité est que généralement, vous savez, vous êtes coincé dans ce que vous avez fait jusqu’à présent. Ou peut-être que parfois, c’est le contraire qui est vrai - en réalité, vous vendez votre produit à un prix trop élevé. Et si vous essayiez de baisser le prix, vous augmenteriez en fait considérablement la demande, puis vous auriez des économies d’échelle qui entreraient en jeu. Et ensuite, vous pourriez réellement produire à un prix moins cher et avoir des choses qui se développent en termes de croissance pour l’entreprise. Donc l’idée est que cette randomisation qui peut être introduite est en fait un investissement que vous faites dans l’idée que vous allez découvrir de légères variations qui conviennent mieux à votre entreprise. Il peut s’agir de variations dans vos points de prix, dans vos fournisseurs, ou même dans vos organisations de chaîne d’approvisionnement, comme quel entrepôt fournit quelles usines, ou vice versa. Existe-t-il un moyen de quantifier cette connaissance et de déterminer réellement combien cette connaissance vaut pour une entreprise ?

Joannes Vermorel: En fait, oui. Je veux dire, j’ai même publié un article il y a plus d’une décennie intitulé “POKER : Prix de la Connaissance et Récompense Estimée”. Donc si vous voulez vraiment le faire de manière sophistiquée, vous pouvez littéralement quantifier le coût de l’exploration par rapport à la récompense de l’exploration de ce que vous gagnez en ayant un certain horizon. Parce que évidemment, vous devez continuer à jouer - c’est l’idée d’avoir un jeu itéré où vous jouez le même jeu encore et encore. Et lorsque vous explorez, eh bien, vous faites des choses qui sont généralement moins optimales, mais parfois vous atteignez un point idéal, et ensuite, vous pouvez exploiter cette découverte. Mais l’idée est que pour faire cela, vous devez avoir un algorithme, en particulier, je dirais, du côté de l’apprentissage automatique, qui peut vraiment tirer parti de ce bruit dans vos données et peut l’utiliser pour apprendre non seulement un peu d’informations mais beaucoup plus. Et encore une fois, ce n’est pas simplement comme un test A/B où vous établissez simplement votre pourcentage ou quelque chose comme ça. C’est quelque chose qui est capable de capturer, je dirais, des motifs beaucoup plus flous où vous avez des tonnes d’effets qui sont interconnectés et peuvent entraîner de meilleures performances dans une situation très multidimensionnelle.

Kieran Chandler: Comment cette approche s’intègre-t-elle à ce que nous faisons ici chez Lokad ? Parce que ce que nous faisons ici chez Lokad, c’est un peu optimiser ces décisions commerciales qui peuvent être prises à n’importe quel moment. Introduire ce genre de bruit, faire des choses qui sont intentionnellement un peu fausses.

Joannes Vermorel: Oui, et cela va fondamentalement à l’encontre de cette croyance. Je veux dire, pas ma croyance, mais quand vous voulez vraiment prendre en compte les effets de second ordre. Chez Lokad, nous essayons vraiment d’appliquer non pas l’irrationalisme, mais d’essayer d’être rationnels, en tenant compte de ces autres effets qui sont pervers. Pendant la première décennie de Lokad, pour la grande majorité de nos clients, ils n’optimisaient même rien. Ils optimisaient des pourcentages d’erreur, ce qui, selon moi, n’est même pas une optimisation. Si vous optimisez des pourcentages d’erreur, vous ne savez même pas ce que vous faites pour votre entreprise. Vous devez optimiser les dollars. La première étape consiste à passer à un processus d’optimisation où vous essayez réellement d’optimiser, plutôt que de simplement répéter des objectifs qui sont complètement arbitraires. Maintenant, ce que nous constatons, c’est qu’avec nos clients les plus avancés, notamment dans le domaine du e-commerce, maintenant que ce processus d’optimisation est en place, l’idée de l’exploration commence à émerger. Cela commence généralement par des choses comme la tarification, qui, encore une fois, de mon point de vue, relève très largement du domaine de la supply chain car c’est là que vient la demande. Vous devez avoir un bon prix, et le prix explique en grande partie la demande. Mais le prix n’est certainement pas le seul domaine où vous voulez faire de l’exploration. Ce que je vois pour les prochaines années, c’est que je pense que pour les entreprises qui veulent rester à la pointe de la technologie, elles doivent avoir l’ambition d’être à la pointe de la technologie en ce qui concerne leur supply chain. Elles introduiront de plus en plus l’idée d’un peu d’exploration et de randomisation, simplement pour générer des résultats qui alimentent le processus d’optimisation lui-même et le rendent meilleur au fil du temps.

Kieran Chandler: Donc, pour conclure, on peut voir qu’à l’avenir, on accordera une importance beaucoup plus grande à ce genre d’exploration et à l’importance de quantifier ce que cela vous apporte en tant qu’entreprise en termes de connaissances.

Joannes Vermorel: Exactement, parfait.

Kieran Chandler: Très bien, nous devons conclure ici pour aujourd’hui. Merci pour votre temps.

Joannes Vermorel: C’est tout pour aujourd’hui. Merci beaucoup de nous avoir suivi, et nous vous retrouverons la prochaine fois.

Kieran Chandler: Merci de nous avoir regardé.