00:00:00 Le déclin des consultants traditionnels
00:02:33 Les problèmes liés aux infopublicités pilotées par les fournisseurs
00:05:05 Les problèmes liés aux démarcations des quadrants
00:07:11 Des rapports qui ne contestent pas les affirmations des fournisseurs
00:09:30 L’importance des mérites techniques
00:11:11 Les fournisseurs d’IA renforcent la recherche approfondie
00:13:22 Les agents d’IA organisent la recherche sur le web
00:15:36 Améliorer les LLM grâce aux instructions
00:17:27 Les affirmations exagérées profitent aux fournisseurs et aux clients
00:19:55 Classement des rapports des LLM en fonction de leur étayage
00:21:56 Génération rapide de rapports détaillés
00:23:21 Les LLM surpassent les consultants en connaissances techniques
00:26:03 Précision dans la recherche à l’aide des LLM
00:28:09 Les fournisseurs offrant des points de vue neutres sur le marché
00:30:46 Les défis des données de mauvaise qualité dans les LLM
00:33:51 Les avantages des LLM dans la recherche sur les logiciels
00:36:19 L’influence des instructions biaisées compromet l’objectivité des LLM
00:39:35 Apprendre rapidement les techniques d’instruction
00:42:15 Réduction du risque de désinformation
00:45:21 Efficacité dans les études de marché rapides
00:47:37 Les consultants en tant que compagnons d’entreprise
00:50:40 La compétence du consultant surpassant les biais
00:52:07 La formation en IA améliore la performance des tâches
00:54:51 Les cadres préfèrent une analyse claire et bien rédigée
00:57:27 L’IA réduit le temps et les coûts dans la recherche
00:57:55 L’interview se conclut par des remerciements
Résumé
Lors d’une conversation sur LokadTV, Conor Doherty et Joannes Vermorel abordent la recherche de marché dans la gestion de la supply chain, critiquant les méthodologies traditionnelles et explorant le rôle transformateur de l’IA et des Large Language Models (LLMs). Vermorel remet en question les biais présents dans la recherche de marché conventionnelle, motivée par les intérêts des fournisseurs, et vante la capacité de l’IA à fournir des rapports complets et impartiaux. Le dialogue souligne la promesse de l’IA en délivrant rapidement des insights détaillés par rapport aux approches traditionnelles, malgré les inquiétudes concernant la qualité des données et les biais technologiques. Vermorel et Doherty évoquent la possible obsolescence des cabinets de conseil traditionnels, plaidant pour des collaborations innovantes entre l’IA et l’expertise humaine afin de redéfinir l’intelligence supply chain.
Résumé Étendu
Dans un récent dialogue animé sur LokadTV, Conor Doherty, Directeur de la Communication chez Lokad, s’entretient avec Joannes Vermorel, PDG et Fondateur de Lokad, pour démêler les complexités entourant la recherche de marché dans le domaine de la gestion de la supply chain. Cette conversation captivante porte sur les méthodologies traditionnelles de recherche de marché, le rôle transformateur de l’IA, en particulier des Large Language Models (LLMs), et l’évolution du paysage pour les fournisseurs de logiciels et les consultants.
Doherty ouvre le débat en abordant les dilemmes permanents auxquels sont confrontées les entreprises lors du choix de fournisseurs de logiciels, notant les écueils potentiels engendrés par les conflits d’intérêts avec les éditeurs de logiciels. Vermorel critique les approches conventionnelles de la recherche de marché, soulignant que les incitations financières orientent souvent les rapports en faveur des fournisseurs de logiciels d’entreprise. Ces rapports sont généralement truffés de lacunes en raison du manque d’expertise approfondie des analystes, aboutissant à des analyses ni pertinentes ni satisfaisantes.
Doherty cherche à comprendre si la critique de Vermorel trouve un écho large au sein de l’industrie. Vermorel souligne que les grands rapports de recherche de marché échouent souvent à fournir des insights pertinents sur les environnements compétitifs, se caractérisant par des analyses médiocres qui ne font qu’alimenter des récits biaisés en faveur des fournisseurs. Cette critique s’étend aux outils populaires d’évaluation du marché, tels que les quadrants, que Vermorel qualifie de superficiels et dénués d’insights visionnaires, à l’exception de cas comme Brightwork.
En évoquant plus avant Brightwork, Vermorel attribue à son approche distinguée le recours à de véritables ingénieurs logiciels qui évaluent de manière indépendante des solutions d’entreprise complexes, demeurant à l’abri des biais des fournisseurs. L’attention se porte ensuite sur le potentiel de l’IA à transformer radicalement la recherche de marché, ce qui amène Doherty à s’interroger sur la manière dont l’IA, en particulier les LLM, répond aux défis existants. Selon Vermorel, les avancées de l’IA permettent désormais une analyse asynchrone, favorisant des rapports complets qui surpassent les itérations précédentes des LLM.
Vermorel dresse le portrait des LLM comme des outils efficaces et performants, capables d’identifier les affirmations des fournisseurs étayées tout en rejetant les moins convaincantes. Doherty salue les avantages de cette capacité de l’IA, facilitant la création d’instructions simples et produisant des insights de marché étonnamment détaillés. Vermorel vante les mérites de la recherche pilotée par l’IA — une exécution à une vitesse fulgurante, une recherche économique scalable, sans précédent chez les entreprises traditionnelles.
Cependant, tout en reconnaissant les capacités prometteuses de l’IA, tant Doherty que Vermorel admettent le biais technologique inhérent à ces outils numériques, en contraste avec les écueils des études de marché menées par des analystes inexpérimentés. L’IA, selon eux, englobe une compréhension globale, produisant ainsi des rapports plus complets contrairement aux méthodes limitées par la spécialisation humaine.
Doherty se lance dans un scénario impliquant des systèmes d’aviation, explorant comment les retours des fournisseurs intégrés aux instructions des LLM pourraient améliorer la recherche de marché pertinente pour le contrôle des stocks. Des inquiétudes émergent quant à la qualité des données entrantes affectant les résultats des LLM. Vermorel soutient que même des données de mauvaise qualité peuvent produire des résultats fiables grâce à la capacité des LLM à examiner et comparer les informations existantes. Il affirme que des équipes d’ingénierie supérieures produisent inévitablement un meilleur contenu en ligne, orientant favorablement les évaluations des LLM. Malgré les biais potentiels, les capacités rapides et itératives de l’IA offrent des détails riches plus rapidement que les méthodes traditionnelles.
La discussion introduit la fiabilité des LLM face aux préoccupations concernant les inexactitudes à cause des “hallucinations”, incitant Vermorel à préciser que, bien que des erreurs existent dans les faits, la recherche d’informations en ligne assistée par LLM positionne ces outils pour surpasser l’erreur humaine lors d’une recherche plus approfondie.
En disséquant la redondance des cabinets de conseil en marché, Vermorel soutient que de nombreux cabinets pourraient devenir obsolètes s’ils ne redéfinissent pas leur savoir-faire technique au-delà de l’IA — qui reste rare et coûteuse. Néanmoins, l’élément humain irremplaçable que les consultants apportent dans le support aux entreprises demeure une considération vitale.
Doherty remet en question la légitimité de la compétence des cabinets de conseil, laissant entendre des exagérations historiques. Vermorel reconnaît l’existence d’experts, quoique rares, qui s’efforcent de couvrir l’étendue nécessaire pour évaluer avec précision divers logiciels d’entreprise. Il interroge le réalisme que des consultants puissent maîtriser de manière constante des domaines variés.
Se tournant vers des collaborations innovantes qui déverrouillent le potentiel de l’IA, Vermorel commente l’incohérence entre les capacités de l’IA et les modèles commerciaux existants des cabinets de conseil, où des workflows rapides, pilotés par l’IA subvertissent les sources de revenus traditionnelles. Doherty réfléchit à la faveur durable que les entreprises accordent aux marques établies plutôt qu’à l’excellence technique, illustrant la distinction stratégique entre les voies traditionnelles de succès et les alternatives émergentes pilotées par l’IA.
Le dialogue revient sur l’importance d’une communication efficace, Vermorel plaidant en faveur d’expérimentations de recherche pilotées par LLM. Bien que ces insights dirigés par l’IA offrent un potentiel d’efficacité et de réduction des coûts, Vermorel admet que les méthodologies traditionnelles ont également de la valeur, notamment dans des contextes de recherche antagonistes où des investigations plus approfondies des affirmations sont entreprises.
Pour clôturer sur une note de gratitude et d’appréciation réfléchie, Doherty conclut l’épisode, remerciant Vermorel d’avoir partagé ses profonds insights. Au milieu des marées changeantes des paysages de la recherche de marché, les perspectives de Vermorel invitent à une réflexion stimulante sur l’intégration du potentiel transformateur de l’IA avec les cadres d’analyse traditionnels centrés sur l’humain, annonçant une ère de possibilités prêtes à redéfinir l’intelligence de la supply chain.
Transcription complète
Conor Doherty : Bon retour sur LokadTV. Identifier le bon fournisseur de logiciels pour vous est compliqué et requiert souvent pas mal de recherche de marché. Historiquement, les consultants en marché ont aidé les gens à naviguer sur ce terrain compliqué.
Joannes Vermorel : Malheureusement, selon Joannes Vermorel, non seulement il existe une myriade de conflits d’intérêts potentiels, mais grâce aux avancées de l’IA, cela pourrait même ne pas importer, car l’ère du consultant en marché pourrait bien être révolue.
Conor Doherty : Maintenant, comme toujours, si vous souhaitez soutenir ce que nous faisons ici, aimez la vidéo, suivez-nous sur LinkedIn et abonnez-vous à notre chaîne YouTube. Et sur ce, je vous présente la conversation d’aujourd’hui sur la recherche de marché supply chain avec Joannes Vermorel. Alors, Joannes, merci de m’avoir rejoint de nouveau.
Nous en avons déjà discuté de manière détournée, nous avons évoqué par le passé l’idée de l’efficacité et même de l’éthique de la recherche de marché traditionnelle, et vous avez exprimé un bon degré de scepticisme, je pense, pour le dire légèrement. Maintenant, avant d’approfondir comment l’IA pourrait influencer l’avenir de la recherche de marché supply chain, pouvez-vous nous donner un aperçu de ce qui vous pose problème dans l’état actuel de la recherche de marché ?
Joannes Vermorel : Ah, donc je suppose que nous avons trois heures pour explorer le terrier du lapin, ou une autre analogie serait une matriochka — vous savez, vous avez un problème, vous l’ouvrez, et puis il y a un autre problème à l’intérieur, et c’est un autre problème, et vous continuez à déballer toujours plus de problèmes.
Plutôt que de dire “traditionnelle”, je pense que j’utiliserais le terme recherche de marché grand public, et elle est tout aussi dysfonctionnelle que les autres. Quels sont les grands problèmes à un niveau très élevé ? Nous avons des incitations complètement bidon. Bref, les cabinets de recherche de marché sont payés par les fournisseurs. Leurs incitations sont naturellement de faire ce qui est le mieux pour leurs clients, et leurs clients sont de nos jours, je dirais, au moins 90 % des fournisseurs de logiciels d’entreprise.
Conor Doherty : Donc, vous dites qu’il y a des clients directs et indirects. Vous voulez dire que la grande majorité de leurs revenus provient des fournisseurs ?
Joannes Vermorel : Oui, et non pas des entreprises à la recherche de conseils. Ainsi, dans cette situation, on se retrouve avec des infopublicités. Encore une fois, si vous tirez presque la totalité de vos revenus des fournisseurs du secteur des entreprises, alors vous leur servez ; cela n’a pas d’importance, vous savez, les incitations sont tout simplement trop fortes. C’est, je dirais, le problème à un niveau très élevé.
Tout d’abord, le fait est que l’analyste moyen n’est pas très averti en matière de technologie logicielle. Entre-temps, nous avons bien d’autres problèmes, mais ceux-ci sont vraiment les extrêmes. Ainsi, nous avons de mauvaises incitations entre les mains de personnes qui manquent au final de compétences, d’expérience et même de compréhension de base du logiciel, et on se retrouve avec des documents très décevants. Voilà, en résumé, ce qui ne va pas avec la recherche de marché grand public.
Conor Doherty : Est-ce limité à votre cas, ou pensez-vous que c’est une vision assez courante de nos jours ?
Joannes Vermorel : Je pense que des gens comme moi, ayant une expérience des fournisseurs de logiciels, ont vu les systèmes de l’intérieur. Je dirais que, généralement, ils sont d’accord. Je ne pense pas qu’aucun de mes pairs consulte ces rapports et se dise : “Oh, c’est très intéressant ; j’ai découvert quelque chose d’intéressant ou de pertinent sur mon pair.” Si la recherche de marché était bien faite, il serait extrêmement intéressant d’analyser vos propres concurrents.
Mon point de vue est que le niveau d’analyse, même pour les plus grands cabinets de recherche de marché, est en dessous de ce que j’attendrais d’un stagiaire chez Lokad. C’est mauvais ; c’est très mauvais.
Conor Doherty : Vous parlez, par exemple, de quadrants et d’une démarcation du type : “Celui-ci est un leader, celui-ci ne l’est pas.”
Joannes Vermorel : Oui, et encore, cela reflète, comme je le disais, un problème de type matriochka quant à savoir qui finit par écrire ces rapports. Ces rapports ne sont pas produits par des visionnaires ou des personnes d’un talent incroyable, mais par des gens qui agissent comme des journalistes — dans le mauvais sens — dans le domaine des technologies logicielles d’entreprise.
Conor Doherty : Eh bien, il semble qu’à première vue, plusieurs choses peuvent être vraies simultanément. Par exemple, vous pourriez avoir des consultants dont les clients directs sont des fournisseurs qui recommandent ces fournisseurs, mais ces fournisseurs pourraient quand même être les meilleures solutions sur le marché. Dites-vous donc que l’état de la recherche est terrible, et que les résultats sont terribles en raison d’un conflit d’intérêts ?
Joannes Vermorel : Oui, mais malheureusement, la liste des problèmes est si longue. La méthodologie est généralement complètement bidon, précisément parce que les personnes — il y a quelques rares exceptions, comme la recherche Brightwork avec un type nommé Shaun Snapp, qui réalise un travail de très haute qualité, mais c’est extrêmement rare.
Lorsque vous avez des personnes qui réalisent cette recherche de marché sans comprendre comment ces technologies logicielles sont conçues, vous obtenez alors une méthodologie très superficielle qui prend les affirmations des fournisseurs pour acquises, et vous vous retrouvez avec des rapports extrêmement superficiels, des infopublicités pour les fournisseurs.
Une méthodologie appropriée impliquerait de remettre en question en profondeur l’argumentation technique de chaque fournisseur, mais il faut quelqu’un capable de relever ce genre de défi. Fréquemment, lorsque vous lisez ces rapports de recherche de marché, la méthodologie ne remet jamais réellement en cause la réalité des affirmations faites par les fournisseurs.
Tant de choses tournent mal — les études de cas, elles prendraient pour acquises les études de cas produites par les fournisseurs, avec un conflit d’intérêts, de sorte qu’elles ne peuvent pas être fiables, etc. C’est une très longue liste de problèmes.
Conor Doherty : Parce que vous avez mentionné, il me semble que c’était Brightwork, qu’est-ce qui, selon vous, différencie la méthodologie de cet homme de celle du grand public que vous venez de décrire ?
Joannes Vermorel: Cela commence avec une personne qui est en réalité un ingénieur logiciel décent, quelqu’un qui comprend comment fonctionne le logiciel d’entreprise. La première étape consiste à produire un rapport avec une personne suffisamment intelligente pour faire le travail. Sinon, vous aurez toutes sortes de problèmes avec le rapport final, quelle que soit la méthodologie et les incitations que vous utilisez.
Parce que cette personne est pleinement compétente, il peut adopter une méthodologie qui a du sens, par exemple en réalisant des évaluations technologiques, en examinant ce que vaut la technologie en elle-même. A-t-elle des mérites ? Est-elle bien conçue ? Comment se compare-t-elle aux technologies similaires alternatives ?
Si vous souhaitez un produit pour l’entreprise — une solution en logiciel d’entreprise est très complexe, composée de nombreuses pièces — examinez les différentes parties et évaluez comment chacune se compare aux alternatives de pointe. Vous avez besoin d’une approche de division et de conquête, qui nécessite une bonne compréhension de la technologie.
Ce cas est une exception, une situation marginale qui confirme la règle selon laquelle les cabinets d’études de marché sont en grande partie assez douteux. Cette petite société a une déclaration de mission crédible stipulant qu’elle ne reçoit pas d’argent des fournisseurs, ce qui résout de nombreux problèmes.
Les études de marché peuvent être bien réalisées, mais les études de marché grand public sont lamentables.
Conor Doherty: Comment l’IA et, en particulier, les LLM s’intègrent-ils dans cette équation ? Parce que je sais que vous en êtes assez fan et de leurs applications aux études de marché.
Joannes Vermorel: Oui, c’est quelque chose qui a émergé assez récemment avec le lancement, par une série de fournisseurs d’IA, de capacités de recherche approfondie. Il y a deux ans, lorsque des outils comme ChatGPT ont été lancés, ces outils étaient dotés de capacités de recherche web limitées, et ils n’étaient pas très performants. Le problème était que les LLM, ou grands modèles de langage, sont lents, et si vous voulez réaliser une tâche intéressante sur le web, vous ne pouvez pas le faire de manière interactive. Cela signifie que vous ne pouvez pas demander, “ChatGPT, fais-moi une comparaison des logiciels de gestion de stocks les plus pertinents” et activer l’option de recherche. Parce que le LLM essaie de vous donner une réponse en, disons, 30 secondes, ce qui signifie qu’en réalité, le modèle ne peut consulter que trois ou quatre pages web. Ce n’est même pas proche de ce qu’il faut, et donc les résultats étaient pour la plupart du gâchis.
Il y a quelques semaines, OpenAI a lancé un mode de recherche approfondie. D’autres concurrents disposaient déjà de ce mode. Google a déjà, avec Gemini, son propre mode de recherche approfondie, et l’idée est simplement d’abandonner le caractère interactif de la réponse. Ainsi, le LLM va effectuer les tâches de manière asynchrone, et vous reviendrez plus tard. Vous pouvez revenir une demi-heure plus tard, et alors votre rapport sera prêt. Ce qui se passe en coulisses, c’est comme s’il avait un agent spécialisé. C’est simplement quelque chose qui indique au LLM, “D’accord, vous avez pour mission de réaliser cette recherche approfondie sur le web. D’abord, vous devez organiser une collecte de recherches web via un moteur de recherche, disons Bing, où vous allez rassembler les pages pertinentes.” Ensuite, vous allez analyser chaque page pour déterminer s’il y a quelque chose de valeur dans cette page, puis enfin, vous rassemblerez toutes ces analyses partielles dans un rapport synthétique qui répond à la question ou à la tâche de l’utilisateur. Cela fonctionne à merveille. J’ai été agréablement surpris. Ce sont essentiellement les mêmes LLM, mais avec des touches d’automatisation qui le rendent vraiment intéressant.
Et en règle générale, disons qu’OpenAI, lorsque vous effectuez une recherche approfondie, va vérifier environ 50 à 60 pages. C’est donc assez conséquent, et je soupçonne qu’il explore beaucoup plus de pages mais en rejette une grande partie. Je dirais donc qu’il examine probablement environ 200 pages. Parmi ces pages, il élimine la majorité d’entre elles car elles ne constituent pas des sources suffisantes pour l’analyse.
Conor Doherty: Si vous le dirigez pour qu’il soit suffisamment robuste.
Joannes Vermorel: Non, non, non, il fait cela de lui-même. Vous voyez, c’est juste une question de calibration de ce qu’ils ont fait. Il semble qu’à ce stade, il sélectionne environ 200 pages qui paraissent les plus pertinentes, en conserve pas plus de, disons, 50, puis produit un rapport en réalisant une analyse approfondie des éléments les plus pertinents trouvés sur ces pages. Peut-être, vous savez, dans cinq ans, ce serait 2 000 pages et 200 fois plus, donc il y a une limite. Vous voyez que c’est la taille de la fenêtre contextuelle du LLM qui entre en jeu.
Je soupçonne que c’est encore un facteur majeur quant au nombre de sources que vous pouvez rassembler pour votre rapport final. Mais si nous revenons aux études de marché, ces techniques fonctionnent à merveille si vous ajoutez quelques instructions supplémentaires pour les faire fonctionner. En particulier, vous devez fournir quelques directives au LLM, car les modèles, lorsqu’ils sont utilisés tels quels, sont très naïfs. Quand je dis les modèles, je veux dire que les LLM sont très naïfs lorsqu’il s’agit de traiter le logiciel d’entreprise.
Vous devez donc élaborer un prompt qui ajoute de nombreux éléments à la méthodologie afin d’obtenir un rapport assez décent. C’est en réalité très simple. Vous devez ajouter des qualificatifs tels que, “Je veux un rapport recherchant la vérité de manière maximale, sans fioritures marketing, soyez extrêmement sceptique, ne partez d’aucune affirmation faite par les fournisseurs. Assurez-vous absolument que chaque affirmation évaluée comme un élément positif de la solution soit étayée, et que vous ne rejetiez pas toutes les assertions qui ne sont que de simples affirmations non fondées.”
Exactement, ou des affirmations qui semblent manifestement produites avec un énorme conflit d’intérêts. Par exemple, si un fournisseur dit, “Pour un logiciel de gestion de stocks, nous gagnons 50 % de productivité”—
Je veux dire, c’est exactement le genre d’affirmations dont vous devriez vous méfier énormément. Quand vous examinez quelle était votre référence, vous savez, par rapport à quoi ? Par rapport au papier et au crayon ? Ce n’est pas une bonne référence. De plus, en ce qui concerne les études de cas pour les logiciels d’entreprise, le client a tout autant intérêt à prétendre qu’il y a eu un profit massif, car alors le responsable du projet est perçu comme un héros, ce qui est bon pour l’avancement de sa carrière.
Ne supposez donc pas que, parce que l’affirmation concernant les avantages est accompagnée par un client, elle n’est pas biaisée. Elle comporte tout autant, voire plus, de biais que lorsqu’il s’agit simplement du fournisseur de logiciel. En définitive, il faut préciser dans le prompt, “Soyez à la recherche de la vérité de manière maximale. Soyez extrêmement sceptique. Rejetez les affirmations d’avantages lorsque vous ne pouvez pas comprendre le raisonnement.” L’essentiel est que, si le fournisseur affirme apporter des bénéfices, explique-t-il également comment il y parvient, comment il obtient cette mesure ? S’il le fait, l’étude pourra bénéficier d’une certaine crédibilité. Si l’affirmation se contente de dire “parce que je l’ai dit” ou “parce que mon client, qui se trouve être mon ami, l’a dit”, alors non. Vous voyez, le prompt, finalement, n’est pas très compliqué.
Il faut aussi ajouter quelques mesures de sécurité, généralement si vous avez une expérience dans le domaine, pour repérer les signaux d’alarme ou les affirmations tout simplement insensées. Par exemple, dans le prompt, vous pourriez dire que quiconque prétend pouvoir réduire les stocks de 50 % est un farceur. Ce n’est pas possible, même pas de près. Alors s’il vous plaît, dans votre rapport, dévaluez l’évaluation de quiconque fait de telles affirmations extravagantes, car cela ne joue pas en leur faveur. C’est comme un signal d’alarme démontrant une incompétence.
Conor Doherty: Aussi, sans vouloir interrompre, je dois souligner qu’encore une fois, toute personne connaissant le domaine pense probablement la même chose que moi en ce moment. Vous avez en quelque sorte disqualifié tout ce qui a jamais été imprimé par quiconque, à n’importe quel moment de l’histoire de la supply chain, car même si vous manquiez 99 % de ces signaux d’alarme, je suis sûr qu’à un moment donné, vous en rencontreriez un.
Joannes Vermorel: Oui, et ensuite, c’est à nouveau une question de proportion, et les LLM sont assez efficaces pour détecter cela. Vous voyez, vous considérez cela comme un point négatif. Et puis les LLM — c’est très intéressant quand on voit comment ce genre de rapports se forme — produisent une évaluation du type, “Oh, ce fournisseur, il semble que tout ce qu’il dit ne soit que des revendications marketing non étayées, et la grande majorité d’entre elles sont tout bonnement farfelues dans ce cas.” Mais ils classent souvent, de sorte que c’est comme, “C’était la métrique, c’était le meilleur, c’était le plus faible parce qu’il comportait ces affirmations non vérifiées.”
Exactement. Il est donc important de donner, aussi dans le cadre du prompt, quelques indications sur la manière de détecter les points positifs et négatifs. Et ce qui est intéressant, c’est que les éléments négatifs fonctionnent très bien. Listez donc ce genre d’aspects qui semblent très opaques, des revendications incroyablement vagues, qui semblent trop belles pour être vraies, etc., etc. Encore une fois, il se peut que vous deviez itérer ; vos résultats pourront varier un peu. Mais en environ 20 minutes, vous pouvez élaborer un prompt. Vous savez, il ne s’agit pas d’un prompt de 10 pages, les prompts que j’utilise durent environ un quart de page. C’est donc quelque chose que vous pouvez produire en 20 minutes, et ensuite, vous êtes prêt, et vous obtiendrez une étude de marché sur à peu près n’importe quel sujet, d’ailleurs. Et ça fonctionne. Je dirais que ce que vous obtenez est déjà de loin bien supérieur à ce que produisent les cabinets d’études de marché professionnels ou même les cabinets de conseil.
Conor Doherty: Eh bien, au minimum, ce serait également moins cher. Même si la qualité était indiscernable, ce qui n’est pas ce que vous affirmez, mais même si c’était le cas, c’est quand même plus rapide et moins coûteux.
Joannes Vermorel: Oui, exactement. L’avantage, c’est que vous obtenez votre rapport en 20-30 minutes, et vous avez déjà un rapport très détaillé d’environ 20 pages avec les citations qui indiquent précisément d’où proviennent les informations. Et cela représente un énorme travail. Ce qui est intéressant, c’est que grâce à ces capacités de recherche approfondie fournies par, je dirais, les spécialistes de l’IA d’aujourd’hui, vous pouvez en faire en quelques heures ce qui aurait pris des semaines à un assistant pour compiler. Et c’est très impressionnant, et la qualité, encore une fois, c’est là que je trouve cela très impressionnant, c’est que si vous formulez le problème comme visant à chercher la vérité de manière maximale, oui, les LLM — certains diront qu’ils présentent un biais — fournissent un effort assez décent pour, c’est mon expérience, être en quête de vérité. Cela ne veut pas dire que c’est parfait, certainement pas, mais c’est assez bon. C’est vraiment très bon. Et je dirais peut-être pas supérieur à l’humain, mais assez — je veux dire, il y a des trade-offs. Encore une fois, combien êtes-vous prêt à dépenser ? Combien de temps souhaitez-vous investir ?
Je disais que le problème, c’est que la plupart de ces rapports sont rédigés par des personnes qui n’ont aucune compréhension de la technologie. La magie, c’est que ces LLM possèdent une compréhension assez correcte de toutes les technologies. Certes, ils ne sont pas des magiciens des bases de données, mais ils démontrent une compétence supérieure à la moyenne en conception de bases de données, en défis liés aux bases de données, et ainsi de suite.
Lorsque vous réalisez des études de marché, le défi est que vous avez tant de domaines sur lesquels vous savez si peu. L’avantage, c’est que lorsqu’un LLM réalise l’étude, il n’est presque jamais complètement ignorant de n’importe quel secteur de l’entreprise que vous examinez. Cela rend ces rapports très complets. J’ai beaucoup expérimenté et j’ai été globalement très impressionné par la qualité des documents qui peuvent être produits. C’est un peu époustouflant.
Conor Doherty: Eh bien, encore une fois, juste pour essayer de contextualiser cela pour les auditeurs, avec peut-être un exemple. Historiquement, je sais que c’est un exemple auquel je reviens souvent, mais votre distinction ou votre catégorisation des types de logiciels d’entreprise entre les systèmes de records, les systèmes de rapports et les systèmes d’intelligence — les ERP, les systèmes de rapports avec des outils BI, et ensuite les systèmes d’intelligence avec des logiciels de prise de décision —. Vous avez souligné que pour exceller dans l’un, il faut sacrifier l’autre — on ne peut pas être Superman dans tous ces domaines.
Passons maintenant à la question : si vous réalisiez une étude de marché à l’aide d’un LLM, serait-il capable de démêler les revendications ? Par exemple, un fournisseur d’ERP qui déclare, “Notre système ERP est fantastique pour gérer les records, et nous pouvons également réaliser une prévision incroyable et une optimisation de la prise de décision,” ce que vous savez, en tant qu’expert, être essentiellement un non-sens extravagant. La quasi-totalité des gens ne saurait à première vue qu’en termes de conception de logiciel, on ne peut pas exceller brillamment dans tous ces domaines.
Je dirais qu’un LLM pourrait démêler cela, essentiellement gratuitement.
Joannes Vermorel: Probablement pas. Ce n’est pas automatique, mais si vous êtes au courant de cette classification que j’ai introduite, vous pouvez en informer le LLM et il appliquera alors votre intention. Vous pouvez simplement dire, “Au fait, je cherche un système de records qui élimine strictement les autres éléments.” Vous pouvez même fournir un lien vers la page et dire, “Veuillez prendre en compte cette classification dans votre évaluation.” Cela rendrait l’analyse plus complète.
Mais je dirais que c’est le genre de chose où vous n’en avez même pas vraiment besoin, car ma suggestion est que l’étude de marché par LLM n’est que la première étape pour aller extrêmement vite. Ma recommandation reste de recourir à une étude de marché adversariale, où vous demandez aux fournisseurs eux-mêmes d’expliquer qui sont leurs pairs, ce qu’ils pensent être les points positifs ou négatifs de leurs concurrents, et qui sont les pairs qu’ils respectent le plus, ainsi que s’il y a des écueils selon leur point de vue qui doivent être pris en compte.
Vous pouvez réaliser votre étude de marché en 30 minutes, en réalité deux heures, et ensuite obtenir votre premier rapport solide — vous ne fixez même pas l’ordinateur pendant ces 30 minutes. Vous rédigez le prompt et vous pouvez poser une ou deux questions de qualification, comme, “Comment souhaitez-vous cela ? Voulez-vous un rapport ?” Puis vous revenez, allez prendre un café, etc.
Il vous faudra un peu de temps pour digérer un rapport, disons deux heures. Ensuite, vous passez à l’étude de marché adversariale.
Vous envoyez quelques emails à ces différents fournisseurs, en sélectionnant par exemple trois, et ces fournisseurs vous répondront — cela fait partie de la méthodologie de l’étude de marché adversariale — avec quelques éclairages sur la manière de considérer votre problème.
Si un fournisseur comme Lokad vous contacte en disant, “Attention, le problème que vous examinez concerne en réalité plusieurs produits complémentaires mais des produits très distincts,” et si le raisonnement vous convainc, alors vous devriez simplement répéter l’étude de marché en utilisant de nouveau le LLM.
En disant, “D’accord, j’ai cette compréhension fournie par un fournisseur, mais ce n’est pas quelque chose de totalement neutre ; c’est simplement une compréhension du marché. Ce n’est pas une analyse qui favorise uniquement ce fournisseur particulier.” Vous pouvez également reprendre les rapports qui ont déjà été élaborés et les faire évaluer.
Par exemple, supposons que vous êtes une entreprise qui possède des pièces d’avion et que vous souhaitez la gestion des stocks. Ensuite, le premier fournisseur que vous contactez vous dit, “Attention, vous devez disposer d’un système qui prend en charge la gestion sérielle des stocks.” Cela signifie qu’il ne s’agit pas de maintenir dix unités en stock ; cela signifie que pour chaque unité en stock, il existe un certain nombre et vous devez en assurer le suivi.
Vous disposez de systèmes de gestion des stocks qui prennent en charge la gestion sérielle des stocks et d’autres qui ne le font pas. Parmi ceux qui prennent en charge la gestion des stocks, certains la considèrent comme essentielle, de sorte qu’elle est censée être le cas d’utilisation principal, tandis que les articles sans numéro de série sont relégués au second plan.
Vous avez d’autres systèmes de gestion des stocks où c’est le contraire. Un fournisseur peut vous dire que c’est une fonctionnalité très importante si vous souhaitez disposer d’une gestion sérielle des stocks. C’est complètement différent de la gestion des stocks classique.
Très bien, un fournisseur vous l’indique et vous ne le saviez pas. Alors, je vais refaire mes recherches sur les systèmes de gestion des stocks en me disant, “Hé, je dois vraiment prêter attention à cette capacité de gestion sérielle des stocks. C’est critique car je travaille dans l’aviation.” Refaites cette étude de marché en gardant ce critère à l’esprit et régénérez les rapports.
Je considère les LLM comme très complémentaires à cette étude de marché en mode adversarial. Au fur et à mesure que vous recueillez quelques retours des fournisseurs, vous pouvez simplement intégrer ces informations supplémentaires sur la manière dont vous devriez envisager le problème dans votre requête LLM, puis procéder par itération et régénérer. C’est peu coûteux, relativement rapide, et vous obtiendrez quelque chose de plus en plus adapté à votre cas d’utilisation.
Conor Doherty: Certainement, cela paraît bien en théorie. Mais ne rencontrez-vous pas la limite préexistante selon laquelle les LLM sont entraînés sur des ensembles de données ? Vous avez déjà dénoncé l’état actuel de la littérature sur la supply chain, donc si vous souhaitiez réaliser une étude de marché à l’aide d’un LLM et que vous lui donniez tous ces paramètres, incitations et qualifications très précis, il doit tout de même lire l’information qui est disponible publiquement. Si les informations publiquement disponibles sont de mauvaise qualité, n’est-ce pas le principe de garbage in, garbage out ?
Joannes Vermorel: Non, je veux dire, là encore, nous revoilà face au défi des LLM : l’une des choses les plus incroyables est que les LLM transforment des inputs de mauvaise qualité en outputs de qualité, ce qui est très étrange. C’est pourquoi je pense qu’il a fallu du temps même à la communauté des développeurs pour découvrir ces aspects ; c’est totalement contre-intuitif et va radicalement à l’encontre du dogme d’il y a dix ans, qui était garbage in, garbage out.
Il se trouve que lorsque vous injectez l’intégralité du web dans ces modèles, vous obtenez quelque chose de très correct, ce qui est étrange. Je veux dire, quand on pense que ChatGPT a ingéré toutes les inepties de Reddit et reste raisonnable, c’est tout à fait remarquable.
Ici, je dirais que non, ça fonctionne. Le défi est que, certes, certains fournisseurs disposent parfois de contenus de très basse qualité, mais encore une fois, un LLM utilisera cela pour réaliser une évaluation comparative.
Si tout le monde est également mauvais, alors il est difficile de trancher, mais très fréquemment, ce qui se produit, c’est que certains fournisseurs sont bien pires que d’autres. Peut-être même que le fournisseur leader n’est pas votre fournisseur rêvé ; il manque un peu à l’appel. Il faut bien qu’il y en ait un qui soit le meilleur.
Exactement, et mon observation de terrain est que, lorsqu’il s’agit de la qualité des produits, de la qualité des logiciels, de la qualité des technologies, il existe une corrélation immense entre la qualité des contenus publiés sur le site web du fournisseur et ce qui se passe en coulisses.
Les entreprises disposant d’équipes d’ingénierie compétentes proposent sur leurs sites web des contenus qui expliquent ce que fait le produit, comment il fonctionne, etc., et la qualité y est également correcte. Inversement, si l’équipe est réduite et externalisée dans un pays bon marché et sous-développé, alors, surprise, la qualité du site web et des contenus techniques est également médiocre.
Sans surprise, ce genre de choses va de pair. C’est ce qui rend l’utilisation des LLM pour les études de marché si puissante, du moins en ce qui concerne les logiciels. Il existe une corrélation immense entre la qualité des contenus en ligne et la qualité du produit ; ils vont vraiment de pair. Je ne pense pas avoir vu une exception à cette règle au cours de ma carrière.
Conor Doherty: D’accord, et pas seulement, mais il me vient à l’esprit qu’il y a une possibilité que ce que vous décrivez, et certainement ce qui est déjà disponible, puisse en fait aboutir à une étude de marché objectivement meilleure sur l’ensemble des options disponibles, mais la question devient alors : est-ce réellement ce que veulent les utilisateurs finaux, dans ce cas les entreprises clientes ? Par exemple, je suis sûr que, pour mener à bien cette expérience de pensée, euh, vous prenez l’exemple de l’entreprise de Joannes, vous avez une entreprise appelée Lokad et vous souhaitez trouver un fournisseur, et vous réalisez une étude de marché complète comportant 10 options, dont neuf sont les grands noms que nous connaissons tous, et puis le numéro 10 est l’ERP de Conor.
Et l’ERP de Conor est le meilleur, mais personne n’en a jamais entendu parler, néanmoins, avec vos critères, c’est la meilleure option. Il possède le meilleur logiciel, il dispose de la meilleure documentation publique, il explique comment tout est fait, c’est fantastique. Vous présentez ensuite cela en interne et ils réagissent, “C’est qui ce Conor ? Donnez-moi l’un des grands noms.” Je veux dire, parce que les gens veulent des grands noms.
Joannes Vermorel: Non, je veux dire, tout d’abord, encore une fois, les LLM sont étonnamment performants. Vous savez, c’est une entreprise sans nom. Qu’est-ce qui qualifie une entreprise sans nom si elle dispose de très peu de supports, de très peu de documentation, de très peu de fonctionnalités, de très peu de tout, d’ancienneté, de prestige auprès des clients, etc. ? Mais encore une fois, cela se reflétera en termes de profondeur de ce qu’ils font, vous savez.
Si vous regardez OpenAI, c’était, jusqu’à très récemment, une entreprise sans nom, n’est-ce pas ? Elle a complètement explosé en 2023. Avant cela, c’était une entreprise très obscure, fortement financée mais néanmoins très méconnue de la Silicon Valley. Vous voyez donc, selon moi, encore une fois, les LLM sont plutôt efficaces pour ce genre d’évaluation, et ils en tiennent compte. Ils prendront également en compte cela ainsi que des milliers d’autres éléments.
Alors, ne pensez pas que lorsque je dis qu’il faut rechercher la vérité au maximum, que le LLM va simplement être idiot et suggérer quelque chose comme un fournisseur super, super obscur venant de Bashtoan ou autre. Ce n’est pas ce que vous obtiendrez. Maintenant, si vous partez avec une idée préconçue, si vous savez déjà ce que vous voulez, alors n’utilisez pas un LLM pour justifier cela.
Vous savez, c’est du rêve. Si vous supposez vouloir réaliser une véritable étude de marché, alors vous devriez en fait suspendre vos préférences pour certains fournisseurs. Sinon, pourquoi voudriez-vous même faire cette étude de marché ? Si vous avez déjà décidé de choisir un fournisseur, alors choisissez-le directement et épargnez-vous ce processus fictif qui vise à justifier les décisions que vous avez déjà prises. Vous savez, cela permettra simplement à l’entreprise d’économiser du temps et de l’argent.
Vous voyez, si vous avez déjà décidé et que vous faites ensuite une étude de marché, cela n’a aucun sens. Il n’existe aucun argument logique pour soutenir ce genre de démarche, il faut donc aborder le problème d’un point de vue où vous n’avez pas encore décidé, et ce que vous essayez de faire avec ce LLM, c’est d’obtenir une déclaration aussi véridique et objective que possible.
Et c’est, je crois, à cet égard que ces outils sont assez efficaces, et si vous craignez vraiment que ces outils aient des limitations, ou si vous pensez que le LLM omet simplement un fournisseur qu’il devrait examiner, vous pouvez tout simplement le préciser. Vous pouvez littéralement dire, “Je veux le fournisseur A, B, C, D, F, et, en plus de ceux-ci, celui qui me semble le plus pertinent.”
Vous voyez, il n’y a pas de règles strictes ici. Vous pouvez littéralement ajuster votre requête, et le LLM adaptera simplement la composition, mais essayez de le faire de manière à ne pas introduire un biais massif. Par exemple, si vous souhaitez énumérer explicitement les fournisseurs, faites attention de ne pas laisser entendre celui que vous souhaitez voir gagner le processus.
Parce que si vous incitez le LLM en disant, “Je pense que c’est la meilleure option, faites exactement une étude de cas, réalisez une étude de marché sur les logiciels de gestion des stocks et n’oubliez pas ce fournisseur que je considère vraiment comme numéro un”, vous introduisez une dose massive de biais. Ici, vous faites simplement — mais encore une fois, vous n’avez pas besoin d’être extrêmement intelligent pour comprendre cela. Il s’agit simplement de formuler votre requête de manière neutre. Sinon, vous obtiendrez un rapport biaisé.
Conor Doherty: Alors Joannes, je pense qu’il vaut la peine de marquer le coup ici. Je veux dire, nous l’avons déjà fait dans une certaine mesure plus tôt, mais juste pour clarifier les choses. Quand on parle des compétences, des compétences en littératie numérique requises pour produire ce type d’information, ce n’est pas avancé. Nous ne parlons pas de programmer en Python ou quoi que ce soit dans ce genre. C’est du basique, non ?
Joannes Vermorel: Oui, je pense que si certaines personnes décident d’introduire un diplôme de prompt ou une certification de prompt pour être capables de solliciter un LLM, ce sont le genre de choses que l’on peut maîtriser en deux jours. Vous pouvez obtenir votre certification de prompt en deux jours. Oui, ce n’est pas difficile. C’est absolument simple.
Et encore, vous pouvez même interagir avec un outil pour déterminer ce qui ne va pas dans votre propre requête. C’est donc un processus assez interactif qui vous fournit également des retours sur la manière de vous améliorer si vous en demandez. Eh bien, le deuxième point, car le premier concernait les compétences requises pour cela, mais le deuxième point, et c’était quelque chose que vous avez mentionné il y a quelques instants, concernait la fiabilité.
Maintenant, vous ne le vouliez pas dans ce contexte, mais cela soulève une préoccupation que je suis sûr que certaines personnes ont lorsqu’elles écoutent ceci, à savoir qu’historiquement, la fiabilité des LLM a été remise en question dans une certaine mesure. Par exemple, ils peuvent halluciner, ou je sais que vous aimez le terme confabuler. Vous demandez à un LLM de faire quelque chose, “Hé, trouve cette information”, et il ne veut pas vous dire, “En fait, je ne sais pas”, ou “Il n’y a pas d’information”, et il invente des informations pour la plupart à partir de rien.
À quel point cette préoccupation est-elle plausible ou valable dans le contexte d’une recherche approfondie, qui, bien sûr, n’est pas le même modèle que celui auquel on pense habituellement lorsqu’on évoque les LLM ?
C’est le même modèle, mais le fait est que, généralement, lorsqu’il effectue une recherche approfondie, le LLM est sollicité pour aller chercher l’information sur le web. Ainsi, encore une fois, les LLM ne sont pas des bases de données de faits et d’informations ponctuelles. Ils ont été entraînés sur ce type de données, mais si vous demandez, “Quelle est l’altitude exacte du Mont Everest ?” ils se souviendront vaguement ; cependant, s’ils peuvent réellement consulter l’information en ligne, il leur sera bien plus facile d’en être absolument certains.
D’après mon expérience, le degré de confabulation ou d’hallucination lors de l’utilisation de la recherche approfondie d’OpenAI est assez faible. Vous pouvez vraiment constater que le modèle exploite les informations existant sur la page pour construire sa propre évaluation, et ainsi, vous ne lui demandez pas simplement d’inventer ou de se souvenir de tout ce qu’il sait sur des fournisseurs obscurs. Il n’essaie même pas.
Il dirait simplement, “D’accord, voici la liste de pages que j’ai récupérées auprès de ce fournisseur. Que me disent ces pages ?” C’est ainsi que cela fonctionne. Il est toujours possible que le LLM invente des choses, mais je dirais à un degré bien moindre qu’un humain. Par exemple, sur la page du fournisseur, il est indiqué, “Nous avons plus d’un millier de clients”, et ensuite, dans le rapport, le LLM dirait, “Ils prétendent avoir 1 000 clients.”
C’est une approximation subtile : dans un cas, ils disaient “plus de 1 000”, et cela a été transformé en exactement 1 000. Bon, encore une fois, il s’agit d’une distorsion mineure d’après mon expérience. Les distorsions sont rares, et lorsqu’elles existent, elles sont relativement insignifiantes, par opposition, par exemple, à l’invention totale d’un fournisseur à partir de rien en lui attribuant des qualités et des faiblesses ex nihilo. Cela n’arrivera pas.
Cela n’arrivera pas. 100% des fournisseurs auront un site web avec des sources à citer et tout. Je n’ai jamais vu de rapport où l’on inventait ex nihilo des éléments faramineux. Cela est arrivé, mais c’était subtil et parfois vous êtes même en zone frontière sur l’inférence. Vous savez, il semble qu’ils possèdent ceci, et vous faites simplement un raccourci en affirmant qu’ils possèdent cela, mais ce n’est pas complètement clair. Lorsque vous examinez la documentation, c’est en quelque sorte implicite, et le LLM est tombé dans le panneau.
Conor Doherty: Eh bien, oui, évidemment. Encore une fois, même si vous payiez une société de conseil pour produire un rapport, vous le liriez et l’évalueriez vous-même. Ce n’est donc pas comme si le conseil ici était de simplement utiliser le travail des chercheurs en profondeur et de le prendre pour argent comptant en tant que parfait. Vous devez quand même vous interroger.
Joannes Vermorel: S’interroger soi-même, oui, exactement. Je veux dire, encore une fois, vous ne pouvez pas suspendre votre jugement. Vous devez en tirer parti. Et encore, je pense que ce qui fait véritablement la force de ces outils, c’est que vous pouvez itérer à un rythme tout simplement impossible, même avec les meilleurs consultants. C’est comme si vous pouviez répéter une étude d’un mois—ce qui prendrait un mois pour un humain—mais réalisée manuellement en 30 minutes. C’est extrêmement impressionnant. Encore une fois, nous parlons ici de produire un rapport de 20 pages, super structuré, complètement adapté à votre demande, en 30 minutes. Cela change complètement la donne en ce qui concerne votre capacité à itérer.
Vous pouvez en fait finir par réaliser 20 études de marché consécutives, chacune itérant sur la précédente afin de vous concentrer de plus en plus sur ce que vous voulez réellement.
Conor Doherty: Eh bien, vous avez parlé il y a un instant de faire des inférences. Est-il raisonnable, pour quelqu’un qui vous écoute, de déduire que vous voyez le rôle du consultant en marché et des cabinets de conseil, etc., comme devenant redondants ou ayant déjà été rendus redondants par cette technologie ?
Joannes Vermorel: Si nous parlons en termes de livrable et que vous partez du principe que le livrable est une étude de marché, alors, en effet, de nombreuses, voire la plupart, des sociétés d’études de marché ainsi que les consultants offrant ce type de service deviennent complètement obsolètes, à moins qu’ils ne puissent vraiment prouver qu’ils sont capables de faire mieux qu’une machine. Cela commence par le fait de disposer de personnes extrêmement compétentes sur le plan technique pour produire une analyse plus intelligente que celle que peut réaliser un LLM.
Ça existe, mais ça va être hyper de niche, tout simplement parce qu’il n’y a pas autant de personnes de ce calibre dans ce genre d’industries et que, pour l’instant, c’est plus lent et plus cher. Oui, nous parlons de quelque chose où, oui, ce sera beaucoup plus lent. Ces éditeurs de logiciels d’entreprise n’achètent pas d’études de marché chez eux ; ce qu’ils achètent, c’est de la publicité. Tant que les éditeurs de logiciels d’entreprise sont prêts à dépenser de l’argent auprès de ces firmes d’études de marché, ces dernières se débrouilleront très bien, ce qui n’a rien à voir avec l’existence de LLM capables de produire des études de marché.
Ce n’est pas ce pour quoi ces éditeurs de logiciels d’entreprise paient ; ils paient pour la publicité. C’est juste un canal. Ils pourraient, par ailleurs, dépenser l’argent en Google ads ; ils décident simplement de le dépenser auprès de certaines firmes d’études de marché ou d’une fraction de leur budget dans ce domaine.
Pour les consultants, mon avis est que, très, très fréquemment, les consultants — ce pour quoi les entreprises ou plutôt les cadres paient réellement — c’est de la compagnie ou un soutien moral, et ce n’est pas quelque chose que le LLM pourra vous offrir. Cela paraît un peu stupide, formulé ainsi, de dire : “Oh, pourquoi avez-vous payé cette mission à 100 000 $ ?” “Je me sentais seul, je me sentais vulnérable, j’avais besoin de quelqu’un pour me soutenir, alors je les ai engagés. Ce sont de bons gars ; ils me soutiennent.” Cela semble un peu ridicule, mais oui, c’est, je pense, en grande partie, cela qui explique cette attitude, qui explique la majeure partie du business du consulting.
Le fait que vous achetiez une étude de marché n’est qu’un prétexte pour formuler une mission d’une manière qui ne semble pas aussi absurde que “Je recherche un coach d’entreprise.” Mais, mis à part cela, c’est pourquoi je pense que cela ne changera peut-être pas. L’existence des LLM et leur capacité ne devrait pas changer grand-chose à cet égard, car en fin de compte, ce n’était pas déjà ce qui était acheté. Le rapport n’était qu’un prétexte pour autre chose. Ce n’était pas réellement ce qui justifiait, aux yeux de la direction, de payer les consultants en premier lieu.
Conor Doherty : Alors encore, entre les lignes, après avoir écouté tout cela, serait-il raisonnable de dire que vous ne voyez pas les firmes de consulting en études de marché posséder une expertise précieuse à appliquer directement à l’étude du marché ? Leur expertise ne réside donc pas dans ce domaine, ni maintenant ni historiquement, pourrait-on même le soutenir, et vous êtes très sceptique quant au fait qu’un consultant — un consultant professionnel — puisse apporter une expertise précieuse, cette qualité intangible, parmi ces 8 milliards d’humains et probablement un million, vous savez, de consultants dans le monde entier.
Joannes Vermorel : Oui, bien sûr, il doit y avoir des dizaines, des centaines de personnes capables de faire cela. Maintenant, la question est : combien sont vraiment capables de le faire ? Quel est le pourcentage ? Mon point de vue est que le pourcentage de personnes capables, dans les cercles de consulting, d’effectuer ce genre d’évaluation en ce qui concerne les logiciels d’entreprise, mieux que les LLM, est tout simplement extrêmement faible.
Et, d’un point de vue éthique ou dépourvu de biais, oui, exactement. Je veux dire, les deux. Mais je crois que le biais affecte davantage les firmes d’études de marché. Pour les groupes de consulting, je pense que la plupart n’ont pas ce problème à la même échelle ; ils ont effectivement le problème, mais il est relativement mineur. Le problème bien plus important est tout simplement les compétences et la capacité de réaliser cette évaluation dès le départ.
Et encore, c’est parce qu’en tant que consultant, vous vous retrouvez à faire des choses incroyablement diverses. Vous savez, c’est très difficile. Aujourd’hui, on vous demande d’être un expert en logiciel de gestion des stocks ; le lendemain, il faut que vous soyez un expert en taux de rendement pour une ligne de production chimique. La diversité des missions est tout simplement stupéfiante, et il n’est donc pas très réaliste que vous trouviez des personnes extrêmement compétentes dans ce genre de domaines.
Conor Doherty : Alors, Joan, c’est intéressant parce qu’en vous écoutant et en suivant cette discussion sur les firmes de consulting en études de marché, je me souviens qu’il y a environ un an et demi, deux ans — et encore, corrigez-moi si je me trompe — bien que ce soit moi qui aie réellement écrit l’article, nous avons examiné un article de la Harvard Business School, je crois qu’il s’appelait “Navigating the Jagged Technological Frontier.” Et il a été produit de manière intéressante, si je me souviens bien, avec BCG Boston Consulting Group.
Dans celui-ci, et je vais en faire un résumé très succinct, tout en précisant que n’importe qui peut commenter si je me trompe — je me rappelle, en temps réel, que les personnes ayant reçu une formation avec des LLM ou de l’IA générative ont obtenu de meilleurs résultats sur certaines tâches, tant qualitatives que quantitatives, que celles qui n’avaient pas cette formation. Ma question pour vous maintenant est la suivante : quiconque à l’écoute pourrait tout aussi bien vous dire, “Eh bien, Joannes, si nous fournissons simplement ces outils, qui se sont améliorés au cours des 18 derniers mois, à des consultants hautement formés, ne produiront-ils pas les meilleurs rapports de consulting au monde ?”
Joannes Vermorel : Oui, ils le feraient. Je veux dire, assurément, entre les mains de consultants, on pourrait produire des rapports fantastiques. Mais maintenant, la question est que c’est un modèle économique propre aux cabinets de conseil. Vous ne pouvez pas facturer deux heures de travail à une grande firme de consulting comme BCG ou McKinsey, ce qui remet quelque peu en cause le modèle économique. Mais encore, si nous revenons à l’idée que le rapport est vraiment ce qui est acquis, je conteste vraiment cette hypothèse.
Mon point de vue est que ce n’est pas ce pour quoi l’on paie, donc la disponibilité de la technologie est sans pertinence puisqu’elle n’est pas ce pour quoi la quasi-totalité de ces missions de consulting est achetée.
Conor Doherty : L’une des choses avec lesquelles j’aurais tendance à être d’accord, dans la mesure où plus je travaille dans ce domaine et plus j’écoute et discute avec des professionnels lors de salons et d’expositions, plus je me rends compte que les grandes validations de marques sont l’indicateur que recherchent généralement les gens. Pour conclure un peu la conversation, il y a une expression, “Better to fail conventionally than succeed unconventionally,” selon laquelle, dans les grandes entreprises, on a l’impression, “Eh bien, je ne veux pas être l’entreprise qui prend un risque sur cette société obscure qui pourrait être, sur le papier, selon un consultant ou un LLM, la meilleure option. Je préfère me contenter d’un menu plus restreint de noms établis et à succès.” Qu’en pensez-vous ?
Joannes Vermorel : Je le suis, encore une fois, tout est relatif. La plupart des entreprises de logiciels d’entreprise ne sont pas toutes récentes ; même si nous parlons de Lokad, il s’agit d’une entreprise qui a 15 ans. Ce n’est pas exactement très jeune. Mon point de vue est que le problème réside plutôt dans le fait qu’il faut avoir quelque chose d’assez convaincant.
Et le problème typique auquel la haute direction pourrait être confrontée, c’est qu’elle se retrouve avec des messages de ses subordonnés complètement obscurs, dont les compétences rédactionnelles peuvent être insuffisantes, et l’analyse de problèmes peut aussi être médiocre. Les consultants fournissent un PowerPoint d’une longueur cauchemardesque de 80 diapositives qui n’a ni queue ni tête, ou qui a peu de sens, et cela représente un véritable casse-tête pour la haute direction. Elle doit prendre une décision, et on se rabat donc sur quelque chose qui semble peu risqué.
Mais encore, je ne pense pas que la plupart des personnes qui parviennent à gravir les échelons parmi les hauts dirigeants soient des idiots. S’il y a quelque chose de convaincant, qui est expliqué de manière nette, ils suivront tout simplement. Et là où je pense que les LLM changent véritablement la donne, c’est dans la capacité à produire un raisonnement écrit de très grande qualité pour soutenir le choix de telle option par rapport à une autre.
C’est quelque chose pour laquelle, si je regarde la plupart des grandes entreprises, les compétences rédactionnelles typiques sont assez faibles. Certaines entreprises, comme Amazon, sont notoirement reconnues pour que leurs managers soient capables de rédiger des mémos de haute qualité de cinq pages. C’est très rare, et je pense qu’une grande partie du succès d’Amazon repose sur cette capacité à aborder les problèmes par écrit, et non à travers des PowerPoints, et à réfléchir en profondeur sur un sujet. Ici, l’intérêt des LLM est qu’ils rendent soudainement cet exercice bien plus accessible aux personnes qui ne possèdent pas toutes ces compétences rédactionnelles. Évidemment, avoir de bonnes compétences en écriture vous rendra encore meilleur, mais dans l’ensemble, c’est juste un immense facilitateur.
Conor Doherty : Donc, pour conclure et à titre de conseil, vous recommanderiez de tirer parti des LLM, au minimum, pour créer une communication plus significative ?
Joannes Vermorel : Je dirais que si vous envisagez quelque chose qui se rapproche de l’étude de marché, commencez par exploiter ces capacités de recherche approfondie avec une demi-douzaine de fournisseurs de chatbots IA qui supportent cette capacité de recherche approfondie. Ce sera très probablement une expérience révolutionnaire pour vous, et vous vous rendrez compte que vous pouvez faire en quelques heures ce qui aurait autrement pris des mois et coûté beaucoup d’argent, et ce, à moindre coût.
Oui, ce sera très bon marché. Voilà ; constatez par vous-même, vous serez agréablement surpris. Ensuite, l’étape suivante consiste simplement à recourir à des services-conseils en études de marché, qui sont également très légers, mais nous parlons de quelque chose qui prendrait peut-être plusieurs jours, et non simplement plusieurs heures.
Conor Doherty : Très bien, Joannes, je n’ai plus de questions. Merci beaucoup pour votre temps et pour avoir partagé de bonnes perspectives, et merci beaucoup de nous avoir regardés. Nous nous retrouvons la prochaine fois.
