00:00:00 伝統的なコンサルタントの衰退
00:02:33 ベンダー主導のインフォマーシャルの問題点
00:05:05 クアドラントの区分に関する問題
00:07:11 ベンダーの主張に挑戦しないレポート
00:09:30 技術的価値の重要性
00:11:11 AIベンダーがディープリサーチを強化
00:13:22 AIエージェントがウェブ検索を整理
00:15:36 指示によるLLMの改善
00:17:27 誇張された主張はベンダーとクライアントに利益をもたらす
00:19:55 裏付けに基づくLLMレポートのランク付け
00:21:56 迅速な詳細レポートの生成
00:23:21 LLMは技術知識においてコンサルタントを凌駕
00:26:03 LLMを使用した研究の精度
00:28:09 中立的な市場見解を提供するベンダー
00:30:46 不良データがLLMに与える挑戦
00:33:51 ソフトウェアリサーチにおけるLLMの利点
00:36:19 バイアスのあるプロンプトはLLMの客観性を損なう
00:39:35 迅速にプロンプト作成スキルを習得
00:42:15 誤情報リスクの低減
00:45:21 迅速な市場調査における効率性
00:47:37 コンサルタントは企業の仲間として
00:50:40 バイアスを超えるコンサルタントの能力
00:52:07 AIトレーニングがタスクのパフォーマンスを向上させる
00:54:51 経営者は明確で洗練された分析を好む
00:57:27 AIは研究にかかる時間とコストを削減する
00:57:55 インタビューは感謝の言葉で締めくくられる
要約
LokadTVでの対話の中で、Conor DohertyとJoannes Vermorelは市場調査と供給チェーン管理について議論し、従来の手法を批判しながら、AIと大規模言語モデル（LLM）の変革的役割を探求します。Vermorelは、ベンダーの利益によって駆動される従来の市場調査に内在するバイアスに異議を唱え、AIが包括的で偏りのないレポートを提供する能力を賞賛します。この対話は、データ品質や技術的バイアスに対する懸念にもかかわらず、従来の手法と比べて迅速に詳細な洞察を提供するというAIの可能性を強調しています。VermorelとDohertyは、従来のコンサルティング企業が陳腐化する可能性について考察し、サプライチェーンインテリジェンスを再定義するために、AIと人間の専門知識との革新的な協力を提唱しています。
詳細な要約
最近、LokadTVで開催された対話で、Lokadの広報部長Conor Dohertyは、同社のCEOで創業者であるJoannes Vermorelと共に、供給チェーン管理の分野における市場調査を取り巻く複雑な問題を解明します。この魅力的な対話は、従来の市場調査手法、特に大規模言語モデル（LLM）によるAIの変革的な役割、そしてソフトウェアベンダーやコンサルタントのために進化する市場環境に焦点を当てています。
Dohertyは、企業がソフトウェアベンダーを選定する際に直面する永続的なジレンマに触れることで議論を開始し、ソフトウェアプロバイダーとの利益相反によって引き起こされる潜在的な落とし穴に注意を促します。Vermorelは、従来の市場調査手法を批判し、財政的インセンティブがしばしばエンタープライズソフトウェアベンダーに有利なレポートを歪める点を強調します。こうしたレポートは、アナリストの深い専門知識の欠如により欠陥が多く、洞察に乏しく満足のいく分析に至らないのが通常です。
Dohertyは、Vermorelの批判が業界全体に広く共鳴しているのかを理解しようとします。Vermorelは、大手市場調査レポートが競争環境について意味のある洞察を提供できないことを強調し、単にベンダーに偏った物語を拡散するだけの不十分な分析に特徴づけられると指摘します。この批判は、クアドラントのような一般的な市場評価ツールにも及び、Vermorelは、それらが浅薄で未来的な洞察に欠けると論じており、Brightworkのような例外を除きます。
Brightworkについてさらに議論する中で、Vermorelは、実際のソフトウェアエンジニアを雇用し、ベンダーのバイアスに左右されずに複雑なエンタープライズソリューションを独立して評価するという、その卓越したアプローチを評価します。その後、焦点は市場調査を根本的に変革する可能性を持つAIに移り、Dohertyは、特にLLMが既存の課題にどのように対処するかを問いかけます。Vermorelによれば、AIの進歩は現在、非同期解析を可能にしており、従来のLLMのバージョンを凌駕する包括的なレポートを促進しています。
Vermorelは、LLMを効果的かつ効率的なツールとして描き、裏付けられたベンダーの主張を特定し、弱いものを排除する能力があることを示します。Dohertyは、簡単なプロンプト作成を通じて、このAIの強みを強調し、予想外に詳細な市場洞察をもたらすと述べます。Vermorelは、AI駆動の調査の美徳—稲妻のような迅速な実行と、従来の企業では前例のないスケーラブルな経済調査—を賞賛します。
しかし、AIの有望な能力を認めながらも、DohertyとVermorelは、これらのデジタルツールに内在する技術的バイアスを、経験の浅いアナリストによる市場調査の落とし穴と対比して認識しています。彼らは、AIが広範な理解を包含しており、その結果、人間の専門性に限定された手法とは異なり、より包括的なレポートを生み出すと主張します。
Dohertyは、シナリオに踏み込み、航空システムに関して、ベンダーのフィードバックがLLMのプロンプトにどのように組み込まれることで、連続的な在庫管理に関連する市場調査を強化できるかについて探求します。Vermorelは、ベンダーの洞察に基づいて調査結果をカスタマイズする可能性に踏み込み、個々のユニット追跡のような欠かせない機能が、コスト効果の高いAI駆動のレポートにおいて焦点となる可能性を強調します。
入力データの質がLLMの成果に影響を与えることに関する懸念が浮上します。Vermorelは、質の悪いデータであっても、LLMが既存情報を精査し比較する能力を通じて、妥当な結果を生み出せると主張します。彼は、優れたエンジニアリングチームは必然的により良いオンラインコンテンツを生成し、LLMの評価を有利に歪めると述べます。潜在的なバイアスにもかかわらず、AIの迅速で反復的な能力は、従来の手法よりも早く豊富な詳細を提供します。
The discussion introduces LLMs’ reliability amid concerns about inaccuracies through “hallucinations,” prompting Vermorel to clarify that while errors exist in facts, LLM-assisted online information retrieval positions these tools to outpace human error during deeper research.
市場コンサルティング会社の冗長性を分析する中で、ヴェルモレルは多くの企業が、AIを超えた技術力を再定義しない限り陳腐化に直面する可能性があると主張している—なお、これは依然として希少で高価である。それでもなお、企業支援においてコンサルタントが提供する代替不可能な人間的要素は重要な考慮事項である。
ドハーティは、コンサルティング会社の能力の正当性に疑問を呈し、過去の誇張をほのめかす。ヴェルモレルは、まれではあるが、さまざまな企業向けソフトウェアを正確に評価するために必要な幅広い知識に取り組む専門家の存在を認める。しかし、コンサルタントが様々な分野を一貫して習熟することの現実性に疑問を投げかける。
AIの可能性を解き放つ革新的な協業に目を向け、ヴェルモレルは、迅速なAI駆動のworkflowsが伝統的な収益源を覆す現行のコンサルティングビジネスモデルとAIの能力との間の不協和音についてコメントする。ドハーティは、技術的卓越性よりも確立されたブランドに対する企業の持続的な支持に思いを馳せ、従来の成功戦略と新たなAI駆動型の代替案との戦略的な違いを示す。
The dialogue rounds back to effective communication, with Vermorel advocating for LLM-driven research experimentation. While these AI-led insights offer efficient, cost-saving potential, Vermorel concedes traditional methodologies also hold value, particularly in adversarial research contexts where deeper probes into claims are undertaken.
感謝と内省的な敬意を込めた締めくくりとして、ドハーティはこのエピソードを締めくくり、ヴェルモレルが深い洞察を共有してくれたことに感謝の意を示す。市場調査の状況が変動する中で、ヴェルモレルの視点は、AIの変革的な可能性と伝統的で人間中心の分析フレームワークを統合することについて思考を呼び起こし、サプライチェーンインテリジェンスを再定義する可能性の時代の到来を示唆している。
完全な書き起こし
Conor Doherty: LokadTVへお帰りなさい。あなたに適したソフトウェアベンダーを見極めるのは困難で、しばしば相当な市場調査が必要とされてきました。これまで、歴史的に、市場コンサルタントはこの困難な領域を乗り越える手助けをしてきました。
Joannes Vermorel: 残念ながら、ジョアネス・ヴェルモレルによれば、数多くの潜在的な利益相反が存在するだけでなく、AIの進歩のおかげで、それすらも問題ではなくなっている場合すらあり、まさに市場コンサルタントの時代は過ぎ去った可能性がある。
Conor Doherty: さて、いつも通り、もし私たちの活動を支援したい場合は、動画に「いいね」を押して、LinkedInでフォローし、YouTubeチャンネルに登録してください。それでは、本日のサプライチェーン市場調査に関するジョアネス・ヴェルモレルとの対話をご覧ください。ジョアネス、再びご参加いただきありがとうございます。
これまで迂遠な方法で話し合ってきましたし、伝統的な市場調査の効率性や倫理についても以前に議論し、率直に言って相当な懐疑心を示されました。では、AIがサプライチェーン市場調査の未来にどのような影響を与えるかについてより深く議論する前に、現在の市場調査における問題点の概要を教えていただけますか？
Joannes Vermorel: ああ、つまり私たちにはウサギの穴を突き進むための3時間があるということですね、もしくは別の例えで言えばマトリョーシカのようなものです。つまり、問題があって、それを開けるとまた別のものが出てきて、それもまた問題であり、次々と問題が次々に現れるのです。
伝統的と言うより、私は主流市場調査という用語を使いたいと思いますが、それも他と同様に機能不全です。非常に高いレベルでの大きな問題は何かというと、全くもって偽のインセンティブが存在することです。要するに、市場調査会社はベンダーから支払われており、そのインセンティブは当然ながらクライアントにとって最善を尽くすことであり、彼らのクライアントは、現在では少なくとも90%が企業向けソフトウェアベンダーであると言えるでしょう。
Conor Doherty: つまり、直接的および間接的なクライアントが存在するということですね。彼らの収入の大部分がベンダーから来ているということですか？
Joannes Vermorel: はい、指導を求める企業からではありません。この状況では、情報商材のようなものになってしまいます。繰り返しになりますが、収入のほぼ全てが企業向けセクターのベンダーから来ている場合、結局は彼らに仕えていることになり、インセンティブがあまりにも強力であるため、それが非常に高いレベルでの問題と言えるでしょう。
まず第一に、事実として平均的なアナリストはソフトウェア技術に関してあまり精通していません。その間にも他にも多くの問題がありますが、それらは本当に極端なケースです。つまり、技能や経験、そして基本的なソフトウェアの理解さえ欠いている人々の手に誤ったインセンティブが与えられており、その結果として非常に期待外れなドキュメントが生み出されるのです。これが、要約すると主流市場調査の問題点です。
Conor Doherty: これはあなたに限った話ですか、それとも最近ではかなり一般的な見解だと思いますか？
Joannes Vermorel: 私のようにソフトウェアベンダーの経験を持つ人々は、そのシステムを内部から少しは見ていると思います。概ね同意するでしょう。私の仲間がそのレポートを見て、「ああ、とても興味深い。自分の同僚について何か面白い、または関連性のある発見があった」と思うことはないでしょう。もし市場調査が正しく行われれば、自社の競合他社を分析することは非常に興味深いものになるはずです。
私自身の見解としては、最大手の市場調査会社でさえ、その分析レベルはLokadのインターン生が出すものと比べても劣っているということです。ひどい、非常にひどい状況です。
Conor Doherty: 例えば、四象限などに分けられ、「これはリーダー、これはそうでない」という区分について話しているのですね。
Joannes Vermorel: はい、そして再び、これは先ほど申し上げたように、最終的に誰がこれらのレポートを書くかというマトリョーシカのような問題を反映しています。これらのレポートは、ビジョナリーや卓越した才能を持つ人々によってではなく、むしろエンタープライズソフトウェア技術の分野で悪い意味でジャーナリストのように振る舞う人々によって作成されています。
Conor Doherty: いくつかの事柄は同時に真実であり得るようです。例えば、直接のクライアントがベンダーで、そのベンダーが他のベンダーを推薦しているコンサルタントがいるかもしれませんが、実際にはそれらのベンダーが市場で最も優れたソリューションである可能性もあります。では、市場調査の状態がひどく、利益相反によって結果が酷く悪いと言っているのですか？
Joannes Vermorel: はい、しかし残念ながら、問題のリストは非常に長いのです。手法は通常、完全にでたらめであり、それは、例外的にごくわずかな場合を除いて—例えば、ショーン・スナップという男による非常に高品質なBrightworkの調査のような例がありますが、それは極めて稀です—というのもその理由です。
ソフトウェア技術がどのように構築されているかを理解していない人々がこの市場調査を行うと、ベンダーの主張をほぼ当然のものとみなし、非常に表面的な手法になってしまい、その結果、極めて浅薄な、ベンダーのための情報商材のようなレポートが出来上がります。
適切な手法とは、各ベンダーの技術的議論に対して徹底的に挑戦することを含むはずですが、そのような挑戦ができる人が必要です。多くの場合、市場調査レポートを読んでも、手法がベンダーの主張の現実性に実際には全く挑戦していないのです。
多くの問題が生じます—ケーススタディにおいては、ベンダーが作成したケーススタディを当然のものと見なし、利益相反が存在するため信頼できない、といったように。非常に長い問題のリストがあります。
Conor Doherty: あなたが言及したBrightworkですが、その男性の手法は、先ほど説明した主流のものとどう異なるのですか？
Joannes Vermorel: それは、実際にまともなソフトウェアエンジニアであり、エンタープライズソフトウェアの仕組みを理解している一人の人物から始まります。最初のステップは、その仕事をこなすだけの知性を持った誰かと共にレポートを作成することです。そうしなければ、どんな方法論やインセンティブを採用していようと、最終的なレポートに様々な問題が生じます。
この人物は完全に有能であるため、技術評価を実施し、技術そのものの価値を検証するなど、理にかなった方法論を導入できます。メリットがあるのか？十分に設計されているのか？類似の代替技術と比べてどうか？といった点を確認するのです。
エンタープライズ向けの製品―エンタープライズソフトウェアのソリューションは非常に複雑で多くの部品から構成される―を求めるなら、各部品を検討し、それぞれが最先端の代替品とどう比較されるかを評価する必要があります。つまり、技術を理解した上で、分割して征服する視点が求められるのです。
そのケースは例外的なものであり、大部分の場合、市場調査会社が実際にはかなり信頼に欠けるということを裏付ける例外です。この小規模な会社は、ベンダーから資金を受け取っていないという信頼できるミッションステートメントを掲げており、それが多くの問題を解決しています。
市場調査は正しい方法で行えば効果的ですが、一般的な市場調査はみすぼらしいものです。
Conor Doherty: AI、特にLLMはこの方程式の中でどのように機能するのでしょうか？あなたがそれらや市場調査への応用の大ファンであることは存じ上げています。
Joannes Vermorel: はい、これは最近、複数のAIベンダーがディープリサーチ機能をリリースしたことに伴って話題になったものです。2年前、ChatGPTのようなツールが初めて登場したときは、限られたウェブ検索機能しか持たず、あまり優れていませんでした。問題は、LLM、つまり大規模言語モデルが処理速度に難があり、ウェブ上で興味深いタスクを対話的に実行できない点にあります。つまり、「ChatGPT、最も関連性の高い在庫管理ソフトウェアの比較をしてくれ」と検索オプションを有効にしても、期待通りには動作しないのです。なぜなら、LLMはおよそ30秒以内に回答を出そうとするため、現実的にはたった3～4ページしか参照できないのです。これは到底十分とは言えず、結果として出る回答はほとんどが質の低いものになってしまいます。
数週間前、OpenAIはディープリサーチモードをリリースしました。他の競合他社もすでにこのモードを実装しており、GoogleはGeminiを通じて独自のディープリサーチモードを提供しています。基本的な考え方は、回答の対話性をあえて放棄するというものです。つまり、LLMは非同期的に処理を行い、後で結果を受け取る形になります。たとえば、30分後に戻ればレポートが完成しているのです。内部的には、あたかも専門のエージェントのように動作し、LLMに向けて「あなたにはウェブ上でディープリサーチを実施する任務が与えられています。まずは、例えばBingのような検索エンジンを使って関連ページを集めるためのウェブ検索を整理してください」と指示します。そして、各ページを個別に分析し、そのページに価値があるかを判断し、最終的にそれら部分的な分析を統合して、ユーザーの質問やタスクに応える総合的なレポートを作成するのです。非常に美しく機能します。正直、私は非常に驚かされました。基本的には同じLLMですが、自動化の要素が加わることで、その価値が格段に高まっています。
一つの目安として、OpenAIはディープリサーチを行う際に約50～60ページをチェックすると言えます。これはかなりの量であり、実際にはさらに多くのページを検証し、そのうちの大部分を分析に十分な情報源とは認めずに除外していると考えられます。つまり、おそらく200ページ程度を検証しているのでしょう。
Conor Doherty: もし十分に堅牢なものにするよう指示すれば。
Joannes Vermorel: いいえ、いいえ、いいえ、それは自動的に行われます。ご覧のとおり、これは彼らが行ったキャリブレーションによるものです。現状では、最も関連性が高いと思われる約200ページを選び、その中から50ページ程度に絞り込み、さらにその選ばれたページ上で最も重要な部分を詳細に分析し、レポートを作成するのです。おそらく、5年後には2,000ページや200倍の情報があるかもしれませんが、限界はあります。これは、LLMのコンテキストウィンドウのサイズが影響しているのです。
最終的なレポートのためにどれだけの情報源を集約できるかは、依然としてこの要因が大きいと考えています。しかし、市場調査に戻ると、適切な追加指示を与えれば、これらの手法は非常にうまく機能します。特に、現状のLLMはそのまま使用すると非常に素朴で、エンタープライズソフトウェアに関しては無知な部分が多いため、適切なガイダンスを与える必要があるのです。
ですから、かなりまともなレポートを作成するためには、方法論に多くの要素を追加するプロンプトが必要です。実際、これは非常に単純なものです。たとえば、「最大限に真実を追求するレポートを求める。マーケティングのごまかしは一切不要。非常に懐疑的になり、ベンダーによるどんな主張も当然のこととはみなさない。ソリューションの良い要素と評価するすべての主張には、必ず裏付けがあることを確認し、ただの根拠のない主張は全て排除せよ」といった修飾語を加える必要があります。
まさに、または大きな利益相反が明白な状況で生み出された主張のようなものです。例えば、もしベンダーが「在庫管理ソフトウェアでは生産性が50%向上する」と言った場合―
つまり、まさにそのような主張には非常に慎重になるべきです。どの基準に対して計測されたのか、例えばペンと紙による計測なのか？それは良い基準とは言えません。さらに、エンタープライズソフトウェアのケーススタディでは、クライアントにも大きな利益があったと主張する動機が働き、その結果、プロジェクトを担当したマネージャーが英雄のように扱われ、キャリアアップにつながるのです。
ですから、クライアントが関与しているという理由だけで、その利益の主張にバイアスがないと考えてはいけません。実際、ソフトウェアベンダー単独の場合と比べても、同様、またはそれ以上のバイアスが存在します。結局のところ、プロンプトには「最大限に真実を追求し、非常に懐疑的になり、合理的な根拠が説明できないところでは利益主張を却下せよ」と指示する必要があります。基本的な点は、もしベンダーが利益をもたらすと主張するなら、その方法や、その測定に至った経緯も説明するかどうかです。説明があるなら、ある程度信頼できる研究と言えますが、単に「私がそう言っているから」や「親しいクライアントがそう言ったから」というだけなら、信頼は置けません。ご覧のとおり、プロンプト自体は決して複雑なものではありません。
また、業界での経験があれば、異常な主張や警告サインに対するいくつかの安全策を加える必要があります。例えば、プロンプト内で「在庫を50%削減できると主張する者は全て道化である」と述べるようなものです。それは到底あり得ないことであり、レポート内ではそのような非常識な主張をする者の評価を下げるようにすべきです。これは、能力の低さを示す赤信号のようなものです。
Conor Doherty: それに、差し出がましいかもしれませんが、この分野に詳しい人ならほぼ同じ考えを持っているはずです。あなたは、サプライチェーンの歴史上、誰かが印刷した全てのものを事実上無効にしてしまったのです。たとえその落とし穴の99%を見落としていても、いつかはそのうちの一つに触れるものですから。
Joannes Vermorel: はい、そしてまたそれは割合として現れ、LLMはそれを捉えるのが非常に得意です。ご覧の通り、ある主張がマイナス要素と判断された場合、LLMは「このベンダーは全て根拠のないマーケティング主張ばかりで、その大部分が全く信頼できない」といった評価を下します。そして、しばしば順位付けも行い、「これが指標として最も優れており、これが最も弱い―それはこれらの根拠のない主張が原因である」といった具合になるのです。
その通りです。ですから、プロンプトの一部として、どの点がプラスでどの点がマイナスかを見分けるためのヒントを与えることが重要です。興味深いのは、マイナス要素の検出が非常にうまく機能するという点です。つまり、非常に不透明なもの、極めて曖昧な主張、良すぎる話などをリストアップするのです。もちろん、何度か繰り返す必要があるかもしれませんし、結果は多少前後するかもしれませんが、20分程度でプロンプトを作成することができます。私が使っているプロンプトは10ページにも及ぶものではなく、約4分の1ページ程度の長さでした。つまり、20分で作成できれば問題なく、ほぼあらゆるテーマで市場調査が可能となり、実際に機能するのです。得られる結果は、プロの市場調査会社やコンサルタントが作成するものよりもはるかに優れていると言えるでしょう。
Conor Doherty: つまり、たとえ品質が区別できないとしても、コストは格段に低くなるということですね。
Joannes Vermorel: そうです、全くその通りです。つまり、20～30分以内にレポートが完成し、引用文献付きで情報の出所が正確に示された20ページほどの非常に詳細なレポートを手に入れることができるのです。これは膨大な作業量に相当します。現代のAIの専門家が提供するディープリサーチ能力を用いれば、アシスタントが数週間かけてまとめる作業を、数時間で実現できるのです。それは非常に印象的で、品質に関しても「最大限真実を追求せよ」という枠組みで問題を設定すれば、確かにLLMにはバイアスがあると主張する人もいますが、私の経験上は、真実の追求においてかなりまともな成果を示してくれます。完璧ではないにしても、非常に優れているのです。人間を超えるというほどではありませんが、十分に高い水準にあると言えますし、トレードオフも存在します。結局、あなたはどれだけのコストをかけ、どれだけの時間を投資する用意があるかということです。
私が言いたかったのは、ほとんどのレポートが技術に関する全くの理解なしに作成されているという点です。驚くべきことに、これらのLLMは、あらゆる技術について中程度の理解を示すのです。確かに彼らはデータベースの魔術師ではありませんが、データベース設計やデータベースに関する問題などにおいて、平均以上の能力を発揮します。
市場調査を行う際の課題は、あなたがほとんど何も知らない分野が数多く存在する点にあります。しかし、LLMを用いれば、調査対象のビジネス分野のどの領域についても、ほとんど完全に無知ということはなく、結果としてレポートは非常に網羅的なものとなります。私自身、多く試してみて、その成果の質に非常に感銘を受けています。実に圧倒されるほどです。
Conor Doherty: さて、例を挙げて文脈を示すと、歴史的に何度も取り上げている例ですが、あなたはエンタープライズソフトウェアの種類を、レコード、レポート、そしてインテリジェンスシステムに分類しました。つまり、ERP、BIツールを用いたレポートシステム、そして意思決定ソフトウェアを用いたインテリジェンスシステムです。あなたは、一方で卓越するためには他方を犠牲にせざるを得ず、全てを完璧にこなすことはできないと指摘しました。
さて質問です。もしLLMを用いて市場調査を行った場合、主張をうまく見分けることはできるでしょうか？例えば、ERPベンダーが「我々のERPシステムはレコードの取り扱いに優れており、さらに驚異的な予測機能と意思決定の最適化が可能です」と述べたとします。専門家であるあなたならご存知の通り、これは本質的に非常識な話です。大多数の人々は、ソフトウェアの設計上、実際にそれらすべてを完璧に実現することはできないという点に、一目で気付かないでしょう。
LLMなら、ほぼ無料でその違いを見分けることができるでしょう。
Joannes Vermorel: おそらくそうではありません。ですが、もし私が提示したこの分類を把握しているなら、LLMにそのことを伝えれば、あなたの意図通りに動いてくれるでしょう。例えば、「ちなみに、私は他の要素を完全に排除したレコードシステムを求めている」と伝えるだけで済みますし、その分類を示すページへのリンクを提供して「この分類を考慮して評価してください」と指示することも可能です。そうすれば、より徹底的な評価が得られるでしょう。
しかし、それは実際には必要不可欠なものではなく、私の提案としては、LLMを用いた市場調査は非常に高速に行える初歩的な手法に過ぎないということです。私のおすすめは、引き続き対抗的市場調査に取り組むことであり、そこでベンダー自身に、同業他社が誰であるか、同業他社のどこが良くどこが悪いか、最も尊敬する同業他社は誰か、そして考慮すべき落とし穴があるかを説明してもらうという方法です。
市場調査は30分、現実的には2時間で行うことができ、その後、しっかりとした最初のレポートが得られます―その30分間、パソコンの前にずっと座っているわけではありません。プロンプトを書き、「どのような形式で欲しいですか？レポート形式でよろしいですか？」といった1、2の確認事項を尋ねた後、コーヒーを飲みに行く、という流れです。
レポートを十分に消化するには若干の時間が必要です。たとえば2時間程度。その後、対抗的市場調査に切り替えます。
そこで各ベンダーにいくつかメールを送ります。例えば3社を選び出せば、そのベンダーから―これが対抗的市場調査の手法の一部です―問題に対する洞察がいくつか提供されるでしょう。
もし、Lokadのようなベンダーが「注意してください、あなたが直面している問題は、実はいくつかの補完的な製品でありながらも非常に異なる製品群である」と述べ、その理由付けに説得力があれば、LLMを使って市場調査を再実施すべきです。
「さて、この理解はベンダーから提供されたものですが、全く中立的なものではなく、単に市場に対する理解に過ぎません。特定のベンダーに有利なものではありません」と言いつつ、既に作成されたレポートを再評価させることも可能です。
例えば、航空機部品を扱う会社で、在庫管理が必要だとしましょう。すると、最初に連絡するベンダーが「注意してください、連番在庫管理をサポートするシステムが必要です」と告げます。これは、在庫に10単位を保持するという意味ではなく、在庫単位ごとに特定の番号があり、それを追跡する必要があるという意味です。
あなたは、連番在庫管理をサポートする在庫管理システムと、そうでないシステムを持っています。在庫管理をサポートするシステムの中には、これを第一級の機能として扱い、本来の主要ユースケースとするものもあり、シリアルナンバーがない品目は第二級の存在のようなものです。
一方、全く逆の在庫管理システムもあります。あるベンダーは、連番在庫管理を希望するのであれば、それが非常に重要な機能だと告げます。これは通常の在庫管理とは全く異なります。
では、ベンダーがそう告げたとしましょう、そしてあなたはそれを知らなかった。そこで、私は再び在庫管理システムの調査を行い、「おい、連番在庫機能に注意を払わなければならない。航空分野で業務を行っているから、それは非常に重要だ」と言い、これを基準に市場調査をやり直し、レポートを再生成します。
私は、対抗的な市場調査に対して、LLMが非常に補完的なものであると考えています。ベンダーからいくつかのフィードバックを得たら、それらの追加の洞察をどのように問題に取り組むべきかという点で、あなたのLLMへのプロンプトに取り入れ、繰り返し実行して再生成することができます。これは安価で比較的高速であり、あなたのユースケースにますます特化したものが得られるでしょう。
Conor Doherty: もちろん、理論上はそれは良さそうに聞こえます。しかし、LLMは既にデータセットで学習しているという既存の壁にぶつかるのではないでしょうか？ あなたはすでにサプライチェーンに関する現行の文献の状態を非難しているので、もし注意深いパラメータ、促し、限定条件をすべて与えてLLMを用いて市場調査を行ったとしても、公開されている情報を読まなければなりません。もし公開情報がゴミであれば、ゴミが入力され、ゴミが出力されるのではありませんか？
Joannes Vermorel: いいえ、つまり、ここでLLMの課題に戻ります。最も驚くべきことの一つは、LLMは「ゴミ入力、質の高い出力」が可能であるという点で、これは非常に不思議なことです。そのため、ソフトウェアコミュニティでさえこれらの事実を発見するのに長い時間がかかったと思います。十年前のドグマ、つまり「ゴミ入力、ゴミ出力」とは全く逆のことを行うのです。
実際、モデルにウェブ全体を注入すると、非常にまともなものが得られるというのは奇妙なことです。例えば、ChatGPTがRedditの無意味な情報をすべて取り入れても健全であり続けるという事実を考えると、非常に驚異的です。
ここで言いたいのは、いや、うまくいくということです。課題は、確かにベンダーの資料が低品質である場合もあるという点ですが、LLMはそれを用いて比較評価を行うのです。
もし皆が同じように悪ければ難しいですが、非常に頻繁に起こることは、あるベンダーが他よりもはるかに劣っているということです。もしかすると、最も有名なベンダーでさえあなたの理想のベンダーではなく、少し欠けているかもしれません。誰かが最高でなければなりません。
その通りです。また、私のひとつの何気ない観察では、製品の品質、ソフトウェア製品の品質、技術の品質に関しては、ベンダーのウェブサイト上に公開されている資料の品質と、その裏側で行われていることとの間に巨大な相関関係があるということです。
まともなエンジニアリングチームを有する企業は、製品が何をするのか、どのように行うのか等を説明するウェブサイトのコンテンツを持っており、その内容もまた常にまともです。逆に、チームが小規模で、発展途上の安価な国に外注されている場合、あら、不思議ではありませんが、ウェブサイトや技術文書の品質もひどいものになります。
驚くべきことではありませんが、そういったものは常に一緒に示される傾向があります。これが、少なくともソフトウェアに関しては、LLMを用いた市場調査が非常にパワフルである理由です。オンライン上のコンテンツの品質と製品の品質との間には巨大な相関関係があり、それらは本当に連動しているのです。私のこれまでのキャリアで、この規則に例外があるのを見たことはありません。
Conor Doherty: さて、それはともかくとして、ここで気になるのは、あなたが説明していること、そして確かにすでに利用可能なものが、実際に利用可能なすべてのオプションの全体的な市場調査において客観的に優れた結果をもたらす可能性があるということですが、問題はそれがエンドユーザー、つまりクライアント企業が実際に望んでいるものであるかどうかという点です。例えば、思考実験を展開するために、Joannesの会社、Lokadという会社があって、ベンダーを見つけるために完全な市場調査を行い、10の選択肢があるとします。そのうち9つは私たちがよく知っている大手企業で、10番目がConorのERPだとしましょう。
そしてConorのERPが最良ですが、誰もそれを聞いたことがなく、しかしあなたの指標と共に、それが最高のオプションなのです。彼は最高のソフトウェアを持っており、すべての最良の公開文書があり、すべてのやり方を説明しており、素晴らしいのです。それを社内に示すと、「Conorって一体誰だ？大手企業の一つを選んでくれ」と言われるでしょう。なぜなら、人々は大手企業の名前を求めるからです。
Joannes Vermorel: いや、つまり、まず第一に、LLMは驚くほど優れているのです。名前のない会社でも、もし資料が非常に少なく、文書がほとんどなく、機能もほとんどなく、年齢や評価のあるクライアントが少ない場合、それは当然、彼らが行っている業務の深さにも反映されるのです。
もしOpenAIを見ると、つい最近まで名前のない会社でしたよね？ 2023年には完全に爆発しました。その前は、シリコンバレー内で非常に風変わりで、資金援助をたくさん受けたものの極めて知名度の低い会社でした。ですから、私の見解では、再び、LLMはこの種の評価においてかなり優れており、それを考慮に入れるのです。さらに、その他何千もの要素も考慮に入れるでしょう。
だから、私が「最大限に真実を追求する」などと言ったときに、LLMがただの馬鹿になって、バスートアンから来たような超、超マイナーなプロバイダーを提案すると思ってはならないのです。これは、そんな結果が出るわけではありません。もし、すでに自分が何を望むかを知っているのであれば、LLMを使ってその正当性を証明する必要はないのです。
考えてみてください。もしあなたが真に市場調査を行いたいと仮定するなら、その過程で特定のベンダーに対する好みを一旦脇に置くべきです。でなければ、なぜその市場調査を行おうとするのか意味がありません。すでに特定のベンダーを選ぶと決めているのであれば、そのベンダーを直接選べば良いのです。そうすれば、すでに決定した内容を正当化するための偽りのプロセスを省くことができ、会社にとって時間とコストの節約になるのです。
ですから、すでに意思決定している場合に市場調査を行うのはナンセンスです。このようなことを支持する論理的な議論は存在せず、少なくともまだ決定していないという前提で問題に取り組む必要があります。そして、あなたがLLMに求めているのは、最大限に真実かつ客観的な声明を得ることなのです。
そして、私の見解では、この点において、そうしたツールは非常に効率的です。また、もしそのツールに限界があることを恐れている場合、またはLLMが調べるべきベンダーを見逃していると思う場合でも、実際に「ベンダーA、B、C、D、F、そしてその他、最も関連性が高いと思われるもの」を提供することができます。
ですから、ここには厳格なルールは存在しません。プロンプトを調整すれば、LLMはその構成を調整してくれますが、LLMに対して大きなバイアスを導入しないように気を付ける必要があります。例えば、特定のベンダーを明示的にリストアップしたい場合、どのベンダーを勝たせたいかということをほのめかさないように注意しなければなりません。
なぜなら、もしあなたがLLMに「これが最良のオプションだと思う。だから、在庫管理ソフトウェアのケーススタディ、市場調査を行い、私が絶対にナンバーワンだと本当に思っているこのベンダーも忘れないで」と促すと、大量のバイアスを導入してしまうからです。そこで、しかし、もちろん、それに気づくために極めて聡明である必要はありません。自分自身のプロンプトをニュートラルな方法で表現することが肝心なのです。そうしなければ、レポートからバイアスが排出されてしまいます。
Conor Doherty: それで、Joannes、ここで一旗をあげる価値があると思います。以前もある程度触れましたが、ここで改めて述べると、これらの情報を生成するために必要なスキル、デジタルリテラシーは高度なものではありません。Pythonでコーディングするような高度なことではなく、基本的なことなのです。
Joannes Vermorel: ええ、もしある人たちがLLMを促すためのプロンプティングのディプロマや認証制度を導入するとしたら、それは2日で習得できるようなものになるでしょう。2日でプロンプトの認定証が取れるのです。そうです、難しくはありません。全くもって簡単です。
そして、さらに、自分自身のリクエストに何が間違っているのかを見極めるためのツールとの対話も可能です。つまり、フィードバックを求めれば自分を改善するためのフィードバックも得られる非常にインタラクティブなプロセスなのです。さて、次のポイントですが、第一のポイントはこのスキルについてでしたが、第二のポイントは、少し前にあなたが言及した信頼性の問題です。
あなたはこの文脈でそれを意図していなかったと思いますが、これは聞いている何人かが抱くであろう懸念、すなわち、歴史的にLLMの信頼性が議論の的となってきたということを示唆しています。例えば、幻覚や、あなたが好む「作り話」という現象です。LLMに「この情報を見つけ出して」と頼むと、「実は分からない」「情報が存在しない」とは言わずに、ほとんど無から情報を捏造してしまうのです。
深い調査の文脈では、それはどれほどもっともらしく、また妥当な懸念でしょうか。もちろん、これが人々が通常LLMと考えるものと同じモデルではないのです。
同じモデルですが、問題は、原則として、深い調査を行う際には、LLMはウェブ上の情報を実際に取得するよう促されるという点です。ここで改めて、LLMは事実や知識の断片のデータベースではないということです。彼らはそれで学習していますが、「エベレスト山の正確な標高は何ですか？」と聞けば、なんとなく覚えているという感じですが、オンラインで実際に情報を探すことができれば、ツールが絶対的に確実であるのはずっと容易になります。
私の経験では、OpenAIの深層調査を用いる場合、虚偽や幻覚の量は非常に少ないです。実際、モデルはページ上に存在する情報を活用して自分の評価を構築しており、従って、LLMに対してあまりにもあいまいなベンダーの情報を発明させたり覚えさせたりしているわけではありません。
例えば、あるベンダーのページで「当社は1000以上のクライアントを有しています」と記載されていた場合、レポート内のLLMは「彼らは1000のクライアントを有していると主張している」と記述するでしょう。
これは、一例として、「1000以上」と言っていたものが、正確に1000に歪められるという微妙な概算です。改めて言えば、これは私の経験ではかなり小さな歪みです。歪みが発生するのは稀であり、存在する場合でも、極めて取るに足らない程度のものです。例えば、全く存在しないベンダーをまったく創作し、そのベンダーに性質や弱点を付与する、といったことは起こりません。
これは決して起こりません。すべてのベンダーは、必ずウェブサイト上に情報源が記載されているものです。私が見た報告書で、根拠のない作り話を大袈裟に発明したものはありません。そういったことが起こったことはありますが、それは微妙なものであり、時には推測の境界線上にある場合もあります。つまり、あるページにこう記載されており、それを略式に解釈して「彼らはこうしている」と判断するに過ぎない場合があり、文書を見るとそれは暗示されているにすぎない場合があるのです。そして、LLMはその罠にかかってしまうのです。
Conor Doherty: まあ、もちろんです。たとえコンサルティング会社に報告書の作成を依頼したとしても、最終的にはあなた自身で読んで評価する必要があるでしょう。だからといって、ここでの主張が、ディープリサーチャーの出力をそのまま鵜呑みにして絶対的に完璧だと信じるということではありません。やはり自分で問いただす必要があるのです。
Joannes Vermorel: 自分自身を問い詰める必要があるということです。つまり、自分の判断を保留にすることはできません。それを活用する必要があるのです。そして、こうしたツールが真に輝くのは、たとえ最優秀のコンサルタントでさえ、人間には不可能な速さで反復できる点にあります。つまり、人間が1ヶ月かけて行うような調査を、手作業で30分で行うことが可能になるのです。これは極めて印象的です。改めて言えば、たとえば20ページにも及ぶ超構造化された、あなたのリクエストに完全に合わせたレポートを30分で作成できるのです。これは、あなたの反復作業能力に関して、ゲームチェンジャーとも言えるものです。
実際、連続して20件の市場調査を行い、その都度前回の調査を反映して、ますますあなたが本当に求めるものに焦点を合わせることが可能になるのです。
Conor Doherty: さて、少し前に推論について触れましたが、これを聞いている誰もが、マーケットコンサルタントやコンサルティング会社の役割が、この技術の結果として、既に冗長になっているか、または冗長になろうとしているのではないかと推論するのは合理的だと思いますか？
Joannes Vermorel: もし、成果物が市場調査レポートであると仮定するならば、事実、多くの場合、あるいはほとんどすべての市場調査会社やコンサルタントが、この種のサービスを提供する上で、機械以上のものを証明できない限り、完全に陳腐化してしまうでしょう。まず、技術的に極めて優れた人々が、LLMを凌ぐほど賢明な分析を行えるかどうかから始まります。
それは存在しますが、非常にニッチなものになるでしょう。なぜなら、これらの業界ではそのような水準の人々がそれほど多くなく、現状では速度も遅く、費用も高いためです。はい、確かに、今後はずっと遅くなります。ソフトウェアベンダーは市場調査を購入しているのではなく、広告を購入しているのです。したがって、エンタープライズ向けソフトウェアベンダーがお金を使い続ける限り、市場調査会社はうまくやっていけるでしょう。これは、市場調査レポートを生成できるLLMの存在とは何の関係もありません。
それはエンタープライズ向けソフトウェアベンダーがお支払いしているものではありません。彼らが支払っているのは広告費です。ただのチャネルに過ぎないのです。代わりに、Google広告にそのお金を使うことも可能ですが、市場調査会社に、またはその分野に予算の一部を充てるという選択をしているのです。
コンサルタントに関しては、私の意見では、非常に頻繁に、コンサルタント――企業や経営陣が実際に支払っているのは、連れ添いや精神的支援であり、これはLLMが提供できるものではありません。こう表現すると、「なぜこの10万ドルのミッションに支払ったのですか？」「孤独で不安だったから、誰かに支えてもらう必要があったから、彼らを起用した」という回答になるのですが、これは少しばかげているように聞こえるかもしれません。しかし、そうです。私はこれが、このような態度の背景を大いに説明しており、ほとんどのコンサルティングビジネスの実態を示していると思います。
市場調査レポートを購入しているという事実は、「企業向けコーチを探している」とは言えないような、口実に過ぎません。しかし、それ以外に、この状況は再び変わらないと私は考えています。LLMの存在とその能力は、この点においてあまり影響を与えないでしょう。なぜなら、本来支払われているものはレポートそのものではなかったからです。そのレポートは他の何かへの口実であり、経営陣がコンサルタントに支払う正当な理由とはならなかったのです。
Conor Doherty: それでは、今一度まとめると、これまでの話を踏まえて、市場のリサーチに直接適用できる価値ある専門知識を市場コンサルティング会社が持っているとは思えないということでしょうか？つまり、彼らの専門知識はその領域には及ばない、今も昔も同様だということですが、私は非常に懐疑的です。プロのコンサルタントであっても、世界80億人の中から、あるいは全世界で百万ほどのコンサルタントの中から、あの無形の価値ある専門知識を発揮できる者は極めて稀だと思うのです。
Joannes Vermorel: はい、もちろんそのようなことができる人は何十人、何百人といるはずです。さて、問題は実際にそれができる人がどれほどいるのか、割合としてはどのくらいなのかということです。私の考えでは、エンタープライズソフトウェアに関するこの種の評価をLLMよりも上手くできるコンサルタントの割合はごくわずかに過ぎないと思います。
倫理的にあるいはバイアスがないかという点では、ええ、まさにその通りです。つまり、両方ですが、私はむしろ市場調査会社の方にバイアスの問題が大きいと考えています。コンサルティンググループの場合、ほとんどは同じ規模の問題を抱えていないと思います。問題はあるものの、比較的小さい問題に過ぎません。もっと大きな問題は、そもそもこの評価を行うためのスキルや能力そのものなのです。
また、コンサルタントとしては非常に多様な業務に取り組まなければならないため、非常に困難です。今日、在庫管理ソフトウェアの専門家として求められ、翌日には化学生産ラインの歩留まり比率の専門家である必要があるかもしれません。ミッションの多様性は驚異的で、そのため、これらの分野において非常に有能な人物が存在するというのは現実的ではありません。
Conor Doherty: それで、ジョアンさん、あなたのお話やこの市場コンサルティング会社に関する議論を聞いていると、1年半前、あるいは2年前のことを思い出します（もし間違っていれば訂正してください）。実際にその論文を書いたのは私ですが、ハーバード・ビジネス・スクールの論文、「Navigating the Jagged Technological Frontier」をレビューしたのを覚えています。そして、それはBCG（ボストン・コンサルティング・グループ）と共同で作られた、非常に興味深いものでした。
その中で、大まかに要約すると、もし私が間違っている点があればどなたでもコメントしてください。リアルタイムで思い出す限り、LLMや生成型AIのトレーニングを受けた人々は、質的にも量的にも、これらのトレーニングを受けていない人々よりも特定のタスクで良い成果を上げていました。そこで今、質問ですが、これを聞いている誰もが「ジョアン、もしこの18ヶ月間で改良されたこれらのツールを高度な訓練を受けたコンサルタントに与えたら、世界最高のコンサルティングレポートを作成してしまわないか？」と言うのではないでしょうか？
Joannes Vermorel: はい、確かにそうなるでしょう。つまり、コンサルタントの手にかかれば、素晴らしいレポートが作成できるということです。しかし、問題はそれがコンサルタント会社のビジネスモデルに深く関わっている点です。BCGやマッキンゼーのような大手コンサルティング会社に、2時間分の作業代を請求することはできません。これはビジネスモデルに疑問を投げかけるものであり、さらに、もしレポートそのものが実際に購入されるものだという前提に立ち返れば、私はこの前提に大いに異議を唱えます。
私の見解では、支払われているのはレポートそのものではなく、そのため技術の利用可能性は、ほぼ全てのコンサルティングミッションにおいて求められているものとは無関係なのです。
Conor Doherty: 実際、私もその点には同意します。私がこの分野で働けば働くほど、また展示会やコンベンションで多くのプロフェッショナルと話すほど、大手企業の推薦が一般的に求められる尺度であると実感しています。話を締めくくる一つの方法として、「慣例通りに失敗する方が、非常識な成功を収めるよりもよい」というフレーズがあります。大企業では、「書類上は、コンサルタントやLLMによれば最良の選択かもしれないが、このような無名の会社に賭けるリスクは取りたくない。確立された成功実績のある、少数の大手企業に絞りたい」という認識があるのです。これについてどう考えますか？
Joannes Vermorel: 繰り返しになりますが、すべては相対的なものです。ほとんどのエンタープライズソフトウェア会社は新設ではなく、たとえばLokadであっても15年ほどの歴史があります。決して非常に若い会社ではありません。私の考えでは、問題は何か説得力のあるものを提示する必要があるということです。
また、上層部が直面する典型的な問題は、部下からのメッセージが全く不明瞭で、文章力や問題分析能力が不足している場合があるということです。コンサルタントは、意味の通じにくい、あるいはほとんど意味を成さない80枚にも及ぶ悪夢のような長いPowerPointを提出し、上層部にとっては非常に頭の痛い問題となります。彼らは決断を下さなければならず、結果としてあまりリスクのない選択に頼ることになるのです。
しかし、上級管理職の階層を抜け出すことができる人々は馬鹿ではないと思います。もし何か説得力があり、整然と説明されたものであれば、彼らはそれに従うでしょう。そして、私がLLMが革新的だと考えるのは、選択肢Aと選択肢Bのケースを支持するために、非常に高品質な論理的文章を作成できる能力にあるという点です。
これは、私が見た大手企業の多くで、通常の文章作成能力がかなり低いという現実とも対照的です。アマゾンのように、マネージャーが高品質な5ページのメモを書くことで悪名高い企業もありますが、それは非常に稀です。実際、アマゾンの成功の多くは、PowerPointではなく文章で問題に取り組み、物事を深く考察する能力にあると考えています。ここでLLMの興味深い点は、文章作成能力が十分でない人々でも、この作業がはるかに手軽に行えるようになるということです。もちろん、文章力があるとさらに良い結果が得られますが、全体としては非常に大きな推進力となります。
Conor Doherty: では、締めくくりとして、あるいは一つのアドバイスとして、少なくともより意味のあるコミュニケーションを生み出すためにLLMの活用を推奨するということでしょうか？
Joannes Vermorel: 市場調査のようなことをお考えなら、まずこの深い調査能力をサポートする、半ダースほどのAIチャットボットベンダーと一緒に始めることをお勧めします。これにより、通常は数か月もかかり、多額の費用が必要だった作業を数時間で、非常に低コストで実施できるという、画期的な体験が得られるでしょう。
はい、非常に低コストになります。それだけです。ご自身で確認すれば、きっと驚かれるでしょう。そして次のステップとして、市場調査のアドバイザリーに頼るのですが、これも非常に簡易なものではあるものの、数時間ではなく数日かかるものです。
Conor Doherty: では、ジョアン、これで質問は以上です。お時間と貴重な洞察を共有していただき、誠にありがとうございました。ご視聴もありがとうございました。それでは、また次回お会いしましょう。
