00:00:15 Lokad TVの100回目のエピソードを祝い、サプライチェーンに関する質問に答えます。
00:01:17 Lokadの起源とサプライチェーン業界への焦点について議論します。
00:03:15 2011年に分位点予測を使用したバイアスを持つサプライチェーンの予測について説明します。
00:04:53 2012年にプログラム的なアプローチに移行し、直面した課題について説明します。
00:07:47 初期の年月についての考察、犯したミス、およびLokadの進化について語ります。
00:08:48 クラウドコンピューティングが起業家のビジネスに与える影響について語ります。
00:11:31 会社の進化と主要な技術的な突破口について語ります。
00:13:26 ビットコイン、経済の実践、およびサプライチェーンとの関係について探求します。
00:15:34 会社の成長とサプライチェーン科学の実践への移行について語ります。
00:17:54 データサイエンティストとサプライチェーン科学者の採用の違いについて語ります。
00:19:39 Lokadの将来の計画と急速な成長の課題について語ります。
00:22:33 “Lokad"という名前の背後にあるストーリーについて語ります。
00:23:37 Lokadが直面した最大の挫折について語ります。
00:25:45 コロナウイルスがサプライチェーンモデルの変革の必要性を浮き彫りにすることについて語ります。
00:26:59 回復力と不確実性を受け入れる能力の重要性について強調します。
00:28:11 COVID-19の混乱期にLokadのアルゴリズムがどのように機能したかについて語ります。
00:29:00 適応性とロックダウン中の需要の変化の管理の重要性について語ります。
00:30:01 危機的な状況でのサプライチェーンモデルの適応について語ります。
00:30:59 ビットコイン、ブロックチェーン、およびサプライチェーンセキュリティへの影響について語ります。
00:33:30 正確な予測のための専門知識と理解の重要性について語ります。
00:36:23 ビジネス予測のための狭いAIソリューションの実装における課題について議論します。
00:38:01 悪いデータとERPシステムへの低品質データの影響について議論します。
00:39:08 グローバルサプライチェーンの持続性と専門化の影響について議論します。
00:41:22 ローカルサプライチェーンの将来と自動化が生産拠点に与える影響について議論します。
00:42:19 数量的なサプライチェーンアプローチと組織変革管理の実装の課題について議論します。
00:45:15 低コストアプローチが最もビジネス価値を引き出せる領域の特定について議論します。
00:46:01 様々な産業におけるサプライチェーンの最適化について議論します。
00:47:34 Locadソフトウェアをゼロから書き直す理由について議論します。
00:49:10 ソフトウェア開発における主要な設計上の決定の影響について語ります。
00:50:23 LocadとS&OPタイプのソリューションが組織内で共存することについて議論します。
00:51:01 大企業が詐欺管理に直面する課題について議論します。
00:51:57 ブログの執筆者とポッドキャストがコンテンツ制作に与える影響についてコメントします。
00:53:00 過去のミスを振り返り、自分が間違っていると気づくことの重要性について語ります。
00:54:02 類似の問題を回避するために過去のミスから学ぶことの重要性について語ります。
00:55:41 結論と行動への呼びかけ。
概要
Lokadの創設者であるJoannes Vermorelは、Kieran Chandlerとのインタビューで同社の歩みとサプライチェーンの最適化に焦点を当てています。Vermorelは、Lokadが予測サービスモデルで苦労した初期の段階、分位数予測の採用、およびプログラム的なアプローチへの移行について語ります。彼は、サプライチェーン企業が不確実性に備え、予測不可能な世界でリスク管理を受け入れる必要性を強調しています。Vermorelはまた、COVID-19の混乱中のLokadのアルゴリズムのパフォーマンス、仮想通貨の供給チェーン管理への潜在的な価値、そしてグローバルサプライチェーンの将来についても議論しています。最後に。
詳細な概要
このインタビューでは、Kieran ChandlerとLokadの創設者であるJoannes Vermorelが、同社の歩みとサプライチェーンの最適化に焦点を当てています。Vermorelは、2008年にLokadを立ち上げた際には計算生物学の博士号を取得していましたが、サプライチェーン業界でのイノベーションの可能性に魅了されました。同社は当初、予測サービスモデルで苦労しましたが、2011年には分位数予測を用いたバイアスを含む予測を採用し、2012年にはプログラム的なアプローチに切り替えるなど、大きな進展を遂げました。
Vermorelは、同社の初期の予測手法はバイアスの排除に基づいていたが、やがてバイアスがサプライチェーンの最適化に役立つことに気付きました。分位数予測により、より利益志向的なアプローチが可能になりましたが、当初は「奇妙な」アイデアと見なされていました。
Lokadは当初、画面、ボタン、メニューを備えた従来のエンタープライズアプリモデルに従っていました。しかし、より多くのクライアントを獲得するにつれて、サプライチェーンは堅いアプリ構造には収まりきらないことに気付きました。同社は生産性と信頼性に焦点を当て、計算や機能を各クライアントにカスタマイズするプログラム的なアプローチに転換しました。
同社の歩みを振り返りながら、Vermorelは多くの教訓があり、起業家の道は後悔に満ちていると認めています。クラウドコンピューティングの台頭により、同社はほとんどの製品を書き直すことを余儀なくされました。これらの課題にもかかわらず、Lokadは進化を続け、サプライチェーンの最適化においてより明確な問題の解決に焦点を当てることに取り組んでいます。
Lokadの創設者は、同社の歴史、技術的な突破口、および将来の計画について語ります。Vermorelは、クラウドコンピューティングとディープラーニングが同社にとって重要な突破口であり、サプライチェーン管理における財務的な視点を取り入れたことを説明しています。
Vermorelはまた、ビットコインに対する興味を共有しており、それをマイクロ経済学の実践と見なし、サプライチェーン管理との類似点があると考えています。彼は、仮想通貨コミュニティの技術的な洞察にインスピレーションを見出し、それがLokadに利益をもたらすと信じています。
Lokadは、データサイエンティストがデータの問題に焦点を当てる傾向があり、サプライチェーンの問題にはあまり関心がないことを発見した後、データサイエンスのアプローチからサプライチェーンサイエンスのアプローチに移行しました。Vermorelは、Lokadの従業員の取り組みは単に派手な機械学習モデルを作ることではなく、クライアントのためにサプライチェーンを改善することにあるべきだと強調しています。
会社の将来について尋ねられた際、Vermorelはより有機的な成長を予想しています。彼は、急速な成長がサプライチェーンビジネスには適していないかもしれないと認識しており、もし何かがうまくいかなければ重大な問題につながる可能性があると述べています。Lokadは、従業員が複雑なサプライチェーンの問題を処理するために十分な経験を持つことを確保しながら、持続可能なペースで成長することを目指しています。
最後に、Vermorelは「Lokad」という名前の由来を共有しています。最初は「地元の広告」に触発されたものでしたが、後にIBMのコンサルタントが提案した「先を見る」という解釈を受け入れました。
Vermorelは、会社の初期の数年間に直面した最大の挫折について話しました。この時期、Lokadはベンチマーク競技会に勝ち、クライアントに改善された予測精度を提供しました。しかし、これらのクライアントは、サプライチェーンが悪化し、プランナーがソフトウェアに不満を抱いたことを発見しました。
Vermorelは、ニューヨークでの特定の会議について振り返り、怒ったクライアントが彼に立ち向かい、Lokadのソフトウェアは正確性が向上した一方で彼らの生活を不幸にし、サプライチェーンの真の問題に対処していないと述べたことを述べています。結果的に、Lokadはこの問題で一部のクライアントを失いました。
その後、話題はコロナウイルスと従来のサプライチェーンモデルへと移ります。Vermorelは、パンデミックはサプライチェーンを混乱させる不確実性の一つに過ぎないと考えており、政治的な決定、関税、またはウイルス性のソーシャルメディアの出来事などの例を挙げています。彼は、企業が不確実性に備え、リスク管理を受け入れる必要性を強調し、未来を確実に予測しようとする予測に頼ることはしないべきだと述べています。
Vermorelは、不確実性に焦点を当て、不確実性を受け入れる能力に注力するAmazonなどの企業が、危機に直面して成功していると主張しています。彼は、最良の金融機関もこれらの考えに合わせ始めており、サプライチェーン企業も予測不可能な世界で先を行くために追随すべきだと提案しています。
彼らは、COVID-19の混乱中のLokadのアルゴリズムのパフォーマンス、サプライチェーン管理における暗号通貨の潜在的な価値、サプライチェーン最適化における専門知識とビジネス理解の重要性、ビジネス予測のための狭いAIソリューションの実装の課題、グローバルサプライチェーンの将来について話しました。
Vermorelは、COVID-19の危機中、Lokadのアルゴリズムは単独ではうまく機能しなかったと説明しています。しかし、会社のサプライチェーンサイエンティストは短期間でモデルを適応させ、最適化することができました。これは、危機時に人間の介入の重要性を示しています。
ビジネス予測のための狭いAIソリューションについての質問に対して、Vermorelは「AI」という用語に懐疑的であり、異なるクラスの機械学習アルゴリズムを理解することの重要性を強調しています。彼はまた、サプライチェーンのデータの品質についても議論し、データ自体が必ずしも悪いわけではないが、しばしば適切に資格付けされていないため、解釈や適用に問題が生じると述べています。
最後に、話題はグローバルサプライチェーンの将来に向けて転換します。Vermorelは明確な答えを提供しませんが、気候変動とそのグローバルサプライチェーンの持続可能性への潜在的な影響について言及し、現行のモデルが進化する必要があるかもしれないと示唆しています。
彼らは、サプライチェーンのグローバル性と特定の商品の地元生産の制約について話しました。彼はまた、自動化による一部のサプライチェーンの地元地域への回帰についても話しています。Vermorelは、Lokadの量的サプライチェーンアプローチに対する懐疑論に対処し、それを組織に実装する際の課題についても言及しています。彼は、Lokadが多くのオプションと意思決定がある複雑なサプライチェーンで最も優れたパフォーマンスを発揮すると強調しました。最後に、VermorelはLokadのソフトウェアの完全な書き直しの動機を説明し、Sales & Operations Planning（S&OP）タイプのソリューションとの関係について共有しました。それは、実際のサプライチェーンへの影響から切り離されているため、ほとんど無視しています。
彼らは、Lokadが使用されない切り離されたモデルを生成するデータサイエンスチームと並行して運営されていることについて話しました。彼はまた、会社のブログを書いているが、時間の制約のために以前よりも遅いペースであると述べています。Vermorelは、過去の失敗を見直して、何が間違っていたのかを理解し、現在と将来の類似の失敗を避ける方法を理解することの重要性を強調しています。彼は、問題を異なる角度から見ることが単により良くするのではなく、突破口を開くことにつながると信じています。Vermorelは、視聴者にポッドキャストへの質問の送信と将来のエピソードの購読を促しています。
フルトランスクリプト
Kieran Chandler: こんにちは、そしてLokad TVの特別なエピソードへようこそ。今日は、私たちの100回目のエピソードを祝うために、私たちはここパリで生放送を行います。これまでのLokadの旅を振り返り、サプライチェーンに関する質問に答えます。
Joannes Vermorel: サプライチェーンという奇妙なものについて100エピソードも続けるとは思ってもみませんでした。それを始めた理由は、OBSという素敵なソフトウェアを見つけたからで、それを使って遊び始めました。それは素晴らしいソフトウェアだと思ったので、試してみたかったんです。でも、実際には、今日が初めての使用です。なぜなら、それはライブイベントにしか使用されていないからです。いや、あまり計画していませんでしたね。
Kieran Chandler: 今日は、Lokadの旅を振り返り、これまでの間に学んだ教訓について話し合うことが目的です。まずは、2008年に会社を設立した当初のことを思い出してみましょう。なぜサプライチェーン業界で会社を始めることを決めたのですか？何があなたを興味深くさせたのですか？
Joannes Vermorel: 当時、私は計算生物学の博士課程の学生でしたが、博士号を取得することはありませんでした。その分野の優れた研究者の数は驚くほど多く、謙虚で非常に熱心でした。しかし、私がサプライチェーンを見始めたとき、私が見たのは主に19世紀の数学でした。この領域では、もっと良いことができる可能性があると気付きました。それはまさに巨大な領域です。だから、多くの熱意を持って自分自身の会社を立ち上げました。
Kieran Chandler: 最初の数年はどうでしたか？立ち上げは簡単でしたか？最初は人々があなたの話に興味を持っていましたか、それとも最初はためらいが多かったですか？
Joannes Vermorel: いいえ、最悪でした。実際に動作するものを持つまでに何年もかかりました。Lokadは、予測をサービスとして提供するというアイデアに基づいて設立されましたが、これは技術的にもサプライチェンの観点からも非常に悪いアイデアです。旅のスタートはかなり遅かったのです。それはうまくいっていなかったからです。
Kieran Chandler: 途中で行ったいくつかの大きなステップについて話しましょう。最初に言及したのは、2011年のバイアスを持つ予測を使用した予測のアイデアでした。なぜこれが少し物議を醸したのですか、または異なっていたのですか？
Joannes Vermorel: 物議を醸したわけではありません。ただ単に奇妙でした。統計の授業や私が知っていたすべてのサプライチェンのサークルでは、バイアスを持つ予測のアイデアはよく知られていませんでした。
Kieran Chandler: アイデアは、バイアスを排除する必要があるということですね。大企業では、需要プランナーのチームが一日中モデルを調整してバイアスを排除するために働いています。なぜ逆にバイアスを追加し、それを目的として行う人々が必要なのですか？それはただのポイントであり、物議を醸すものではなく、愚かなものでした。なぜバイアスを排除するためにチーム全体が働いているのに、バイアスを追加したいのですか？
Joannes Vermorel: 実際には、私は数年かかりましたが、これが良いアイデアかもしれないという結論に至るまでです。私にとっては、これは物議を醸す立場ではなく、まったく立場ではありませんでした。それは、他のうまくいかなかったことをすべて排除することによって、私が結論に至ったものでした。それが、私が考えるところの分位数予測の突破口でした。はい、バイアスはサプライチェンで非常に有用でした。利益に偏るようにバイアスをかけたいので、このアイデアを中心に技術を完全に再設計する必要がありました。
Kieran Chandler: 2012年には、市場の大多数がエンタープライズのプラグアンドプレイのアプローチを取っていた中、あなたは非常に異なるアプローチを取ることを決めました。なぜそれがサプライチェーンにとって良いと思ったのですか？
Joannes Vermorel: 再び、Lokadは非常にクラシックな方法で始まりました。画面、ボタン、メニュー、オプションなど、エンタープライズアプリに期待されるものです。しかし、現実は、新しいクライアントと契約するたびに、合わないものがたくさんあることに気付きました。だから、私たちは文字通り各クライアントに合わせて新機能を実装していました。
通常、ソフトウェア会社を立ち上げるときは、市場が求めるすべての機能を持っていないと思いますが、いくつかの機能を追加し、徐々に完全な機能を持つものに収束すると考えます。最小限の実行可能製品で始めて、少しずつ機能を追加し、市場に適合する良いものに収束することは問題ありません。しかし、私は文字通り4年間進んでいて、収束は見えませんでした。何か見えたとすれば、それは逸脱でした。
当時、私たちは大きなクライアントを獲得し始めており、SMBのみと取引していた最初の数年よりも多様性が増していることに気付いていました。だから、何かしら収束しているわけではなく、逸脱している道を進んでいました。競合他社を見ると、モンスターがいました - 人々ではなく、ソフトウェア製品がモンスターである意味でのモンスターです。ソフトウェア製品には何千もの画面があり、文字通り何千ものオプションがあり、完全に逸脱した開発プロセスでした。
当時の課題は、この道に従うべきかどうかです。それはまったく意味がありません。収束の方法はありますか？そして、最終的に私はサプライチェーンがあまりにも多様すぎて、メニューやボタンのある堅牢なアプリに収まる方法はないという結論に至りました。代わりに、プログラム的なアプローチが必要でした。
Kieran Chandler: Lokadの始まりについて教えていただけますか？
Joannes Vermorel: はい、もちろんです。Lokadは、サプライチェーンのプログラム最適化と予測最適化のためのプラットフォームを作成するというアイデアで設立されました。メニューやボタン、計算などが完全にカスタムされたプラットフォームを想定しており、したがって、各クライアントに対してそれらをプログラムする必要があります。しかし、クライアントごとにプログラムするなら、問題は何ですか？問題は生産性と信頼性を生み出すことです。スーパーファストで、スーパーチープにそれを行えるようにしたいので、プログラム的最適化、サプライチェーンの予測最適化のためのプラットフォームが生まれました。
Kieran Chandler: 早期の年に振り返って、あなたがした大きな間違いや後悔はありますか？
Joannes Vermorel: 起業家の道は後悔に満ちています。もし私が2008年当時に現在知っていることを知っていたら、おそらく私たちは3倍少ない時間をかけていたでしょう。私たちは市場に戻るのが早くなっていたでしょう。しかし、過去を置き換えることは難しいですし、知的にも再生することは難しいです。例えば、私が2008年に始めたとき、その時のテクノロジーで始めましたが、その後、2009年になって、ソフトウェアの世界が完全に変わったことが非常に明確になり、クラウドコンピューティングに移行する必要があることがわかりました。
Kieran Chandler: クラウドコンピューティングとは何ですか？
Joannes Vermorel: クラウドコンピューティングの古典的な視点は、私が2008年に始めた方法です。計算やデータの処理、実行したいタスクを行うために、マシン、コンピュータがあるというものです。それにはどれくらいの時間がかかりますか？プログラムが実行されている間です。1つのマシンがあります。プログラムを起動し、終わったら終わりです。つまり、マシンが一定であり、問題が変化し、問題の解決にかかる計算時間が変化します。
クラウドコンピューティングの考え方はまったく逆です。一定のターゲット納期で計算結果を提供することが一定です。つまり、「計算結果を30分で提供したい」と言い、問題を解決するために割り当てる計算リソースの量を動的に調整できます。30分で結果を提供するために1000のCPUが必要なら、それらの1000のCPUを動的に割り当てましょう。重要な洞察は、ハードウェアが一定であり、問題が変化し、問題の解決までの遅延があるという考え方から、クラウドコンピューティングの視点に移行したときに得られました。突然、Lokadで行っていたことをほぼ完全に書き直す必要がありました。
Kieran Chandler: 過去を振り返ると、私たちは技術の進化とともに徐々に進化してきたことがわかります。ウェブサイトを見ると、私たちがたどった機械学習の世代が見えます。技術的な観点から見て、最も重要なブレークスルーは何だと思いますか？
Joannes Vermorel: 進化だけではありません。文字通り完全な変化でした。人々は「ああ、進化だけだ」と思っていますが、Lokadの歴史を通じてはそうではありませんでした。むしろ、製品を捨てて、通常はより良い問題に取り組むためにゼロから始めました。ですので、それは単に機能が同じであるだけでなく、通常は理解が進んでいるため、完全に異なる問題に取り組むことになります。これにより、ソフトウェアの技術やアーキテクチャが完全に変わることがあります。
機械学習の観点では、最も重要なブレークスルーはディープラーニングでした。インフラの観点では、最も重要なブレークスルーはクラウドコンピューティングでした。それは、結果を提供するための厳しい締め切りを持ち、その他は変動するという考え方です。しかし、統計的な観点から見ると、最も重要なブレークスルーはおそらくディープラーニングでした。現在はそれを本番で使用していませんが、差分可能プログラミングですが、ブレークスルー自体はディープラーニングから来ています。
サプライチェーンの観点から見ると、最も重要なブレークスルーは、サプライチェーン全体において完全に財務的な視点を持つ必要があるという考え方でした。エラーや報酬、機会に対してドルを配置します。この財務的なマインドセットはおそらく最も重要なブレークスルーであり、サービスレベルの視点からではなく、改善しようとしているエラーの割合の視点からではなく、すべてを財務分析の視点から見ることが重要です。
Kieran Chandler: もう一つ、多くの人が奇妙に思っていたかもしれないルートは、2016年にビットコインの研究開発に足を踏み入れたことです。なぜそのルートを選んだのか、そしてその経験から何を学びましたか？
Joannes Vermorel: ビットコインは常に私の趣味であり、プロフェッショナルにおいては、Lokadは暗号通貨、ブロックチェーン、またはビットコインに依存していません。それにもかかわらず、それは経済学の実践です。人々は、経済学の理解に基づいたアイデアをソフトウェアシステムに組み込み始めました。それは非常に興味深いことです。通常、それらのアイデアは政治の領域にしか存在しません。それらは決してエンジニアリングされません。
政治家が税金を引き上げる必要があると言う政治家がいて、税金を引き下げる必要があると言う別の政治家がいます。経験は通常、国の規模で行われ、通常はエンジニアリングされません。それらは最善の場合には不完全な民主的プロセスの結果にすぎません。ビットコインの興味深い点は、経済学と技術に対する異なるアプローチです。
Kieran Chandler: では、Joannesさん、ビットコインへの興味とサプライチェーンの最適化との関係について教えてください。
Joannes Vermorel: ビットコインについては、エンジニアリングの観点からの実践的なマイクロ経済学でした。それが機能するかどうかを評価できます。それは非常に興味深いことです。サプライチェーンもほぼ同じです。それは実践的なマイクロ経済学です。実験を行い、物事が機能しているかどうかを評価できます。そのため、この観点からは非常に興味深いと思いました。ビットコインはサプライチェーンの持つ多くの特性を共有しています。分散化されており、多くのアクターが関与し、ソフトウェアのレイヤーが存在し、複雑さがあり、利害が衝突し、多層のセキュリティの問題があります。もちろん、これらはすべて類推ですが、それらのコミュニティで見つかる技術的な洞察には多くのインスピレーションがあります。投機ではなく、技術的な洞察です。それらは非常に興味深いです。
Kieran Chandler: Lokadと会社の焦点について教えてください。
Joannes Vermorel: 現在、私たちはパリの中心部に位置する約50人のチームです。私たちはサプライチェーン科学の実践を提供しています。
Kieran Chandler: なぜ、クラシックなデータサイエンスの側面から離れたのですか？
Joannes Vermorel: あなたが私たちが離れることを決めたと言ってくれるのはとても親切ですが、実際には私たちはクラシックなデータサイエンティストの道を試みて、ひどく失敗しました。私たちはこれから離れなければなりませんでした。私たちが若いエンジニアを採用する際、採用面接から、彼らの忠誠心、何に忠実であるかを定義します。あなたは何にコミットしていますか？ビジョンにコミットしていますか、問題の種類にコミットしていますか、スキルの種類にコミットしていますか？あなたのコミットは何ですか？データサイエンスの道に進むと、人々はデータの問題にコミットします。これは誤ったコミットメントです。クールな問題やクールなツールに焦点を当て、データに関連する素敵でクールな問題に焦点を当てる人々が集まります。残念ながら、サプライチェーンの問題を解決するためには、データ処理の観点からはかなりクールではない領域に焦点を当てる必要があります。数百ものフィールドを準備し、文書化し、何人もの人々と話し合い、サプライチェーンプロセスが正確に何であるかを明確にする必要があります。それによって、実践的に意味のある最適化のようなことをするチャンスが生まれます。したがって、あなたのコミットメントはデータではなく、サプライチェーンに向けるべきです。それが私たちが少し苦労して学んだことです。それがなぜ私たちが今、サプライチェーンの科学者を持っている理由です。私たちがこれらの若い熱狂的な人々を採用する際、彼らに伝えるのは、あなたのコミットメントは派手な機械学習モデルを提供することではないということです。それがLokadの目指すものではありません。
Kieran Chandler: あなたのコミットメントは、お客様のサプライチェーンを改善することです。それは非常に異なることであり、正直、私たちはあまり気にしません。どのようにしても、明らかにうまくいくとわかっているレシピがありますし、実績のあるツールの特定のクラスもあります。しかし、基本的には、お客様のサプライチェーンを改善するために、クライアントと協力して必要なことを行います。それがあなたのコミットメントであり、日々のチャレンジ、日々のインスピレーション、そしてすべてです。
Joannes Vermorel: 実際には、私たちがデータサイエンティストを採用していたとき、私たちはおそらく派手なデータの問題にあまりにも興味を持っている人々を採用していました。ビジネスの問題、ソリューションが実際に製品に使用される際に邪魔になるものがないか、という点にあまりにも興味がなかったのです。通常、これらの機械学習に基づくイニシアチブの問題は、アルゴリズムに問題があるわけではなく、全体的なセットアップにより大きな欠陥があるために失敗します。
Kieran Chandler: はい。そして、視聴者の質問について少し掘り下げる前に、最後の質問として、私たちは過去10年以上にわたり有機的に成長してきた会社です。ゆっくりと確実に、次の5年、10年に向けて、Lokadの将来についてどのような考えをお持ちですか？
Joannes Vermorel: うーん、もっと有機的な成長ですね。実際、ある年には60％の成長を達成しましたが、正直に言って、完全な崩壊まであと一歩でした。そして、人々が実際に気づいていないことは、スタートアップが「年間200％の成長を達成している」と言っているのを見ると、「本当に素晴らしいことだ」と思うことです。私は言います、「はい、それは素晴らしいことです。もしもの話、あなたが迅速に動いて問題を解決できるものを持っているならば。例えば、デートアプリを持っていて、サーバーが完全にダウンしても、大した問題ではありません。顧客は明日戻ってきますから、問題ありません。しかし、サプライチェーンを運営しているものが完全に崩壊し、クライアントが大量の生産注文や購買注文を出してしまうと、それはまったくばかげたことです。私たちは数百万ドルのミスを指しています。ですから、サプライチェーンというものは、「迅速に動いて問題を解決する」という考え方とは完全に相容れません。そして、パリの現在の求人市場を見ても、ニューヨークや他の大都市でも同じことが言えますが、年間50％の成長がある場合、従業員の定着率が3、4年といった感じであれば、会社の従業員の中央値の年齢は6ヶ月になります。わかりますか？つまり、50％の成長があると、年末には半分の人々がたった6ヶ月しか在籍していないことになります。そして、たった6ヶ月の経験しかない人々がサプライチェーンを運営できると期待するのは、年間数億ユーロのことを考えると、非常に大きな要求です。たとえ優秀で献身的で優れたエンジニアを採用していても、それは大変なことです。
Joannes Vermorel: そして、私たちがFacebookのように年間1000％成長しているビジネスではない限り、それは合理的な選択肢ではありません。だからこそ、私たちは速く進んでいますが、できることには限界があります。さもなければ、私たちが絶えず採用している新しい人材を育成することさえできません。
Kieran Chandler: では、いくつかの質問に入ってみましょう。すでにいくつかの質問があり、いくつかのおなじみの顔、番組の友人もいますね。まず最初に、Lokadのスタッフの多くが実際に興味を持っていた質問があります。Dervishさんからの質問ですが、Lokadという名前には特別な理由があるのでしょうか？使用しているアルゴリズムの略称ですか？それとも秘密ですか？
Joannes Vermorel: 実際のところ、私が計算生物学の博士課程をしていたとき、デジタルディスプレイを使用した広告のビジネスを始めることを考えていました。だから、地元の広告を考えて、「LoCad」という名前を思いつきました。5文字の非常に良いドメイン名でした。それを保持し、そして10年後、IBMのコンサルタントが私に言った、「ああ、Lokadは明らかに将来を見据えている。素晴らしい名前だね！」と思いました。「そうだ、将来を見据える、それは素敵な話だし、今後はそれをクライアントに伝えるつもりだ」と思いました。ですから、実際の話は地元の広告のためでしたが、この「将来を見据える」という解釈の方がずっとクールです。
Kieran Chandler: ここにもう1つ質問があります。Dehさんからのものです。少し悲観的ですが、すべてミスに焦点を当てています。Lokadの歴史の中で最大の敗北または挫折は何でしょうか？特にクライアントの視点からフレームにしてみましょう。
Joannes Vermorel: 私たちが経験した最大の挫折は、おそらくいくつかの大規模な米国のクライアントとの関係でした。最初の数年間は大きな挫折はありませんでした。なぜなら、大きなクライアントがいなかったからです。ですので、大きな挫折を実際に経験するまでには時間がかかりました。最大の挫折は、2011年から2012年ごろの転機でした。その頃、私たちはウォルマートとのKaggleコンテストと同様のベンチマークを勝ち取っていました。私たちはより高い精度の週次予測、月次予測を持ち、それらをクライアントのサプライチェーンの予測に活用していました。しかし、彼らのサプライチェーンは悪化していました。
その後、私たちはベンチマークをやり直し、比較し、Lokadの方がより高い精度を持っていることがわかりました。しかし、ある時点でクライアントから電話があり、「ジョアネス、わかるかい？あなたのソフトウェアは私たちのサプライチェーンを完全に混乱させている」と言われました。私がニューヨークで行った会議を覚えています。そこでは私に来てほしいと頼まれ、20人のプランナーがいる部屋に入りました。そのうちの半分は完全に怒っていて、「あなたのソフトウェアは私たちの生活を完全に不幸にしている」と言っていました。
私にとっては悪夢のような経験でした。20人の人々がいて、彼らは本当に頑固でした。私は「精度の面では、私たちは優れている」と考えていました。しかし、人々は「正直言って、私たちはそれには興味がありません。あなたは混乱を扱っていない。私たちが混乱を扱っているのですが、それがうまくいっていません。これは悪夢です」と言っていました。
Kieran Chandler: 時間が経つにつれて、クライアントはそれに取り組み、最善を尽くしました。私たちも最善を尽くしました。そして、おそらく3年後に彼らを失いましたが、それはとても悲惨な経験でした。
Joannes Vermorel: 悲惨で、とにかく。少し元気づけて、もう少し陽気ではない話題について話しましょう。残念ながら、コロナウイルスです。今はそれを避けることができません。
Kieran Chandler: SVさんからのメッセージがあります。コロナウイルスは、伝統的なサプライチェーンモデルを変革する必要性を浮き彫りにしたと思いますか？
Joannes Vermorel: 私はコロナウイルスは単なる変動要因の1つに過ぎないと考えています。世界を揺るがすことができることはたくさんあります。次の大統領が関税を設定することを決めたり、イギリスのような国が連合から離脱することを決めたり、YouTubeに人種差別的なビデオを投稿する従業員がいたりすると、ブランドが一晩で完全に損なわれ、市場シェアの20%を失うこともあります。世界を不確実性の増すものがたくさんあります。ですので、もし1つのことを明確にするならば、私たちは多くの年にわたって主張してきたことです。不確実性に備えるべきだということです。私は将来がどうなるのか全くわかりませんが、COVID後の世界は以前よりもさらに不規則になると確信しています。ですので、不確実性を受け入れ、リスクを管理する必要があります。Lokadには水晶玉はありませんし、あなたにもありません。ですので、不確実性を受け入れ、リスクを管理する必要があります。私は現在、このような考えが金融界に浸透し始めていると思っています。すべてのヘッジファンドがこのような考えに賛同しているわけではありませんが、最高のものはそれに乗り出しています。そして、サプライチェーンの観点では、この危機に先んじている企業は、Amazonのように不確実性に対応する柔軟性と迅速な対応能力を重視している企業だと思います。デジタルシステムを活用してそれをサポートしています。
Kieran Chandler: 残念ながら、コロナウイルスのテーマについては、Lokadの友人であるMarcus Leopoldさんからの質問がもう1つあります。Lokadのアルゴリズムは実際のCOVIDの混乱の中でどれくらいうまく機能しましたか？顧客は手動に戻る必要がありましたか、それともLokadのアルゴリズムが自動的に対応しましたか？
Joannes Vermorel: アルゴリズム自体は魔法ではありません。アルゴリズム自体がひどく失敗することもありました。しかし、そしてこれは大きなポイントですが、Lokadが提供しているのは単なるソフトウェアプラットフォームではありません。私たちは常に言っていますが、今日では「管理された計画」と呼んでいます。つまり、プラットフォームとサプライチェーンのチームを持つことです。
Kieran Chandler: サプライチェーンの科学者たちのチームが、実際には働きすぎて、まず3月にはほぼすべてのヨーロッパのサプライチェーンを停止し、1か月後にはすべての米国のサプライチェーンを停止し、その後2〜3か月後に再開するために働きました、ね？
Joannes Vermorel: 私たちが直面した課題は、シャットダウンの組織化、再開の組織化、そしてこの異常なロックダウン期間が需要の減少として解釈されないようにモデルを調整することでした。3か月間、需要としてカウントすることはできません。なぜなら、それはすべての季節プロファイルを完全に歪めてしまうからです。
それはアルゴリズムの品質ではなく、Envisionがサプライチェーンの明示的なモデリングに与える生産性が重要でした。危機が発生したとき、私たちは移行の準備をするための数週間を持っていませんでした。私たちは「Lokad、来週は工場と倉庫を閉鎖します。その前に行う必要のあるタスクに優先順位を付ける必要があります。モデルを適応させて、それらのことを優雅に実行できるようにしてください。」という電話を受けました。時間はカウントされ、サプライチェーンの科学者たちは、会社全体が残業をしていたとしても、数日以内にそれを実行する必要がありました。問題の核心はアルゴリズムの品質ではなく、サプライチェーンの明示的なモデリングによる生産性でした。
Kieran Chandler: 暗号通貨とビットコインに関する議論に戻ります。これはJohn Michelleさんからのメッセージで、次の3〜4年間のサプライチェーンにおけるビットコインのブロックチェーンアプリケーションからの実際の付加価値を見ることができるのか、それとも単なる暗号通貨の宣伝と見なすべきなのかという質問です。
Joannes Vermorel: 多くの価値を見出していますが、それはあなたが期待するような価値ではありません。まず、暗号通貨はコンピュータセキュリティの意味を再定義します。興味深いことは、Bitcoinをコンピュータに置くと、Bitcoinが盗まれないことを知ることができるということです。それは非常に興味深いことです。なぜなら、突然、システムが安全かどうかを簡単にテストできるからです。いくらかの暗号通貨を置いておけば、それが消えたら、まあ、何かがあなたのシステムの周りに潜んでいるということです。ビットコインビジネスがオンラインで大量の暗号通貨を保持するクラウド上のマシンを持ち始め、すべてが盗まれて破産したとき、人々はこれに気付き始めました。
Kieran Chandler: では、Joannes、ITセキュリティの観点から、サプライチェーン最適化の課題について少し話していただけますか？
Joannes Vermorel: はい、文字通り、人々は何も安全ではないと気付きました。すべてのクラウドコンピューティングプロバイダには脆弱性がありました。すべてのIoTデバイスには脆弱性がありました。すべてのスマートフォンには脆弱性がありました。つまり、人々は問題の範囲、主要性の大きさを実感しました。ですので、私たちがサプライチェーンとして抱えている問題は、ITセキュリティに対して2倍ほど悪化していると言えます。なぜなら、サプライチェーンは設計上、地理的に分散しているからです。世界中に広がっているものを考えると、要塞的なアプローチでITセキュリティを行うことはできません。ですので、それは非常に大きな課題です。そして、暗号通貨で起こっていることは非常に興味深いです。なぜなら、それによって本当にシステムを安全にするために行うべきすべてのことについての洞察が得られるからです。それが主な付加価値です。ですので、投資手段としては提案しません。それらの技術の詳細、特にITセキュリティの観点から見ることをお勧めします。それは通常、ソーシャルエンジニアリングの問題とソフトウェアの脆弱性問題を組み合わせたものです。
Kieran Chandler: オーケー。私たちの友人であるカリール・メハナからまた別のメッセージが届きましたが、彼は予測について言及しています。どれだけ良い予測であっても、それには背後にいるユーザーの情報が必要です。2つの主要なユーザーは、企業側のプロジェクトリーダーとLokad側のサプライチェーン科学者です。では、これら2人の専門性とビジネス理解はどれほど重要であり、結果と最終予測の正確さにどれほど影響を与えるのでしょうか？
Joannes Vermorel: それがトリックです。まず、私たちは約100社以上の製造会社があります。私たちは予測を微調整していません。それはこうやって行われるものではありません。人々は、「予測を変更するためには人間の洞察力が必要だ」と考えています。しかし、それは通常、データから統計情報を抽出する方法をフレーム化するためのものです。つまり、市場を推測するために人間の洞察力や知識が必要なわけではありません。もちろん、それもあります。私たちはいくつかの例外的な状況を持っています。例えば、私の思い浮かぶのは、エアバスの航空機であるA380です。この航空機の一部を供給しているクライアントもいます。エアバスがこのタイプの航空機の製造を中止すると発表した場合、市場の知識を持って予測を調整することができますが、それは非常に稀な状況です。通常はそうではありません。Lokadのサプライチェーン実践者とサプライチェーン科学者の仕事は、はるかに多岐にわたります。まず、アルゴリズムが正しいものを学習し最適化するために問題をフレーム化することです。これは移り変わるターゲットです。常に同じ状況をカバーしているわけではありません。予測を微調整するという意味での知識の注入ではなく、予測しようとしている問題自体を再構築しています。そして、ほとんどの作業は経済ドライバーの再評価に関するものです。私たちはこれらの誤差のドルを最適化していますが、これらの誤差のドルはデータから抽出するものではありません。データマイニングや機械学習アルゴリズムでは、これらのドルの誤差を知ることはできません。うーん、うーん。
Joannes Vermorel: 多くの人々はいくつかの力を過小評価しています。まず、国による特殊化の強さを過小評価しています。例えば、世界にはRAM工場を持つ国はわずか3つしかありません。つまり、RAMが必要な場合、すべてのコンピュータがそれを使用している場合、韓国、中国、アメリカの3つの国しかありません。他のどこに行っても、厳しい運命です。
そして、スマートフォンのバッテリーにリチウムが必要な場合、リチウムの世界の埋蔵量はチリ、アルゼンチン、オーストラリアの3つの国にしかありません。もしかしたら、一部の人々は再確認するかもしれません。ですから、もしリチウムの現地生産をしたい場合、厳しい運命です。同じことが高級時計製造にも当てはまります。スイスは半分以上を占めていると思いますが、高級時計製造のセグメントでは70％くらいです。ですから、Tシャツのような低価値商品については常に実現可能とは限りません。
テキスタイルは自動化が非常に困難な産業であり、伝統的に遅れている産業です。その結果、テキスタイル生産は中国に移りましたが、今では中国ではありません。ベトナム、フィリピン、バングラデシュなどのより安価な国に移りました。しかし、バングラデシュに移った後、給与が上昇することを期待していますが、それ以降はどこに移動するのでしょうか？アフリカかもしれませんか？わかりません。しかし、安い国がなくなってきています。
自動化は進歩していますので、基本的なサプライチェーンについては、おそらく現地で生産されるでしょう。残念ながら、それによって雇用が生まれることは期待できません。なぜなら、超高度な自動化が達成された場合、それらのものが消費される場所に戻されるからです。ですから、わずかに現地のサプライチェーンが増えるでしょうか？はい、そうだと思います。再び、非常に自動化されたものになると、どこに工場を配置するかはあまり重要ではありません。もちろん、リチウムは世界の一部の場所にしか存在しませんが、現地の労働力のコストに関心がない場合、生産をほぼどこにでも配置できます。
Kieran Chandler: ここに2つの質問がありますが、1つの大きな質問にまとめます。ケニアとマンミートからの質問です。ケニアは、数量的なサプライチェーンアプローチが非常に異なるため、そのような実践を導入する際には多くの懐疑論に直面しますか？そして、マンミートもそれについて質問していますが、Lokadのようなものを導入する際にはどのような組織変革の課題に直面しますか？
Joannes Vermorel: それはおそらく私の最大の欲求不満の一つです。私はあまり懐疑的な意見に出会いません。そして、その理由をお伝えします。たとえば、私が人々に、時系列予測、裸の時系列予測は完全に壊れており、不確実性を無視していると言うと、人々はそれを知っています。そして、私は…
Kieran Chandler: では、ジョアネス、ある商品の予測を行い、それに競合する10個の商品を追加した場合、どうなるか説明できますか？
Joannes Vermorel: 商品の予測を行いますが、それに競合する10個の商品を追加することを知らない場合、競合があちこちで起こります。そして、時系列モデルでは、その競合を完全に無視します。つまり、完全に壊れています。そして、人々は馬鹿ではありません。彼らはそれを知っています。だから、私の欲求不満は、彼らがそれを理解しているということです。私が供給チェーンディレクターや計画責任者、供給チェーン予測責任者などと話しているとき、彼らは懐疑的ではありません。彼らは「はい、はい、はい、わかりました」と言います。私の欲求不満は、でもね、私はそれをやらないつもりなんです。私はそれが壊れていることを知っていますが、あなたは、あなたの会社のために最善の方法を実行するつもりですか、という質問をすると、理論的には多くの人々が「はい、私は会社のために最善の方法を実行するつもりです」と答えると言います。しかし、残念ながら、大企業では、人々はほとんど自分の仕事を守るために何でもします。そして、彼らは管理職の中でもかなり高い地位にいるとしても、ほとんどの人々は革新を促進するヒーローだと偽装しますが、実際には、人々は非常に興味深い趣味や興味深い人生を持っており、仕事は単なる仕事です。そして、彼らは自分の会社を改革してより良いパフォーマンスを発揮するために十字軍に参加するつもりはありません。株主にとっては良いです。会社を成長させ、利益を上げることができます。しかし、大企業にいるほとんどの人々は給料をもらっています。彼らは組織に害を与えたくないのです。彼らは仕事をうまくやりたいと思っていますが、会社を次のステージに引き上げるために十字軍に参加するつもりはありません。そして、会社がうまくいかなければ、彼らは転職して次の会社に行くでしょう。
Kieran Chandler: 終わる前に、もう2つの質問を入れてみましょう。リチャード・レーベンスキーからの質問を入れてみます。彼は自分のタイムゾーンで遅くまで起きているので。そうですね、ヒーロー、ヒーロー、そうですね。彼は、Lokadのアプローチが他のどの領域で最もビジネス価値を引き出せるのか、他の人々ができないかもしれないのかと尋ねています。
Joannes Vermorel: それは通常、混乱と複雑さの度合いに反比例します。そして、人々が「ああ、それは悪夢のようだ」と言うと、非常に良いです。通常、サプライチェーンが悪夢のようで、オプションがあまりにも多く、意思決定があまりにも多く、2次効果があまりにも多く、多段階、賞味期限、改修など、さまざまな超奇妙な効果がある場合、Lokadが最も輝く場所です。なぜなら、おそらくまだ最適化が始まっていないようなサプライチェーンだからです。もちろん、非常にシンプルで既に非常にリーンなサプライチェーンがある場合は除きます。たとえば、水の配給です。水の供給チェーンについては誰も話しません。なぜなら、それは非常に単純で、ほとんど最適化する余地がないからです。最適化する余地があるものは、ほぼ100年前にほぼ最適化されました。ですから、Lokadは水道会社に対してほとんど何もできません。しかし、
Kieran Chandler: 最も極端な反対側では、航空宇宙など、COVIDの影響で完全に混乱している完全な混乱があると言えます。それが通常、私たちが最も優れたパフォーマンスを発揮する分野です。しかし、生鮮食品は非常に複雑であり、高級品も非常に複雑であり、非常に限られたデータセットがあるという追加の問題もあります。そのため、通常の統計的手法はそれらの状況では通常機能しないというのが少し矛盾しています。データが多い場合にLokadが最も優れたパフォーマンスを発揮すると言えますが、非常に限られたデータがある場合にも同様であり、通常の統計手法はまったく機能しないのです。それは私たちにとって非常に良いスイートスポットでもあります。
Joannes Vermorel: そうですね。以前のお気に入りのゲストの一人であるNicholas Vanderpoohとの議論が少し行われたようです。彼はEdithと話し合っていて、主な質問は、完全な巻き戻しのような大きなタスクに取り組むことを促した最大の問題は何だったのか、ということでした。
Kieran Chandler: Lokadのソフトウェアの書き直しを意味しますか？
Joannes Vermorel: はい。まず、何かがうまくいかないとわかると、間違った道に進んでいることがわかります。通常、書き直しは最後の手段です。それは、もう希望がないというときです。つまり、ある時点で、インクリメンタルな開発を行い、さらにインクリメンタルな開発を行い、ある時点で、それがうまくいく見込みが全くないことに絶望すると、ソフトウェアをゼロから書き直すことになります。非常に厳しいです。軽々しく行うものではありません。ソフトウェアには、ゼロから書き直すべきではないという言葉があります。通常、ゼロから書き直すことは非常に悪いことです。しかし、アーキテクチャの欠陥、設計上の欠陥が完全にアーキテクチャの中心にあると気付いた場合、もう手遅れです。文字通り手遅れです。これは私がほとんどのクライアントに伝えていることです。ソフトウェアの良い点や悪い点のほとんどは、設計によるものです。おそらく、このソフトウェアの開発段階の最初の3ヶ月間に行われた非常に重要な設計上の決定が、その後のすべてを動かしているのです。ですから、重要な設計上の前提条件が崩れてしまったことがわかった場合、完全に詰んでしまいます。
Kieran Chandler: Slim Kalellからの質問がありますが、LokadはSNOPタイプのソリューションとどのように連携するのでしょうか？
Joannes Vermorel: ああ、私たちはそれらを無視しています。面白いことに、官僚制度には信じられないほどの特性があります。それらはシステム的に役に立たなくなります。その結果、Lokadは本番で稼働しています。私たちは供給チェーンの科学者であり、わずかな供給チェーンの実践者のチームがすべての意思決定を行っています。ですから、すべての購買、すべての生産、すべての在庫移動、さらには価格までをも担当しています。そして、SNOPの官僚制度があります。人々はまだ会議を開き、プロセスを行い、営業担当者に予測を求めることがあります。スプレッドシートにはまだ数字が入力され、人々は通常のサンドバッグのようないたずらを行っています。この官僚制度は存続し続けます。
Kieran Chandler: それは、現実とは完全に切り離されているため、厳密には害を及ぼしません。物理的な現実にはゼロの影響があると言えます。供給チェーンには影響があると言えますが、人々は、無駄な行政を維持するのは政府だけだと思っています。たとえば、イギリスはイギリスが管理する植民地を持たなくなった時点でも、植民地省を持っていました。まるで巨大な省庁のようなものでした。フランスも同じようなことをしており、例えばフランスにはフラン管理のためのフランス銀行がまだ存在しています。フランはもうありませんが、フランス銀行はまだ存在しています。
Joannes Vermorel: 要するに、企業であるからといって、問題に免疫があるわけではありません。どんな大企業でも同じ問題があります。だから、通常、Lokadはまったく切り離されたままSNLPと並行して運営されているという非常に逆説的な状況になります。さらに奇妙なことは、データサイエンスチームと並行して運営していることです。データサイエンスチームはまだ使用されていないモデルを作成し続けています。通常、クォーターごとに1つまたは2つのプロトタイプを作成していますが、それらは完全に切り離されており、私たちは本番環境で進行しています。奇妙ですが、まあ、それが現実です。
Kieran Chandler: では、ここで締めくくりに入ります。Yatin Dineshからの質問ではなく、コメントで終わりたいと思います。彼もこの番組の大ファンで、「これまでのポッドキャストが大好きです。年の経験とミスからの学びが共有されています。」と言っています。ただし、彼はブログを書いているのは誰なのか知りたいと思っています。
Joannes Vermorel: ブログは通常私が書いています。忙しいですが、この番組を始めて以来、ブログの制作ペースはかなり遅くなっています。ブログに戻る予定ですが、1日の時間には限りがあります。ただし、私は決して第三者のコンテンツエージェンシーに委任して、大量生産されたハッピートークを提供するようなことはしません。ただし、プラチチュードと無意味なことを組み合わせたものは提供しません。
Kieran Chandler: いつも私が邪魔をするのは私自身です。いいえ、いいえ、本日の締めくくりと結論を出すために、なぜLokadの旅を振り返ることが重要だと思ったのか、そして今日のエピソードから視聴者が学ぶことは何か、教えてください。
Joannes Vermorel: 問題は、自分が間違っていることを知ることは非常に難しいということです。とても難しいです。まず、それはあまり気持ちの良いことではありません。自分がたくさんの間違いを犯したことを認識するのは好きではありません。だから、通常、基本的な本能は防御機構を持ちます。言い訳を見つけます。「うん、成功しなかったけど、クライアントが文化的ショックを受けたんだ、難しい状況だったんだ、彼らは進行中のERPの展開があったから事態が複雑になったんだ」と言います。言い訳はいくらでもあります。モットーがあります。「結果を出すか、言い訳をするか」。そして、第三の方法があります。それは…
Kieran Chandler: なぜそれがうまくいかなかったのか、どこが重要なのかを理解することは私にとって非常に重要です。おそらく、今、私はたくさんの間違いをしているかもしれませんが、どれが間違いかはわかりません。過去の間違いを振り返ることは、現在何がうまくいかないかを考える方法です。もちろん、10年前よりもはるかに良いことをしているとは思いますが、完璧ではありません。きっと、10年後には、本当に頭がおかしくなっていた、または何かが明らかにもっと良い方法があったのに、それを見落としていたと気付くことでしょう。それは部屋の中の象で、明らかでありながら、私たちはそれの周りをぐるぐる回っているのです。だから、私の考えでは、それらのことを繰り返し振り返ることは重要です。それは、現在行っていることで何がうまくいかないかを認識するための視点を与えてくれます。
Joannes Vermorel: そして通常、問題はもっと良いことができるということではありません。それは問題をより良く見ることではないのです。それは、通常、問題を異なる角度から見るべきだったと気付くことです。そして、別の問題、別の角度が本当に戦う価値があることに気付くのです。私たちはもっと良くすることができるのではなく、過去に問題にさえ取り組んでいなかったのです。
Kieran Chandler: では、ここで終わりにしなければなりませんが、100エピソード後、ビールを飲む価値はあると思います。それが今週のすべてです。もし私たちがあなたの質問に答えていない場合は、contact@lokad.comまでメールを送ってください。購読ボタンをクリックしてください。次のエピソードでお会いしましょう。ご視聴ありがとうございました。
