00:50 Введение
02:22 Книга Клода Бернара
11:19 До сих пор
13:39 Эксперименты с цепями поставок?
19:21 Экспериментальные методы: против случаев изучения
20:50 О крупных именах
28:14 О запретах
35:05 О перспективах работы
37:51 О псевдо-нейтральности
42:59 О поставщиках
45:57 Экспериментальные методы: про персонажей
46:54 Фикция против реальности
52:19 Создание персонажа цепи поставок
55:26 Критерии отбора
01:02:33 Проблема против решения, 1/3
01:08:53 Проблема против решения, 2/3
01:11:41 Проблема против решения, 3/3
01:16:13 Предстоящие персонажи
01:17:06 Заключение
01:18:29 Предстоящая лекция и вопросы аудитории

Описание

Персонаж цепи поставок - это вымышленная компания. Однако, несмотря на то, что компания является вымышленной, эта вымышленность создана для того, чтобы обозначить то, на что следует обратить внимание с точки зрения цепи поставок. Однако, персонаж не идеализирован в смысле упрощения проблем цепи поставок. Напротив, цель состоит в том, чтобы увеличить наиболее сложные аспекты ситуации, аспекты, которые наиболее упорно сопротивляются любой попытке количественного моделирования и любой попытке внедрения инициативы по улучшению цепи поставок.

В случае исследования цепей поставок - когда одна или несколько сторон названы - возникают серьезные конфликты интересов. Компании и их вендоры-партнеры (программное обеспечение, консалтинг) заинтересованы в представлении положительных результатов. Более того, фактические цепи поставок обычно страдают или получают выгоду от случайных условий, которые не имеют никакого отношения к качеству их выполнения. Персонажи цепи поставок являются методологическим ответом на эти проблемы.

Полный текст

Slide 1

Привет всем, добро пожаловать на эту серию лекций по цепям поставок. Я Йоанн Верморель, и сегодня я буду представлять “Персонажи цепи поставок”. Для тех из вас, кто присутствует на лекции в прямом эфире, вы можете задавать вопросы в любой момент времени через чат YouTube. Однако, я не буду читать вопросы во время лекции; я вернусь к чату в самом конце лекции, чтобы ответить, если возможно, на все возникшие вопросы.

Тема сегодняшней лекции - можно ли повысить изучение цепей поставок как науки. Можно возразить, что цепи поставок прежде всего являются бизнесом и практикой. Абсолютно верно, но вопрос в том, можем ли мы улучшить управление цепями поставок, и если да, то можем ли мы сделать это таким образом, чтобы это было систематично, надежно и в некоторой степени контролируемо? Я считаю, что это возможно только с помощью чего-то, что было бы похоже на научный метод, примененный к нашим знаниям.

Для того чтобы достичь улучшения, нам нужны знания, и нам нужны знания высокого качества. Что я имею в виду под высоким качеством? Это знания, которые могут быть характеризованы тем, что обычно характеризует научные знания в настоящее время. Если у нас есть только интуиция, то это серьезно ограничивает то, что мы можем надеяться привнести в цепи поставок систематическим образом. Научный метод действительно представляет большой интерес, и возможность повысить изучение цепей поставок как науки имеет огромное значение. Но это вызывает вопрос: что такое наука и что такое научный метод?

Slide 2

Я считаю, что есть одна книга, “Введение в изучение экспериментальной медицины”, опубликованная Клодом Бернаром в 1865 году, которая является абсолютным вехой в истории науки. Клод Бернар, очень известный исследователь того времени, до сих пор считается одним из ключевых отцов, если не отцом, современной медицины многими людьми. Из-за некоторой болезни он ушел в отступление и задумался о всей своей жизни, посвященной поиску знаний. Он начал записывать свои идеи о том, как он управлял и какие методы он использовал в своей карьере, чтобы сделать все открытия, которые он сделал.

Это абсолютно увлекательная книга. Она читается как роман, что очень удивительно. Она совершенно не похожа на “Математические начала натуральной философии” Ньютона, которые почти невыносимы. Эта книга очень проста в чтении, по крайней мере на французском языке. Я не знаю о версии на английском, но предполагаю, что существуют хорошие переводы. С большой ясностью и простотой Клод Бернар объясняет и дает много подсказок о науке и научном методе. Это нечто, что глубоко просвещает в отношении цепей поставок.

Кстати, несмотря на название этой книги, которое кажется очень сосредоточенным на медицине, большая часть того, что описал Клод Бернар, совершенно неспецифично для медицины. Эта книга оказала глубокое влияние на многие другие науки, выходящие далеко за пределы медицины. Чтобы понять почему, нам нужно понять, что в 19 веке Клод Бернар боролся с противниками, которые полностью противились идее того, что медицина должна, по крайней мере частично, стать наукой. Действительно, изучение медицины сталкивается с двумя очень важными проблемами, которые, я считаю, также имеют первостепенное значение для цепей поставок.

Первая проблема заключается в том, что живые организмы невероятно и неразрывно сложны. Если у вас есть живой организм, вы не можете просто применить какой-то подход “разделяй и властвуй”; вы не можете разобрать его на части для изучения, потому что если вы это сделаете, вы просто убьете живое существо, и у вас останется нечто, что больше не живое. Это совершенно упускает суть того, что вы пытаетесь изучить. Эта неразрывная сложность и тот факт, что у вас есть что-то сверхсложное, что вы не можете легко разобрать, также применимы к цепям поставок. Если у вас есть цепь поставок, состоящая из поставщиков, заводов, складов, центров распределения и магазинов, и если вы удалите любой из этих элементов, цепь поставок перестает работать, и она даже перестает иметь смысл. Вы даже не можете изучать ее как цепь поставок. Таким образом, у нас есть этот неразрывный комплекс, который очень сильно применим и к цепям поставок.

Вторая большая проблема заключается в том, что живое существо по своей сути является запутанной системой. Если вы начинаете делать небольшое местное изменение, есть вероятность, что это повлияет на всю организм. Например, вы можете сделать очень местное введение яда, но это повлияет на всю организм, а не только на место, где вы фактически ввели яд. Это также очень похоже на цепочки поставок, потому что, как я описывал в одной из своих предыдущих лекций, большинство местных оптимизаций в цепочке поставок просто перемещают проблему в другое место в сети. Итак, у нас есть эти две проблемы, и в то время Клод Бернар столкнулся с противниками, которые в основном говорили, что медицина, из-за этих проблем, нередуцируема и не может быть сводима к чему-то такому вульгарному, как наука. Клод Бернар, вместе с многими другими людьми и теми, кто последовал за ним, полностью опроверг эту точку зрения. Однако интересно, что эта проблема все еще существует, и я считаю, что даже спустя сто пятьдесят лет мы все еще находимся в этой фазе, что касается цепочек поставок.

Теперь, если мы хотим понять, что прежде всего привносит Клод Бернар, это идея экспериментов. В своей книге он выдвигает идею, что наше знание проходит через три стадии: эмоцию, разум и эксперимент. Идея заключается в том, что научный метод начинается с эмоции, искры воли, которая дает вам некоторую предвзятую идею о вселенной. Через эту эмоцию вы можете начать делать что угодно, даже если это глубоко иррационально и не имеет научных качеств. Без этого у вас нет начального импульса, который запустит остальное. Инициализация этой системы знаний - это эмоция, а затем у вас есть разум. Разум придает форму, структуру и направление этой идее, чтобы вы могли начать действовать. На этом этапе у вас есть идея, но не ясно, правда она или ложь. Она просто существует, но у нее больше структуры, чем на первом этапе, который был просто эмоцией.

Через разум вы можете построить первый этап эксперимента. Идея заключается в том, что через разум вы собираетесь проверить свою идею. У вас есть предвзятая идея о вселенной, и вы собираетесь провести эксперимент, который позволит вам проверить идею. Интересно то, что вы должны верить в свою идею, иначе вы не будете продолжать все усилия и время, которое требуется для проведения эксперимента. Научный метод не является устранением предыдущей веры; это абсолютно не так. Вам нужно иметь то, что вас движет, те предвзятые идеи, которые будут направлять ваше действие.

Затем вы проводите эксперимент, наблюдаете результаты и позволяете наблюдению взять контроль над вашими идеями. У вас были предвзятые идеи, вы провели эксперимент, и затем, как только вы провели свой эксперимент, вы позволяете тому, что вы только что наблюдали, взять контроль над вашими идеями, и это будет установление знаний. Одна из глубоких идей в экспериментальной науке заключается в том, что внутри нас нет знания. У нас есть эмоции и некоторая врожденная способность к разуму, но все знания, которые можно найти, находятся вне нас. Даже если это сейчас самоочевидно, в 19 веке это абсолютно не было так. Что касается цепочек поставок, не совсем ясно, что все согласны со мной на этом. Идея иметь экспериментальную науку заключается в том, чтобы строить и извлекать знания из вселенной, и элементарным шагом для этого является серия экспериментов.

Slide 3

На моей последней лекции я завершил первую главу этой серии лекций, которая была прологом. В прологе я представил свои взгляды на то, как подходить к цепям поставок в первую очередь. Я определил цепь поставок во время первой лекции как владение опциональностью. Я также представил взгляды, которые были как качественными, так и количественными, чтобы дать вам представление о том, как я подхожу к проблеме. В этих текущих лекциях я открываю вторую главу: методологию. Если мы хотим улучшить цепи поставок, нам нужны знания, чтобы направлять наши действия. Если мы хотим иметь надежный способ достичь улучшения и иметь разумную надежду на высокую степень контроля, то нам нужно, чтобы эти знания были прочно укоренены. Я считаю, что нам нужно что-то вроде научного метода. Когда я говорю о научном методе, я злоупотребляю этим термином, так как на самом деле нет такой вещи, как “научный метод”. Фактически существует широкий ряд методов, и Клод Бернар, в своей книге, представляет ряд из них. Бернар также продемонстрировал, что наука развивается не только благодаря лучшим теориям, но и благодаря лучшим методам. Проблема заключается не только в том, чтобы знать больше о цепях поставок, но и в том, чтобы установить основы с методами, которые доказывают свою превосходность в генерации лучших знаний, быстрее, надежнее и более точных. Смысл цепи поставок заключается в том, чтобы иметь один метод, среди многих, чтобы связать цепи поставок как предмет изучения с тем, что происходит в реальном мире и использовать информацию, которая не находится внутри нас, а во внешнем мире.

Slide 4

Путь привнести долю реальности в ваше предметное исследование обычно проходит через эксперименты. Однако в конкретном случае цепей поставок кажется, что эксперименты с цепями поставок довольно сложны по нескольким причинам. Позвольте мне кратко их представить.

Первая причина - конфиденциальность. Как мы видели на предыдущей лекции, цепь поставок нельзя наблюдать непосредственно; ее можно наблюдать только косвенно. Единственное, что вы можете наблюдать в цепи поставок, это электронные записи, которые собираются и собираются с помощью прикладного программного обеспечения предприятия. Таким образом, вы можете наблюдать цепь поставок через записи, собранные прикладным программным обеспечением предприятия или через наборы данных. Проблема в том, что компании не желают делиться этими наборами данных, и есть очень веские причины не желать делиться ими. Во-первых, это конкурентное преимущество, или, скорее, если бы они публично делились этими данными, это было бы конкурентным недостатком, потому что их конкуренты могли бы воспользоваться доступом к этим данным, чтобы получить конкурентное преимущество перед ними.

Но это не единственная причина. Есть и другие веские причины не делиться данными, такие как конфиденциальность и конфиденциальность. Например, в Европе у нас теперь есть GDPR в качестве регулирования. Я не обсуждаю, хорошо это или плохо; я просто указываю на то, что даже если компания готова поделиться своими данными, она рискует совершить что-то незаконное. В качестве анекдотического доказательства, в прошлом году проходил конкурс прогнозирования M5 на основе данных о продажах, полученных от Walmart. Насколько мне известно, это был самый большой и наиболее полный набор данных, связанных с экспериментом в сфере поставочной цепи, который когда-либо был опубликован. Чтобы дать вам представление о масштабе проблемы, этот набор данных представлял собой только данные о продажах небольшой доли продуктов одного магазина. Walmart - это гигантская компания, которая управляет более чем 10 000 магазинами, и набор данных из конкурса на Kaggle даже не был полным набором данных одного магазина. Это была на самом деле небольшая доля магазина, и это была в основном история продаж, включая историю продаж в количествах и ценах. Чтобы сделать проблему еще хуже, из-за проблем с инженерией в терминах извлечения данных, оказалось, что половина набора данных, состоящая из цен, даже не была пригодна для использования в целях конкурса. Ни одна из победивших команд, попавших в топ-10 конкурса, не смогла использовать эти данные. Это дает вам представление о том, насколько сложно публично общаться по этой теме, но это не единственная проблема.

У нас также есть проблема воспроизводимости. Например, общаясь с несколькими клиентами Lokad в январе 2020 года, электронная коммерция в их соответствующих бизнесах составляла около 30% объема. К январю 2021 года она выросла до 60%. Очевидно, прошел целый год пандемии, и произошло несколько относительно непрецедентных вещей, которые полностью изменили ландшафт во многих отраслях, вероятно, навсегда. Это серьезная проблема, потому что воспроизводимость является основой экспериментальных наук. Но если вы что-то делаете в сфере поставочной цепи и хотите воспроизвести это, ландшафт может быть настолько разным через несколько лет, что у вас не будет никакой надежды воспроизвести что-либо. Это еще один класс больших проблем, с которыми мы сталкиваемся.

Кроме того, существуют затраты и задержки. Как правило, для проведения эксперимента в сфере поставочной цепи потребуется время, в два раза превышающее характерное время выполнения компании. Во многих отраслях или вертикалях характерное время выполнения составляет около трех месяцев, что означает, что характерная задержка для эксперимента в сфере поставочной цепи составит шесть месяцев или дольше. Это очень долго, и есть веская причина, по которой экспериментальные науки, такие как экспериментальная медицина, склонны предпочитать использование мышей для экспериментов из-за их быстрого метаболизма и быстрого темпа размножения. Время имеет значение, даже в медицине, и в поставочной цепи это практически то же самое. Однако характерное время экспериментов очень долгое.

Кроме того, у нас есть ранее обсуждаемый нелокальный элемент, когда сложно провести масштабный эксперимент с низкими затратами, потому что все зависит от сетевых эффектов. Вы не можете просто что-то сделать в одном месте и ожидать результатов. Как правило, нельзя сделать какие-либо выводы из локального эксперимента в сфере поставочной цепи.

Слайд 5

Очевидно, я не первый, кто понимает, что у нас есть эта большая серия проблем и что поставочные цепи сопротивляются наивному экспериментальному подходу. В результате значительная часть исследований, проводимых в сфере поставочных цепей, прибегает к альтернативе эксперименту в сфере поставочной цепи, а именно кейс-исследованию поставочной цепи. Идея проста: мы хотим связать поставочную цепь как предмет изучения с реальным миром. Мы хотим внести доли реальности в нашу теорию. В этом и состоит смысл кейс-исследования. Мое предложение для вас сегодня заключается в том, что кейс-исследования являются преувеличенными информационными роликами, и если мы должны оценивать кейс-исследования с точки зрения того, сколько знаний может быть передано в этом формате, мой ответ - примерно ноль. Однако все не потеряно, так как есть возможные альтернативы, и именно здесь я представлю персонал поставочной цепи. Из-за распространенности кейс-исследований мы должны сначала понять, почему это просто не работает, не может работать и, к сожалению, никогда не будет работать.

Слайд 6

Исследование случая - это одна компания, одна проблема, одно устаревшее решение (которое является решением, применяемым до начала исследования случая), а затем новое, лучшее решение. Исследование случая описывает все это и количественно оценивает преимущества, которые новое, предположительно лучшее решение приносит компании. Самая большая проблема, с которой я сталкиваюсь, заключается в том, что когда я вижу исследования случаев и то, как люди рассуждают о них, то на самом деле господствует не количество, представленное в исследованиях случаев, а название компании, являющейся объектом исследования случая. Здесь играет огромная роль массовый эффект авторитета.

Представим себе исследование случая в сфере цепей поставок, исходящее от Google, технологического гиганта. У Google есть достаточно большая собственная цепь поставок только для обработки всего вычислительного оборудования, распределенного по всему миру для поддержки работы его центров обработки данных. Представим себе, что это исследование случая демонстрирует превосходство конкретного метода управления цепями поставок, разработанного в Google. Очевидно, оно будет считаться очень актуальным, потому что Google - очень известное имя. Однако успех Google не имеет ничего общего с цепями поставок. Google является фантастически успешной компанией, но ее успех не происходит от ее практик в области цепей поставок. Если мы посмотрим на такое исследование случая, оно будет иметь большой вес, и я бы сказал, что немалый вес, исключительно из-за бренда Google. Просто потому, что Google нанял множество высококвалифицированных инженеров и переопределил передовые методы программной инженерии во многих областях, нет никакой причины полагать, что это автоматически перенесется на все, что они делают, особенно если это что-то, что является для них вспомогательной функцией, например, цепи поставок.

Это интересно, потому что если я вернусь к книге Клода Бернара “Введение в изучение экспериментальной медицины”, первое, что Клод Бернар представляет, это отвержение авторитета как неотъемлемой части научного метода. В середине 20-го века он сказал, что самая большая проблема с медициной того времени заключалась в том, что она в основном была вопросом авторитета. Люди верили в то, что что-то является истиной только потому, что за этой теорией стояло большое имя или кто-то, кто имел большой авторитет в обществе. Это неправильно. Радикальная позиция Клода Бернара заключается в том, что в научном плане мы должны отвергнуть все авторитеты, кроме тех, которые получены непосредственно через эксперименты. Источником авторитета, и на самом деле единственным источником авторитета в терминах научной истины, должен быть эксперимент или, другими словами, сама реальность.

Когда мы начинаем изучать исследования случаев, у нас возникают проблемы с авторитетом повсюду. Чтобы подчеркнуть этот момент, я перечисляю четыре замечательные компании. Все эти компании широко признаны, имеют огромный успех и столкнулись с абсолютно эпическими неудачами в своих цепях поставок в своей истории. Эти неудачи были вызваны безумной комбинацией высокомерия, жадности, праздности, невежества и различных других проблем. Несколько примеров: Nike в 2004 году потеряла 400 миллионов долларов в заблужденной попытке улучшить свою цепь поставок с помощью поставщика программного обеспечения. Lidl в 2018 году потеряла 500 миллионов евро с другим поставщиком цепей поставок с большим именем. Я считаю, что эти цифры являются только малой частью фактической стоимости для этих компаний, так как финансовые потери были только одним аспектом этих эпических неудач. Управление было отвлечено на многие годы, а в случае Lidl - почти десять лет. Стоимость упущенной выгоды от этих неудач абсолютно гигантская.

Я не говорю, что эти компании не делают некоторые вещи очень правильно. Они действительно замечательны и пережили эпические неудачи в своих цепях поставок, что доказывает, что они делали вещи таким образом, что были очень замечательными; в противном случае они бы обанкротились. Однако, я хочу подчеркнуть, что это не означает, что потому, что у компании хорошее имя, хорошая репутация и она фантастически успешна, мы можем сделать какие-либо выводы о качестве ее практик в области цепей поставок. Это моя основная критика, и, как и говорил Клод Бернар, мы должны фундаментально отвергнуть все те механизмы, которые полагаются на авторитет. Мы должны сделать это также в области исследований цепей поставок.

Слайд 7

Однако у нас есть еще одна серия проблем, и это табу. Если я посмотрю на опубликованные исследования случаев, просто по ощущениям, без фактической статистики, я бы сказал, что 99% исследований случаев являются положительными. Они показывают проблему, устаревшее решение, новое решение, и новое решение приносит положительный результат. Однако я обсуждал этот вопрос с директорами цепей поставок более десяти лет, более чем с 100 из них, и мое восприятие заключается в том, что подавляющее большинство инициатив в области цепей поставок терпят неудачу. Обычно неудачи не такие эпические, как те, о которых я упоминал ранее, но они повсюду, и подавляющее большинство этих инициатив терпят неудачу. Это не слишком удивительно - если бы одна компания смогла систематически и безошибочно улучшать свою цепь поставок и применять этот метод снова и снова в течение десятилетия, эта компания бы раздавила конкуренцию, подобно истории Amazon. Но я отвлекся.

Вернемся к идее табу, я считаю, что у нас есть явное расхождение между подавляющей положительностью исследований случаев и подавляющей отрицательностью реального опыта в области цепей поставок. Это можно просто объяснить тем, что неудача, в значительной степени, является табу. Есть фантастическая статья под названием “Последние дни Target” Джо Кастальдо, опубликованная в 2016 году, о Target Canada. Target, североамериканская розничная сеть, попыталась войти на канадский рынок, вложила более 5 миллиардов долларов в этот проект, и все пошло наперекосяк. Они прекратили свою деятельность с огромными потерями, и в основе проблемы лежали серия серьезных проблем в цепи поставок. По сути, это была длинная серия массовых ошибок в цепи поставок.

Забавно то, что Джо Кастальдо отлично описывает проблему с журналистской точки зрения. Это не ставит кого-либо в хороший свет. История показывает дикое сочетание высокомерия, гордыни, глупости, невежества и мечтательности. Вы видите высокооплачиваемых руководителей, принимающих серию абсолютно глупых решений, поощряемых поставщиком, который не имеет ни малейшего понятия о том, что они делают в области аналитики цепей поставок. Все взрывается в довольно зрелищной манере. Для публикации такой истории требуется столько мужества. Я не знаю Джо Кастальдо лично, но я был бы напуган идеей публикации такой истории, потому что юристы Target и поставщика программного обеспечения, имя которого я даже не могу произнести, вероятно, подали бы в суд на любого, кто расскажет эту историю, потому что она настолько мрачная. У нас есть проблема - есть много вещей, которые буквально нельзя рассказывать из-за табу. Я считаю, что это объясняет массовую предвзятость в исследованиях случаев, которые склонны отражать только положительные результаты, что приводит к значительному выживаемому предвзятости. Является ли это новой проблемой? Абсолютно нет.

Если мы посмотрим на книгу Клода Бернара, известного ученого, он стал знаменитым благодаря широкому использованию вивисекции, вскрытия живых животных. В своей книге он утверждает, что метод отвратителен, жесток, груб и груб, но он также утверждает, что он необходим для современной медицины. Он не только был прав в свое время со своими открытиями, но и спустя сто пятьдесят лет нет сомнений в том, что вивисекции были фундаментальными для достижения прогресса, которым мы наслаждаемся в современной медицине сегодня.

Наука не заключается в том, что делает нас хорошо или комфортно. Часто хорошая наука рассматривает вещи, которые заставляют нас чувствовать себя наиболее неудобно. Интуитивно это можно понять, потому что мы не боимся смотреть на области, где нам комфортно. Наша интуиция, вероятно, будет довольно хорошей в этих областях. Однако в тех областях, которые кажутся неправильными, где у нас есть инстинкт отталкивания, мы не будем инстинктивно смотреть. Вот почему нам нужна такая вещь, как научный метод, чтобы помочь нам более внимательно, беспристрастно смотреть на реальность, которая не полностью загрязнена предубеждениями.

Чтобы закончить разговор о табу, исследования случаев часто берут проблему с неправильного конца. Они идут по пути склонности видеть положительные результаты и устранять плохие. Но это даже не конец истории.

Слайд 8

Можем ли мы иметь веские основания полагать, что люди, участвующие в исследованиях случаев, имеют склонность преувеличивать результаты? Мое предложение - да, абсолютно. Несложно понять, почему.

Если вы являетесь руководителем и участвуете в исследовании случая, которое утверждает, что вы смогли достичь ошеломляющего успеха, сэкономив миллионы долларов для компании, это выглядит очень хорошо в вашем резюме. Это повысит ваши шансы на получение более высокой должности как внутри той же компании, так и в другой компании. Каждый, кто работал в крупной компании, знает, что здесь не только дело в том, чтобы делать великую службу компании. Если вы хотите продвигаться в крупной компании, вам необходимо не только выполнять великую службу для компании, но и делать людей осведомленными о ваших достижениях. У тех, кто участвует в исследованиях случаев, есть огромный конфликт интересов, так как они сами придумывают цифры, которые обосновывают прибыль. Редко можно определить прибыль, полученную новым методом, технологией или процессом, просто посмотрев на бухгалтерские книги. Обычно это намного более косвенно; вам нужно переработать цифры, представить преимущества таким образом, чтобы они имели смысл, и сделать множество предположений. Это может быть довольно субъективным, и когда у людей есть значительный конфликт интересов, мы точно знаем, что это исказит результаты. Этот конфликт интересов может привести к преувеличению положительных результатов.

Слайд 9

Чтобы решить эту проблему, некоторые могут привлечь нейтральную третью сторону, чтобы дать объективное мнение и обеспечить справедливость. Существуют два основных типа нейтральных третьих сторон: исследовательские фирмы и академические исследователи. Однако я считаю, что эти стороны вовсе не являются нейтральными.

Исследовательские фирмы занимаются изучением рынка, оценкой относительных преимуществ и недостатков решений и продажей результатов своих исследований в виде отчетов компаниям, ищущим решения. Эти компании могут купить отчет и получить беспристрастное представление о рынке, предоставленное экспертами, что позволяет им выбрать лучшего поставщика. На самом деле, крупные исследовательские фирмы, о которых я знаю, не зарабатывают деньги на продаже отчетов; основная часть их дохода идет от консалтинговых и коучинговых услуг, которые они продают поставщикам решений. Это ставит эти фирмы в положение, когда они хотят делать то, что лучше всего для своих клиентов, которые не являются компаниями, ищущими решения, а скорее техническими поставщиками, которые платят за консалтинговые услуги.

Оказывается, что эта предположительно нейтральная третья сторона на самом деле находится в сильном конфликте интересов и может усугубить проблему, добавив свой собственный уровень предвзятости к уже существующим предубеждениям. Когда речь идет об академических исследователях, у них есть множество собственных противоречивых интересов. Принцип “опубликовать или погибнуть” очень реален в академическом мире, и негативные исследования случаев, особенно те, с которыми вы, вероятно, столкнетесь в сфере поставок, не являются катастрофами эпического масштаба, а скорее небольшими, разочаровывающими неудачами. Для академического исследователя очень важно показать положительные результаты, потому что они легче публикуются.

Некоторые могут возразить, что публикация фальшивых результатов может разрушить карьеру академического исследователя, но когда дело доходит до исследований случаев в сфере поставок, исследователи могут быть уверены, что никто не опровергнет их результаты. Проведение экспериментов в сфере поставок крайне сложно, и еще сложнее опровергнуть что-либо, что оказалось ложным и было опубликовано. Будет практически невозможно доказать, что исследование случая из прошлого было неверным или что результаты были сильно преувеличены. Это не значит, что исследователи нечестны, но у них есть явный конфликт интересов, и наблюдатель не может отличить честных исследователей от нечестных. Как правило, когда третья сторона участвует в исследовании случая, оно обычно еще более предвзято, чем если бы третьей стороны не было, что довольно удивительно.

Слайд 10

Итак, чтобы закончить эту серию о исследованиях случаев, давайте внимательно посмотрим на поставщиков. Люди часто считают, что поставщики не должны лгать, но это не совсем верно. Существует понятие, известное как “dolus bonus” или “хорошая ложь”, введенное древними римлянами давным-давно.

Чтобы понять это понятие, рассмотрим торговца на рынке, продающего яйца и делающего невероятное заявление, что яйцо, которое вы когда-либо съедите, будет лучшим, и оно сделает вас счастливым на целый месяц. Очевидно, что это заявление абсолютно невозможно. Римляне задали вопрос: должны ли мы что-то предпринять в отношении этого лживого торговца? Следует ли посадить его в тюрьму или оштрафовать? Ответ был отрицательным; это абсолютно нормально. Концепция “dolus bonus” предполагает, что если вы торговец, то лгать о том, что вы продаете, - это просто часть вашей природы. Хотя есть ограничения, закон признает, что поставщики будут делать то, что они делают, и вам не следует винить их за попытку представить свои продукты в выгодном свете, даже если это абсурдно. Вот как работает рынок.

Даже если поставщики не осведомлены о юридических тонкостях, они интуитивно знают это, и поэтому существует склонность создавать исследования случаев, которые требуют денег и времени, по сути служащие сложными информационными роликами. Хотя реклама выполняет свою функцию в обществе, вера в то, что глорифицированная реклама может быть средством передачи знаний, ошибочна. По своей природе исследования случаев не могут быть использованы для этой цели.

Слайд 11

Итак, если мы устраняем исследования случаев, так как они полностью недействительны, что у нас остается? Нам нужно найти альтернативный метод, который не страдает от тех же проблем. Вот где на сцену выходят повествования о цепочке поставок. Целью повествования о цепочке поставок является описание проблем, чтобы знания могли быть разделены между практикующими исследователями и специалистами по цепочке поставок, сосредоточиваясь на проблемах и том, что мы пытаемся решить.

Слайд 12

Чтобы начать, давайте обсудим очень интересную книгу, роман под названием “Проект Феникс”. Хотя он может не являться вехой науки, это интересное чтение о вымышленной компании, рассказанное глазами директора по информационным технологиям. Большинство событий в истории связаны с рядом проблем цепочки поставок и корпоративного программного обеспечения, которые тесно переплетены. История рассказывает о трудностях, с которыми сталкивается компания, и о том, что люди делают, чтобы решить эти проблемы. Удивительно то, что это произведение полной вымышленной литературы глубоко резонирует с многими, кто его читает, даже больше, чем большинство исследований случаев, за исключением, пожалуй, отрицательных, таких как те, которые создает Джо Кастелло.

Этот видимый парадокс может вовсе не быть парадоксом, если мы рассмотрим первый шаг, сделанный авторами. Они решили, что история будет о вымышленной компании, что убрало все проблемы, связанные с именем и авторитетом, который сопутствует исследованию случая, связанному с хорошо идентифицированной компанией. Создавая произведение вымышленной литературы, они устраняют привлекательность авторитета, которая была бы связана с реальной компанией.

Во-вторых, с точки зрения табу, вымышленная компания позволила авторам исследовать множество интересных аспектов истории. Большинство персонажей имеют свои ограничения, они неполноценны, борются, иногда делают глупые ошибки, а иногда действуют в своих интересах до такой степени, что реально вредят компании. Они могут быть очень жадными способами, которые полностью противоречат интересам компании. Вы можете видеть, как некоторые персонажи лгут своим коллегам. В исследовании случая было бы невозможно написать эту историю, потому что это привело бы к долгой серии судебных разбирательств, если бы она была с реальными людьми.

Однако можно ли сказать, что этот роман является научным произведением? Нет, и по простой причине: роман является адвокацией DevOps, философии подхода к разработке и поддержке корпоративного программного обеспечения. Авторы рассказывают историю набора персонажей в их вымышленной компании, сталкивающихся с огромными трудностями и постепенно преодолевающих проблемы, с которыми они сталкиваются, пока не открывают для себя основные принципы философии DevOps. Эта книга имеет очень явную цель, и авторы не скрывают этого; они выступают в защиту DevOps.

Моя основная критика заключается в том, что у нас есть та же проблема, что и с исследованиями случаев: полный конфликт интересов. Авторы являются консультантами, которые продают консультационные услуги по внедрению практик DevOps в компаниях. То, что в истории все может быть решено достоверным образом и что есть счастливый конец, где компания в конечном итоге получает огромные прибыли благодаря этой методологии, далеко от объективности.

Слайд 13

Идея повествования о цепочке поставок заключается в том, что мы хотим начать с вымышленной компании, но сосредоточиться исключительно на проблемах. Мы хотим решить проблему, создав вымышленную компанию, чтобы у нас не было проблемы с авторитетом и табу. Однако мы не хотим включать описание решений в нашу историю, так как это приведет к длинной серии конфликтов интересов. Мы хотим сосредоточиться исключительно на проблемной стороне вещей и отложить в сторону сторону решения.

Могут быть некоторые скромные исключения из этого правила, потому что иногда, чтобы обосновать, что данная проблема является актуальной, вам нужно дать интуицию решения. Если вы не даете интуицию решения, проблема кажется просто неразрешимой. Чтобы избежать возражений о том, что некоторые проблемы невозможно решить и, следовательно, они неинтересны, нам может потребоваться представить намек на существование хотя бы одного решения. Мы не утверждаем, что это хорошее решение, просто что решение существует.

Цель повествования о цепочке поставок - внедрить реальность и опыт реального мира в область управления цепочками поставок. Мы хотим, чтобы этот формат был правильным средством для передачи знаний коллегам-практикам и исследователям в области цепочек поставок, а также помогал нам размышлять о цепочках поставок самих по себе, что является довольно большим вызовом из-за их сложности. Чтобы все это было понятно и правдоподобно, нам нужна предыстория и контекст. Мы хотим увеличить значимость проблем, представленных в повествовании.

Слайд 14

Однако, если мы придумаем вымышленную компанию и перечислим все проблемы, которые влияют на цепочки поставок, можем ли мы просто назвать это наукой? Абсолютно нет.

Проблема заключается в том, что нам нужно сделать очень легким отклонение от валидности повествования. В случае исследования случая очень легко придумать одно, но невероятно сложно опровергнуть или отклонить его валидность. С помощью конструкции повествования в качестве метода мы хотим изменить эту проблему. Мы хотим создать нечто, что крайне сложно создать, но относительно просто отклонить.

Первый критерий - резонанс. Если у нас есть повествование о конкретном архетипе компании в конкретной отрасли, и мы говорим с директорами цепочек поставок этой отрасли, согласятся ли они с тем, что это повествование резонирует с видами проблем, с которыми они сталкиваются? Хотя это может показаться очень субъективным, я не считаю, что это настолько субъективно. Если мы посмотрим на книгу “Проект Феникс”, практически каждый из моих коллег, кто ее прочитал, считает, что она резонирует с их опытом в различных компаниях. Мы не сосредотачиваемся на решении, а только на определении проблемы. Даже если могут возникать разногласия в отношении того, что делать с проблемой, обычно существует сильное согласие относительно проблем, которые находятся на столе. Это не обязательно так субъективно, как кажется, хотя есть неразрешимая степень субъективности.

Еще одним фактором является полнота. Если вы можете выбрать компанию, которая, предположительно, будет хорошим соответствием для этой персоны, и показать, что у этой компании есть важные проблемы, которые даже не перечислены в персоне, то бремя отклонения очень легкое. Вам просто нужно представить одну компанию, одну проблему и сказать: “Это причина отклонения персоны”. Это не требует месяцев работы, только немного обратной связи и добросовестного описания важной проблемы.

Хорошая персона также должна рисковать в отношении чисел, и под числами я не имею в виду точные числа, а порядки величины. Нам нужно уточнить, говорим ли мы о компании, которая пытается работать с 100 SKU или 100 миллионами SKU. Нам нужно указать характерные размеры и порядки величины, которые характеризуют компанию. Если вы найдете компанию, которая не соответствует заданным порядкам величины, это может означать, что мы неправильно сформулировали персону.

Последний пункт более тонкий, но также очень важный: наличие решений на рынке. В зависимости от решения, которое существует или не существует на рынке, это может быть использовано для отклонения действительности персоны. Если у нас есть решение, которое полностью упрощает проблему или предлагает окончательное решение, так что то, что раньше было проблемой, становится непроблемой, то это причина отклонения персоны, по крайней мере, в ее текущей форме.

Чтобы дать вам более конкретный пример, если мы возьмем крупную компанию, которая работает с десятками тысяч SKU на складе в 1950 году, персона этой компании могла бы перечислить поддержание правильного уровня запасов как основную проблему. В то время уровень запасов должен был поддерживаться вручную с помощью небольшой армии клерков, которые обновляли реестры. Поддержание точных записей о товарных запасах со временем было на самом деле огромной проблемой. Но промотайте 70 лет вперед до настоящего времени, и мы все еще можем считать это проблемой? Совсем нет. С помощью штрих-кодов и программного обеспечения для управления запасами, поддержание точных уровней запасов на складе является практически полностью решенной проблемой. Это не заслуживает включения в персону, потому что существует множество решений, и практически нет неопределенности относительно типа необходимого решения.

Slide 15

Я представляю дуализм проблемы и решения, и реальность в том, что может быть удивительно сложно провести четкую границу между проблемами и решениями. Трудно думать о проблеме, если вы не можете представить себе решение сначала, и наоборот. Одной из причин сложности в понимании проблем является скрытая идеология, которая проникает в общество. У нас есть ценности, которые просто являются частью нашего общества, и мы живем с ними, даже не воспринимая их. Эти ценности могут оказывать огромное влияние на то, как мы смотрим на проблемы и решаем, являются ли они актуальными или нет.

Чтобы проиллюстрировать это, я хотел бы привести пример случайности. Случайность была связана со стигмой азартных игр, которые считались неправильными. В “Введении в изучение экспериментальной медицины” Клода Бернара Бернар яро против присутствия случайности в области науки. Он говорит, что если эксперимент не является абсолютно детерминированным, это обычно является сильным признаком плохой науки или, в лучшем случае, неполной науки.

Промотайте 70 лет вперед, и мы видим, что Альберт Эйнштейн внес огромный вклад в область квантовой механики, и он был очень противоречив в отношении некоторых ее аспектов, особенно недетерминизма или случайности, которая, казалось, является фундаментальным свойством вселенной. Эйнштейн неоднократно признавал, что квантовая физика, вероятно, не является неправильной, потому что ее рабочие свойства были отличными. Однако он считал, что недетерминизм указывает на то, что квантовая физика неполна и не является конечным продуктом того, чем должна быть физика. Это заняло много десятилетий, но в наше время воспринимается, что недетерминизм действительно является фундаментальным свойством вселенной, и избежать его невозможно.

Моя гипотеза состоит в том, что стигма азартных игр, связанная с случайностью, сохранялась на протяжении веков и даже оказала влияние на настоящее время. Десять лет назад в компании Lokad мы решили продвигать идею вероятностного прогнозирования, принимая случайность вместо ее отвержения. Это заставило нас полностью переопределить проблему, и нас встретили скептицизм и даже более яркие реакции. Некоторые сомневались в актуальности случайности для решения своих проблем.

С моей точки зрения, изучение структуры самой случайности представляет большой интерес. Однако у нас могут быть предвзятые идеи, которые мешают нам понять определенные вопросы. Еще одной проблемой является отвлечение, которое может возникнуть, когда появляется отличное решение для сложной проблемы. Становится сложно думать о абстрактной проблеме, так как мы склонны рефлексивно определять ее с учетом решения.

Историческим примером этого является разработка летательных аппаратов в 19 веке. Легче воздуха аппараты, такие как воздушные шары, были открыты и использовались для совершения потрясающих открытий. Успех этих аппаратов отвлекал соответствующие сообщества от рассмотрения альтернативных аппаратов тяжелее воздуха. Потребовалось десятилетия, чтобы соответствующие сообщества исследовали альтернативы, и я считаю, что часть проблемы заключалась в том, что наличие потрясающего решения, например, построение летательного аппарата, сильно отвлекало.

Slide 16

Еще одной проблемой, с которой мы сталкиваемся при изучении проблем и ситуаций, является то, что проблема непредставима. Это такой вид проблемы, которую вы даже не можете представить, несмотря на то, что она является реальной.

Чтобы проиллюстрировать эту идею, я хотел бы ссылаться на фантастическую статью, опубликованную в 2018 году исследовательской группой в Facebook о машинном переводе. Машинный перевод предполагает взятие текста на одном языке и использование машины для создания перевода на другой язык. Это направление исследований существует уже около 70 лет. Первые автоматические переводчики были крайне наивными и просто использовали словари для замены слов на одном языке соответствующими словами на другом языке. Этот подход приводил к переводам низкого качества.

С течением времени развивались различные методы, и большинство из них имели одну общую черту: использование двуязычных корпусов. Идея заключалась в использовании наборов данных, содержащих фразы на двух языках, для обучения автоматической системы перевода. Потрясающим результатом, достигнутым исследовательской группой Facebook, было создание системы перевода без какого-либо явного набора данных для перевода. Они использовали обширный набор текстов на французском языке и отдельный, несвязанный набор текстов на английском языке, а затем создали систему машинного перевода, которая могла переводить с французского на английский язык, даже не получая каких-либо примеров. Этот результат противоречит традиционному подходу к автоматическому переводу и требовал наличия фактического решения, прежде чем люди могли даже переосмыслить, как им следует подходить к проблеме.

Slide 17

Более скромным, но актуальным примером из нашей работы в компании Lokad является автомобильный рынок послепродажного обслуживания. В этой области проблемой является поиск правильной автозапчасти с правильной механической совместимостью для конкретного автомобиля. На европейском рынке, например, существует более 1 миллиона различных автозапчастей и более 100 000 различных автомобилей. Когда вы идете в гараж и вам нужно заменить деталь, сотрудник магазина должен обратиться к какому-то сервису, чтобы определить, какая деталь подходит для вашего автомобиля. Оказывается, что весь список совместимостей деталей и автомобилей, который я называю ребрами, соединяющими детали и автомобили, имеет порядок около 100 миллионов совместимостей. На этом рынке есть несколько сильно специализированных компаний, которые поддерживают этот набор данных для европейского рынка. Они продает доступ к этому набору данных практически каждой компании, работающей в отрасли послепродажного обслуживания автомобилей, так или иначе.

Проблема заключается в том, что этот набор данных огромен, с 100 миллионами совместимостей, и в нем много ошибок. Исходя из различных источников, я оцениваю, что в Европе есть несколько наборов данных, и большинство из них имеют ошибку около 3%. Ошибки могут быть как ложными положительными, когда объявляется совместимость, которой на самом деле нет, так и ложными отрицательными, когда совместимость существует, но не правильно записана в системе. Эти ошибки создают постоянные проблемы для всех компаний, работающих в сфере послепродажного обслуживания.

Когда требуется выполнить ремонт, а клиент спешит, автомобиль больше не движется. Они заказывают деталь, деталь приходит вовремя, но затем люди понимают, что деталь несовместима. Деталь должна вернуться, заказывается другая деталь, и происходят дополнительные дни задержек и разочарования клиентов. Итак, это проблема, но что мы можем с этим сделать? Компании, которые уже вручную поддерживают эти наборы данных, уже используют небольшие армии клерков, чтобы поддерживать их в актуальном состоянии. Они постоянно исправляют ошибки, но также постоянно добавляют новые детали и новые автомобили. На протяжении десятилетий набор данных незначительно растет, ошибки исправляются, новые ошибки вводятся, и ошибка в 3% остается примерно постоянной. Она не улучшается со временем.

Система уже достигла равновесия, и компании в сфере послепродажного обслуживания автомобилей, возможно, не будут готовы платить в десять раз больше, чтобы компании, поддерживающие наборы данных, нанимали в десять раз больше клерков для исправления оставшихся ошибок. Уменьшающаяся отдача и ошибки, которые еще не были обнаружены, вероятно, очень сложно исправить.

В Lokad мы разработали алгоритм, который обнаруживает как ложные положительные, так и ложные отрицательные результаты и может автоматически исправить около 90% этих проблем. Красота этого алгоритма заключается в том, что он использует только исходный набор данных. Это может показаться странным, но мы можем использовать этот самый набор данных, чтобы узнать ошибки внутри набора данных, и именно это мы сделали. Кстати, я подробно расскажу об этих методиках в одной из последующих лекций. Вы можете проверить план онлайн; расписание лекций доступно на веб-сайте Lokad. Таким образом, это еще один пример того, что до тех пор, пока у вас нет решения, очень трудно подумать, что вообще есть проблема.

Slide 18

В рамках моего намерения я буду проводить небольшую серию лекций о персонажах, которые характеризуют архетипы, с которыми мы сталкивались в Lokad. Я постараюсь суммировать своё видение проблемы, синтезируя все опыты, которые я накопил своим собственным опытом и опытом моих коллег в Lokad. Опять же, вы можете проверить, что я не буду представлять всех этих персонажей последовательно, потому что это, вероятно, будет очень утомительно для аудитории и, возможно, немного утомительно для меня. Так что я намереваюсь представить одного персонажа, вероятно, через две недели, а затем перейти к другим интересным аспектам.

Slide 19

В заключение сегодня мы задали некоторые очень важные вопросы о цепях поставок как области исследования, и я надеюсь, что смог представить некоторые очень многообещающие ответы, возможно, не доказанные, но по крайней мере предоставить некоторые многообещающие ответы на эти вопросы. Я также понимаю, что, вероятно, среди кругов людей, которые провели большую часть своей профессиональной жизни, создавая кейс-стади, я, вероятно, не завоевал сегодня новых друзей, и я действительно надеюсь не оказаться похожим на парня на иллюстрации. Это было бы довольно ужасно, но, опять же, ставки довольно высоки. Мы хотим установить и поднять цепь поставок как область исследования до науки, чтобы у нас было нечто очень капиталистическое, агрессивное, и где мы можем ожидать достижения улучшений надежными и контролируемыми способами.

Slide 20

Итак, на сегодня все. Сейчас я посмотрю на вопросы.

Вопрос: Я не понял концепцию полноты для персонажей. Можете разъяснить?

Хорошо, полнота означает, что из-за системных эффектов описание вызовов и проблем цепи поставок должно быть полным. Цепи поставок включают в себя долгий ряд компромиссов, поэтому, если вы пропустите одну из действующих сил, вы, возможно, не будете правильно рассуждать о проблеме с самого начала. Например, вы не можете правильно рассуждать о том, какой оптимальный уровень запасов, если вы игнорируете проблему ограниченного предложения оборотного капитала. Полнота означает перечисление всех вещей, которые являются очень важными, и если мы не являемся полными в перечислении всех существенных проблем, это, вероятно, означает, что это не очень хороший персонаж, так как некоторые вещи могли быть упущены, и это может серьезно подвергнуть опасности любое рассуждение, основанное на этом персонаже.

Вопрос: Неправильный тип решений в цепях поставок распространен, и есть много практиков цепей поставок, которые знают, что они сломаны по своей сути. Как мы можем помочь им отказаться и перейти к приближенно правильным типам решений и принять неопределенность?

Во-первых, я думаю, что основная проблема заключается в том, что цепь поставок как область исследования все еще находится в своем донаучном детстве, и существует широкое скептическое отношение к достоверности практически всего, что публикуется. Убедить людей очень сложно. Я думаю, что первый шаг - убедить людей в том, что цепь поставок подходит для научного метода. Это будет значительный первый шаг, потому что это не вопрос мнения или идеологии; здесь потенциально есть конечная цель, где у нас есть объективность и знания с хорошими качествами. Мы можем иметь прочные основы для понимания проблем и применения правильных решений. Первый шаг, и это то, что я пытаюсь сделать через эти лекции, - это просветить широкую общественность о том, что цепь поставок - это не просто практика или искусство, но это может быть наукой.

Клод Бернар, считавшийся одним из отцов современной медицины, столкнулся с множеством возражений в свое время. Его сталкивали с врачами, которые утверждали, что у них уже есть наука и что из его методов нечего учиться. Они предлагали ему просто придерживаться своих теорий и не проводить свои эксперименты. Самой большой битвой, которую Бернарду пришлось вести, была сама идея о том, что медицина подходит для изучения научным методом. Аналогично я подозреваю, что большая часть того, что публикуется, даже среди академических кругов, о цепи поставок не является научным. Я считаю, что сегодня я продемонстрировал, что значительная часть литературы, таких как кейс-стади, не является научной. В следующей лекции мы увидим, что нужно сделать с другой половиной литературы, которая остается, и это не очень обнадеживает.

Что касается вашего вопроса о неопределенности, мой первый шаг заключается в том, чтобы убедить людей в том, что неопределенность нередуцируема и что им придется иметь дело с ней как с огромной проблемой в своей повседневной жизни. Можем ли мы согласиться с тем, что нет никакой надежды на то, что мы сможем идеально предсказать, что люди собираются купить? Чтобы идеально предсказать действия человека в магазине, вам нужно идеально воспроизвести всю его интеллектуальную деятельность. Алгоритм, который мог бы предсказать каждое движение человека, фундаментально был бы таким же умным, как идеальное воспроизведение человеческого интеллекта, что кажется чрезвычайно неразумным. Альтернативное предложение, что неопределенность нередуцируема в значительной степени, кажется гораздо более разумным предложением. Самая большая проблема заключается в том, чтобы перенести дискуссию в место, где мы рассуждаем с полунаучной точки зрения, а не полагаемся на практики, интуицию и авторитетные заявления.

Вопрос: Каковы ваши мысли о дизайн-мышлении?

Я не слишком уверен в конкретном вопросе здесь, но то, что я пытаюсь сделать, - это установить связь между цепью поставок и реальным миром. Если у нас есть эксперименты цепи поставок, которые соответствуют тому, что делается во многих других экспериментальных науках, мы можем связать цепь поставок с реальным миром удовлетворительным образом. Я представил один метод сегодня, персонаж, и, вероятно, есть еще много других методов. Я не придерживаюсь никакого конкретного способа мышления; меня больше интересует метод производства знаний, а не способ мышления людей.

В этом отношении я очень согласен с идеями, которые представляет Клод Бернар. Исходная искра знания, эмоция, интуиция - это фундаментально нечто, что совсем не научно. Это находится в сфере эмоций, а не разума. Я не думаю, что вы можете по-настоящему рационализировать эту часть, и даже если бы вы могли, я бы очень подозревал, что тот же метод подошел бы всем. Но я отвлекся.

Я думаю, что мы пока закончили с вопросами. Увидимся через две недели в тот же день и время. Мы будем исследовать персону по имени Париж для компании быстрой моды, работающей в розничной сети. Увидимся тогда.

Ссылки

  • Введение в изучение экспериментальной медицины, Клод Бернар, 1865
  • Проект Феникс: Роман о IT, DevOps и помощи вашему бизнесу победить, Джин Ким, Кевин Бер, Джордж Спаффорд, 2013
  • Неконтролируемый машинный перевод с использованием только монолингвальных корпусов, Гийом Лампл, Алексис Конно, Людовик Денуар, Марк’Аурелио Ранзато, 2018