00:00:43 Введение Пьера Пинсона
00:01:25 Предыстория Пьера Пинсона и его работа в области инженерного проектирования, ориентированного на данные, и прогнозирования.
00:02:20 Как Пьер занялся вероятностным прогнозированием и его применением в энергетике, логистике и бизнес-аналитике.
00:04:17 Оценка качества прогноза, его важность для принятия решений и связь с ценностью прогноза.
00:07:41 Первоначальные реакции на вероятностное прогнозирование.
00:08:27 Проблема чрезмерной уверенности.
00:10:00 Критика статистики и вероятностей Клодом Бернаром.
00:13:00 Детерминизм против стохастического поведения в мире.
00:14:37 Объединение метеорологии и бизнеса с помощью вероятностного прогнозирования.
00:15:11 Важность прогнозирования погоды и его культурные аспекты.
00:16:46 Объяснение вероятностей и понимание прогнозов.
00:18:58 Проблемы избыточной информации и принятия решений.
00:20:31 Преобразование вероятностей в оценку рисков.
00:22:14 Баланс между автоматическим принятием решений и доверием пользователей.
00:23:36 Значение метеорологических прогнозов в бизнесе и логистике.
00:25:01 Прогнозы ветра и их значение в энергетическом секторе.
00:26:00 Использование данных о погоде при прогнозировании спроса на электроэнергию и в ситуациях с цепочками поставок.
00:30:25 Различия в применении вероятностного прогнозирования в метеорологии и логистике.
00:32:46 Обсуждение проблем интерпретации сложных вероятностных прогнозов для клиентов.
00:33:32 Вопросы затрат на облачные вычисления и хранение больших объемов данных.
00:35:02 Использование двумерных гистограмм и их влияние на память и затраты.
00:37:19 Обучение вероятностному прогнозированию и проблемы, с которыми сталкиваются студенты.
00:40:00 Упрощение вероятностного прогнозирования и понимание верификации моделей.
00:42:40 Неэффективность в процессах и методах транспорта.
00:43:57 Задача устранения неопределенностей в цепочках поставок.
00:45:20 Стоимость устранения неопределенностей и ее влияние на различные отрасли.
00:47:00 Эволюция прогнозирования и переход от прикладной математики к экономике.
00:50:53 Схождение различных областей в прогнозировании и принятии решений в условиях неопределенности.
00:52:30 Адаптация объяснения вероятностного прогнозирования для людей с разным опытом.
00:53:21 Применение вероятностного прогнозирования в различных бизнес-средах и его преимущества.
00:55:53 Привлекательность визуально интересных вероятностных прогнозов и истории о нарушении авторских прав.
00:58:03 Ограничения круговых диаграмм в передаче информации и их использование на этапах предпродажи.
01:00:01 Принятие неопределенности в профессиональной карьере и понимание вероятностной перспективы.
01:02:23 Междисциплинарный подход и неопределенность в различных отраслях.
01:04:27 Важность образования и влияние новых поколений на отрасль.
01:07:00 Кривая принятия вероятностного прогнозирования в различных областях.
01:08:33 Взгляд Йоаннеса Вермореля на столетнюю перспективу принятия неопределенности.
01:10:37 Проблемы внедрения новых идей и медленный темп изменений в некоторых областях.
01:12:14 Важность математики в технологиях прогнозирования.
01:13:26 Будущие достижения в науке и технологиях прогнозирования.
Краткое содержание
В интервью с Конором Дохерти, Йоаннесом Верморелем, основателем Lokad, и Пьером Пинсоном, заведующим кафедрой инженерного проектирования, ориентированного на данные, в Имперском колледже Лондона, обсуждают вероятностное прогнозирование и его применение в различных областях. Они подчеркивают важность понимания неопределенности в прогнозировании и необходимость постоянного образования в этой сфере. Все трое соглашаются, что инновации происходят быстрее, чем люди успевают их принять, и призывают следить за новыми разработками в этой области и быть готовыми к грядущим достижениям.
Расширенное содержание
В этом интервью ведущий Конор Дохерти обсуждает вероятностное прогнозирование с гостями: Йоаннесом Верморелем, основателем Lokad, и Пьером Пинсоном, заведующим кафедрой инженерного проектирования, ориентированного на данные, в Имперском колледже Лондона. Пинсон имеет обширный опыт в инженерном проектировании, ориентированном на данные, и сосредоточился на различных областях применения, включая энергетику и логистику. В свою очередь, Верморель подходил к вероятностному прогнозированию с точки зрения управления цепями поставок.
Первоначально Пинсон интересовался погодой и возобновляемой энергией, и ему предложили кандидатскую диссертацию по прогнозированию для ветряных электростанций. Он подчеркивает важность понимания неопределенности прогноза и возможного диапазона исходов. Путь Вермореля к вероятностному прогнозированию начался с осознания, что многие прогнозы для цепочек поставок в основном равны нулю. Он выяснил, что, хотя всё возможно, не всё имеет одинаковую вероятность, и понимание структуры неточностей прогнозов может быть ценным.
В метеорологии для оценки качества прогноза используются различные метрики, такие как расстояние между предсказаниями и фактическими результатами, а также среднее абсолютное отклонение между ними. Однако эти метрики не всегда могут показать, является ли прогноз хорошим или плохим для конкретного применения. Верморель добавляет, что вероятностное прогнозирование может помочь сформировать обоснованное мнение о возможных исходах.
Одной из проблем, с которой сталкиваются специалисты, работающие с вероятностным прогнозированием, является убеждение других принять и поддержать идею количественной оценки неопределенности. Люди, как правило, предпочитают детерминированные прогнозы из-за когнитивных искажений, способствующих чрезмерной уверенности. Однако вероятностные прогнозы предоставляют более прозрачное и справедливое представление возможных исходов. Использование вероятностных прогнозов при принятии решений может привести к лучшим результатам, но для этого люди должны быть открыты к идее неопределенности.
Клод Бернар, французский физиолог XIX века, выступал против использования статистики и вероятностей в научных экспериментах, утверждая, что изменчивость является результатом неполного понимания или небрежной науки. Однако Пинсон считает, что, хотя детерминированные подходы могут хорошо работать для некоторых задач, мир по своей сути не является детерминированным. Вероятностное прогнозирование ценно для ситуаций с присущим стохастическим поведением и неопределенностью.
Одной из главных проблем вероятностного прогнозирования является информационная перегрузка. У людей и так уже много информации для обработки, и добавление вероятностных данных может сделать задачу понимания ситуации еще сложнее. Это особенно верно при работе с большими объемами данных, например, при прогнозировании для миллионов продуктов в цепочке поставок.
Чтобы решить эту проблему, некоторые компании прибегают к автоматизированному принятию решений или оценке рисков, чтобы помочь пользователям разобраться в вероятностных прогнозах. Преобразуя вероятностные данные в количественно измеряемые риски, пользователи могут лучше понять потенциальные последствия своих решений, не будучи подавленными сложностью данных.
В области метеорологии вероятностное прогнозирование доказало свою полезность при предсказании таких параметров, как температура, осадки, скорость ветра и солнечная радиация. Эти параметры могут оказывать значительное влияние на различные аспекты повседневной жизни и бизнеса, такие как производство и потребление энергии. В некоторых случаях использование погодных данных в прогнозировании цепочек поставок может привести к более точным предсказаниям, особенно при резких изменениях погодных условий.
Однако собеседники также признают, что интеграция погодных данных в прогнозирование цепочек поставок является сложной задачей, с немногими успешными примерами. В одном случае использование погодных данных для улучшения прогнозов спроса на электроэнергию для одного европейского поставщика позволило снизить неточности, вызванные резкими изменениями погоды.
Верморель делится своим опытом работы в Lokad, которая достигла впечатляющей точности в своих моделях прогнозирования, несмотря на их простоту. Один из приведенных им примеров — проект с продавцом мороженого, который хотел прогнозировать всплески спроса на основе погодных условий. Хотя анализ после завершения проекта успешно определил причины увеличения продаж, прогнозирование спроса оказалось более сложным из-за длинных сроков поставки, вовлеченных в цепочку поставок. Верморель подчеркивает, что, несмотря на возникшие трудности, у вероятностного прогнозирования все еще есть потенциал для успеха в различных отраслях.
Пинсон обсуждает различия между применением вероятностного прогнозирования в метеорологии и в логистике и бизнес-среде. Он объясняет, что основная проблема заключается в определении подходящего продукта прогноза, который будет использоваться в качестве входных данных для процессов принятия решений. Он отмечает, что сценарии, интервалы и квантили являются одними из возможных вариантов, но в конечном итоге все зависит от специфических потребностей клиента или заказчика.
Верморель также подчеркивает важность учета вычислительных затрат при внедрении методов вероятностного прогнозирования. По его опыту, гистограммы и плотности вероятности предоставляют наиболее детальную информацию, но могут быть вычислительно затратными, особенно при работе с данными высокой размерности. В результате, Lokad часто использует комбинацию различных методов, чтобы держать затраты под контролем и обеспечить эффективность расчетов.
Преподавая студентам вероятностное прогнозирование, Пинсон отмечает, что самой большой проблемой является не убеждение их в преимуществах концепции, а помощь в понимании практических аспектов применения этих методов в реальных условиях. Верморель добавляет, что для специалистов крайне важно найти баланс между теоретическими аспектами вероятностного прогнозирования и практическими соображениями затрат и вычислительной эффективности.
Верморель делится своими трудностями в обучении людей, которые уже получили образование от консультантов, пропагандирующих бережливое производство и устранение неопределенностей в цепочках поставок. Он считает, что некоторые неопределенности можно устранить, но другие приемлемы и должны управляться с помощью соответствующих инструментов.
Пинсон подчеркивает, что устранение неопределенности может быть дорогостоящим, и что лучше принять её и управлять ею разумно. Он приводит пример возобновляемой энергии, где разработка систем хранения для бесконечного количества энергии была бы крайне дорогой и неосуществимой. Вместо этого принятие неопределенности и прогнозирование могут оказаться более экономически эффективными и практичными.
Дискуссия переходит к историческим и культурным аспектам прогнозирования, где люди всегда пытались жить в детерминированном мире и устранять неопределенность. Они также обсуждают схождение различных областей, таких как естественные науки, социальные науки и экономика, в прогнозировании и принятии решений в условиях неопределенности.
Пинсон говорит о сложностях преподавания вероятностного прогнозирования людям с разным опытом и о необходимости сокращенной версии для тех, у кого нет глубоких математических знаний. Он предлагает начинать с простых примеров и постепенно усложнять материал, при этом подчеркивая важность понимания базовых принципов и концепций.
Верморель делится своим опытом нарушения авторских прав, когда некоторые графики его компании были повторно использованы на LinkedIn без разрешения. Однако эти привлекательные графики могут привлечь внимание потенциальных клиентов и создать впечатление, что компания обладает передовыми технологиями.
Пинсон говорит о том, что неопределенность присутствует во всех сферах нашей жизни, и о том, как важно для профессионалов в различных областях понимать и управлять ею. Образование играет ключевую роль в развитии этого понимания, так как студенты, изучающие вероятностное прогнозирование, могут применять эти навыки на рабочем месте и приносить изменения в свои компании.
Пинсон считает, что внедрение вероятностного прогнозирования будет продолжать расти в различных отраслях, поскольку все больше людей узнают о нем, и компании будут черпать вдохновение и идеи друг у друга. Он приводит в пример судоходную отрасль как сферу, которая долго не принимала вероятностное прогнозирование, но теперь ищет наставления в других областях для его внедрения в свою деятельность.
Верморель подчеркивает важность понимания неопределенности в прогнозировании, приводя в пример битву XIX века, когда потребовалось почти целое столетие, чтобы люди признали, что химия имеет отношение к медицине. Он предполагает, что инновации происходят быстрее, чем люди успевают их принять, и образование играет ключевую роль в этом процессе. Верморель также упоминает цитату Нильса Бора: “Наука продвигается похоронами”, подчеркивая мысль о том, что значительный прогресс может наступить быстро, но осознание его последствий занимает, казалось бы, вечность.
Пинсон обсуждает применение вероятностного прогнозирования в метеорологии, упоминая, что, хотя математика, лежащая в основе технологии прогнозирования, может быть не самой актуальной частью обсуждения, важно признать продолжающееся развитие прикладной математики. Он объясняет, что разработка механизмов для параллельного прогнозирования миллионов временных рядов ставит перед исследователями вызовы, однако они постоянно создают новые модели и технологии для будущего.
И Верморель, и Пинсон соглашаются с тем, что в прогнозировании и вероятностном прогнозировании еще предстоит многое улучшить, а также существует необходимость в постоянном обучении и понимании неопределенности. Они призывают следить за новыми разработками в этой области и быть готовыми к будущим достижениям.
Полная транскрипция
Конор Доэрти: С возвращением на LokadTV! Я ваш ведущий, Конор, и, как всегда, со мной основатель Lokad, Йоаннес Верморель. Сегодня к нам присоединился Пьер Пинсон, главный редактор International Journal of Forecasting и главный ученый в компании Half Space. Сегодня он расскажет нам о нескольких интересных применениях вероятностного прогнозирования. Добро пожаловать в Lokad, рад встрече.
Пьер Пинсон: Спасибо, что пригласили меня сегодня.
Конор Доэрти: Большое спасибо, что присоединились к нам. Мы оба очень рады вашему участию. Пьер, я уже дал очень краткое представление о вас; ваше резюме действительно впечатляет. Не могли бы вы рассказать всем немного о вашем опыте и чем вы занимаетесь, ведь я знаю, что вы участвуете в нескольких проектах в разных областях?
Пьер Пинсон: Да, большое спасибо. Прежде всего, я сейчас профессор в Imperial College в Лондоне. Я возглавляю кафедру, сосредоточенную на инженерии проектирования, основанной на данных. Поскольку в наши дни поток данных непрерывно растет, мы должны извлекать из данных ценность, и это является целью моих исследований и преподавания. Очевидно, что одним из самых интересных и первоочередных применений данных является прогнозирование, поэтому я занимаюсь этим уже 20 лет, сосредотачиваясь на различных областях применения, преимущественно в энергетике, поскольку сегодня прогнозирование в энергетике крайне необходимо, а также в логистике, бизнес-аналитике и других сферах.
Конор Доэрти: Здесь так много интересных областей, и они во многом пересекаются с тем, чем мы занимаемся. Итак, как вы начали заниматься вероятностным прогнозированием?
Пьер Пинсон: Честно говоря, изначально я не стремился к вероятностному прогнозированию. Меня очень интересовала погода и возобновляемые источники энергии, и мне предложили сделать кандидатскую диссертацию по прогнозированию для возобновляемой энергетики, для ветряных электростанций, знаете ли, чтобы спрогнозировать, сколько они произведут завтра. Дело в том, что предсказатель всегда ошибается, и мой научный руководитель сказал: «Мы хотим знать, насколько сильно ошибки, но это не должно выражаться одной метрикой, верно? То есть, прогноз в среднем такой-то хороший или такой-то плохой. Нам важно знать, прямо сейчас, с учетом завтрашнего дня, будет ли мой прогноз хорошим или нет?» Именно так я перешел к вероятностному прогнозированию, поскольку здесь появляется идея: исходя из того, что я знаю сегодня, заглядывая в завтрашний день, как я могу описать неопределенность того, что может произойти, и, возможно, указать, какой исход наиболее вероятен, какой ожидаемый результат, а также какой интервал возможных исходов.
Конор Доэрти: Это интересно, и я скоро обращусь к вам, Йоаннес, по этому поводу, но когда речь заходит о том, что делает прогноз хорошим в метеорологии, какие метрики вы используете для оценки эффективности? Ведь не может быть так: «Сегодня не было дождя, значит, прогноз был на 100% точным». Какие же показатели для этого применяются?
Пьер Пинсон: Именно поэтому это по сути целая наука — как оценивать прогноз и решать, был ли он хорошим или нет. В принципе, когда у вас есть прогноз для непрерывной величины, такой как скорость ветра или температура, мы считаем, что качество прогноза связано с расстоянием между тем, что вы предсказали, и тем, что действительно произошло. При этом существует множество способов обработки этого расстояния. Можно взять сумму квадратов расстояний или квадратов ошибок, можно рассмотреть среднее абсолютное отклонение между ними и т.д. Таким образом, существует множество метрик, показывающих, насколько прогноз точен или нет. Проблема в том, что это всего лишь число. Если я скажу, что в среднем мой прогноз ошибается на два, вы можете сказать: «Хорошо, отлично», но делает ли это прогноз хорошим или плохим для моего применения? И вот в чем, на протяжении последних десятилетий развития прогнозирования, состоит проблема: нужно связывать качество прогноза, то есть насколько вы точны согласно этим метрикам, с его ценностью, то есть насколько полезен он будет для решения ваших задач принятия решений.
Конор Доэрти: Есть ли здесь какие-либо сходства с нашим подходом?
Йоаннес Верморель: Это очень интересно, потому что в Lokad мы подошли к вероятностному прогнозированию совершенно другим путем, и то, что вы описываете, гораздо ближе к моему обоснованному мнению, сложившемуся за несколько лет, в отличие от исходной точки. Мое первоначальное представление было гораздо более обыденным. Дело в том, что на самом деле мы прогнозировали многие аспекты в цепочках поставок, и мы просто прогнозировали нули. Я неоднократно рассказывал эту историю, потому что при наших первых попытках прогнозирования продаж для мини-маркетов, где большинство товаров в среднем продается ноль раз в день, ближайшее целое число — это ноль. Примерно 95% товаров в типичном мини-маркете продается в количестве ноль в любой данный день. Проблема заключалась именно в этом, и поэтому у нас возникло смещение в прогнозе, что привело нас к использованию квантилей. А затем, экспериментируя с квантилями, мы поняли, что, вероятно, следует учитывать все квантели одновременно, и мы перешли к вероятностным прогнозам. Но сегодня, когда мне приходится объяснять, почему важны вероятностные прогнозы, я думаю, что наш подход таков: да, ваш прогноз ужасно неточен, мы это знаем. Мой прогноз, если я, например, продавец, ужасно неточен, но это не значит, что я понятия не имею, насколько он может ошибаться. На самом деле, у меня есть достаточно обоснованное мнение о возможных исходах. Всё возможно, но не всё одинаково вероятно. В вашем обоснованном взгляде на множество возможностей всё возможно, но вероятность не равна, и существует структура анализа ошибок. Не могли бы вы подробнее рассказать об этом?
Пьер Пинсон: Самым странным и интригующим для людей является мысль о том, что существует структура в анализе ошибок. Люди интуитивно считают, что неопределенность возникает из-за незнания, а потом вы говорите им, что в том, чего они не знают, есть определенная структура. Это кажется запутанным. Когда я начал отстаивать идею вероятностных прогнозов, первоначальная реакция была такова, что независимо от того, что произойдет, я никогда не ошибусь, поскольку мой прогноз всегда учитывал вероятность наступления какого-либо события. Люди воспринимали это как высшую форму защиты для продавца.
Йоаннес Верморель: Интересно слышать ваши истории, но можно взглянуть на это и под другим углом. Существует так называемый «парадокс большой мыши» из психологии и маркетинга, когда чрезмерно уверенные люди в группе получают больше признания, даже если они могут ошибаться. Большинство предпочитают детерминированный прогноз, потому что он внушает уверенность, несмотря на то, что люди знают его ошибочность. Предоставление вероятностного прогноза на самом деле является более прозрачным и честным, но людям нужно принять это и преодолеть свою когнитивную склонность к детерминизму.
Когда мы признаем, что не можем быть абсолютно точными, но можем дать довольно хорошее представление о диапазоне возможных исходов, мы становимся более прозрачными и, возможно, предоставляем более качественный прогноз. Самая большая проблема для нас, работающих с вероятностным прогнозированием, — это убедить людей принять идею использования неопределенности при принятии решений. Это действительно ведет к лучшим результатам. Такой детерминизм в нашей жизни является серьезной проблемой для специалистов в области вероятностного прогнозирования. Мы должны как-то заставить людей понять, что им нужно ослабить стремление к одной единственной точке, которая должна быть информативной и истинной. Им необходимо принять тот факт, что если вы можете количественно оценить неопределенность и использовать ее при принятии решений, результаты будут только лучше.
Конор Доэрти: Что вы об этом думаете, Йоаннес?
Йоаннес Верморель: Очень интересно, эта идея признания собственной слабости. Если оглянуться на Клода Бернара, который изобрел контрольный эксперимент, он целиком выдвинул аргументы против использования статистики и вероятностей. Его довод был действительно убедительным. Он утверждал, что если что-то изменяется, это означает, что эксперимент проведен плохо и вы не контролируете факторы должным образом. Он работал в медицине и утверждал, что если существует изменчивость, то за ней стоит третья переменная, которая ее объясняет. Таким образом, он был против использования статистики и вероятностей, поскольку, с его точки зрения, это признание неполного понимания природы явления и лени ученого. В итоге у вас получаются изощренные статистические методы, которые служат лишь оправданием ваших собственных недостатков. Как вы относитесь к этому возражению, Пьер?
Пьер Пинсон: Я согласен, что это справедливо для определенного набора задач, где все основывается только на законах физики, в очень контролируемых условиях, и когда можно полагать, что детерминированный подход вполне достаточен. Не стоит слишком беспокоиться обо всех этих неопределенностях и необходимости вероятностного подхода. Но если смотреть на более общий случай, это почти философское утверждение о мире. Верим ли мы, что мир в своей основе детерминирован во всем, что происходит? Или существует некий стохастический элемент в окружающем нас мире? Знаете, некоторые стохастические правила, из-за которых базовая идея детерминизма не всегда применима. Мы видим это, например, в метеопрогнозах, и мы пытались подумать: если у нас будет всё больше измерений, если мы лучше поймем законы физики, то, возможно, мы сможем рассматривать этот процесс как детерминированный и предсказывать его. Это хорошая надежда, но за последние 100 лет было проведено множество экспериментов, которые показывают, что, возможно, не всё может быть детерминированным, и даже с учетом тех аргументов, которые вы упомянули о неполноте знаний, существует так много явлений, которые мы должны моделировать и предсказывать, что нам никогда не хватит информации для перехода к полностью детерминированной модели. Это просто невозможно.
Конор Доэрти: Если можно вмешаться, потому что вопрос, который я хотел задать минуту назад, заключался в том, что идея бизнеса и метеорологии как бы переплетается, ведь между ними существует интересный мост, особенно учитывая ваш опыт в обеих областях. Видимо, вы оказались в ситуации, когда применяли вероятностное прогнозирование к бизнес-проблеме, возможно, столкнулись с определенным сопротивлением, например: «О, я не хочу использовать вероятностное прогнозирование, это темные искусства», а через 10 секунд тот же человек достает свой iPhone и говорит: «О, 60% вероятности дождя позже, лучше возьми зонт». Как вы справляетесь с таким когнитивным диссонансом?
Пьер Пинсон: Это очень хороший вопрос, и здесь присутствует культурный аспект. Думаю, мы видели, что метеопрогнозирование является важной областью, ведь оно повсюду, все используют прогноз погоды и чувствительны к этой информации. Это такая сфера, где видно, что если изменить способ передачи информации о прогнозах, есть методы, которые работают, и методы, которые не работают. Иногда людям трудно по-настоящему понять, о чем идет речь, но мы знаем, что эта информация оказывается полезной в любом случае. Это процесс, и я думаю, что тот же процесс необходимо пройти в различных областях. Это может касаться бизнеса, инженерных задач, страхования — существует так много сфер, где мы, как ученые или поставщики прогнозов, индустриальная экосистема, должны способствовать изменению культуры, чтобы люди, клиенты или пользователи в целом поняли, что можно мыслить по-новому и извлекать из этого выгоду.
Конор Доэрти: И еще кое-что, поскольку, если я правильно понял, вы обнаружили, что существуют определенные механизмы передачи метеорологической информации или прогнозов, которые находят отклик у людей, а есть и такие, которые не находят. Не могли бы вы подробнее рассказать об этом или привести пример, чтобы люди могли лучше понять?
Пьер Пинсон: Были проведены различные исследования психологов, работающих с метеорологами. Например, если сделать заявление о вероятности дождя, скажем, что в Лондоне в ближайшие два часа вероятность дождя составляет 60%, люди трактуют это по-разному. Некоторые считают, что это означает, что в Лондоне будет дождь 60% времени, в то время как другие полагают, что это означает 60% вероятность дождя в конкретном месте Лондона. Людям сложно понять, что в основе действительно лежит понятие вероятности.
Йоаннес Верморель: Да, мы также сталкивались с этой проблемой при работе с пользователями или клиентами. Требуется огромное количество усилий для разработки методологии вероятностного прогнозирования и определения ее практического применения. Но также необходимо много работы, чтобы помочь людям понять, что на самом деле означает эта информация и как она может повлиять на их процесс принятия решений. Основная задача — убедить людей, как перейти от вероятностного прогноза к принятию решения, которое окажется лучше, чем если бы они использовали детерминированные прогнозы. Если они этого не поймут, они не примут это.
Конор Доэрти: Как вы это объясняете? Вы используете метод «белого ящика»?
Joannes Vermorel: Мы делаем что-то, что одновременно и похоже, и отличается. Моя проблема, вытекающая из опыта в области цепей поставок, заключается в информационном перегрузе. У людей и так слишком много информации. Даже детерминированные прогнозы могут быть ошеломляющими, поскольку они часто сильно агрегированы и содержат различные проблемы. Когда переходишь к вероятностному прогнозированию, всё становится на два порядка сложнее: гистограммы для каждой точки данных и ещё большая сложность, если учитывать высокоразмерные вероятности.
Изначально мы пытались улучшить визуализацию и другие аспекты, но в конце концов пришли к решению, при котором мы убираем вероятности с точки зрения пользователя. Мы основываем решения на вероятностях, но преобразуем их в оценку риска, выраженную в денежном эквиваленте. Например, мы можем сказать клиенту, что риск избыточных запасов составляет сумму X, а риск дефицита товара — сумму Y. Мы количественно оцениваем классы риска и перспективы, при этом основной вероятностный прогноз служит «инженерной инфраструктурой» для этих оценок.
Конечно, это не идеальное решение, но оно работает для наших клиентов. Иногда команды data scientist любят работать с вероятностями, но эксперты по цепям поставок, менее разбирающиеся в вероятностях, находят этот подход более доступным. Я бы сказал, что эксперт по цепям поставок, обладающий огромной компетенцией в своей области, но не столь знакомый с вероятностями, находит крайне сложным заинтересоваться этим из-за информационного перегруза. Очень быстро этим менеджерам приходится решать, стоит ли тратить время на анализ этих гистограмм. Это крайне сложный аргумент для людей, которые очень ценят своё время.
Pierre Pinson: Согласен, я полностью разделяю эту точку зрения. Траектории могут быть очень разными. Как вы упомянули, существует множество способов борьбы с информационным перегрузом. Я полностью согласен с вашей стратегией. С моей точки зрения, хорошей идеей является автоматизация процесса принятия решений или предложение оптимальных решений после анализа соотношения затрат и потерь для пользователя и т.д. Но, опять же, пользователям необходимо понимать, как вы к этому пришли и почему им следует этому доверять, что забавно, ведь когда прогноз был детерминированным, они ему доверяли. А теперь, когда используется термин «вероятность», доверие исчезает. Но это уже другая история. Прелесть вероятностной информации в том, что вы можете добавить дополнительный уровень самых базовых оценок, оценок риска, что именно и требуется, когда принимают вероятностный подход. Пожалуйста, скажите мне, какому риску я подвергаюсь. Это самый простой тип информации, который вы можете предоставить, чтобы получить преимущества вероятностного прогнозирования без того информационного перегруза, о котором вы говорили. Я действительно считаю, что это очень хорошая стратегия.
Conor Doherty: Ну, мы как бы начали объединять темы, такие как метеорология и бизнес. Тогда, Пьер, поскольку у вас богатый опыт в обеих областях, можете ли вы привести примеры ключевых метеорологических прогнозов или данных о погоде, которые вы использовали в бизнес-контексте или логистике?
Pierre Pinson: Информация из погодных прогнозов, которую можно использовать в процессе принятия решений, включает очень немногие переменные, обладающие критической важностью, после чего значение каждой следующей переменной резко падает. Самая важная переменная — температура, которая влияет на столь многие процессы в нашей жизни, затем идут осадки. В последнее время значимым становится ветер, потому что, скажем, 30 лет назад синоптики говорили о ветре почти для забавы, так как никого это особо не интересовало. Всё сводилось к вопросу: будет ли ветрено или нет? Если вы занимаетесь парусным спортом, это может вас немного больше заинтересовать. Но сегодня, в связи с энергетическими применениями, прогнозы скорости ветра чрезвычайно важны, поскольку даже небольшая ошибка в прогнозе скорости ветра приводит к огромным ошибкам в оценке энергии, которая будет доступна завтра. Подумайте о такой стране, как Дания, где в среднем половина энергии получается за счет ветра. Очень важно иметь хорошие прогнозы ветра. Это самые значимые переменные, и теперь к ним добавляется солнечная иррадиация из-за солнечной энергетики. Но я бы сказал, что это самые важные переменные, а дальше, с точки зрения воздействия, эти погодные параметры используются повсеместно. Если взглянуть на значение метеопрогнозирования и качество прогнозов в нашей повседневной жизни, будь то в бизнес-контексте или в жизни, это имеет огромное значение.
Conor Doherty: Безусловно, если говорить о сроках доставки товаров из-за рубежа, то, насколько я понимаю из того, что только что сказал Пьер, это должно влиять на вероятностное прогнозирование для цепей поставок, например.
Joannes Vermorel: За всю историю Lokad, насколько я помню, у нас было всего два случая, когда нам удавалось использовать данные о погоде в ситуациях цепей поставок. Опять же, это могло быть связано с недостатком таланта, преданности или множеством иных факторов. Но суть в том, что для составления прогноза примерно десять лет назад у нас был крупный европейский поставщик электроэнергии, и у нас был контракт на улучшение их прогноза спроса на электроэнергию с учетом погодных условий. И, по мне, это единственный случай, когда использование погодных данных принесло явно ощутимую выгоду. Это работает, и суть в том, что мы рассматривали прогнозы, которые уже были достаточно агрегированы, по сути, по регионам. Даже без учета погоды прогноз был очень точным, порядка 2%, поскольку данные были сильно агрегированы. И, кстати, это был лишь прогноз спроса на электроэнергию с одного дня на другой — всего лишь 24 часа вперед, а агрегированные регионы могли, например, представлять страну вроде Бельгии или, скажем, Францию, разделённую на пять зон, то есть на достаточно высоком уровне.
Без учета погоды у вас был бы временной ряд с точностью около 2%, и большинство погрешностей вызваны резкими изменениями погоды. Когда холодно, обычно остаётся холодно, но при резкой смене погоды происходит скачок, который вы не успеваете заметить. Таким образом, точность прогноза в среднем составляла примерно 0.5%, но в день изменения погоды ошибка могла накапливаться до 5 или 6%. А с учетом погодных данных они уже достигали точности около 0.5%, а с Lokad мы достигли практически такой же точности, но с моделями, которые были намного проще и удобнее с точки зрения программного обеспечения. Это был специфический вид задачи.
Это был первый случай, когда я сказал, что это действительно работает. Второй случай был связан с брендами FMCG, которые стремились прогнозировать всплески спроса с использованием погодных прогнозов. К сожалению, результаты оказались в основном отрицательными. То, что сработало очень хорошо, это, и я не буду называть бренд, но предположим, что это был продавец мороженого, который просто хотел узнать, что работало особенно хорошо после лета. Вопрос заключался в следующем: продали ли мы больше мороженого из-за того, что было очень жарко, или из-за того, что промоушен был на высоте?
Conor Doherty: Пьер, когда речь заходит о применении вероятностного прогнозирования в метеорологическом контексте, как это переносится на использование в логистике или бизнесе? Существуют ли сходства в ограничениях или в самом процессе?
Pierre Pinson: Одна из ключевых проблем, которая является существенной независимо от области применения — будь то метеорология или сектора, зависящие от погоды, — заключается в выборе типа прогностического продукта, полезного в качестве входных данных для принятия решений. Обычно погодные прогнозы используют ансамблевые методы, состоящие из множества траекторий или потенциальных будущих сценариев. Например, Европейский центр предлагает 51 альтернативный сценарий. Однако в различных процессах принятия решений требуются разные прогностические продукты.
Таким образом, основное различие, которое я заметил между метеорологией и другими областями, заключается в том, что нам приходится тратить много времени на выбор правильного прогностического продукта в качестве входных данных. Мы должны погрузиться в мир наших клиентов и найти лучший способ представления сложной информации из вероятностных прогнозов так, чтобы она была максимально полезной для них. Прогноз должен быть полезен для клиентов, и ваш подход также на это ориентирован. Можете подробнее рассказать о проблемах, связанных со стоимостью облачных вычислений, и о том, как это влияет на вашу работу?
Joannes Vermorel: Да, как поставщик enterprise software, одной из основных проблем являются затраты на облачные вычисления в весьма прямом смысле. Чтобы дать представление о масштабе, клиентская база Lokad управляет примерно петабайтом данных, и за это мы сейчас платим Microsoft, нашему поставщику облачного хостинга. Это выгодный бизнес как для Microsoft, так и для Lokad, но затраты присутствуют. Большая часть наших оценок продиктована эффективностью затрат на вычислительное оборудование.
Гистограммы и функции плотности вероятности обычно являются лучшими. Они чрезвычайно информативны, прекрасны и очень просты в использовании. Но проблема в том, что в одном измерении это приемлемо. У вас фиксированная стоимость, так что если вы увеличиваете объём данных, скажем, в 100 раз, у вас получается хорошая гистограмма. Однако, если перейти к двум измерениям, поскольку вы хотите иметь матрицу вероятностей, всё становится сложнее. Например, вам может потребоваться рассмотреть вероятности конкретного спроса на один продукт и вероятности аналогичного спроса на другой продукт совместно. Дело в том, что эти продукты конкурируют друг с другом, и когда спрос на один продукт резко возрастает, это, как правило, происходит за счет уменьшения спроса на другой. Поэтому вам нужны вероятности, учитывающие тот факт, что, скорее всего, если спрос на один продукт вырастет, спрос на другой уменьшится, и наоборот. Если вы оформляете это в виде матрицы, получается двумерная гистограмма, и требуемая для её хранения память значительно возрастает. С увеличением числа измерений ситуация становится ещё дороже.
Аналогично, когда вы переходите к симуляциям в стиле Монте-Карло, которые отлично справляются с задачами высокой размерности, возникает проблема убывающей отдачи при использовании множества сценариев. Может потребоваться чрезвычайно много сценариев, чтобы даже зафиксировать риск, который встречается довольно редко, например, в 10 000 случаях. Большинство наших расчётов основывается на необходимости держать вычислительные затраты на приемлемом уровне. Речь идёт не только о сумме, которую мы платим Microsoft, но и о том, что при использовании более сложных методов расчёты занимают больше времени, и людям приходится ждать завершения прогноза, прежде чем они смогут продолжить свою работу.
Для детерминированных методов анализа временных рядов, особенно тех, что использовались до появления машинного обучения в 90-х, можно почти работать в реальном времени, даже если есть цикличность и тому подобное. Они чрезвычайно быстры, и с помощью методов, таких как ARIMA или экспоненциальное сглаживание, можно получать результаты мгновенно, даже с учётом цикличности. Но если взять что-то более изящное, например, очень глубокую Deep Learning сеть, её обучение может занимать часы, а для нас это означает значительные затраты. Кроме того, с нашей точки зрения, важна практичность, и это вызывает серьёзные опасения.
Conor Doherty: Пьер, одно из ваших занятий — преподавание в Императорском колледже Лондона, и вы встречаете студентов, которые приходят на ваш курс, чтобы впервые узнать о вероятностном прогнозировании. По вашему опыту, с чем сталкиваются люди, уже имеющие математическую базу и склонные принимать неопределенности, когда они пытаются освоить эти навыки, следуя вашему примеру?
Pierre Pinson: Что касается обучения прогнозированию, я занимался этим больше, когда работал в Дании с акцентом на энергетику. Проблемы, по сути, всегда одни и те же. Одна из первых проблем — это принятие. Зачем вообще переходить на вероятностный подход? Должен сказать, что обычно я трачу много времени на описание проблем, связанных с принятием решений, и показываю студентам, что только вероятностный подход позволяет принимать лучшие решения. Очень важно для разработчика или пользователя прогноза, для клиента с обеих сторон, понимать, что без перехода на вероятностный подход добиться лучших результатов нельзя. Это что-то будет стоить, но если вы примете этот подход, всё пойдет лучше. Нужно много усилий, чтобы убедить себя в этом и осознать, почему так происходит. Если вы не понимаете, почему результат должен быть лучше, возможно, вам будет сложно принять этот подход. Поэтому мы тратим на это довольно много времени.
Затем я хочу, чтобы они поняли, что создание этих прогнозов не так сложно. Вы упомянули некоторые из классических моделей, но можно рассматривать это даже в терминах базовых случайных величин. Если вы хотите сделать вероятностный прогноз для чего-то с гауссовским распределением, когда мы делаем классический точечный прогноз, мы всего лишь предсказываем среднее значение. А теперь, когда мы говорим, что хотим идти по пути вероятностного прогнозирования, нам нужно лишь дополнительно предсказать дисперсию, и тогда у нас будет полноценный вероятностный прогноз. Даже если вы не хотите прибегать к параметрическим методам, если хотите предсказывать квантили, вы можете использовать те же модели, что и для детерминированного случая, достаточно изменить функцию потерь в вашем обучении, и вуаля, у вас получается прогноз по квантилям. Один важный аспект заключается в том, что я обучаю студентов тому, что это не что-то, что по своей сложности изучения и использования превосходит классические методы в несколько порядков.
Последняя часть — верификация, потому что, как мы уже обсуждали ранее, некоторые считают, что теперь можно расслабиться, верно? Потому что, перейдя к вероятностному прогнозированию, можно сказать что угодно, и потом как-то вы докажете мне, что никогда не ошибаетесь. Но существуют очень строгие методологии для проверки вероятностных прогнозов, которые действительно показывают, что они имеют смысл, что ваши вероятности корректны и что вы концентрируете информацию и т.д. Это основные блоки, которые я обсуждаю со своими студентами, и, по моему опыту, именно они являются фундаментом, необходимым для работы с вероятностными прогнозами в дальнейшем.
Joannes Vermorel: Моя проблема выглядит забавно, потому что, вероятно, вы находитесь в привилегированном положении, имея студентов. Мои клиенты обычно уже получили образование в виде того, что им преподносят консультанты. Давайте сегодня создадим врагов. Проблема в том, что существует некая анти-пропаганда, подобная движению бережливого производства. Движение бережливого производства и идея, например, что нам следует тратить меньше. То есть, в общем, да, лучше избегать потерь. По определению, потери — это то, что нежелательно, так что утверждение является тавтологичным. Никто не говорит: «Давайте создавать потери ради их создания», но это часть движения бережливого производства и бережливой цепочки поставок. Проблема такого мышления в том, что вы сталкиваетесь, например, с ситуациями, когда у вас имеются расточительные процессы, такие как длительные сроки выполнения, и вы стремитесь их устранить. Но в какой-то момент может возникнуть ситуация, когда процесс не обязательно является чрезмерно расточительным, но всё же оказывается очень неэффективным из-за того, что вы пытались максимально сократить сроки выполнения. Например, если вы хотите перемещать грузы как можно быстрее, самолёт — лучший вариант, но эффективность самолёта в плане расхода топлива ужасна по сравнению с поездами или грузовыми кораблями. Таким образом, стремление немедленно перейти к состоянию «нулевые запасы, нулевые задержки, нулевые потери», которое пропагандируется некоторыми движениями, представляет собой попытку полностью устранить неопределенность. Если у вас нулевой срок выполнения, то зачем нужен прогноз? Вам нужно иметь дело только с тем, что прямо перед вами. Если у вас нулевые запасы, то зачем управлять потенциальным риском перепроизводства или чем-то подобным? Так что, мое интересное наблюдение заключается в том, что часть проблемы заключается в том, что люди, которые не получили пользу от ранних этапов курса, демонстрирующего превосходство вероятностного мышления, прошли через одно, два, а иногда три-четыре десятилетия навязчивой пропаганды консультантов по устранению всевозможных неопределённостей в их цепочках поставок. Некоторые неопределённости, как я считаю, случайны — те, что возникают из-за некачественного процесса, и их, да, следует устранять. Если, например, у людей отсутствуют надлежащие навыки и некоторые просто делают отстой, это не та неопределённость, которую вы хотите видеть. Но есть и другие неопределённости, например, тот факт, что, возможно, грузовые корабли немного медленнее из-за погодных условий, так что они не будут двигаться с одинаковой скоростью каждый раз. Однако вполне приемлемо терпеть эту неопределённость, если у вас есть инструменты для её разумного управления.
Pierre Pinson: Вы правы. Обычно мы рассматриваем этот вопрос как проблему затрат, потому что, так или иначе, устранение неопределённостей требует средств. Если у вас было бы бесконечное количество денег, которое вы готовы инвестировать в устранение всех неопределённостей, вы могли бы это сделать. Но любая неопределённость, помимо той, которая возникает из-за ошибок или неэффективности, любая более фундаментальная неопределённость в вашем процессе, которую вы хотите устранить, скорее всего, будет стоить вам немало. Так что это типичная ситуация, когда вы говорите: «Отлично, вы хотите устранить все неопределённости, как если бы это давалось бесплатно. Если бы оно давалось бесплатно, мы бы тоже это сделали». Поэтому эту стоимость нам приходится решать, можем ли мы её понести. У нас есть аналогия, которая очень интересна в энергетике. Например, я много работаю с возобновляемой энергией. Если бы мы разрабатывали систему хранения, чтобы иметь неограниченное количество энергии, которую можно сохранять в любое время и на сколько угодно долго, проблема была бы решена. Некоторые говорят, что тогда нам не нужно было бы делать прогнозы, нам не пришлось бы волноваться. Но разработка и развертывание батарей в таком масштабе
