00:00:04 Проблема прогнозирования запуска новых продуктов.
00:00:35 Проблемы с традиционными подходами к прогнозированию.
00:02:00 Критика прогнозирования временных рядов для новых продуктов.
00:03:45 Альтернативные подходы к прогнозированию новых продуктов.
00:07:22 Глубокое обучение и анализ атрибутов в прогнозировании.
00:09:06 Влияние спроса: атрибуты продукта, такие как цвет, размер.
00:11:23 Глубокое обучение для прогнозирования разнообразных характеристик продукта.
00:11:58 Неопределенность при запуске новых продуктов.
00:13:38 Преимущества вероятностных прогнозов в управлении рисками.
00:14:44 Влияние запуска нового продукта на существующие.
00:16:01 Концепция каннибализации продукта, тактика модной индустрии.
00:18:02 Чувствительность прогнозирования цен и осложнения оптимальной цены.
00:21:20 Переобучение в статистическом моделировании, влияние прогнозирования цен.
00:21:58 Прогресс в технологии прогнозирования продукта.
00:24:33 Каннибализация при запуске продукта, исследование лояльности клиентов.
Резюме
В интервью основатель Lokad Жоанн Верморель обсуждает проблемы прогнозирования спроса на новые продукты. Традиционное прогнозирование временных рядов не работает для новых продуктов из-за отсутствия исторических данных. Верморель критикует традиционное программное обеспечение для планирования спроса за его сильную зависимость от прошлых данных. Для новых продуктов он предлагает проведение рыночных исследований. Когда новые продукты являются вариациями существующих, Верморель предлагает использовать атрибуты продукта для прогнозирования спроса. Он подчеркивает неопределенность и каннибализацию как значительные проблемы в прогнозировании новых продуктов, отстаивая вероятностный подход. Верморель указывает, что будущее направление Lokad включает использование “социальной сети” клиента и переход от глубокого обучения к дифференцируемому программированию.
Расширенное резюме
В продолжение интервью Киран Чандлер и Жоанн Верморель, основатель Lokad, исследуют потенциал и препятствия прогнозирования спроса на недавно запущенные продукты. Несмотря на то, что это по своей сути сложно и непредсказуемо, Верморель утверждает, что прогнозирование для новых продуктов возможно, хотя это требует значительных усилий.
Интервью начинается с признания важности прогнозирования запуска продукта, что позволяет компаниям воспользоваться обычным всплеском спроса после выпуска нового продукта. Однако Верморель указывает на то, что стандартный метод прогнозирования, прогнозирование временных рядов, неэффективен при применении к новым продуктам.
Прогнозирование временных рядов продлевает исторические тенденции в будущее, подобно прогнозированию погоды. Например, базовая модель прогнозирования может усреднять продажи прошлой недели, чтобы предсказать продажи следующей недели. Однако при новом продукте нет данных о предыдущих продажах, что делает эту методологию недостаточной.
Верморель продолжает критиковать традиционное программное обеспечение для планирования спроса, которое в основном зависит от “преувеличенных форм скользящих средних”, с моделями, такими как экспоненциальное сглаживание, линейная регрессия и ARIMA, которые являются сложными скользящими средними. Хотя эти модели могут учитывать сезонные коэффициенты и изменяющиеся окна усреднения, они все равно сильно зависят от прошлых данных, что делает их непригодными для новых продуктов.
Обращаясь к вопросу прогнозирования для совершенно новых продуктов, таких как первый iPhone, Верморель предлагает, что статистические прогнозы требуют соответствующего набора прошлых наблюдений. Без аналогичных предыдущих продуктов практически невозможно создать статистически обоснованный прогноз.
Одна из стратегий для таких уникальных сценариев может включать изучение рынка и измерение мнения потребителей. Несмотря на высокую стоимость и затраты времени, Верморель считает, что для крупных запусков, таких как iPhone, которые, вероятно, стоят сотни миллионов в исследованиях и разработке, можно оправдать расходы на подробное маркетинговое исследование.
Верморель начинает с описания проблем, с которыми сталкиваются при запуске нескольких новых продуктов. Он утверждает, что многие новые продукты не являются полностью новыми, а часто являются вариациями существующих продуктов, что упрощает оценку их будущих продаж. Он использует модную индустрию в качестве примера, отмечая, что хотя они представляют новые коллекции каждый сезон, они обычно состоят из знакомых предметов, таких как рубашки или обувь, с различными характеристиками.
Для прогнозирования продаж нового продукта Верморель предлагает сравнивать новый продукт с существующими, используя общие характеристики, метод, который, по его мнению, значительно отличается от традиционного программного обеспечения для прогнозирования. Эти характеристики, такие как размер и цвет, могут предоставить ценную информацию. Например, экстремальные размеры или определенные цвета могут продаваться не так хорошо, как более распространенные.
Традиционный метод прогнозирования продаж нового продукта требует от менеджера цепи поставок установить связь между новым и старым продуктом. Верморель критикует этот процесс как трудоемкий, особенно при запуске тысяч новых продуктов. Это требует ручной проверки обширного архива предыдущих запусков. Любое неправильное сопоставление, основанное исключительно на интуиции, может сделать прогноз полностью неверным.
Верморель предлагает более интеллектуальный подход, используя характеристики продукта для прогнозирования спроса. В зависимости от отрасли эти характеристики могут варьироваться от размера, цвета, ценовой категории и узоров для модных изделий до совместимых картриджей и других функций для потребительской электроники. Это разнообразие требует статистического алгоритма, способного управлять широким спектром характеристик, где современные технологии машинного обучения вроде глубокого обучения могут быть полезными.
Затем разговор переходит к неизбежной неопределенности, связанной с прогнозами новых продуктов. Верморель признает, что уровень неопределенности во время запуска продукта обычно довольно высок, и предлагает использовать вероятностный прогноз, который может быть более полезным в таком случае. Хотя такой прогноз может быть не очень точным, преимущество заключается в распознавании и учете связанных рисков, поскольку прогноз предоставляет диапазон потенциальных будущих событий.
Жоанн обращает внимание на проблему каннибализации, особенно при запуске новых продуктов, поскольку они часто отбирают долю рынка у существующих. Эта проблема распространена в модной индустрии, где новые коллекции могут каннибализировать продажи старых. Чтобы противостоять этому, отрасль обычно выводит старые коллекции на распродажу перед введением новых.
Обсуждение продолжается с гипотетической ситуацией. Если бы Apple запустила iPhone разных цветов одновременно, предлагая разнообразие выбора, это могло бы увеличить продажи, но также могло бы привести к внутренней конкуренции между продуктами.
В отношении чувствительности к цене Кирен спрашивает Жоанна, можно ли предсказать спрос на основе изменения цен. Жоанн подтверждает это, но объясняет, что это добавляет больше сложности к проблеме. Это обсуждение переходит в область обучения с подкреплением и необходимости тщательного баланса, чтобы избежать переобучения, когда модель хорошо работает на известных данных, но плохо на неизвестных данных.
При изменении цен, например, бренд может входить в неизведанную территорию, где прошлые данные становятся менее релевантными. Бренды обычно медленно корректируют свои цены, используя этот процесс как возможность для обучения. Жоанн уточняет, что переобучение может стать проблемой, если бренды начинают использовать свои прогностические модели для установки цен. Чтобы избежать этого, важно не полагаться слишком сильно на выводы вашей прогностической модели при принятии решения о цене.
Изменяя направление, Кирен интересуется о ближайшем будущем прогнозирования продукции. Жоанн раскрывает, что Lokad недавно представила новый прогностический движок на основе глубокого обучения, который, согласно их бенчмарку, представляет собой значительное обновление и снизил ошибки в прогнозировании новой продукции более чем на 20%.
Жоанн также подчеркивает важность понимания концепции каннибализации продукции при запуске новых продуктов. В то время как розничные продавцы могут соблазняться мыслью о том, что запуск множества новых продуктов значительно увеличит продажи, Жоанн напоминает нам, что эти новые продукты будут конкурировать за одну и ту же базу клиентов.
Разговор заканчивается с Жоанном, который делится своими текущими исследованиями по использованию “социальной сети” клиентов, что означает потребительские привычки их клиентской базы. Это усилие основано на понимании того, что новые продукты обычно первоначально получают поддержку внутри существующей клиентской базы. Они переходят от глубокого обучения к дифференцируемому программированию, которое считается преемником глубокого обучения, чтобы эффективно решать эту сложную задачу.
Полный текст
Кирен Чандлер: Сегодня мы собираемся обсудить, возможно ли прогнозирование новых продуктов и насколько мы можем доверять этим результатам. Жоанн, к сожалению, у нас нет хрустального шара здесь, в Lokad. Так что мы действительно можем прогнозировать новые продукты?
Жоанн Верморель: Короткий ответ - да, длинный ответ - это сложно, требует усилий и правильной математики. Главное заключается в том, что когда люди думают о прогнозировании, они часто представляют себе определенный тип прогноза, что-то вроде прогнозирования временных рядов. Они думают об этом, как о прогнозировании температуры для погоды. В основном, у вас есть кривая, то, что вы наблюдали в прошлом, и вы хотите протянуть эту кривую в будущее, чтобы получить свой прогноз. Самый простой прогноз, который вы можете сделать, это просто скользящее среднее. Например, какими будут мои продажи на следующей неделе? Если я усредню свои продажи на прошлой неделе, это даст мне примерное представление. Этот подход наивен, но работает. Однако для новых продуктов он полностью разрушается.
Кирен Чандлер: Почему этот подход с временными рядами не работает? Почему он разрушается?
Жоанн Верморель: Потому что у вас больше нет чего-то, чтобы усреднять. Вы хотите вернуться в прошлое и прогнозировать будущее, усредняя то, что у вас было. Но если вы хотите прогнозировать продажи продукта, который еще не был продан, у вас нет никаких данных. Если вы просто прогнозируете ноль, потому что на прошлой неделе вы продали ноль, это не имеет никакого смысла. Вы запускаете продукт, надеюсь, вы продадите несколько единиц. Традиционный алгоритм скользящего среднего просто не работает. Интересно, потому что большинство ранних программ для планирования спроса полагались на преувеличенные формы скользящих средних. Существует много статистических моделей с фантастическими названиями, но они не более чем преувеличенные скользящие средние. Экспоненциальное сглаживание - это своего рода скользящее среднее, линейная регрессия едва лучше, чем скользящее среднее.
Кирен Чандлер: Как мы можем реально составить прогноз для чего-то совершенно нового? Если мы возьмем, например, пример с iPhone до его выпуска, ничего подобного раньше не существовало. Мы можем на самом деле прогнозировать это?
Жоанн Верморель: Если вы хотите составить прогноз или хотя бы статистический прогноз, вам нужно иметь соответствующий набор наблюдений из прошлого. Вы все еще пытаетесь проецировать будущее, глядя в зеркало заднего вида, но вам нужно иметь на что посмотреть. Если у вас есть продукт, который является полностью уникальным, то с точки зрения статистики это конец игры. Вы не можете работать статистически. Что вы можете сделать в лучшем случае, это провести исследование рынка и выяснить мнение людей о том, будут ли они его покупать или нет. Очевидно, что это очень дорогой процесс. Apple могла сделать это для iPhone, потому что они, вероятно, вложили сотни миллионов долларов в исследования и разработку, чтобы вывести iPhone на рынок. Так что они все еще могли позволить себе потратить несколько сотен или тысяч долларов на умное исследование.
Кирен Чандлер: Итак, для приблизительной оценки того, сколько вы собираетесь продать, очевидно, если вы запускаете много новых продуктов, вы не можете позволить себе такой трудоемкий процесс. Хорошая новость заключается в том, что если вы запускаете много всего, каковы шансы, что все, что вы запускаете, будет совершенно новым? На практике почти нулевые, потому что нельзя запускать сотни продуктов, которые полностью уникальны. Если вы запускаете сотни продуктов каждый год, вероятно, они все являются вариациями одной и той же темы или стиля.
Жоанн Верморель: Именно так, вы можете связать существующий продукт с некоторой особенностью нового продукта. Если вы занимаетесь модой, например, с каждой новой коллекцией у вас будут новые рубашки и новые туфли. Но это все равно рубашки или туфли, и у этих продуктов есть характеристики, такие как размеры. Даже если вы не знаете, сколько единиц вы продадите, вы понимаете, что экстремальные размеры не будут продаваться так же активно, как преобладающий размер. Если вы хотите иметь статистическую модель, вам просто нужно использовать этот подход. Если вы прогнозируете, сколько будет спроса на продукты, которые вы собираетесь запустить в будущем, вам нужно посмотреть на все предыдущие запуски, которые вы делали в прошлом, и связать запускаемый продукт с предыдущими через их характеристики.
Кирен Чандлер: Это интересно, особенно подход с использованием характеристик, который кажется довольно отличным от того, что обычно делается в большинстве программ прогнозирования. Теперь, с развитием технологии глубокого обучения, это основной метод, используемый для более детального рассмотрения этих характеристик?
Жоанн Верморель: Да, давайте сравним его с классической перспективой прогнозирования новых продуктов. Изначально у вас есть модели скользящего среднего, вот и все. Чтобы спрогнозировать новый продукт, вы бы попросили менеджера цепи поставок создать связь между новым продуктом и старым. Традиционный подход требовал наличия человека, менеджера цепи поставок, чтобы ответить на вопрос: “Какой продукт наиболее похож на тот, который вы собираетесь запустить?”, чтобы мы могли предположить, что этот продукт уже продается. Затем вы можете вернуться к своему подходу скользящего среднего, потому что вдруг у вас есть временной ряд; у вас есть прошлые продажи продукта.
Однако, если вы запускаете тысячи новых продуктов и вам приходится принимать это решение о сопоставлении для каждого нового продукта, который вы собираетесь запустить, и в вашей истории вы, вероятно, запустили десятки тысяч продуктов, то процесс чрезвычайно трудоемкий. Вам придется вручную исследовать всю архивную историю прошлых запусков, чтобы выполнить это сопоставление. Если вы делаете сопоставление неправильно, полагаясь только на свою интуицию, то ваш прогноз будет совершенно бесполезным.
Более умный подход - использовать характеристики и рассмотреть, какие характеристики определяют ожидаемый спрос. Вернемся к моде, размеры являются очень явным индикатором, но цвет также является значительным фактором. Например, если у вас есть детская одежда, родители вряд ли будут покупать чрезмерно белую одежду, потому что дети будут ее пачкать. Поэтому чисто белый цвет для детей обычно не является таким хорошим выбором. Однако для деловых рубашек преобладающими цветами, вероятно, будут белый, голубой и светло-розовый.
Кирен Чандлер: Если вы хотите иметь, скажем, ярко-желтые рубашки для бизнеса, это, вероятно, будет крайне малая часть вашей продажи. Эти типы наблюдений могут быть сделаны интуитивно, но отношения могут быть очень тонкими. Атрибуты могут быть невероятно разнообразными - размер, цвет, ценовые точки, узоры на одежде. Или возьмем потребительскую электронику, если вы хотите прогнозировать спрос на следующий принтер, вам нужно учесть широкий набор характеристик - совместимые картриджи, другие функции - это супер разнообразно.
Жоанн Верморель: Вот где мы сталкиваемся с ситуацией, когда вам нужен алгоритм, который может справиться с этим огромным разнообразием. Именно здесь и приходит на помощь глубокое обучение, современный вариант машинного обучения. Алгоритмы глубокого обучения особенно хороши в работе с невероятно разнообразным набором характеристик, которые могут включать даже простые текстовые описания продуктов.
Кирен Чандлер: Здесь огромное количество вариативности, многое нужно учесть. Можем ли мы быть уверены в результатах прогнозов для новых продуктов?
Жоанн Верморель: Именно эту проблему пытается решить вероятностный прогнозирования. Уровень неопределенности при запуске нового продукта обычно очень высок. Если бы было легко прогнозировать новый продукт, он, вероятно, не был бы новым, а был бы простой заменой почти идеального заменителя одного из ваших существующих продуктов. В этом случае, описанное мной ранее ручное сопоставление, вероятно, подходит. Но если вы запускаете что-то даже немного новое, что не полностью соответствует тому, что вы продавали раньше, существует неизбежная неопределенность. Но это нормально. Ваши конкуренты сталкиваются с той же проблемой. Чтобы превзойти их, вам нужно прогнозировать лучше, чем они. У вас нет шара с кристаллом, но, скорее всего, у них его тоже нет.
Кирен Чандлер: С этой неизбежной неопределенностью, какие ожидания мы можем иметь?
Жоанн Верморель: Вот где на помощь приходит преимущество вероятностного прогнозирования. Да, ваш прогноз будет неточным, но если вы делаете вероятностный прогноз, вы полностью осознаете эту неточность. В практике вы увидите распределение, охватывающее множество возможных будущих сценариев, чтобы ваши решения учитывали риск превышения или недостатка спроса по сравнению с вашим прогнозом. Все дело в том, чтобы учесть все возможности.
Кирен Чандлер: Если мы теперь посмотрим на вещи с точки зрения Lokad, мы рассматриваем диапазон вероятностей для всего бизнеса, всего каталога. Если один отдельный товар может продаваться в большом количестве или очень мало, не изменит ли это результаты всех наших прогнозов?
Жоанн Верморель: Абсолютно, это так, и именно это делает проблему более сложной.
Кирен Чандлер: Звучит довольно сложно. Как я понимаю, если вы хотите составить статистический прогноз для новых продуктов, вам нужно изучить прошлые запуски и сопоставить их атрибуты, чтобы найти соответствующие продукты. Этот процесс похож на концепцию “сопоставления”, но полностью автоматизированный. Однако запуск нового продукта вытесняет спрос на ваши существующие продукты. Я правильно понимаю?
Жоанн Верморель: Действительно, каждый продукт, который вы запускаете, скорее всего, будет каннибализировать ваши существующие продажи. Возьмем, например, модного ритейлера, который представляет новый тип рубашки. Вероятно, они уже продавали рубашки, поэтому, когда появляется новый модный дизайн, вы не только получаете долю рынка у конкурентов. Вместо этого ваши клиенты могут выбрать этот новый продукт вместо другого, который вы уже продавали. Это приводит к каннибализации, что очень сложно управлять.
Кирен Чандлер: Это настолько сложно управлять, что это одна из основных причин, почему у модных брендов есть коллекции, верно?
Жоанн Верморель: Именно. Вместо того, чтобы пытаться решить эту сложную проблему каннибализации, проще провести распродажу, избавиться от всех предыдущих коллекций и затем начать новую коллекцию. Таким образом, вы избегаете каннибализации между новой коллекцией и старой. Вы ликвидировали запасы, чтобы у вас не было двух коллекций, конкурирующих друг с другом в определенный момент времени.
Кирен Чандлер: Итак, если вы хотите уточнить свой прогноз для нового продукта, это нельзя сделать в изоляции, верно? Если вы запускаете несколько продуктов, они будут каннибализировать то, что у вас есть, а также каннибализировать друг друга.
Жоанн Верморель: Верно. Например, если Apple решит запустить новый iPhone, у них не будет таких же продаж, если они выпустят только один цвет - черный, например, по сравнению с тем, если они позволят клиентам выбирать из пяти разных цветов в день запуска. Хотя больше вариантов может немного увеличить продажи, также будет много каннибализации.
Кирен Чандлер: Вы упомянули продажи, что похоже на корректировку цены продукта в ответ на рыночные тенденции. Есть ли способ прогнозировать чувствительность к цене? Можно ли предсказать спрос на продукт, если я снижу его цену?
Жоанн Верморель: Да, но это делает проблему еще более сложной. Это требует перехода от классического обучения с учителем к области обучения с подкреплением или другим продвинутым ситуациям. Почему? Потому что вы контролируете то, что вы будете наблюдать, как только начнете учитывать цену.
Например, модный бренд наблюдал только за шаблоном продаж для ценовых точек, которые они практиковали в прошлом. Так что, если вы решите перейти на более дорогие ценовые точки, вы отправляетесь в неизведанные территории, где ваши прошлые данные не очень актуальны. Многие бренды переходят постепенно, чтобы у них все еще был шанс учиться и видеть.
Со статистической точки зрения, проблема заключается в том, что если вы создаете прогностическую модель, которая принимает ценовую точку в качестве входных данных, вы можете скорректировать прогноз с помощью ценовой точки. Однако опасность заключается в том, что происходит, если вы начинаете использовать результаты вашей прогностической модели.
Кирен Чандлер: Так что вы говорите о модели для обработки ценообразования. Как если бы можно было построить прогностическую модель, настроить цену и провести различные сценарии, представляющие запуск одного и того же продукта по разным ценам. Такой подход направлен на выбор оптимальной цены, которая приносит нам наибольшую выгоду. Однако, если это делается наивно, не приведет ли это к проблеме переобучения?
Жоанн Верморель: Да, действительно. Если вы повторите это упражнение много раз с минимальными изменениями цены, выбранная вами цена может быть просто флуктуацией самой модели прогнозирования. По сути, вы усилите любую проблему переобучения, которая может возникнуть в процессе обучения. Переобучение происходит, когда статистическая модель хорошо работает на данных, которые у вас уже есть, но не так хорошо на данных, которых у вас нет. Иронично, что при составлении статистического прогноза вы хотите, чтобы ваша модель хорошо работала на данных, которых у вас нет.
Кирен Чандлер: Это действительно вызывает интересный вопрос о том, как измерить точность такой модели. Но мы можем обсудить это в другой раз. Вернемся к вопросу о ценообразовании, кажется, что использование цены в такой модели может стать чрезвычайно сложным. И, конечно, вы не хотели бы получить огромную ошибку переобучения при исследовании переменной ценообразования, верно?
Жоанн Верморель: Именно, исследование переменной ценообразования может привести к огромному переобучению, что является очень сложным аспектом для управления.
Кирен Чандлер: Звучит так, будто это довольно сложная проблема для решения. В заключение, каково будущее в ближайшей перспективе в области прогнозирования новых продуктов? Какие технологические новшества нас ожидают?
Жоанн Верморель: Ну, всего в прошлом декабре мы запустили нашу новую прогностическую систему, основанную на глубоком обучении. Согласно нашим собственным показателям, это, вероятно, было одним из наших самых значительных обновлений в терминах прироста точности. Прирост точности прогнозирования новых продуктов составил более 20% в сокращении ошибки, что довольно значительно. Одно из того, что мы узнали с помощью этой модели, это возможность использования обычных текстовых описаний, которые могут быть очень полезными. Например, если вы являетесь розничным продавцом и хотите прогнозировать, сколько единиц вы продадите в коробках Lego. Это сложная проблема, потому что, например, Lego каждый год выпускает новый средневековый замок.
Кирен Чандлер: Средневековые замки не следует путать с эльфийскими замками. Один будет ориентирован на мальчиков, в то время как другой будет ориентирован на девочек. Однако это незаметно, и у вас фактически нет всех атрибутов, чтобы отразить это, если вы продаете тысячи игрушек в своем магазине.
Жоанн Верморель: Действительно, все основано на атрибутах, но часто у вас нет таких больших объемов данных от поставщика. И у вас не всегда есть время вручную добавлять или корректировать их. Поэтому иногда вам нужен прогнозирующий движок, способный обрабатывать описание в виде обычного текста. Одна из областей, над которой мы в настоящее время работаем, - это использование этих деталей для достижения более конкретных и точных прогнозов.
Для запуска продуктов критически важно принять идею каннибализации. Если вы запускаете больше продуктов, это не означает, что ваши продажи взлетят вверх. Все новые продукты, которые вы запускаете, конкурируют за тех же клиентов, которых у вас уже есть. Поэтому одна из областей исследований, на которую мы сосредоточены, - это использование нашей базы данных лояльности.
Обычно, если вы розничный продавец, вы знаете, какой клиент что покупает. Это совершенно отличается от временной перспективы, где вы просто думаете о том, сколько единиц было продано в день или в неделю для определенного продукта. Здесь вы хотите учитывать социальную сеть клиентов, которые ранее потребляли продукты. Идея заключается в том, что при запуске нового продукта этот новый продукт в первую очередь начнет набирать популярность среди вашей существующей клиентской базы.
Если вы хотите иметь математические модели, способные обрабатывать социальную сеть ваших клиентов, вам обычно придется перейти от глубокого обучения к дифференцируемому программированию, которое является потомком глубокого обучения. Вот на этом этапе мы сейчас находимся.
Кирен Чандлер: Это увлекательно. Нам придется остановиться здесь, но прогнозирование социальных медиа и прогнозирование лояльности - это действительно интересные концепции. Спасибо, что уделили время сегодня.
Жоанн Верморель: Спасибо.
Кирен Чандлер: Вот и все на этой неделе. Если у вас возникли проблемы с прогнозированием новых продуктов, мы с удовольствием выслушаем вас. Отправьте нам электронное письмо или оставьте комментарий ниже. Нас интересуют проблемы, с которыми вы сталкиваетесь. Это все на этой неделе, но мы увидимся в следующий раз. Пока и до новых встреч.
