00:00:07 Введение в Kaggle и гость Рафаэль де Резенде.
00:00:39 Роль Рафаэля и его опыт работы в Lokad.
00:01:29 Kaggle и его соревнования по машинному обучению.
00:04:22 Конкурентный и совместный характер Kaggle.
00:06:55 Влияние сотрудничества на креативность в соревнованиях Kaggle.
00:08:02 Соревнование M5 и его охват (прогнозирование продаж 30 000 единиц товаров в магазинах Walmart).
00:08:39 Функция потерь пинбол функция потерь в качестве метрики оценки.
00:10:26 Члены команды и их конкретные роли в соревновании.
00:12:05 Разница между методами соревнований и реальными приложениями.
00:14:25 Анализ десяти лучших решений и их схожести по эффективности.
00:16:00 Обсуждение эксплуатационных затрат и удобства обслуживания моделей.
00:17:47 Важность численной стабильности в реальных условиях.
00:19:21 Расширяемость и реальные ограничения в модельных соревнованиях.
00:20:35 Возможные улучшения и будущие направления после соревнования.
00:22:14 Значение отраслевой экспертизы и сравнение эффективности с передовыми результатами.
Резюме
В интервью с Кираном Чандлером, Жоаннесом Верморе и Рафаэлем де Резенде из Lokad обсуждают их участие в соревновании Kaggle, посвящённом прогнозированию продаж Walmart. Они подчёркивают важность того, чтобы модели были численно стабильными, удобными в обслуживании и расширяемыми. Несмотря на ограничения, их подход привёл к результатам, близким к передовым достижениям, что подтверждает их акцент на практичные, экономически эффективные и удобные в обслуживании методы оптимизации цепей поставок. Опыт продемонстрировал преимущества обладания экспертизой как в области цепей поставок, так и в науке о данных. Команда теперь планирует применить полученные знания для улучшения решений для своих клиентов.
Расширенное резюме
В этом интервью ведущий Киран Чандлер общается с Жоаннесом Верморе, основателем Lokad, и Рафаэлем де Резенде, руководителем отдела разработки продуктов в Lokad. Оба гостя имеют опыт в оптимизации цепей поставок и привносят свою экспертизу в обсуждение недавнего соревнования Kaggle, связанного с распределением неопределённости продаж Walmart.
Рафаэль де Резенде представляет себя как инженер по организации производства с опытом в области цепей поставок. Он работает в Lokad уже три года, и его роль со временем эволюционировала. В настоящее время он занимает должность руководителя отдела разработки продуктов, руководя командой, которая занимается «гиковскими» темами в Lokad. Они в первую очередь работают над прогнозированием временных рядов, а также над многомасштабным разрешением изображений и системой MOQ, о которой уже говорилось в шоу.
Жоаннес Верморе дает обзор обсуждаемого соревнования Kaggle и самого Kaggle, описывая его как «очень специфическую субкультуру». Kaggle, ныне принадлежащий Google, представляет собой организацию, проводящую конкурсы по машинному обучению, в которых участникам предстоит предсказывать или прогнозировать определённые результаты. Обычно компании предоставляют набор данных и предлагают крупные денежные призы для стимулирования участия. В случае соревнования по прогнозированию продаж Walmart на кону стояли $100,000.
Окружение в этих соревнованиях чрезвычайно конкурентно, привлекая сотни профессионалов, хорошо владеющих новейшими алгоритмами и публикациями. Несмотря на узкую специфику, Kaggle имеет значительное глобальное присутствие, насчитывая более миллиона зарегистрированных участников. Победителями становятся не обязательно сами исследователи, а те, кто умеют выявлять передовые алгоритмы для данной задачи. Затем они находят небольшие улучшения, чтобы получить незначительное преимущество над другими и в итоге выиграть соревнование.
По словам Верморе, победителями Kaggle обычно становятся участники из Северной Америки или Азии, но сообщество участников охватывает весь мир. Приобретение платформы Google ещё больше подчёркивает её растущую популярность и значимость в сфере машинного обучения и науки о данных.
Оба, и Верморе, и Резенде, ценят спортивную аналогию в контексте соревнования. Они отмечают совместный подход на мероприятии, когда участники помогают друг другу совершенствовать свои навыки. При этом они признают ожесточённую конкуренцию, обусловленную денежными стимулами и участием крупных организаций.
Команда Lokad была новичком в этом соревновании, но имела предыдущий опыт участия в насыщенных конкурсах по управлению цепями поставок. Резенде отмечает, что уровень конкуренции в этом событии был значительно выше, чем тот, с которым они сталкивались ранее.
Некоторые критики утверждают, что коллективный характер соревнования может препятствовать творчеству, поскольку участники могут отказаться от своих собственных идей и следовать за решениями с высокими баллами. Этот эффект стада может ограничивать инновационное мышление.
С точки зрения компании, Верморе рад, что команда приняла участие в соревновании, даже если победа не входила в стратегическую программу Lokad. Он считает, что такие соревнования проясняют текущее состояние отрасли, не изменяя его фундаментальным образом. В данном соревновании команда во главе с Резенде заняла шестое место из 909 команд в конкурсе по прогнозированию продаж, включавшем 30 000 SKU в магазинах Walmart в течение 28 дней.
Верморе находит интересным, что в этом соревновании впервые в качестве метрики оценки использовалась пинбол функция потерь, которую Lokad предложил годами ранее. Он поясняет, что квантильные прогнозы имеют целенаправленный уклон, обеспечивая наличие товаров в магазинах, с целью достижения высокого уровня сервиса. Это соревнование явно указало на использование квантильного прогноза, что было впервые в этой области.
Команда Резенде состояла из четырех человек, каждый из которых имел свою специфическую роль. Они работали над основной моделью, анализировали данные и строили инфраструктуру для соревнования. В качестве лидера команды Резенде сосредоточился на поддержании мотивации и совместной работе.
Интервью завершается сравнением подхода Резенде с спортивной аналогией, что подразумевает, что они могли применить уникальный или стратегический подход к соревнованию.
Разговор вращался вокруг различий между модельными соревнованиями и реальными применениями в оптимизации цепей поставок.
Участники сравнили конкурсорные модели с автомобилями Формулы-1, которые настроены для конкретных трасс, но не подходят для повседневного использования. Они отметили, что методы, используемые в соревнованиях, требуют значительных вычислительных ресурсов и не всегда подходят для реальных условий. Например, десять лучших победителей в недавнем соревновании тратили около 10 часов на обработку небольшого подмножества данных Walmart, что было бы непрактично для реальной работы.
Верморе и де Резенде объяснили, что Lokad применил иной подход, используя теоретическую базу, схожую с их повседневной работой, внося лишь незначительные корректировки для целей соревнования. Они подчеркнули важность того, чтобы в первую очередь быть профессионалами в области цепей поставок, опираясь на свой опыт и интуицию при принятии решений.
Участники интервью также отметили, что десять лучших решений в соревновании оказались численно очень близки, с лишь незначительными различиями в их эффективности. Они выделили три ключевых аспекта, которые отличают модельные соревнования от реальных решений для цепей поставок: эксплуатационные затраты, удобство обслуживания и адаптивность к несовершенным условиям. Подход Lokad, напротив, был направлен на минимизацию вычислительных затрат и обеспечение удобства обслуживания, с учётом реальных препятствий и несовершенств.
В целом, обсуждение подчеркнуло необходимость практичных, экономически эффективных и удобных в обслуживании методов оптимизации цепей поставок, которые могут применяться в реальных условиях, а не исключительно теоретических или ориентированных на соревнования подходов.
Они говорят о важности наличия моделей, которые являются численно стабильными, удобными в обслуживании и расширяемыми. Численная стабильность гарантирует, что модели умеют работать с несовершенными данными и не дают крайне неточных результатов. Удобство обслуживания означает, что модель может работать эффективно даже в неидеальных условиях. Расширяемость позволяет включать дополнительные факторы, такие как уровни запасов и будущие акции, в модель.
Команда приняла участие в соревновании по прогнозированию, которое акцентировало внимание на важности отраслевых знаний в оптимизации цепей поставок. Несмотря на ограничения, не связанные с точностью прогнозирования, им удалось добиться результатов, близких к передовым достижениям. Этот конкурс подтвердил их подход, доказав, что их модели действительно конкурентоспособны, остаются простыми, удобными в обслуживании и расширяемыми.
После соревнования основное внимание теперь уделяется тому, чтобы передать полученные знания и улучшения всей команде Lokad, с обеспечением их быстрой реализации для клиентов. Этот опыт также подчеркнул преимущества обладания экспертизой как в области цепей поставок, так и науки о данных в соревнованиях, в отличие от узкой специализации только в науке о данных.
Полная транскрипция
Киран Чандлер: Сегодня мы рады приветствовать одного из наших коллег, Рафаэля де Резенде. Он расскажет нам о недавнем соревновании M5, в котором изучалось распределение неопределённости продаж Walmart. Рафаэль, большое спасибо, что пришли к нам через коридор.
Рафаэль де Резенде: Очень рад быть здесь. Позвольте мне немного рассказать о себе и своем опыте. Я работаю в Lokad последние три года. У меня опыт в области цепей поставок, я — инженер по организации производства, и за время работы в Lokad моя роль значительно изменилась. Сейчас я возглавляю отдел разработки продуктов в Lokad, и моя команда занимается самыми «гиковскими» темами Lokad. Мы работаем над прогнозированием временных рядов, разрешением изображений и MOQ, о которых, как я полагаю, уже говорилось в шоу.
Киран Чандлер: Отлично, а теперь, Жоаннес, сегодня мы поговорим о недавнем соревновании Kaggle, посвященном распределению неопределенности продаж Walmart. Может быть, вы сможете дать нам краткий обзор самой задачи и Kaggle в целом?
Жоаннес Верморе: Да, а также о самом Kaggle. Это очень специфическая субкультура. Kaggle — довольно крупная организация, которая была приобретена Google. Kaggle организует соревнования по машинному обучению, в которых нужно что-то прогнозировать или предсказывать. Для проведения соревнования нужен набор данных и значительные призы. В соревновании, о котором мы говорим, призовой фонд составил 100 000 долларов. Это очень конкурентная среда, где сотни людей, являясь настоящими профессионалами, участвуют в соревнованиях. Это своего рода спорт высокого уровня.
Сообщество, выигрывающее соревнования Kaggle, обычно состоит не из исследователей, а из людей, которые прекрасно умеют определять, что является передовыми достижениями. Они изучают все постоянно публикуемые материалы и определяют, какой из них станет эталоном в отрасли. Затем они должны добавить немного «магии», чтобы получить незначительное преимущество в точности, которое позволит им выиграть. Им нужно найти крошечное отличие, дающее им малое преимущество, и они опережают остальных. Это очень специфическая субкультура, и она огромна. Kaggle насчитывает более миллиона зарегистрированных участников со всего мира, даже если победители обычно приходят из Северной Америки или Азии.
Киран Чандлер: То есть, его приобрел Google, так что он определенно на подъеме. Жоаннес упомянул аналогию с спортивным событием, где ученые по данным не только соревнуются, но и сотрудничают, что, на мой взгляд, отличная аналогия. Давайте поговорим подробнее о самой задаче. С какими ключевыми проблемами вы столкнулись, и с кем вам пришлось соперничать?
Жоаннес Верморе: Я считаю, что спортивная аналогия действительно удачна. Действительно, Kaggle ощущается как спорт. Приятной особенностью Kaggle является совместный подход, когда участники помогают друг другу и тратят значительное время на улучшение навыков друг друга. Это происходит одновременно с жесткой конкуренцией, ведь задействованы деньги, и крупные организации или спонсируют, или внимательно следят за процессом. Мы были новичками в Kaggle, но ранее наша команда уже участвовала в каких-то соревнованиях, когда клиенты испытывали наше решение в цепях поставок. Однако это было не на том уровне, что в Kaggle. В Kaggle у нас было 900 команд, тогда как раньше конкурировали с двумя или тремя командами. Каждый действительно старался помогать друг другу ещё больше, чем это наблюдается в Kaggle.
Рафаэль де Резенде: Одной из интересных особенностей коллективного духа Kaggle является то, что многие критикуют его за возможное подавление креативности. Часто случается так, что кто-то публикует решение, которое вначале набирает высокие баллы, и внезапно многие другие команды начинают его копировать, отказываясь от своих первоначальных идей. Это явление, эффект стада, в результате чего все сваливаются в одну точку. Хотя коллективный подход полезен, я вынужден согласиться с теми, кто считает, что он время от времени препятствует творчеству.
Киран Чандлер: А как это смотрится с точки зрения компании? Ваши сотрудники работают в свободное время. Как вы к этому относитесь?
Джоаннес Верморел: Я очень рад, что они это сделали. Никогда не было стратегией Lokad пытаться выигрывать такие соревнования. Я несколько раз участвовал в подобных с гораздо меньшим успехом в первые годы Lokad, но понял, что эти соревнования не фундаментально меняют современное состояние дел. Они уточняют, каким является современный уровень, что очень хорошо. Например, в этом соревновании команда Рафаэля заняла шестое место из 909 команд; оно задумывалось как конкурс по прогнозированию спроса, но оказалось конкурсом по прогнозированию продаж из-за неправильного учета дефицита товара. Таким образом, они прогнозировали продажи, а не спрос. Это был конкурс по прогнозированию спроса для 30 000 артикулов в магазинах Walmart в течение 28 дней. Такие соревнования демонстрируют современное состояние дел, но не меняют его фундаментально.
Киран Чендлер: Очень интересно, что в этом соревновании, насколько мне известно, впервые использовалась функция потерь пинбола в качестве метрики для определения победителя. Это весьма загадочно, понимаете? Это буквально метрика, используемая для измерения точности.
Джоаннес Верморел: Я считаю, что Lokad был первым, кто предложил еще в 2012 году, что прогнозы в цепочках поставок должны переходить к квантильным прогнозам. На самом деле, позже мы сказали, что необходимо перейти к вероятностным прогнозам и сделать еще больше изменений. Восемь лет назад мы заявили, что этот переход неизбежен. Кстати, эти прогнозы довольно странные, поскольку в них сознательно закладывается смещение. Для аудитории, которая может быть несколько озадачена: зачем вообще нужна преднамеренная смещенность в прогнозе спроса? Ответ в том, что в магазинах необходимо обеспечить наличие товаров. Вы не хотите, чтобы прогноз в среднем означал, что люди находят то, что ищут, только половину времени. Это не цель. Вы хотите, чтобы у людей был уровень обслуживания, скажем, 98%, когда обычно товар, который они ищут, присутствует в магазине. Таким образом, вы хотите иметь прогноз со смещением, и эта методика известна как квантильный прогноз. Это соревнование было очень интересно тем, что впервые публичное соревнование было четко обозначено как основанное на квантильном прогнозировании.
Рафаэль де Резенде: Затем необходимо создать технологию и инструменты для решения этой задачи. Я очень рад и горжусь тем, что моя команда смогла занять шестое место в таком жестоком соревновании.
Киран Чендлер: Давайте поговорим немного подробнее о вашей команде. Вы упомянули, что работали в команде. Сколько вас было в команде, и кто были остальные участники, с которыми вы работали?
Рафаэль де Резенде: Мы были командой из четырех человек. Это были я и три дизайнера из Lokad. Один из них больше не работает здесь, но всё равно пришёл из Lokad. У каждого была своя конкретная роль в команде. Хагги работал со мной над основной моделью, сосредотачиваясь на мелких математических деталях того, как мы собираемся решать проблему. Катарина внесла своё бизнес-видение, анализируя данные и определяя основные моменты, которые мы должны учитывать для корректного моделирования. Наконец, была Марин, которая выполнила около 80% настоящей тяжелой работы. В этот раз она работала в качестве инженера по данным и построила нашу собственную инфраструктуру для соревнования. Моя роль заключалась в том, чтобы объединять всех и поддерживать мотивацию в команде.
Киран Чендлер: Можете подробнее рассказать о выбранном подходе? Чем он отличался от других методологий? Что было особенного?
Рафаэль де Резенде: Думаю, хорошую аналогию можно провести с Формулой-1. Если сравнить машину Формулы-1 с обычной машиной, станет ясно, что это не совсем та же машина, которую вы покупаете в магазине. Они обе являются автомобилями, но не идентичны. Когда речь идёт о таких соревнованиях, люди, как правило, работают примерно одинаково. Они создают методы, которые крайне требовательны к вычислительным ресурсам, что отлично подходит для соревнований, но всё же не является тем, что вы получите при покупке продукта в конечном итоге. Может потребоваться некоторое изменение. Например, большинство победителей в топ-10 использовали методы, выполнение которых занимало много времени, даже для довольно небольшого подмножества данных из Walmart. Это было совершенно абсурдно: например, десять часов только на очень небольшое подмножество данных. Итак,
Киран Чендлер: Мы пошли в другом направлении – то, что мы сделали, и, как мне кажется, эта идея присутствовала с самого начала. Мы хотели перенести ту же теоретическую базу, которую используем ежедневно, и применить её в соревнованиях. Так что на самом деле, большинство методов, которые мы используем, не сильно отличаются от того, что мы делаем ежедневно. Конечно, возможно, мы изменили автомобиль, установив более компактную гоночную настройку, внесли некоторые изменения, убрали заднее сиденье и так далее, чтобы повысить производительность. Но если внимательно сравнить то, что мы сделали, с тем, что делают другие, вам пришлось бы быть экспертом, чтобы определить, в чем на самом деле разница.
Рафаэль де Резенде: Ладно, то, что вы говорите, — это то, что вычислительно, поскольку было всего около 30 000 артикулов, некоторые из этих других подходов действительно работали, но если бы их пришлось применять в масштабах, это было бы гораздо сложнее для реального мира. Я так думаю. Я не утверждаю, что они не сработали бы в реальности; думаю, это было бы сложно. Ведь требует много обслуживания. Мы использовали методы с низкой размерностью, которые известны уже долгое время, но наш подход к решению проблемы исходил не с точки зрения data science. Мы прежде всего были профессионалами в цепочках поставок. Мы опирались на все, что знаем о цепочках поставок, и на нашу интуицию относительно проблемы, поскольку проходили через многие внутренние соревнования, поэтому знали, как все работает, и именно это мы и предложили.
Киран Чендлер: Каковы были ваши мысли по поводу этого подхода, и, возможно, могли бы вы дать базовый обзор того, как вы его воспринимали?
Джоаннес Верморел: Это очень интересно, потому что в топ-10, при участии 909 команд, я смотрел только на лучшие 10 решений, а не на все представленные варианты. Таким образом, были участники, которые были лучше Lokad, и те, кто был хуже. Самое интересное, что если посмотреть на топ-10 решений, они все численно невероятно близки друг к другу. По сути, от первого до десятого места разница почти ничтожна. Кажется, мы отставали примерно на 0,01% от участника, занявшего пятое место, а участник седьмого места был примерно на 0,01% позади. Команда, занявшая первое место, опережала на несколько процентов, но в целом разрыв был невероятно мал.
Теперь, я думаю, существует как минимум три направления, в которых эти соревнования не отражают то, что необходимо в реальном мире цепочек поставок. И, по моему мнению, разница между автомобилем Формулы-1 и обычным автомобилем, настроенным для гонок, как нельзя лучше иллюстрирует эту проблему. На самом деле было три главных аспекта.
Во-первых, операционные затраты, необходимые для получения результатов. Из методов, представленных в топ-10, только у Lokad не были безумно высокие вычислительные затраты. И снова, представьте автомобиль, потребляющий около 50 литров на 100 километров. Это было бы примерно в десять раз дороже, чем любой автомобиль, который потребляет столько же топлива, как грузовик. То есть, если вы можете заезжать на пит-стоп каждые 20 минут, это довольно хорошо, но иначе – нет. И, кстати, с облачными вычислениями эти затраты действительно ощутимы. Если нужно арендовать тысячу серверов, это обходится довольно дорого.
Во-вторых, это поддерживаемость. Просто представьте: если взглянуть на эту аналогию с Формулой-1, которая, на мой взгляд, отличная, автомобиль Формулы-1 великолепен, потому что он работает на трассах с идеальными дорогами.
Киран Чендлер: Это буквально как если бы вы пытались управлять автомобилем Формулы-1 в Париже. Например, даже влага на тротуарах могла бы повредить машину. Автомобиль не может пережить толчок, превышающий всего несколько сантиметров, потому что Формула-1 так близко к дороге. Он буквально находится в одном сантиметре от земли. Поэтому любое препятствие может сломать машину. Очевидно, что если вы выберете обычный автомобиль, у вас будет немного больше простора, и вы не будете вплотную к дороге. Вы не будете ехать так быстро, но, знаете что? Если дорога будет немного ухабистой, вы справитесь с препятствиями.
Джоаннес Верморел: Итак, о тех моделях, о которых я говорю: с точки зрения численной стабильности необходимо, чтобы если ваши данные не идеальны, если иногда они немного повреждены, модель не сходила с ума и не выдавала абсолютно безумных результатов, как автомобиль Формулы-1, который полностью съезжает с трассы. Поддерживаемость означает, что даже при неидеальных условиях модель остаётся относительно стабильной и консервативной, что, в свою очередь, гарантирует её работоспособность.
В этом соревновании люди могут тратить буквально сотни часов, чтобы все было идеально, как на гоночной трассе. Но в реальном мире происходят всевозможные непредвиденные ситуации, всё хаотично, и дороги не идеальны. Это означает, что численная стабильность крайне важна для того, чтобы модели оставались стабильными, возможно, немного менее точными, чтобы при наличии небольшого количества «мусора», как говорится в data mining: “мусор на входе – мусор на выходе”. Но реальность такова, что мусора всегда будет немного, поэтому нужна модель, которая не сходит с ума от неидеальных данных.
Последнее, что также полностью отсутствовало в этом соревновании – это расширяемость. Реальность такова, что, например, в этом соревновании не учитывались уровни запасов, не предлагались будущие акции. Команде нужно было прогнозировать на 28 дней вперёд. У них была история цен, но не было будущих цен на прогнозируемый период в 28 дней. Таким образом, они, по сути, не знали о будущих акциях. Если бы мы хотели создать реальную систему, нам пришлось бы учитывать уровни запасов, будущие акции и, вероятно, ограничения по полкам относительно того, сколько товара может быть выставлено. Это ограничения, и затем, скажем, функция потерь, используемая для оценки точности, была функцией потерь пинбола, но реальность такова, что могут возникать всевозможные нелинейности.
Киран Чендлер: А каковы ваши мысли теперь, когда соревнование закончилось? Джоаннес упомянул, что разрыв составляет всего 0,1%. Попадание в топ-5 должно вызывать некоторое разочарование. Есть мысли, что можно было бы улучшить?
Джоаннес Верморел: У нас было много идей, которые мы не успели опробовать во время соревнования. В какой-то момент приближается дедлайн, и приходится говорить: “Ладно, всё, идём дальше”. Конечно, существует множество идей, которые можно было бы улучшить. Однако я не думаю, что этим мы будем заниматься в ближайшее время. Основное внимание будет уделено тому, чтобы внедрить те несколько улучшений, которые мы сделали, во всю команду, всем другим специалистам, и гарантировать, что эти идеи будут быстро применены для всех наших клиентов.
Рафаэль де Резенде: Кстати, Walmart не исключение. Поэтому мы собираемся взять все, чему научились, и попытаться применить это как можно быстрее, особенно делясь знаниями с другими, чтобы помочь большему количеству клиентов.
Киран Чендлер: Отлично. А как насчёт тебя, Джоаннес? Замечал ли ты что-то в работе команды, что, по-твоему, может оказаться особенно полезным для будущего?
Джоаннес Верморел: По правде говоря, всё было отлично. Это подтвердило множество аспектов нашего подхода. Когда я говорю, что нам нужна модель, которая будет максимально простой, поддерживаемой и расширяемой, мы сталкиваемся с множеством ограничений, которые никак не связаны с точностью прогнозирования. Вопрос в том, насколько вы отстаете от современного уровня, если учитывать эти ограничения. Возможно, можно было прийти к выводу, что наши модели обладают хорошими свойствами, поддерживаемы и расширяемы, но они отсталы на световые годы от того, что можно достичь с современными технологиями. Но вывод оказался совершенно обратным: мы всего лишь на волоске от современного уровня.
Рафаэль де Резенде: Хотел бы добавить, что это было соревнование по цепочкам поставок. Приятно осознавать, что ваши знания в предметной области действительно полезны. Мы в основном соревновались с людьми, которые не были экспертами в цепочках поставок, а специалистами по data science. Мы были поставщиком решений для цепочек поставок, при этом являясь экспертами в области data science, что, возможно, выделяло нас на фоне других участников.
Киран Чендлер: Отлично. А, Рафаэль, что дальше? Есть ли еще какие-либо соревнования на горизонте?
Рафаэль де Резенде: Нет, думаю, в этом году у нас было много стресса, поэтому мы отложим всё до следующего года, дадим себе время на восстановление, а затем, возможно, снова примем участие.
Киран Чендлер: Думаю, вы, наверное, заслуживаете перерыва. На этом всё. Спасибо за ваше время. Это всё на этой неделе. Большое спасибо, что были с нами, и увидимся в следующем эпизоде. Пока!
