00:00:07 Введение в Kaggle и гость Рафаэль де Резенде.
00:00:39 Роль Рафаэля и его опыт работы в Lokad.
00:01:29 Kaggle и его соревнования по машинному обучению.
00:04:22 Конкурентный и коллаборативный характер Kaggle.
00:06:55 Влияние коллаборации на креативность в соревнованиях Kaggle.
00:08:02 Соревнование M5 и его охват (прогнозирование продаж 30 000 SKU в магазинах Walmart).
00:08:39 Функция потерь Pinball в качестве метрики оценки.
00:10:26 Участники команды и их конкретные роли в соревновании.
00:12:05 Разница между методологиями соревнований и применением их в реальной жизни.
00:14:25 Анализ топ-10 решений и их близость в производительности.
00:16:00 Обсуждение операционных затрат и поддерживаемости моделей.
00:17:47 Важность численной стабильности в реальных сценариях.
00:19:21 Расширяемость и ограничения реального мира в моделях соревнования.
00:20:35 Возможные улучшения и будущее направление после соревнования.
00:22:14 Значимость экспертизы в области и сравнение производительности с передовыми технологиями.
Резюме
В интервью с Киреном Чандлером, Жоаннес Верморелем и Рафаэлем де Резенде из Lokad обсуждают свое участие в соревновании Kaggle по прогнозированию продаж в Walmart. Они подчеркивают важность численной стабильности, поддерживаемости и расширяемости моделей. Несмотря на ограничения, их подход привел к результатам, близким к передовым технологиям, подтверждая их фокус на практичных, экономически эффективных и поддерживаемых методах оптимизации цепи поставок. Опыт показал преимущества быть экспертами как в области цепи поставок, так и в науке о данных. Команда планирует реализовать полученные знания для улучшения решений для своих клиентов.
Расширенное резюме
В этом интервью ведущий Кирен Чандлер беседует с Жоаннесом Верморелем, основателем Lokad, и Рафаэлем де Резенде, руководителем отдела разработки продуктов в Lokad. Оба гостя имеют опыт в оптимизации цепи поставок и привносят свою экспертизу в обсуждение недавнего соревнования Kaggle, связанного с неопределенностью распределения продаж в Walmart.
Рафаэль де Резенде представляет себя как инженера-технолога с опытом работы в сфере цепи поставок. Он работает в Lokad уже три года, и его роль развивалась за это время. В настоящее время он занимает должность руководителя отдела разработки продуктов, возглавляя команду, которая занимается “гиковскими” темами в Lokad. Они в основном занимаются прогнозированием временных рядов, а также многомасштабным разрешением изображений и системой MOQ, о которой ранее уже говорилось в передаче.
Жоаннес Верморел дает обзор рассматриваемого соревнования Kaggle и самого Kaggle, описывая его как “очень специфическую субкультуру”. Kaggle, теперь принадлежащий Google, является организацией, которая проводит соревнования по машинному обучению, в которых участники должны предсказывать или прогнозировать определенные результаты. Компании обычно предоставляют набор данных и предлагают крупные денежные призы для стимулирования участия. В случае соревнования по продажам в Walmart, на кону было 100 000 долларов.
В этих соревнованиях царит высокая конкуренция, привлекая сотни профессионалов, хорошо знакомых с последними алгоритмами и публикациями. Несмотря на свою узкую специализацию, Kaggle имеет значительное глобальное присутствие, похваставшись более миллиона зарегистрированных участников. Конкуренты не обязательно являются исследователями сами по себе, но они умеют находить передовые алгоритмы для решения конкретной проблемы. Затем они находят незначительные улучшения, чтобы получить небольшое преимущество перед другими и в конечном итоге победить в соревновании.
По словам Верморела, победители Kaggle обычно из Северной Америки или Азии, но они гордятся всемирным сообществом участников. Покупка платформы Google еще раз подчеркивает ее растущую популярность и значимость в области машинного обучения и науки о данных.
Верморел и Резенде оба ценят спортивную аналогию, когда речь идет о соревновании. Они подчеркивают коллаборативный подход на мероприятии, когда участники помогают друг другу улучшать свои навыки. В то же время они признают жесткую конкуренцию, которая возникает из-за денежных стимулов и участия крупных организаций.
Команда Lokad была новичком в этом соревновании, но у них уже был опыт участия в интенсивных соревнованиях в управлении цепями поставок. Резенде признает, что уровень конкуренции на этом мероприятии был намного выше, чем в предыдущих вызовах, с которыми они сталкивались.
Некоторые критики утверждают, что коллаборативный характер соревнования может ограничивать творческое мышление, так как участники могут отказаться от своих собственных идей и следовать примеру высокооцененных решений. Этот эффект стада может ограничивать инновационное мышление.
С точки зрения компании Верморел рад, что команда приняла участие в соревновании, даже если победа не была частью стратегического плана Lokad. Он считает, что такие соревнования уточняют состояние искусства в данной области, не обязательно изменяя его фундаментально. В этом конкретном соревновании команда под руководством Резенде заняла шестое место из 909 команд в задаче прогнозирования продаж, связанной с 30 000 SKU в магазинах Walmart на протяжении 28 дней.
Верморел находит интересным, что в этом соревновании впервые была использована функция потерь пинбол, предложенная Lokad несколько лет назад. Он объясняет, что квантильные прогнозы имеют целенаправленное смещение, чтобы обеспечить наличие товаров в магазинах, стремясь к высокому уровню обслуживания. В этом соревновании явно указывалось использование квантильного прогноза, что было впервые в данной области.
Команда Резенде состояла из четырех человек, каждый со своей определенной ролью. Они работали над основной моделью, анализировали данные и создавали инфраструктуру для соревнования. В качестве лидера команды Резенде сосредоточился на поддержании мотивации всех и совместной работе.
В интервью Резенде сравнивает их подход с аналогией из спорта, подразумевая, что они могли принять уникальный или стратегический подход к соревнованию.
Разговор касался различий между моделями соревнований и применением их в реальных задачах оптимизации цепей поставок.
Участники сравнили модели соревнований с автомобилями Формулы-1, которые настроены для конкретных трасс, но не являются практичными для повседневного использования. Они отметили, что методы, используемые в соревнованиях, требуют больших вычислительных затрат и не всегда подходят для реальных сценариев. Например, топ-10 победителей последнего соревнования затратили около 10 часов на обработку небольшого подмножества данных Walmart, что было бы непрактично для реальных операций.
Верморел и де Резенде пояснили, что Lokad выбрал другой подход, используя теоретическую рамку, аналогичную их повседневным операциям, внося только незначительные изменения для целей соревнования. Они подчеркнули важность того, чтобы в первую очередь быть профессионалами в области цепей поставок, используя свой опыт и интуицию для принятия решений.
Интервьюируемые также отметили, что топ-10 решений в соревновании были численно очень близки, с небольшими различиями в их производительности. Они выделили три ключевые проблемы, которые делают модели соревнований отличными от реальных решений в области цепей поставок: операционные затраты, поддерживаемость и адаптация к неполным условиям. Подход Lokad, в свою очередь, сосредоточен на минимизации вычислительных затрат и обеспечении поддерживаемости, учитывая также реальные препятствия и несовершенства.
В целом, обсуждение подчеркнуло необходимость практичных, экономически эффективных и поддерживаемых методов оптимизации цепей поставок, которые могут быть применены в реальных сценариях, а не только в теоретических или соревновательных подходах.
Они говорят о важности наличия моделей, которые являются численно стабильными, поддерживаемыми и расширяемыми. Численная стабильность обеспечивает возможность моделям обрабатывать неполные данные и не производить сильно неточные результаты. Поддерживаемость означает, что модель может хорошо работать даже в условиях, не являющихся идеальными. Расширяемость позволяет учитывать дополнительные факторы, такие как уровень запасов и будущие промоакции, в модели.
Команда приняла участие в соревновании по прогнозированию, которое подчеркнуло важность знания предметной области в оптимизации цепей поставок. Несмотря на ограничения, не связанные с точностью прогнозирования, им удалось достичь результатов, близких к передовым. Этот вызов подтвердил их подход, доказав, что их модели действительно конкурентоспособны, при этом они являются гибкими, поддерживаемыми и расширяемыми.
После соревнования основное внимание сейчас сосредоточено на том, чтобы передать полученные знания и улучшения всей команде Lokad, чтобы они могли быть быстро реализованы для их клиентов. Опыт также подчеркнул преимущества того, чтобы быть экспертами как в области цепей поставок, так и в области науки о данных, в отличие от чистых экспертов по науке о данных.
Полный текст
Кирен Чандлер: Сегодня мы рады приветствовать одного из наших коллег, Рафаэля де Резенде. Он расскажет нам о недавнем соревновании M5, в котором исследовалось распределение неопределенности продаж в Walmart. Итак, Рафаэль, большое спасибо, что сделали небольшую прогулку по коридору, чтобы присоединиться к нам.
Рафаэль де Резенде: Мне очень приятно быть здесь. Может быть, я могу рассказать вам немного больше о себе и своем опыте. Я работаю здесь в Lokad уже три года. У меня есть опыт в области цепей поставок, я инженер-технолог, и за время работы в Lokad моя роль сильно менялась. Сейчас я являюсь руководителем отдела разработки продуктов в Lokad, и моя команда и я занимаемся очень гиковскими темами Lokad. Мы работаем над прогнозированием временных рядов, разрешением изображений и MOQ, о которых, как я полагаю, уже говорили здесь в передаче.
Кирен Чандлер: Отлично, а Джоаннес, сегодня мы поговорим о недавнем соревновании Kaggle, в котором рассматривалось распределение неопределенности продаж в Walmart. Можете ли вы дать нам обзор самого соревнования и самого Kaggle?
Джоаннес Верморель: Да, и, возможно, о Kaggle в целом. Это очень специфическая подкультура. Kaggle - это довольно крупная организация, которая была приобретена Google. Kaggle организует соревнования по машинному обучению, где нужно предсказать или прогнозировать что-то. Чтобы организовать соревнование, вам нужен набор данных для прогнозирования или предсказания чего-то, а также большие призы. В соревновании, о котором мы говорим, было разыграно 100 000 долларов призовых. Это очень конкурентная среда, с сотнями людей, которые являются профессионалами в этой области. Это похоже на спорт высокого уровня.
Сообщество, которое выигрывает соревнования Kaggle, обычно не является исследователями, но они очень хороши в определении передовых технологий. Они изучают все, что публикуется, и находят, какая из них станет передовой. Затем им приходится сделать что-то особенное, чтобы получить небольшой процент точности, который позволит им победить. Они должны найти маленькую вещь, которая даст им небольшое преимущество, и они будут впереди остальных. Это очень специфическая подкультура, и она огромная. В Kaggle зарегистрировано более 1 миллиона участников со всего мира, хотя победители обычно из Северной Америки или Азии.
Кирен Чандлер: Я имею в виду, что его приобрела Google, так что он определенно на подъеме. Джоаннес упомянул аналогию с спортивным событием, где участвуют и соревнуются друг с другом, но также сотрудничают, что, на мой взгляд, очень хорошая аналогия. Давайте поговорим немного больше о самом соревновании. Какие были основные проблемы, с которыми вы столкнулись, и с кем вы соревновались?
Жоаннес Верморель: Я думаю, что аналогия со спортом действительно хорошая. Я имею в виду, Kaggle действительно похож на спорт. Что здорово в Kaggle, так это очень коллаборативный подход, где люди помогают друг другу и проводят значительное время, помогая другим стать лучше. Это происходит одновременно с жесткой конкуренцией, потому что в этом участвует деньги, и большие организации либо спонсируют, либо тщательно следят за тем, что вы делаете. Мы были новичками в Kaggle, но наша команда уже участвовала в некоторых соревнованиях ранее, когда клиенты оспаривали наше решение в сфере поставок. Однако это было не на том же уровне, что и Kaggle. В Kaggle у нас было 900 команд, тогда как раньше мы могли соревноваться с двумя или тремя другими командами. Все действительно старались помогать друг другу даже больше, чем в Kaggle.
Рафаэль де Резенде: Одна интересная вещь в коллаборативной стороне Kaggle заключается в том, что многие люди критикуют ее за возможное ограничение творчества. Часто бывает так, что некоторые люди публикуют решение, которое хорошо оценивается в начале, и внезапно многие другие команды начинают следовать ему, отказываясь от того, что они делали раньше. Таким образом, возникает эффект стада, и все идут в одну сторону. Коллаборативное понятие полезно, но я согласен с теми, кто говорит, что иногда оно мешает творчеству.
Кирен Чандлер: А как насчет этого с точки зрения компании? У вас есть эти ребята, работающие в свое свободное время. Что вы об этом думаете?
Жоаннес Верморель: Я очень рад, что они это сделали. У Lokad никогда не было стратегии пытаться выиграть эти соревнования. Я участвовал в нескольких соревнованиях с гораздо меньшим успехом в начальные годы Lokad, но я понял, что эти соревнования не обязательно фундаментально изменяют состояние искусства. Они уточняют, каково состояние искусства, что очень хорошо. Например, это соревнование, в котором команда Рафаэля заняла шестое место из 909 команд, было задумано как соревнование по прогнозированию спроса, но оказалось соревнованием по прогнозированию продаж из-за неправильного учета дефицита товара. Таким образом, они прогнозировали продажи, а не спрос. Это было соревнование по прогнозированию спроса для 30 000 SKU в магазинах Walmart на протяжении 28 дней. Эти соревнования показывают состояние искусства, но не изменяют его фундаментально.
Кирен Чандлер: Очень интересно, что в этом соревновании впервые, насколько мне известно, использовалась функция потерь в виде пинбола в качестве метрики для определения победителя. Это очень необычно, знаете ли? Это буквально метрика, используемая для измерения точности.
Жоаннес Верморель: Я считаю, что Lokad была первой, кто предложил в 2012 году, что прогнозы в цепях поставок должны перейти к квантильным прогнозам. Фактически, позже мы сказали, что нам нужно перейти к вероятностным прогнозам и делать еще больше вещей. Восемь лет назад мы заявили, что нам нужно сделать этот переход. Кстати, эти прогнозы очень странные, потому что они имеют преднамеренное смещение. Для аудитории, которая может быть немного смущена, зачем вам нужно смещение нацеленное на спрос? Ответ заключается в том, что в магазинах вы хотите обеспечить наличие товаров. Вы не хотите прогноза, где в среднем люди находят то, что ищут только в половине случаев. Это не цель. Вы хотите, чтобы у людей был, скажем, 98% уровень обслуживания, где обычно то, что они ищут, присутствует в магазине. Таким образом, вы хотите иметь прогноз со смещением, и эта техника известна как квантильный прогноз. Это соревнование было очень интересным, потому что впервые было организовано публичное соревнование, где явно указывалось, что это квантильный прогноз.
Рафаэль де Резенде: Затем вам приходится создавать технологию и инструменты для решения этой проблемы. Я очень рад и горжусь тем, что моя команда смогла занять шестое место в таком жестоком соревновании.
Кирен Чандлер: Давайте поговорим еще немного о вашей команде. Вы упомянули, что работали с командой. Сколько вас было в этой команде, и кто были другие люди, с которыми вы работали?
Рафаэль де Резенде: Нас было четверо. Это были я и трое дизайнеров из Lokad. Один из них больше не работает здесь, но все же пришел отсюда. У каждого была очень конкретная роль в команде. Хагги работал со мной над основной моделью, фокусируясь на маленьких математических деталях того, как мы собирались решить проблему. Катарина вносила свое деловое видение, анализируя данные и выявляя основные моменты, которые мы должны были учесть, чтобы правильно моделировать вещи. Наконец, была Марин, которая сделала около 80% реально тяжелой работы. На этот раз она работала в качестве инженера данных и создала нашу собственную инфраструктуру для соревнования. Моя роль заключалась в том, чтобы объединить всех и поддерживать мотивацию людей.
Кирен Чандлер: Можете ли вы рассказать немного больше о подходе, который вы выбрали? В чем он отличается от других методологий? Что было по-другому?
Рафаэль де Резенде: Думаю, хорошей аналогией будет сравнение с Формулой-1. Если вы возьмете автомобиль Формулы-1 по сравнению с обычным автомобилем, вы увидите, что это не совсем тот же автомобиль, который вы покупаете в магазине. Они оба автомобили, но они не одинаковы. Когда дело доходит до такого рода соревнований, люди обычно работают примерно одинаково. Они создают методы, которые являются чрезвычайно вычислительно затратными, что отлично подходит для соревнования, но они все же не совсем то, что вы получите, если фактически купите продукт в конце концов. Могут быть некоторые изменения. Например, большинство из десяти лучших победителей использовали методы, которые занимали долгое время для выполнения, даже для довольно небольшого подмножества данных от Walmart. Это было совершенно абсурдно, например, десять часов только для очень небольшого подмножества. Таким образом,
Кирен Чандлер: Мы пошли в другом направлении, то, что мы сделали, и я думаю, что эта идея была очень присутствующей с самого начала. Мы хотели применить ту же теоретическую основу, которую мы используем здесь ежедневно, и применить ее на практике. Так что то, что мы сделали, на самом деле большинство вещей, которые мы используем, не сильно отличаются от того, что мы делаем ежедневно. Конечно, я имею в виду, мы могли изменить автомобиль, чтобы установить более компактную гоночную конфигурацию, мы внесли некоторые изменения, убрали заднее сиденье и т. д., чтобы сделать его более ориентированным на производительность. Но если вы действительно посмотрите, что мы сделали и что люди делают здесь, вам придется быть экспертом, чтобы определить, в чем на самом деле разница.
Рафаэль де Резенде: Хорошо, то есть, что вы говорите, это вычислительно, потому что было всего около 30 000 SKU, некоторые из этих других подходов действительно работали, но если бы они были в масштабе, им было бы намного сложнее работать в реальном мире. Я так думаю. Я не говорю, что они не сработали бы в реальном мире; я думаю, что это было бы сложно. Я имею в виду, у вас много обслуживания. Мы использовали методы низкой размерности, которые известны уже давно, но способ, которым мы решили проблему, не был с точки зрения науки о данных. Сначала мы были настоящими профессионалами в сфере поставок. Мы использовали все, что мы знаем о поставках и нашей интуиции о проблеме, потому что мы прошли через множество других внутренних соревнований раньше, поэтому мы знаем, как вещи ведут себя, и это действительно то, что мы предложили там.
Кирен Чандлер: Каковы были ваши мысли об этом подходе, и, возможно, вы могли бы дать базовый обзор того, как вы видели это с вашей точки зрения?
Жоанн Верморель: Это очень интересно, потому что в топ-10, то есть в общей сложности было 909 команд, которые участвовали в соревновании. Я не рассматривал все предложенные решения, я рассмотрел только топ-10. Так что были люди, которые были лучше, чем Lokad, и те, кто были хуже. Что было очень интересно, во-первых, если вы посмотрите на топ-10 решений, они все численно невероятно близки. То есть, знаете, от первого до десятого места это почти ничего. Я думаю, что мы были примерно на 0,01% после парня, который занял пятое место, и человек, который был на седьмом месте, был на 0,01% позади. Команда, занявшая первое место, была на несколько процентов впереди, но в целом это все равно было невероятно близко.
Теперь я думаю, что есть по крайней мере три аспекта, в которых эти соревнования не отражают того, что вам нужно иметь в реальном мире цепочки поставок. И я думаю, что разница между наличием Формулы-1 и автомобиля, который вы просто настроили для гонки, очень точна в этом отношении. Фактически было три основных проблемы.
Первая - это операционные затраты только для получения результатов. Методы в топ-десятке, Lokad был единственным, у которого не было безумных затрат на вычисления. И снова, представьте себе автомобиль, который потребляет примерно 50 литров на 100 километров. Это было бы в десять раз дороже, чем любой автомобиль, который потребляет столько же топлива, сколько и грузовик. Я имею в виду, если вы можете делать пит-стопы каждые 20 минут, это здорово, но в противном случае - нет. И, кстати, с облачным вычислением эти затраты очень реальны. Если вам нужно арендовать тысячу серверов, это стоит много денег.
Второе - это поддерживаемость. Настройки просто, например, если вы посмотрите на эту аналогию с Формулой-1, которую я считаю отличной, Формула-1 очень хороша, потому что она работает на трассах, где дорога идеальна.
Кирен Чандлер: Это как если бы вы пытались запустить автомобиль Формулы-1 в Париже. Например, даже просто влажность на тротуарах может повредить автомобиль. Автомобиль не может перенести больше, чем удар, который даже, знаете ли, больше нескольких сантиметров, потому что Формула-1 настолько близко к дороге. Она буквально на один сантиметр от земли. Так что, если у вас есть препятствие, оно сломает автомобиль. Конечно, если вы решите иметь обычный автомобиль, у вас будет немного больше свободы и вы не будете полностью привязаны к земле. Вы не будете ездить так быстро, но догадайтесь, что? Если ваша дорога немного более неровная, вы будете выживать препятствия.
Жоанн Верморель: Итак, эти модели, о которых я говорю, в терминах численной устойчивости вам нужно иметь что-то, где если ваши данные не идеальны, если у вас есть вещи, которые, знаете ли, немного повреждены тут и там, ваша модель не сойдет с ума, и вы не получите совершенно безумные результаты, что будет как если бы ваш автомобиль Формулы-1 совсем съехал с трассы. Поддерживаемость означает, что если у вас есть неидеальные условия, это все равно относительно здраво и консервативно, что снова переводится в то, что это будет работать.
В этом соревновании у вас может быть люди, которые потратят буквально сотни часов, чтобы убедиться, что все идеально, как на гоночной трассе. Но в реальном мире у вас все время происходят всякие вещи, и это беспорядочно, и дороги не идеальны. Это переводится в то, что численная устойчивость очень важна, чтобы иметь модели, которые численно устойчивы, возможно, немного менее точные, чтобы когда у вас есть немного мусора, знаете ли, есть поговорка в области обработки данных: “мусор на входе, мусор на выходе”. Но реальность в том, что всегда есть немного мусора, поэтому вам нужно иметь что-то, что не сойдет с ума, когда есть немного мусора.
Последнее, что также полностью отсутствует в этом соревновании, - это расширяемость. Реальность в том, что, например, в этом соревновании отсутствовали уровни запасов, отсутствовали будущие акции. Команда должна была прогнозировать на 28 дней вперед. У них была история цен, но у них не было будущих цен на прогнозируемый период, который составлял 28 дней. Так что, по сути, они не знали о будущих акциях. Если бы мы хотели иметь настройку реального мира, нам бы пришлось включить уровни запасов, будущие акции, и, вероятно, нам бы хотелось ограничения на то, сколько товара вы можете иметь на полках, на самом деле. Это ограничения, и тогда у вас был бы, скажем, потеря, которая использовалась для оценки точности, была потеря пинбола, но реальность в том, что могут возникать все виды нелинейностей.
Кирен Чандлер: И каковы ваши мысли сейчас, когда соревнование закончено? Жоанн упомянул, что есть очень тонкие границы в 0,1%. Быть в топ-пятерке должно быть немного раздражающе. Есть ли мысли о том, как вы могли бы улучшиться?
Жоанн Верморель: У нас было много вещей, которые мы не попробовали во время соревнования. В какой-то момент вы достигаете дедлайна и должны сказать: “Хорошо, это будет все. Поехали”. Конечно, есть много идей, которые мы могли бы улучшить. Я не думаю, что это будет следующим фокусом прямо сейчас. Основное внимание будет уделено тому, чтобы взять несколько улучшений, которые мы сделали, и попытаться передать их всей команде, всем остальным ученым, и убедиться, что эти идеи быстро воспроизводятся для всех наших клиентов.
Рафаэль де Резенде: Кстати, это не относится к Walmart. Так что мы собираемся взять все, что мы узнали, и попытаться применить это как можно быстрее, особенно поделившись знаниями с другими, чтобы мы могли помочь большему количеству клиентов.
Кирен Чандлер: Здорово. А что насчет вас, Жоанн? Есть ли что-то, что вы заметили, что команда делает, и вы считаете, что это особенно полезно, возможно, для будущего?
Жоанн Верморель: Честно говоря, это было здорово. Это подтвердило так много нашего подхода. Когда я говорю, что нам нужно иметь модель, которая является супер легкой, поддерживаемой и расширяемой, у нас есть много ограничений, которые полностью не связаны с точностью прогнозирования. Вопрос в том, насколько вы отстаете от передовых технологий, учитывая эти ограничения. Возможно, выводом было бы, что наши модели имеют хорошие свойства, поддерживаемы и расширяемы, но они отстают на световые годы от того, что можно получить с использованием передовых технологий. Вывод - точно противоположный: мы на самом деле отстаем всего на волосок от передовых технологий.
Рафаэль де Резенде: Я бы хотел добавить, что это было соревнование в сфере поставок. Приятно знать, что ваше знание предметной области действительно полезно. Мы соревновались в основном с людьми, которые не являются экспертами в сфере поставок, а экспертами в области науки о данных. Мы были поставщиком в сфере поставок, который также оказался экспертами в области науки о данных, играющими на поле, так что это могло отличить нас в соревновании.
Кирен Чандлер: Отлично. А что дальше для вас, Рафаэль? У вас есть еще какие-то соревнования в планах?
Рафаэль де Резенде: Нет, я думаю, что в этом году у нас было много стресса, поэтому мы оставим это на следующий год, чтобы отдохнуть, а затем, возможно, в следующем году.
Кирен Чандлер: Думаю, вы, наверное, заслуживаете отдыха. Это все для сегодняшнего выпуска. Спасибо за ваше время. Это все на этой неделе. Большое спасибо за внимание, и увидимся в следующем эпизоде. Пока!
