Как снизить переобучение при прогнозировании спроса?
Наше видео о переобучении получило свою долю внимания с момента публикации 5 лет назад, то есть полвека назад для стартапа вроде Lokad. Спустя годы мы сделали много прогресса, но переобучение остается сложной проблемой.
Вкратце, переобучение представляет риск того, что ваша модель прогнозирования точна только в предсказании прошлого, а не в предсказании будущего. Хорошая модель прогнозирования должна быть хороша в прогнозировании данных, которых у вас нет.
Общее заблуждение заключается в том, что нет другого способа оценить модель, кроме как проверить ее производительность на исторических данных. Верно, исторические данные должны быть использованы; однако, если есть одно понимание, которое следует запомнить из теории Вапника-Червоненкиса, то все модели не создаются равными: некоторые модели несут гораздо больше структурного риска - понятие, входящее в теорию - чем другие. Целые классы моделей могут быть либо считаться безопасными, либо небезопасными. с чисто теоретической точки зрения, что приводит к реальному улучшению точности.
Проблемы с переобучением нельзя полностью избежать, но их можно смягчить.
Существует несколько способов снизить переобучение. Во-первых, одно правило, которое никогда не следует нарушать: модель прогнозирования никогда не должна оцениваться на данных, которые использовались для ее обучения в первую очередь. Многие инструменты регрессируют модели на всю историю, чтобы оценить общую подгонку. Ну, как и следует из названия, такой процесс дает вам подгонку, но ничего больше. В частности, подгонку не следует интерпретировать как какую-либо ожидаемую точность, это не так. Подгонка обычно гораздо ниже реальной точности.
Во-вторых, один из простых способов смягчить переобучение - это провести обширное обратное тестирование. На практике это означает, что ваш процесс должен разбивать входной набор данных на десятки - если не сотни - инкрементных временных порогов и каждый раз повторно обучать все модели прогнозирования и повторно оценивать их. Обратное тестирование требует большой вычислительной мощности. Возможность выделить огромную вычислительную мощность, необходимую для проведения обширного обратного тестирования, на самом деле была одной из основных причин, по которой Lokad перешел к облачным вычислениям в первую очередь.
В-третьих, даже самое обширное обратное тестирование мало ценно, если ваши временные ряды в основном разрежены, то есть, если временные ряды представляют собой товары с низким объемом продаж. Действительно, поскольку большинство точек данных временных рядов равны нулю, процесс обратного тестирования мало учится, итерируя по нулям. К сожалению для коммерции, около 90% продаваемых или обслуживаемых товаров имеют историю спроса, которая считается разреженной с точки зрения статистики. Для решения этой проблемы производительность модели должна оцениваться с множественной точки зрения временных рядов. Важна не производительность модели на одном временном ряде, а ее производительность на хорошо определенных кластерах временных рядов. Затем все становится балансом между локальной и глобальной эмпирической точностью при выборе лучшей модели.
Есть вопросы? Не стесняйтесь задавать их в комментариях.
Комментарии читателей (2)
Шон, Бэктестирование - очень фундаментальный инструмент в статистике. Он использовался десятилетиями во всех областях: финансы, метеорология, транспорт, энергетика… Бэктестирование не требует “доверия”, это единственная надежная методология, известная нам, когда речь идет о оценке точности прогностического процесса, и на эту тему существует огромное количество литературы. Для начала вам действительно стоит прочитать “Элементы статистического обучения” 4 года назад | Жоанн Верморель
Жоанн, Это крайне интересно. Однако, я сомневаюсь, как я объясню это клиентам. Итак, если я правильно понимаю, в Lokad можно выполнять бэктестирование, однако, если бэктестирование - это форма машинного обучения, то не возникает ли значительной проблемы в объяснении того, что было сделано? Если это становится сложным алгоритмом, то необходимо ли просто доверять, что он работает? Очевидно, что это главное внимание для Lokad, поэтому все вы там много думали об этом. Однако, я думаю, что есть ограниченная корпоративная аудитория, которая понимает конкретные детали того, как это работает. Таким образом, полагается ли Lokad на результаты исследований, проведенных Lokad над предыдущими компаниями, показывающими чистую выгоду от этого бэктестирования? 4 года назад | Шон Снэпп
