Измерение точности прогнозирования

Joannes Vermorel

Большинство инженеров скажут вам, что:

Невозможно оптимизировать то, что не измеряется

Оказывается, прогнозирование не является исключением. Измерение точности прогнозирования является одним из немногих краеугольных камней любой технологии прогнозирования.

Распространённое заблуждение относительно измерения точности состоит в том, что Lokad должен дождаться, пока прогнозы станут прошлым, чтобы наконец сравнить прогнозы с тем, что действительно произошло.

Несмотря на то, что этот подход работает в некоторой степени, у него есть серьёзные недостатки:

• Он болезненно медленный: прогноз на 6 месяцев вперёд требует 6 месяцев для проверки.
• Он очень чувствителен к переобучению.  Переобучение не стоит воспринимать легкомысленно, и это одна из немногих вещей, способных привести к хаосу в ваших измерениях точности.

Измерение точности выданных прогнозов является для нас непростой задачей. Измерение точности составляет примерно половину сложности нашей технологии прогнозирования: чем более продвинута технология прогнозирования, тем больше потребность в надёжных измерениях точности.

В частности, Lokad возвращает точность прогноза, связанную с каждым отдельным прогнозом, который мы предоставляем (например, наше Excel-дополнение сообщает точность прогноза). Метрика, используемая для измерения точности, — это MAPE (средняя абсолютная процентная ошибка).

Чтобы вычислить оценочную точность, Lokad проводит (примерно) кросс-валидацию, настроенную для прогнозов временных рядов. Кросс-валидация проще, чем кажется. Если мы рассмотрим еженедельный прогноз на 10 недель вперёд с 3 годами (то есть 150 неделями) истории, то кросс-валидация выглядит следующим образом:

1. Возьмите первую неделю, составьте прогноз на 10 недель вперёд и сравните результаты с исходными данными.
2. Возьмите первые две недели, составьте прогноз на 10 недель вперёд и сравните.
3. Возьмите первые три недели, составьте прогноз на 10 недель вперёд и сравните.
4. …

Этот процесс довольно утомителен, так как нам приходится пересчитывать прогнозы примерно 150 раз для всего лишь 3 лет истории. Очевидно, что для кросс-валидации необходима автоматизация, и мало шансов пройти через такой процесс без поддержки компьютера. Однако компьютеры обычно стоят меньше, чем ошибки прогнозирования в бизнесе, и Lokad полагается на облачные вычисления для выполнения таких ресурсоёмких расчётов.

Попытки “упростить” описанный процесс с большой вероятностью приведут к проблемам переобучения. Мы советуем быть очень осторожными, так как переобучение не стоит воспринимать легкомысленно. В случае сомнений, придерживайтесь полной кросс-валидации.

Комментарии читателей (1)

Я хочу рассчитать точность прогнозирования по сравнению с продажами, где у меня есть один столбец с фактическими данными о продажах и два других столбца с прогнозами. Мне нужно отобразить точность каждого прогноза по отношению к фактическим продажам в виде процента. Я хочу рассчитать точность прогнозирования по сравнению с продажами, где у меня есть один столбец с фактическими данными о продажах и два других столбца с прогнозами. Мне нужно отобразить точность каждого прогноза по отношению к фактическим продажам в виде процента. Просто показ разницы в процентах недостаточен (она может варьироваться от -200% до +200%, поскольку наши сотрудники по продажам плохо прогнозируют), мне нужно показать точность в виде числа от 0% до 100%. acekard 2i (8 лет назад)