Измерение точности прогноза

Joannes Vermorel

Большинство инженеров скажут вам, что:

Вы не можете оптимизировать то, что вы не измеряете

Оказывается, что прогнозирование не является исключением. Измерение точности прогноза является одним из немногих краеугольных камней любой технологии прогнозирования.

Частое заблуждение о измерении точности заключается в том, что Lokad должен ждать, пока прогнозы станут прошлыми, чтобы наконец сравнить прогнозы с тем, что действительно произошло.

Хотя этот подход в некоторой степени работает, он имеет серьезные недостатки:

• Это мучительно медленно: прогноз на 6 месяцев вперед занимает 6 месяцев для проверки.
• Он очень чувствителен к переобучению. Переобучение не должно восприниматься легкомысленно, и это одна из немногих вещей, которая очень вероятно приведет к хаосу в ваших измерениях точности.

Измерение точности предоставленных прогнозов - это трудная задача для нас. Измерение точности учета составляет примерно половину сложности нашей технологии прогнозирования: чем более продвинута технология прогнозирования, тем больше необходимость в надежных измерениях точности.

В частности, Lokad возвращает точность прогноза, связанную с каждым отдельным прогнозом, который мы предоставляем (например, наш Excel-аддин сообщает о точности прогноза). Используемая метрика для измерения точности - MAPE (Средняя абсолютная процентная ошибка).

Для вычисления предполагаемой точности Lokad проходит (приблизительно) через кросс-валидацию, настроенную для прогнозов временных рядов. Кросс-валидация проще, чем кажется. Если мы рассмотрим еженедельный прогноз на 10 недель вперед с 3 годами (т.е. 150 недель) истории, то кросс-валидация выглядит следующим образом:

1. Возьмите 1-ю неделю, сделайте прогноз на 10 недель вперед и сравните результаты с оригиналом.
2. Возьмите первые 2 недели, сделайте прогноз на 10 недель вперед и сравните.
3. Возьмите первые 3 недели, сделайте прогноз на 10 недель вперед и сравните.
4. …

Процесс довольно трудоемкий, так как мы пересчитываем прогнозы около 150 раз всего за 3 года истории. Очевидно, что кросс-валидация требует автоматизации, и мало надежды пройти через такой процесс без поддержки компьютера. Тем не менее, компьютеры обычно стоят дешевле, чем ошибки бизнес-прогнозов, и Lokad полагается на облачные вычисления для выполнения таких высокоинтенсивных вычислений.

Попытки “упростить” описанный процесс очень вероятно приведут к проблемам с переобучением. Мы рекомендуем быть очень осторожными, так как переобучение не является проблемой, которую можно принимать легкомысленно. В случае сомнений, придерживайтесь полной кросс-валидации.

Комментарии читателей (1)

Я хочу рассчитать точность прогноза по сравнению с продажами, где у меня есть один столбец с фактическими данными о продажах и два других столбца с прогнозами. Мне нужно показать точность каждого прогноза по сравнению с фактическими продажами в виде процента. Я хочу рассчитать точность прогноза по сравнению с продажами, где у меня есть один столбец с фактическими данными о продажах и два других столбца с прогнозами. Мне нужно показать точность каждого прогноза по сравнению с фактическими продажами в виде процента. Просто показать разницу в процентах недостаточно (может быть от -200% до +200%, так как наши продавцы плохо прогнозируют), мне нужно показать точность в виде цифры от 0% до 100%. acekard 2i (8 лет назад)