Измерение точности прогноза
Большинство инженеров скажут вам, что:
Вы не можете оптимизировать то, что вы не измеряете
Оказывается, что прогнозирование не является исключением. Измерение точности прогноза является одним из нескольких основных принципов любой технологии прогнозирования.
Частое заблуждение о измерении точности заключается в том, что Lokad должен ждать, пока прогнозы станут прошлым, чтобы наконец сравнить прогнозы с тем, что на самом деле произошло.
Однако этот подход работает до некоторой степени, но он имеет серьезные недостатки:
- Это мучительно медленно: прогноз на 6 месяцев вперед занимает 6 месяцев для проверки.
- Он очень чувствителен к переобучению. Переобучение не следует принимать на легкий рассчет, и это одна из немногих вещей, которая очень вероятно приведет к хаосу в измерениях точности.
Измерение точности доставленных прогнозов является сложной задачей для нас. Измерение точности составляет примерно половину сложности нашей технологии прогнозирования: чем более продвинута технология прогнозирования, тем больше необходимость в надежных измерениях точности.
В частности, Lokad возвращает точность прогноза, связанную с каждым отдельным прогнозом, который мы предоставляем (например, наш Excel-аддон сообщает точность прогноза). Метрикой, используемой для измерения точности, является MAPE (Mean Absolute Percentage Error).
Для вычисления приблизительной точности Lokad проходит (приблизительно) через кросс-валидацию, настроенную для прогнозов временных рядов. Кросс-валидация проще, чем кажется. Если мы рассмотрим еженедельный прогноз на 10 недель вперед с 3 годами (т.е. 150 недель) истории, то кросс-валидация будет выглядеть следующим образом:
- Возьмите первую неделю, сделайте прогноз на 10 недель вперед и сравните результаты с оригиналом.
- Возьмите первые две недели, сделайте прогноз на 10 недель вперед и сравните.
- Возьмите первые три недели, сделайте прогноз на 10 недель вперед и сравните.
- …
Этот процесс довольно трудоемкий, так как мы вычисляем прогнозы около 150 раз всего за 3 года истории. Очевидно, что кросс-валидация требует автоматизации, и мало надежды пройти через такой процесс без поддержки компьютера. Тем не менее, компьютеры обычно стоят меньше, чем ошибки прогнозирования бизнеса, и Lokad полагается на облачные вычисления, чтобы выполнить такие вычисления высокой интенсивности.
Попытки “упростить” описанный процесс очень вероятно приведут к проблемам переобучения. Мы предлагаем быть очень осторожными, так как переобучение не является проблемой, которую следует принимать на легкий рассчет. В случае сомнений, придерживайтесь полной кросс-валидации.
Комментарии читателей (1)
Я хочу рассчитать точность прогноза по сравнению с продажами, где у меня есть один столбец с фактическими продажами и два других столбца с прогнозами. Мне нужно показать точность каждого прогноза по сравнению с фактическими продажами в процентах. Просто показать процентное отличие недостаточно (может быть от -200% до +200%, так как наши продавцы плохо прогнозируют), мне нужно показать точность в виде значения от 0% до 100%. 8 лет назад | acekard 2i
