Лучшая метрика ошибки прогноза
Существует множество метрик для оценки качества прогноза:
- Средняя абсолютная ошибка (MAE)
- Средняя квадратичная ошибка (MSE)
- Средняя абсолютная процентная ошибка (MAPE)
- Функция квантильных потерь (пинбол)
- …
В этом посте мы попробуем разобраться в вопросе о “лучшей” метрике прогнозирования. Оказалось, что это проще, чем ожидали многие практики.
Среди них MAE и MAPE, вероятно, являются наиболее широко используемыми метриками как в розничной торговле, так и в производстве. Давайте начнем с рассмотрения графиков для этих двух метрик.
График средней абсолютной ошибки. X = фактическое значение (прогноз равен 1). Y = ошибка.
Поведение MAE достаточно простое. Единственный сложный аспект с математической точки зрения заключается в том, что функция не является дифференцируемой повсюду (например, для x=1 в приведенном выше примере).
График средней абсолютной процентной ошибки. X = фактическое значение (прогноз равен 1). Y = ошибка.
MAPE, однако, гораздо более запутанная. Действительно, поведение между завышенными и заниженными прогнозами существенно различается: ошибка при заниженном прогнозе ограничена единицей, тогда как ошибка при завышенном прогнозе стремится к бесконечности по мере приближения к нулю.
Этот последний аспект, в частности, может привести к хаосу, когда он сочетается с отсутствием товара в наличии (OOS). Действительно, OOS вызывают очень низкие показатели фактических продаж, что потенциально приводит к очень высоким значениям MAPE.
На практике мы советуем хорошо подумать, прежде чем выбирать MAPE, так как интерпретация результатов уже сама по себе может стать небольшой проблемой.
Лучшая метрика должна быть выражена в долларах или евро
С математической точки зрения некоторые метрики (например, L2) считаются более практичными для статистического анализа (например, из-за их дифференцируемости), однако мы считаем, что эта точка зрения не имеет значения при решении реальных бизнес-задач.
Единственной и неизменной единицей измерения для оценки качества прогноза должны быть деньги. Прогнозы всегда ошибочны, и единственный разумный способ количественно оценить ошибку заключается в определении, сколько денег обошлась компании разница между прогнозом и реальностью.
Моделирование бизнес-затрат
На практике определение такой специализированной функции затрат требует тщательного анализа бизнеса, вызывая вопросы, такие как:
- Сколько стоят товарные запасы?
- Какого объема обесценения запасов следует ожидать?
- Сколько обходится дефицит товара?
- …
Что касается корпоративной политики, моделирование ошибки прогноза, например, в процентах, тем самым игнорируя все эти проблемные вопросы, имеет одно преимущество – оно является нейтральным, оставляя остальной части компании бремя фактического преобразования прогноза в план действий.
Процесс создания разумной функции затрат не является сложной наукой, однако он вынуждает подразделение, ответственное за прогнозы, четко прописать все эти затраты. Таким образом, принимаются решения, которые, возможно, не выгодны для каждого отдела компании, но наверняка приносят пользу самой компании.
