Лучшая метрика ошибки прогнозирования

Joannes Vermorel

Доступно множество метрик для оценки производительности прогноза:

• Средняя абсолютная ошибка (MAE)
• Средняя квадратичная ошибка (MSE)
• Средняя абсолютная процентная ошибка (MAPE)
• Функция потерь Pinball
• …

В этом посте мы попытаемся ответить на вопрос о ‘лучшей’ метрике прогнозирования. Оказывается, это проще, чем большинство практиков ожидают.

Среди них MAE и MAPE, вероятно, являются наиболее широко используемыми метриками как в розничной, так и в производственной сфере. Давайте начнем с рассмотрения графиков для этих двух метрик.

График средней абсолютной ошибки. X = реальное значение (прогноз равен 1). Y = ошибка.

Поведение MAE довольно простое. Однако один сложный аспект - с математической точки зрения - заключается в том, что функция не является дифференцируемой везде (не для x=1 в данном примере).

График средней абсолютной процентной ошибки. X = реальное значение (прогноз равен 1). Y = ошибка.

MAPE, однако, намного более запутанная. Действительно, поведение между недо и пере прогнозами очень различается: ошибка при недо прогнозе ограничена 1, тогда как ошибка при пере прогнозе стремится к бесконечности к нулю.

Этот последний аспект, в частности, часто приводит к хаосу при сочетании с событиями нехватки товара (OOS). Действительно, OOS генерируют очень низкие фактические значения продаж, что может привести к очень высоким значениям MAPE.

На практике мы рекомендуем хорошенько подумать, прежде чем выбрать MAPE, так как интерпретация результатов может быть небольшим вызовом сама по себе.

Лучшая метрика должна быть выражена в долларах или евро

С математической точки зрения некоторые метрики (например, L2) считаются более практичными для статистического анализа (например, из-за дифференцируемости), однако мы считаем, что этот взгляд не имеет значения при реальных деловых ситуациях.

Единственная единица, которая должна использоваться для оценки производительности прогноза, должна быть деньги. Прогнозы всегда ошибаются, и единственный разумный способ оценить ошибку заключается в определении, сколько денег компании стоила разница между прогнозом и реальностью.

Моделирование бизнес-затрат

На практике определение такой специальной функции стоимости требует тщательного изучения бизнеса и вызывает вопросы, такие как:

• Сколько стоит запас?
• Какое количество устаревания запаса следует ожидать?
• Сколько стоит дефицит товара?
• …

Что касается корпоративной политики, моделирование ошибки прогноза, скажем, в процентах, и, таким образом, игнорирование всех этих проблемных вопросов, имеет одно преимущество - оно является нейтральным - оставляя остальной части компании бремя перевода прогноза в практические действия.

Процесс создания разумной функции стоимости не является рокет-наукой, однако он заставляет сущность, ответственную за прогнозы внутри компании, явно записать все эти затраты. Таким образом, делаются выборы, которые не приносят пользы каждому подразделению компании, но явно приносят пользу самой компании.