Лучшая метрика ошибки прогноза

Joannes Vermorel

Метрики, доступные для оценки точности прогноза, многочисленны:

• Средняя абсолютная ошибка (MAE)
• Средняя квадратичная ошибка (MSE)
• Средняя абсолютная процентная ошибка (MAPE)
• Функция потерь пинбола
• …

В этом посте мы попытаемся ответить на вопрос о «лучшей» метрике прогноза. Оказывается, это проще, чем ожидали многие практики.

Среди них MAE и MAPE, вероятно, являются самыми распространёнными метриками, используемыми специалистами как в ритейле, так и в производстве. Давайте начнем с просмотра графиков для этих двух метрик.

График средней абсолютной ошибки. X = фактическое значение (прогноз равен 1). Y = ошибка.

Поведение MAE достаточно прямолинейное. Единственный сложный момент с математической точки зрения заключается в том, что функция не является дифференцируемой во всех точках (не для x=1, как в приведенном примере).

График средней абсолютной процентной ошибки. X = фактическое значение (прогноз равен 1). Y = ошибка.

MAPE, однако, гораздо более запутана. Действительно, поведение при переоценке и недооценке прогнозов существенно отличается: ошибка при недооценке ограничена единицей, тогда как ошибка при переоценке стремится к бесконечности по мере приближения к нулю.

Этот последний аспект, в частности, приводит к хаосу, когда он сочетается с событиями отсутствия товара на складе (OOS). Действительно, такие события приводят к очень низким фактическим продажам, а значит, потенциально к очень высоким значениям MAPE.

На практике мы советуем дважды подумать, прежде чем выбирать MAPE, так как интерпретация результатов может оказаться непростой задачей.

Лучшая метрика должна быть выражена в долларах или евро

С математической точки зрения некоторые метрики (например, L2) считаются более практичными для статистического анализа (благодаря дифференцируемости, например), однако мы считаем, что эта точка зрения не имеет значения при рассмотрении реальных бизнес-ситуаций.

Единственной и неповторимой единицей измерения для оценки эффективности прогноза должны быть деньги. Прогнозы всегда ошибочны, и единственный разумный способ количественно оценить ошибку заключается в определении, сколько денег разница между прогнозом и реальностью обошлась компании.

Моделирование бизнес-расходов

На практике определение такой специализированной функции затрат требует тщательного изучения бизнеса, вызывая вопросы, такие как:

• Сколько стоит запас?
• Какой уровень устаревания запасов следует ожидать?
• Сколько стоит дефицит товара?
• …

Что касается политики компании, моделирование ошибки прогноза, например, в виде процента, таким образом игнорируя все эти сложные вопросы, имеет одно преимущество — оно нейтрально, оставляя остальной части компании задачу превращения прогноза в конкретные действия.

Процесс установления разумной функции затрат не является космической наукой, однако он вынуждает подразделение, ответственное за прогнозы, четко фиксировать все эти затраты. Таким образом, принимаются решения, которые могут быть невыгодны для каждого отдела компании, но явно приносят пользу самой компании.