Ограниченная применимость бэктестинга
Ретроспективное тестирование является экспериментальным дизайном, при котором исторические данные усекаются до определённого момента в прошлом, и на этом урезанном наборе данных применяется алгоритм обучения или оптимизации для оценки того, как хорошо этот алгоритм проявил бы себя в тех исторических условиях. Такой подход прост и элегантен, поэтому часто оказывается привлекательным для специалистов по цепям поставок. Однако ретроспективное тестирование далеко не является панацеей, и когда его ограничения неправильно понимают, чрезмерное внимание к нему обычно приносит больше вреда, чем пользы.
Из нашего опыта проведения инициатив по количественной оптимизации цепей поставок основные угрозы успеху инициативы следующие:
- Отсутствие доступа к соответствующим транзакционным данным
- Некачественные исторические транзакционные данные
- Неправильная предварительная обработка транзакционных данных
- Отсутствие мониторинга состояния данных
- Хрупкий конвейер извлечения данных с периодическими сбоями
- Недостаточное понимание экономических драйверов
- Неправильное стратегическое моделирование экономических драйверов
- Несоответствие между реальными ограничениями и их моделированием
- Неадекватные процессы или инструменты для внедрения оптимизированных решений
При традиционных подходах к прогнозированию, неточные прогнозы входили бы в этот список, но когда используются вероятностные прогнозы, эта проблема становится значительно менее значимой: не потому, что вероятностные прогнозы являются более точными – ведь это не так – а потому, что качество решений ухудшается гораздо более плавно, когда сама точность снижается.
Фактически, на практике «неточный» вероятностный прогноз характеризуется, прежде всего, распределением вероятностей, охватывающим чрезвычайно широкий диапазон значений. Хотя такое поведение нежелательно, оно обычно не столь критично по сравнению с последствиями неточного традиционного (то есть не вероятностного) прогноза, при котором компания ставит все на одну возможную будущую ситуацию, которая оказывается неверной. Неточные вероятностные прогнозы приводят к крайне консервативным и осторожным решениям. Деньги всё равно тратятся впустую, но учитывая, что во многих случаях в цепях поставок затраты крайне асимметричны, переоценка осторожности далеко не является худшей стратегией.
Корректное ретроспективное тестирование непросто реализовать в реальных условиях. Наивные реализации ретроспективного тестирования легко вводятся в заблуждение переобучением, так как несколько скрытых ковариант могут объяснять основную динамику роста бизнеса. Продолжение процесса методом проб и ошибок неизбежно приводит к созданию модели, которая «запомнила» прошлые изменения рынка, но остаётся неспособной предвидеть его будущее.
В компании Lokad мы обнаружили, что единственный надёжный способ ретроспективного тестирования заданной статистической модели заключается в использовании наборов данных от десятков компаний, сталкивающихся с самыми разнообразными ситуациями. Хотя этот подход не устраняет переобучение, он значительно снижает его влияние.
Для инициативы по количественной оптимизации цепей поставок — при условии, что инструменты прогнозирования адекватны и не требуют от специалистов по цепям поставок ручного параметрирования моделей — преждевременное внимание к ретроспективному тестированию, как правило, приводит к преждевременной оптимизации, отвлекая команду, ответственную за реализацию инициативы, от факторов риска, которые определяют выгоды, ожидаемые от процесса ретроспективного тестирования.
Некоторые инструменты прогнозирования оказываются спроектированы неправильно и требуют от конечных пользователей самостоятельно подбирать статистические параметры для начала работы. Например, экспоненциальное сглаживание — простая модель прогнозирования — требует задания коэффициента сглаживания. Поскольку конечные пользователи не могут вычесть эти параметры из воздуха, им приходится прибегать к процессу ретроспективного тестирования, чтобы заставить модели работать. Однако привлекательность ретроспективного тестирования не должна путаться с требованиями, налагаемыми случайными ошибками в дизайне некоторых инструментов прогнозирования.
Как правило, стоит рассматривать возможность применения ретроспективного тестирования, когда:
- работа конвейера данных стала скучной и однообразной.
- экономические драйверы хорошо понятны и документированы.
- ограничения — например, минимальные объемы заказов — были тщательно пересмотрены и подвергнуты сомнению.
- процессы в цепях поставок были приведены в соответствие для максимального использования автоматизированных решений.
Когда эти условия выполнены, ретроспективное тестирование может быть запущено в качестве дополнительного направления для дальнейшего повышения эффективности инициативы по количественной оптимизации цепей поставок.
