Ограниченная применимость ретроспективного тестирования
Ретроспективное тестирование - это экспериментальный дизайн, при котором исторические данные усекаются до определенного момента в прошлом, а затем применяется алгоритм обучения или оптимизации к этому усеченному набору данных, чтобы оценить, насколько хорошо этот алгоритм справился бы с теми историческими условиями. Подход прост и элегантен, и поэтому часто привлекателен для практиков в сфере поставок. Однако ретроспективное тестирование далеко не является серебряной пулей, и когда его ограничения неправильно понимаются, фокусировка на ретроспективном тестировании обычно причиняет больше вреда, чем пользы.
На основе нашего опыта в области реализации Квантовых инициатив в сфере поставок, основные угрозы успеха инициативы включают:
- Отсутствие доступа к соответствующим транзакционным данным
- Загрязненные исторические транзакционные данные
- Неправильная предварительная обработка транзакционных данных
- Отсутствие мониторинга состояния данных
- Хрупкий конвейер данных с периодическими сбоями
- Недостаточное понимание экономических факторов
- Неправильное стратегическое моделирование экономических факторов
- Несоответствие между реальными ограничениями и их моделированием
- Неподходящие процессы или инструменты для использования оптимизированных решений
С традиционными подходами к прогнозированию, неточные прогнозы были бы включены в этот список, но когда используются вероятностные прогнозы, это гораздо меньшая проблема: не потому, что вероятностные прогнозы более точные - они не являются таковыми - а потому, что качество решений ухудшается гораздо более плавно, когда сама точность ухудшается.
Действительно, на практике “неточный” вероятностный прогноз в первую очередь характеризуется распределением вероятностей, распространяющихся на чрезвычайно широкий диапазон значений. Хотя такое поведение нежелательно, оно обычно далеко не так плохо, как последствия неточного традиционного (непробабилистического) прогноза, когда компания делает ставку на одно возможное будущее, которое оказывается неправильным. Неточные вероятностные прогнозы превращаются в чрезвычайно консервативные и осторожные решения. Деньги все равно тратятся, но учитывая, что во многих ситуациях в сфере поставок стоимость ошибки может быть крайне асимметричной, осторожность далеко не является худшей стратегией.
Правильное ретроспективное тестирование сложно выполнить в реальных ситуациях. Наивные реализации ретроспективного тестирования легко вводят в заблуждение переобучение. Поскольку несколько скрытых ко-переменных могут объяснить основную часть роста бизнеса. Продолжение проб и ошибок в процессе ретроспективного тестирования неизбежно приводит к созданию модели, которая “запомнила” прошлые изменения рынка, но остается неспособной предвидеть рынок.
В Lokad мы обнаружили, что единственный надежный способ ретроспективного тестирования заданной статистической модели - это использование наборов данных от десятков компаний, сталкивающихся с очень разнообразными ситуациями. Хотя этот подход не исключает переобучение, он значительно снижает его влияние.
Для инициативы Количественная оптимизация цепи поставок, предполагая, что инструменты прогнозирования являются адекватными и не требуют ручной параметризации моделей со стороны практиков цепи поставок, раннее фокусирование на ретроспективном тестировании обычно приводит к преждевременной оптимизации, отвлекающей команду, ответственную за реализацию инициативы, от факторов риска, которые определяют преимущества, которые можно ожидать от процесса ретроспективного тестирования.
Некоторые инструменты прогнозирования оказываются неправильно разработанными и требуют от конечных пользователей придумывать статистические параметры для начала работы. Например, экспоненциальное сглаживание, простая модель прогнозирования, требует указания коэффициента сглаживания. Поскольку конечные пользователи не могут придумать эти параметры из воздуха, им приходится прибегать к процессу ретроспективного тестирования, чтобы в первую очередь заставить модели работать. Однако желательность ретроспективного тестирования не следует путать с требованиями, навязанными случайными ошибками в проектировании некоторых инструментов прогнозирования.
Как правило, целесообразно начинать рассматривать ретроспективное тестирование, когда:
- запуск процесса обработки данных стал скучным и беззаботным.
- экономические факторы хорошо понятны и хорошо задокументированы.
- ограничения - например, Минимальный объем заказа - были тщательно пересмотрены и оспорены.
- процессы цепи поставок были согласованы, чтобы максимально использовать автоматизированные решения.
Когда эти условия выполняются, ретроспективное тестирование может быть внедрено как дополнительный аспект для дальнейшего улучшения производительности инициативы Количественной оптимизации цепи поставок.
