От CRPS к перекрестной энтропии
Наша технология глубокого обучения является важным этапом как для нас, так и для наших клиентов. Некоторые изменения, связанные с глубоким обучением, очевидны и осязаемы даже для неспециалистов. Например, в офисах Lokad теперь валяются коробки Nvidia, связанные с относительно высококлассными игровыми продуктами. Когда я основал Lokad в 2008 году, я никак не мог предположить, что у нас будет так много игрового оборудования высокого класса, задействованного в решении задач управления цепями поставок.
Затем, некоторые другие изменения являются намного более тонкими, но также критически важными: переход от CRPS (непрерывная приоритетная вероятность) к перекрестной энтропии является одним из таких изменений.
Систематическое использование в Lokad метрики CRPS было введено одновременно с нашим прогнозным движком 4-го поколения; нашим первым собственным вероятностным движком. CRPS была представлена как обобщение функции потерь квантильного шарика, и она хорошо выполняла свою задачу. В то время Lokad никогда не смогла бы справиться с аэрокосмическими или модными вызовами в цепях поставок без этой метрики. Однако CRPS, грубо говоря, обобщает среднюю абсолютную ошибку на вероятностные прогнозы, не без недостатков.
Например, с точки зрения CRPS, нормально присваивать нулевую вероятность оцененному результату, если большая часть вероятностной массы не сильно отличается от фактического наблюдаемого результата. Это именно то, что вы ожидаете от обобщения средней абсолютной ошибки. Однако это также означает, что вероятностные модели могут утверждать с абсолютной уверенностью, что некоторые события не произойдут, в то время как эти события действительно происходят. Такого рода сильно неверные статистические утверждения о будущем обходятся дорого, что структурно недооценивается CPRS.
Перекрестная энтропия, в отличие от этого, назначает бесконечное наказание модели, которая доказанно ошибается после присвоения нулевой вероятности результату, который все равно происходит. Таким образом, с точки зрения перекрестной энтропии модели должны принять перспективу все будущие возможны, просто не равновероятны. Присвоение равномерной нулевой вероятности, когда недостаточно данных для точной оценки вероятности, больше не является допустимым ответом.
Однако перекрестная энтропия не только превосходит с точки зрения чисто теоретической перспективы. На практике использование перекрестной энтропии для управления статистическим процессом обучения в конечном итоге приводит к моделям, которые оказываются превосходными по обоим метрикам: перекрестной энтропии и CRPS; даже если CRPS вообще отсутствует в процессе оптимизации.
Перекрестная энтропия является основной метрикой, определяющей наш движок прогнозирования пятого поколения forecasting engine. Эта метрика существенно отличается от интуиции, которая лежала в основе наших предыдущих движков прогнозирования. Впервые Lokad принимает полноценную байесову перспективу на статистическое обучение, в то время как наши предыдущие итерации были более основаны на частотной перспективе.
Ознакомьтесь с нашей последней статьей в базе знаний о перекрестной энтропии.
