От CRPS к перекрестной энтропии
Наша технология глубокого обучения является важной вехой как для нас, так и для наших клиентов. Некоторые изменения, связанные с глубоким обучением, очевидны и ощутимы даже для неспециалистов. Например, офисы Lokad теперь забиты устройствами Nvidia, связанными с высококлассными игровыми продуктами. Когда я основал Lokad в 2008 году, я бы никогда не предположил, что для решения проблем управления цепями поставок понадобится столь большое количество высокопроизводительного игрового оборудования.
Затем, некоторые изменения гораздо тоньше, но также критически важны: переход от CRPS (continuous ranked probability score) к перекрестной энтропии — одно из таких изменений.
Систематическое использование метрики CRPS в Lokad было введено одновременно с нашим прогнозным движком 4-го поколения; нашим первым собственным вероятностным двигателем. CRPS был введён как обобщение функции pinball-loss function, и он хорошо выполнял свою задачу. В то время Lokad никогда бы не справился со своими аэрокосмическими или модными проблемами в цепях поставок без этой метрики. Однако CRPS, который, если говорить грубо, обобщает среднюю абсолютную ошибку для вероятностных прогнозов, не лишён недостатков.
Например, с точки зрения CRPS допустимо назначать нулевую вероятность оценочному результату, если основная масса вероятности не слишком отличается от фактически наблюдаемого результата. Именно это и ожидается от обобщения средней абсолютной ошибки. Тем не менее, это также подразумевает, что вероятностные модели могут с абсолютной уверенностью заявлять, что определённые события не произойдут, в то время как эти события на самом деле происходят. Такие крайне неверные статистические прогнозы будущего влекут за собой затраты, которые структурно недооцениваются CRPS.
В отличие от этого, перекрестная энтропия назначает бесконечное наказание модели, которая оказывается опровергнутой, после того как ей была назначена нулевая вероятность результата, который, тем не менее, происходит. Таким образом, с точки зрения перекрестной энтропии, модели должны принять подход, согласно которому все будущие события возможны, просто не одинаково вероятны. Назначение равномерно нулевой вероятности всякий раз, когда недостаточно данных для точной оценки, больше не является допустимым решением.
Однако перекрестная энтропия превосходит не только с теоретической точки зрения. На практике использование перекрестной энтропии для управления процессом статистического обучения в конечном итоге приводит к моделям, которые оказываются превосходящими по обеим метрикам: и по перекрестной энтропии, и по CRPS, даже если CRPS вовсе не используется в процессе оптимизации.
Перекрестная энтропия является фундаментальной метрикой, лежащей в основе нашего 5-го поколения прогнозного движка. Эта метрика существенно расходится с интуицией, которая поддерживала наши более ранние прогнозные движки. Впервые Lokad принимает полноценную байесовскую перспективу в статистическом обучении, в то время как наши предыдущие версии были более основаны на фреквентистском подходе.
Ознакомьтесь с нашей последней записью в базе знаний о перекрестной энтропии.
