Von CRPS zu Kreuzentropie
Unsere Deep-Learning-Technologie ist ein wichtiger Meilenstein sowohl für uns als auch für unsere Kunden. Einige der Veränderungen, die mit Deep Learning einhergehen, sind offensichtlich und greifbar, selbst für Laien. Zum Beispiel sind die Lokad-Büros jetzt übersät mit Nvidia-Boxen, die relativ hochwertigen Gaming-Produkten zugeordnet sind. Als ich Lokad bereits 2008 gründete, hätte ich niemals erwartet, dass wir so viel High-End-Gaming-Hardware bei der Lösung von supply chain challenges einsetzen würden.
Danach sind einige andere Veränderungen viel subtiler und dennoch ebenso entscheidend: der Übergang von CRPS (Continuous Ranked Probability Score) zu Kreuzentropie ist eine dieser Veränderungen.
Der systematische Einsatz der CRPS-Metrik bei Lokad wurde gleichzeitig mit unserer 4. Generation Prognose-Engine eingeführt – unserer ersten nativen probabilistischen Engine. CRPS wurde als Generalisation der Pinball-Loss-Funktion eingeführt und erfüllte seinen Zweck hervorragend. Damals hätte Lokad seine Herausforderungen in der Luft- und Raumfahrt oder in der Modebranche – supply chain wise – niemals ohne diese Metrik gemeistert. Doch CRPS, das grob gesagt den durchschnittlichen absoluten Fehler auf probabilistische Vorhersagen verallgemeinert, ist nicht ohne Schwächen.
Zum Beispiel ist es aus CRPS-Sicht in Ordnung, einem geschätzten Ergebnis eine Null-Wahrscheinlichkeit zuzuweisen, sofern der Großteil der Wahrscheinlichkeitsmasse nicht allzu weit vom tatsächlich beobachteten Ergebnis abweicht. Genau das würde man von einer Verallgemeinerung des durchschnittlichen absoluten Fehlers erwarten. Dennoch impliziert dies auch, dass probabilistische Modelle mit absoluter Sicherheit behaupten können, dass bestimmte Ereignisse nicht eintreten werden, während diese Ereignisse tatsächlich eintreten. Solche stark fehlerhaften statistischen Aussagen über die Zukunft gehen mit Kosten einher, die von CRPS strukturell unterschätzt werden.
Die Kreuzentropie hingegen weist einem Modell, das sich als falsch erwiesen hat, nachdem ihm für ein Ergebnis, das dennoch eintritt, eine Nullwahrscheinlichkeit zugewiesen wurde, eine unendliche Strafe zu. Somit müssen Modelle aus der Sicht der Kreuzentropie die Perspektive alle Zukünfte sind möglich, nur nicht alle sind gleich wahrscheinlich einnehmen. Eine einheitliche Nullwahrscheinlichkeit zu vergeben, wann immer nicht genügend Daten für eine genaue Wahrscheinlichkeitsabschätzung vorliegen, ist keine gültige Antwort mehr.
Allerdings ist die Kreuzentropie nicht nur aus rein theoretischer Sicht überlegen. In der Praxis führt der Einsatz von Kreuzentropie im statistischen Lernprozess letztlich zu Modellen, die sich in Bezug auf beide Metriken – Kreuzentropie und CRPS – als überlegen erweisen, selbst wenn CRPS überhaupt nicht im Optimierungsprozess berücksichtigt wird.
Die Kreuzentropie ist die grundlegende Metrik, die unsere 5. Generation Prognose-Engine antreibt. Diese Metrik weicht erheblich von der Intuition ab, die unseren älteren Prognose-Engines zugrunde lag. Zum ersten Mal nimmt Lokad eine vollständige bayesianische Perspektive auf das statistische Lernen ein, während unsere bisherigen Iterationen stärker in der frequentistischen Perspektive verankert waren.
Schauen Sie sich unseren neuesten Knowledge Base-Eintrag zu cross-entropy an.
