確率的勾配降下法とカテゴリカル特徴のための勾配推定器
広範な機械学習（ML）の分野は、さまざまな状況に対応するための多彩な技法と手法を提供しています。しかし、サプライチェーンは固有のデータ課題を抱えており、実務者にとって「基本的」と考えられる側面が、我々の基準では十分なMLツールの恩恵を受けない場合があります。たとえば、製品カテゴリ、原産国、支払い方法などを表現するために普遍的に用いられる_カテゴリカル変数_についても同様です。そこで、我々は微分可能プログラミングの視点からカテゴリカル変数の概念を再検討することにしました.
サプライチェーンにおいて、カテゴリカル変数はしばしば欠損しているように見えますが、それはデータが不明なためではなく、カテゴリ化自体が必ずしも意味をなさないからです。たとえば、パンツには「カット」（ストレート／スキニー／スリム／など）が適用される一方で、ベルトには適用されません。したがって、「欠損データ」と「該当しないデータ」の区別は微妙に思えるかもしれませんが、非常に重要です。こうした違いこそが、うまく動作するモデルと奇妙な挙動を示すモデルを分ける要因となります.
以下の論文は、Paul Peseux (Lokad)、Victor Nicollet (Lokad)、Maxime Berar (Litis)およびThierry Paquet (Litis)による貢献を示しています.
Title: 確率的勾配降下法とカテゴリカル特徴のための勾配推定器
Authors: Paul Peseux, Maxime Berar, Thierry Paquet, Victor Nicollet
Abstract: カテゴリカルデータは、医療やサプライチェーンといった重要な分野に存在し、特有の処理が必要です。近年の機械学習モデルをこれらのデータに適用するには、エンコーディングが不可欠です。解釈可能なモデルを構築するためにはone-hotエンコーディングが非常に有効ですが、この手法は疎なデータを生成します。疎なデータに対しては従来の勾配推定器は適しておらず、勾配が主にゼロとみなされるものの、実際には必ずしも存在するとは限りません。そこで、本論文では新たな勾配推定器を提案します。この推定器が理論上何を最小化するのかを示すとともに、複数のモデルアーキテクチャを用いた様々なデータセットでその有効性を実証しました。本推定器は、同様の環境下において従来の推定器よりも優れた性能を示します。さらに、匿名化された実世界の小売データセットも公開されています。全体として、本論文の目的は、カテゴリカルデータを徹底的に検討し、これらの重要な特徴に適合するようモデルと最適化手法を適応させることにあります.
