大規模な関係データを最適化するための微分可能プログラミング
サプライチェーン管理の複雑な世界では、関係データが王者です。サプライチェーンで広く使用されるERP、WMS、PMSなどのソフトウェアツールは、在庫レベルからサプライヤーとの関係までを追跡するために関係データベースの上で動作します。関係データは、情報の列が豊富な一連の相互接続されたテーブルで構成されています。しかし、機械学習や数理最適化の観点からは、関係データはしばしばベクトル、シーケンス、グラフなどのより単純な形式に overshadowed されてしまいます。
関係データは、その豊かな複雑さのおかげで、単純な対応物（前述のベクトル、シーケンス、グラフ）よりも深く繊細なビューを提供します。しかし、ほとんどのエンタープライズソフトウェアは、関係データを効果的に活用することに苦労しています。その結果、関係データをより単純なモデル向けに設計されたツールに無理やり適合させることになります。これは、ホッケースティックをゴルフで使用するのと同様で、理論的には可能ですが、ツールと目的の最適な結婚とは程遠いものです。
この盲点を調査する決意をしたPaul Peseuxは、数年前にLokadで博士号を取得しました。その目的は、関係データを学習と最適化のための第一級の市民にすることでした。彼の研究の成果は、Lokadの差分可能プログラミングのバッキングにおいて、驚くべき改善をもたらしました。これは、サプライチェーンの最適化における日々の在庫決定を最適化するためのDSL Envisionの一部として、通常は埋もれてしまいます。
著者: Paul Peseux
日付: 2023年9月
要約：
この博士論文は、関係データに焦点を当てた微分可能プログラミングの分野に3つの貢献を提供します。関係データは、ヘルスケアやサプライチェーンなどの産業で一般的であり、データはしばしば構造化されたテーブルやデータベースに組織化されています。従来の機械学習アプローチは、関係データの処理に苦労しますが、ホワイトボックスの機械学習モデルは適していますが、開発は困難です。
微分可能プログラミングは、関係データ上のクエリを微分可能なプログラムとして扱うことで、関係データについて直接推論できるホワイトボックスの機械学習モデルの開発を可能にする潜在的な解決策を提供します。この研究の主な目的は、微分可能プログラミングの技術を使用して、機械学習を関係データに適用することを探求することです。
論文の第一の貢献は、関係プログラミング言語に微分可能なレイヤーを導入することです。Adslプログラミング言語は、クエリの微分と関係操作の転写を行うために作成されました。ドメイン固有言語Envisionは、関係データをネイティブの関係プログラミング言語環境で活用できるように、微分可能プログラミングの機能を追加しました。
第二の貢献は、関係データで過剰に表現されるカテゴリカルな特徴に対して設計された新しい勾配推定器であるGCEを開発します。GCEは、さまざまなカテゴリカルなデータセットとモデルで有用であり、ディープラーニングモデルに実装されています。GCEはまた、この論文の第一の貢献によって可能になったEnvisionの微分可能プログラミングレイヤーにネイティブの勾配推定器として統合されています。
第三の貢献は、コードの分解から確率的なパス自動微分（SPAD）と呼ばれる一般化された勾配推定器を開発します。SPADは、パラメータの更新中のメモリ消費を減らすために、勾配の一部を逆伝播するアイデアを導入しています。この勾配推定手法の実装は、Adslの微分中の設計上の決定によって可能になりました。
この研究は、関係データに依存する産業に重要な影響を与え、微分可能プログラミングの技術を使用して関係データに対してホワイトボックス機械学習モデルを適用することにより、新たな洞察を開拓し、意思決定を改善します。
審査員：
審査は以下の審査員の前で行われました：
- Thierry Paquet、大学教授（ルーアンノルマンディ大学）、論文指導者。
- Maxime Berar、講師（ルーアンノルマンディ大学）、論文の共同指導者。
- Romain Raveaux、講師（ツール大学）、審査委員。
- Thierry Artières、大学教授（ECM / LIS – AMU – CNRS）、審査委員。
- Cécilia Zanni-Merk、大学教授（INSAルーアンノルマンディ）、審査員。
- Laurent Wendling、大学教授（パリシテ大学）、審査員。
- Victor Nicolet、LokadのCTO、アドバイザー。
