逐次意思決定分析について
私はウォーレン・パウエルが、「時間を通じた意思決定」という広範な概念を統合しようとする野心を称賛します。彼の逐次意思決定分析（SDA）は、制御から強化学習、輸送からエネルギーおよびe‑コマースに至るまで、多岐にわたる分野を包含する寛大なアプローチを示し、逐次的な意思決定が共通の構造を持ち、ポリシーの最適化によって解決されるべきだというメッセージを発信しています。その構造の中には、近視的なまたはコスト関数の近似、価値関数の近似、直接先読み、そしてポリシー関数の近似という、動的問題の困難を克服するための4つの幅広い意思決定手法が存在します。これは強力な枠組みであり、一度に多くの分野に影響を与えてきました.1
私自身の研究は異なる出発点から始まります。Introduction to Supply Chain において、サプライチェーンは数学やソフトウェアの一分野ではなく、応用経済学の一分野であると論じています。日々の業務は、変動下の選択肢を金銭に変換し、利益―適切にリスク調整された―を尺度として用いることに尽きます。この立場は、我々がどのようにモデリングし、測定し、そして最終的に自動化するかを規定します。目的が帳簿上のコインであるならば、希少性、トレード‑オフ、機会費用など、重要なあらゆる概念は最適化される前に価格が付けられるべきです。詳細は第3章（「Epistemology」）および第4章（「Economics」）を参照してください.2
SDAと私が出会う場所
SDAは、未来を各ステップで知られている情報に反応するポリシーを通じて行為の主体性を維持する観察と選択の連続として扱う点で正しい。サプライチェーンは、まさにこの世界で機能しています。しかし、大規模な企業運営を試みた者であれば、データが記録システムの副産物として到着し、インセンティブが時に真実に逆行し、証拠の獲得が高コストであることを知っているはずです。だからこそ、本書は企業内での知識の生成方法や忍び寄る歪み―私が「認識の腐敗」と呼ぶもの―について詳述しているのです。実験室で優れたフレームワークであっても、現場のインセンティブや意味論との接触に耐えなければなりません。詳細は第3章（「Epistemology」、特に3.6節）を参照してください.2
SDAによるポリシークラスの分類は、正確に解くことができない問題を近似する際の有用なチェックリストとしても機能します。その意味で、私のアプローチにも共感できる部分があり、サプライチェーンエンジンはしばしば単純な近視的手法と、効果が見込める短い先読みを組み合わせています。SDAの用語は、そのような戦略を比較する助けとなり、どのクラスも全体の問題において支配的ではないことを思い起こさせます.1
分かれるところ
分岐は最初の一手から始まります。SDAは、状態、決定、外生情報、遷移、目的というモデルから出発し、その後ポリシーを探索します。一方、私はより前段階、すなわち価格設定から始めます。いかなる「状態」を受け入れる前に、意思決定を経済的に正当化するコストと便益が明示的かつ監査可能であることを求めます。言い換えれば、私は多くの逐次的な複雑性が堅実な単一ステップの選択に収束するまで、結果に価格を付けることを好むのです。
適切な価格を設定することで逐次問題を「平坦化」する場合に、これが最も明白になります。例えば、流通センターから希少な在庫を配送する場合、DC在庫に可視的な保留価格―明日のより良い要求に応じるオプションを反映する影の価格―を設定すれば、店舗はその限界利益が実際にその保留価格を上回る時にのみ単位を受け取ります。我々は未来を無視しているのではなく、資本コスト、情報の価値、待機の機会を反映する数値で未来を買い取っているのです。詳細は第8章（「Decisions」、§8.5）を参照してください.2
この平坦化を日常的に安全に実施するために、二つの手段が存在します。第一は責任の窓、すなわち今日の意思決定に対して説明責任が問われる限定された期間であり、その後の意思決定が残りを引き継ぎます。コンテナの注文（または店舗への配送）が賢明であったかをシーズン全体でシナリオ化する必要はなく、一定期間内で貨幣単位の結果を測定し、次に進むのです。第二は待機の経済学、何もしないという選択肢も正当であり、最良の許容される行動の期待されるリスク調整後のリターンが、企業の影の資本コストおよび遅延のオプション価値を上回った場合にのみ作動するカットオフ規則が存在します。これらの仕組みにより、データや意味論が不完全な状況下でも、深い先読みの脆弱性を回避しつつ主体性が保たれるのです。詳細は第8章（「Decisions」、§8.5）を参照してください.2
価格設定は、あらゆる偶発事象をモデル化することなく長期的な副作用を内部化することも可能にします。観測された売上のみで在庫の価値を判断する小売業者は、サービスへの投資が不足しがちです。これに対する対策が品切れペナルティ、すなわち長期的な売上損失のコストを反映した影の評価です。この価格が設定されることで、明日の顧客の失望という逐次的な痛みが、適切に今日のリソース配分に反映されるのです。詳細は第4章および第8章を参照してください.2
この「まずは価格設定」という姿勢は、工学分野にも及びます。SDAは主にモデル重視ですが、私はエンジニアリング重視です。本書は、意思決定を表現するために用いられるプログラミングパラダイムが、統計モデルと同等かそれ以上に重要であると論じています。サプライチェーンは、時間、金銭および不確実性が一級市民となる言語やランタイム、配列やテーブルが支配する環境、決定論が監査を可能にし、部分再計算がフィードバックループを短縮する環境の恩恵を受けます。目標は、朝7時に救出を必要とするdashboardsではなく、コインで判読可能な意思決定を下す無人のエンジンを構築することです。詳細は第9章（「Engineering」、§9.5）および第6章（「Intelligence」、§6.3）を参照してください.2
最後に、どのように学習するかという問題があります。現場の証拠は高価で曖昧であり、唯一の実践的対策は実験的最適化、すなわち計測し、意思決定を下し、「非常識な」提案を監視し、要因を修正し、再実行するプロセスです。このループは、一度きりで完全に収束することを目指すのではなく、状況の変化に合わせてシステムを現実に固定し続けます。詳細は第9章（「Engineering」、§9.2）を参照してください.2
これが実践で意味すること
SDAの幅広さはその特徴の一つです。エネルギーストアの先読みを調整している時、ロボットコントローラのポリシーを設計している時、もしくは価値関数の近似と直接ロールアウトを比較している時、SDAは一貫した言語と試すべき手法のマップを提供してくれます。そして、最終的には我々がポリシーの最適化を行っていることを常に思い出させてくれます.1
しかし、企業のサプライチェーンは全く異なる荒野そのものです。データの意味論は足元で変動し、インセンティブは証拠を歪め、実験はリスクが高く進行が遅いのです。そのような環境下では、私はまず価格設定を行い、次にモデリングするアプローチでより成功を収めてきました。この手法は説明自体は簡単ですが、実行には大きな困難が伴います。希少なもの―注意力や能力を含む―に価格を付け、未来に痛みが伴う部分―品切れ、混雑、陳腐化―には明確なペナルティを設定します。帰属は一定期間内に限定し、「待つ」という選択肢を認め、資本と不確実性の両方を尊重するカットオフを適用します。全体を、金銭と時間を自然なものとするパラダイムで表現し、無人の意思決定がもはや非常識に見えなくなるまで繰り返すのです。
これはSDAの否定ではありません。それは、優先順位の選択に過ぎないのです。SDAは動的最適化を可能にする近似手法を追求しますが、私は日常の意思決定を経済的に正しいものにする価格を求めることで、近似すべき動的問題をより小規模で、より扱いやすく、追加の労力に見合うものにしたいと考えています。両者は組み合わせることが可能です。すなわち、外側では価格設定された工学的に設計された境界を持ち、内側では本当に必要とされるターゲットを絞った先読みまたは価値関数の近似を採用するのです。
私の詳細な立場に関心のある読者は、Introduction to Supply Chain の第3～4章で経済的な基盤を、第8章で逐次意思決定の取り扱いを、第9章で工学的な姿勢―プログラミングパラダイムや実験的最適化―を見つけることでしょう。SDAの範囲およびその手法を網羅する4つのポリシークラスに関する簡潔な記述については、パウエルの統一フレームワークや彼のモデリングに関する著作が最良の出発点となります.1
