PDP

概要

部分依存プロット（Partial Dependence Plot; PDP）は、特定のパラメータが目的関数に与える限界効果を可視化する手法です。 他のパラメータの影響を平均化することで、着目パラメータと目的関数の関係を分離して把握できます。

Tunny Dashboard では、複数のサロゲートモデルで 1D PDP と 2D PDP を計算します。 1D PDP は折れ線グラフ、2D PDP は 3D の応答曲面プロットとして表示します。

種別	入力	出力
1D PDP	パラメータ 1 つ、目的関数 1 つ	1 変数の応答曲線
2D PDP	パラメータ 2 つ、目的関数 1 つ	2 変数の応答曲面

2D PDP のサロゲートモデル

モデル	速度	品質	適用 N 規模
Ridge 回帰	< 100ms	線形のみ	全規模
Random Forest	< 2,000ms	非線形・不連続	全規模
GP-FITC	< 10,000ms	滑らか・最高品質（デフォルト GP）	全規模（全 N 点で学習）
GP-VFE	< 10,000ms	滑らか・保守的フィット	全規模（GP-FITC が過学習の場合）
GP-MOE	< 30,000ms	滑らか・多領域対応	不連続・レジームスイッチ

すべての GP バリアントは egobox-gp / egobox-moe（Apache-2.0）バックエンドを使用し、M = min(N, 100) 誘導点を用います。 N ≤ 100 のとき、FITC/VFE はノイズ推定付き厳密 GP と等価になります。

---

理論背景

一般的な PDP の定義

モデル $f(x_S, x_C)$ について、着目変数の集合 $S$ と補完変数の集合 $C = X \setminus S$ を考えます。PDP は次のように定義されます:

$$\bar f_S(x_S) = \mathbb{E}$${x_C}[ f(x_S, x_C) ] \approx \frac{1}{N} \sum_i f(x_S, x{C,i})

すべてのトレーニングサンプルに対して x_C を周辺化（平均化）することで、x_S だけの純粋な効果を抽出します。

---

Tunny Dashboard での計算方法

完全なモンテカルロ評価は N × グリッド数の予測呼び出しが必要になるため、サロゲートモデルを使った近似計算を採用しています。

1D PDP（Ridge 回帰による解析的計算）

1D PDP は全パラメータで Ridge 回帰をフィッティング後、解析的に計算します:

$$\hat y = y_{\mathrm{mean}} + \sum_k \beta_k \frac{x_k - \mathrm{mean}_k}{\mathrm{std}_k}$$

パラメータ $j$ に着目した場合、他のパラメータ $k\ne j$ を平均値 $\mathrm{mean}_k$ で代入すると:

$$\bar f_j(v) = y_{\mathrm{mean}} + \beta_j \frac{v - \mathrm{mean}_j}{\mathrm{std}_j}$$

上式は、次の完全な式

$$\bar f_j(v)=\bar y + \beta_j\frac{v-\mu_j}{\sigma_j} + \sum_{k\ne j}\beta_k,\mathbb{E}\left[\frac{x_k-\mu_k}{\sigma_k}\right]$$

において、標準化項の平均が $\mathbb{E}[(x_k-\mu_k)/\sigma_k]=0$ となることを使って簡約した形です。 すなわち、Ridge 係数 β_j に比例する線形関数として解析的に表現されます。

2D PDP（複数サロゲートモデルによる計算）

2D PDP は、選択したサロゲートモデルでグリッドを計算します。Random Forest は 30×30、それ以外（Ridge、GP-FITC、GP-VFE、GP-MOE）は 20×20 です:

モデル	計算方法
Ridge	2変数線形平面: y_mean + β₁(v1−mean₁)/std₁ + β₂(v2−mean₂)/std₂
Random Forest	CART+Bagging でグリッド各点を予測
GP-FITC	ARD Matérn 5/2 GP（egobox-gp、FITC M=min(N,100)、全 N 点で学習）
GP-VFE	ARD Matérn 5/2 GP（egobox-gp、VFE 下界、M=min(N,100)、全 N 点で学習）
GP-MOE	混合エキスパート GP（egobox-moe、GMM クラスタリング、最大 K=3 FITC エキスパート）

---

挙動の詳細

パラメータ型に関する前提

PDP は数値パラメータのみを対象とします。 非数値（カテゴリ）列はグリッド計算上 0.0 として扱われるため、実質的に無視されます。

グリッドの構築

各パラメータの観測値の最小値〜最大値を等間隔にサンプリングしてグリッドを作ります（linspace）:

$$\mathrm{grid}_j[k] = \mathrm{min}_j + (\mathrm{max}$$j - \mathrm{min}j) \frac{k}{n{\mathrm{grid}} - 1} \quad (k = 0, \ldots, n{\mathrm{grid}}-1)

グリッド点数は、モデルと次元数（1D/2D）によって異なります。 1D PDP は Ridge が 50 点、それ以外（Random Forest、GP-FITC、GP-VFE、GP-MOE）は 30 点です。 2D PDP は Random Forest が 30×30、それ以外は 20×20 です。

Z スコア標準化

Ridge 回帰前に各パラメータ列を Z スコア標準化します:

$$\tilde x_k = \frac{x_k - \mathrm{mean}_k}{\mathrm{std}_k}$$