Tunny Icon
TunnyDocs

The next-gen Grasshopper optimization tool.

Ridge

概要

Ridge 回帰（L2 正則化線形回帰）は、試行データに線形モデルを当てはめ、回帰係数を応答曲面のサロゲートとして使う手法です。 フィッティングの前に各パラメータを標準化することで、係数の絶対値 |β| をそのまま各パラメータの寄与の大きさとして読めるようになります。

数式

y^=β0+β1x1+β2x2+⋯+βpxp\hat{y} = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p

目的関数（L2 正則化最小二乗法）:

min⁡β∥y−Xβ∥2+α∥β∥2(α=1.0)\min_\beta |y - X\beta|^2 + \alpha|\beta|^2 \quad (\alpha = 1.0)

閉形式解:

β=(X⊤X+αI)−1X⊤y\beta = (X^\top X + \alpha I)^{-1} X^\top y

対角に αI\alpha I を足すことで逆行列が必ず存在するようになり、パラメータどうしに強い相関があっても係数が発散しません。

前処理

フィッティング前に XX の各列に Z スコア標準化を適用します:

xj=xj−μjσj\tilde{x}_j = \frac{x_j - \mu_j}{\sigma_j}j​=σj​xj​−μj​​

パラメータごとに単位も値域も異なるため、標準化しないと値域の広いパラメータほど係数が小さく出てしまい、係数どうしを比べられなくなります。 σj≈0\sigma_j \approx 0 の場合は σj=1.0\sigma_j = 1.0 で除算します（定数列のゼロ除算を回避）。 yy は平均センタリングのみです（$y_c = y - \bar{y}$）。

連立方程式は Cholesky（LLT）分解（faer）で解きます。 X⊤X+αIX^\top X + \alpha I は α>0\alpha > 0 のとき常に対称正定値（SPD）になるため、Cholesky が最適な解法です。 数値的な理由で分解に失敗した場合は、誤った係数から誤った曲面を描くよりも安全なので、ゼロ係数ベクトルにフォールバックします。

PDP への適用

1D PDP では次の閉形式近似を使います:

PDP(v)=yˉ+βj⋅v−μjσj\text{PDP}(v) = \bar{y} + \beta_j \cdot \frac{v - \mu_j}{\sigma_j}

標準化によって他のパラメータの平均が 0 になっているため、その寄与は PDP の計算で消えます。 2D PDP では 2 つのパラメータの項を加算します:

fˉ(v1,v2)=yˉ+βj1⋅v1−μj1σj1+βj2⋅v2−μj2σj2\bar{f}(v_1, v_2) = \bar{y} + \beta_{j_1} \cdot \frac{v_1 - \mu_{j_1}}{\sigma_{j_1}} + \beta_{j_2} \cdot \frac{v_2 - \mu_{j_2}}{\sigma_{j_2}}

Ridge サロゲートは線形モデルであるため、信頼帯（上限、下限）は返しません。

R² の見方

R² 意味
≈ 1.0 線形モデルが良好です。曲面は信頼できます。
< 0.5 非線形な関係があります — Random Forest または GP-FITC に切り替えます。

特性と限界

強み:

  • 非常に高速: O(n·p²)
  • L2 正則化により多重共線性に対して安定
  • 係数の符号が影響の方向を示します（パラメータを増やすと目的関数が上がる/下がる）

弱み:

  • 線形性を仮定：非線形効果を過小評価します
  • 交互作用項なし（パラメータ間の相互作用を捉えられません）
  • Random Forest / ガウス過程で可視化できる非線形構造を見逃す可能性があります

Ridge は交互作用も非線形も表現しないので、応答曲面としては「大づかみな傾き」を見るための道具になります。 ですが、係数の符号と大きさがそのまま読めるという性質は、どのパラメータをどちらに動かせば良くなるかを判断するうえで強力です。 たとえば βj\beta_j が正で絶対値も大きければ、そのパラメータを増やすほど目的関数が大きくなり、しかも影響が大きいと読めます。

使用場面の目安

目的関数が概ね線形？         → Ridge（最速）
まず大まかな近似が欲しい？    → Ridge で試してから R² < 0.5 なら切り替え
非線形・ノイジー・表形式？    → Random Forest
滑らかな非線形？              → GP-FITC（または GP-VFE / GP-MOE）

参考文献

← 前へサロゲートモデル次へ →サロゲートモデル: Random Forest
© 2026 hrntsm
Made with Fresh