Tunny Icon
TunnyDocs

The next-gen Grasshopper optimization tool.

Ridge

概要

Ridge 回帰（L2 正則化線形回帰）は、試行データに線形モデルを当てはめ、回帰係数を応答曲面のサロゲートとして使う手法です。 |β| は各パラメータの寄与を示します。

数式

y^=β0+β1x1+β2x2+⋯+βpxp\hat{y} = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p

目的関数（L2 正則化最小二乗法）:

min⁡β∥y−Xβ∥2+α∥β∥2(α=1.0)\min_\beta |y - X\beta|^2 + \alpha|\beta|^2 \quad (\alpha = 1.0)

閉形式解:

β=(X⊤X+αI)−1X⊤y\beta = (X^\top X + \alpha I)^{-1} X^\top y

前処理

フィッティング前に XX の各列に Z スコア標準化を適用します:

xj=xj−μjσj\tilde{x}_j = \frac{x_j - \mu_j}{\sigma_j}j​=σj​xj​−μj​​ σj≈0\sigma_j \approx 0 の場合は σj=1.0\sigma_j = 1.0 で除算します（定数列のゼロ除算を回避）。 yy は平均センタリングのみです（$y_c = y - \bar{y}$）。

連立方程式は Cholesky（LLT）分解（faer）で解きます。 X⊤X+αIX^\top X + \alpha I は α>0\alpha > 0 のとき常に対称正定値（SPD）になるため、Cholesky が最適な解法です。 分解に失敗した場合はゼロ係数ベクトルにフォールバックします。

PDP への適用

1D PDP では次の閉形式近似を使います:

PDP(v)=yˉ+βj⋅v−μjσj\text{PDP}(v) = \bar{y} + \beta_j \cdot \frac{v - \mu_j}{\sigma_j}

他のパラメータの寄与は平均でゼロになるため消えます。 2D PDP では 2 つのパラメータの項を加算します:

fˉ(v1,v2)=yˉ+βj1⋅v1−μj1σj1+βj2⋅v2−μj2σj2\bar{f}(v_1, v_2) = \bar{y} + \beta_{j_1} \cdot \frac{v_1 - \mu_{j_1}}{\sigma_{j_1}} + \beta_{j_2} \cdot \frac{v_2 - \mu_{j_2}}{\sigma_{j_2}}

Ridge サロゲートは線形モデルであるため、信頼帯（上限、下限）は返しません。

R² の見方

R² 意味
≈ 1.0 線形モデルが良好です。曲面は信頼できます。
< 0.5 非線形な関係があります — Random Forest または GP-FITC に切り替えます。

特性と限界

強み:

  • 非常に高速: O(n·p²)
  • L2 正則化により多重共線性に対して安定
  • 係数の符号が影響の方向を示します（パラメータを増やすと目的関数が上がる/下がる）

弱み:

  • 線形性を仮定：非線形効果を過小評価します
  • 交互作用項なし（パラメータ間の相互作用を捉えられません）
  • Random Forest / ガウス過程で可視化できる非線形構造を見逃す可能性があります

使用場面の目安

目的関数が概ね線形？         → Ridge（最速）
まず大まかな近似が欲しい？    → Ridge で試してから R² < 0.5 なら切り替え
非線形・ノイジー・表形式？    → Random Forest
滑らかな非線形？              → GP-FITC（または GP-VFE / GP-MOE）

参考文献

← 前へサロゲートモデル次へ →サロゲートモデル: Random Forest
© 2026 hrntsm
Made with Fresh