感度分析
本章では、Tunny Dashboard で使える感度分析の手法を紹介します。
感度分析は「どのパラメータが目的関数を動かしているか」を調べるための手続きです。 ですが、手法ごとに前提も計算コストも異なるため、同じトライアルデータを与えても重要度の順位が食い違うことがあります。 そのため、まず手法どうしの違いを一覧で押さえ、そのうえで状況別の選び方を見ていきます。 各手法の理論や実装の詳細は、個別ページを参照してください。
手法別のまとめ
| 手法 | わかること | 強み | 注意点 | 目安コスト |
|---|---|---|---|---|
| Spearman | 単調な関係の強さ（順位相関） | 高速、頑健、少データでも使いやすい | 非単調（U字など）や交互作用は苦手 | 低 |
| Ridge | 線形近似での寄与の強さ（係数） | 高速、解釈しやすい、多重共線性に比較的強い | 非線形や強い交互作用は表現しにくい | 低 |
| MDI | 学習中にどの特徴が分岐に効いたか | 高速で直感的 | 高カーディナリティ特徴を過大評価しやすい | 低〜中 |
| RF-ANOVA | fANOVA による分散分解（RF の葉ボックス上の主効果重要度） | 学習済みフォレスト上で厳密に分解でき、追加の評価パスが不要 | 交互作用を単一パラメータの主効果に帰属しない・木の葉分割に依存する | 中 |
| Permutation | 特徴量をシャッフルしたときのホールドアウト MSE 増加（5 回平均） | 予測寄与を直接測定でき、単回シャッフルより分散が小さい | 評価パスが約 5 倍必要・相関特徴の影響を受ける | 中〜高 |
| SHAP | 予測への寄与を Shapley 値で分解 | 理論的に一貫、局所/大域の解釈に強い | 他手法より重い | 中〜高 |
| Sobol | 分散分解による一次効果/全効果 | 交互作用まで含めた大域感度を評価できる | サロゲート品質とサンプル数の影響を受ける | 中〜高 |
| PDP (1D/2D) | 目的関数の応答形状（曲面/断面） | 「どう変わるか」を可視化しやすい | 相関が強いと外挿的な見え方になる場合がある | 低〜高（モデル依存） |
| ARD 重要度 | パラメータごとの GP 長さスケール関連度 | GP 長さスケールによる大域的・平滑さベース感度 | GP-FITC 学習を伴う・分散分解ではない | 中〜高（GP 学習を伴う） |
どれを選ぶかの目安
まず最初に全体を把握したい
- 第一候補: Spearman
- 理由: 分布の前提を置かず順位だけで計算するため速く、全パラメータのスクリーニングに向きます
線形寄与を素早く見たい
- 第一候補: Ridge
- 補助: Spearman
- 理由: Ridge は係数の符号と絶対値から方向と強さを同時に読めるため把握しやすく、Spearman は順位を使うことで単調関係を頑健に確認できます
モデル上の特徴重要度を安定して見たい
- 第一候補: Permutation（重要度推定の分散が小さい）
- 補助: RF-ANOVA（高速な確認用）、MDI（学習コストゼロの簡易確認）
- 理由: Permutation はシャッフルを 5 回繰り返して平均するため、少数サンプルや分散の大きいデータでも安定した結果が得られます。速度を優先する場合は、追加の評価パスが不要な RF-ANOVA を選びます。
説明責任を重視したい（寄与を理論的に説明したい）
- 第一候補: SHAP
- 理由: 効率性や対称性などの公理を同時に満たす唯一の解が Shapley 値なので、寄与の配分根拠までさかのぼって説明できます
交互作用まで含めた大域感度を見たい
- 第一候補: Sobol（特に ST と S の差を見る）
- 理由: 分散を主効果と交互作用に分けることで、ST と S の差として交互作用の寄与を定量化できます
パラメータを動かしたときの形状を見たい
- 第一候補: PDP
- 理由: ほかのパラメータを平均化することで着目パラメータだけの応答形状を取り出せるので、最適化の直感が得やすいです
学習済み GP サロゲートから追加計算なしで感度を得たい
- 第一候補: ARD 重要度
- 理由: 長さスケールは GP 学習の副産物として得られるため、サロゲート最適化で GP を学習済みなら追加計算なしでパラメータごとの関連度を読み取れます
実務での使い分け
軽い手法から重い手法へ順に進めていくと、手戻りが少なくなります。 先に Spearman や Ridge で候補を絞ることで、計算時間のかかる手法を上位パラメータの検討だけに使えるためです。
- Spearman + Ridge で一次スクリーニング（候補を絞る）
- RF-ANOVA で重要度を素早く確認し、安定性が重要なら Permutation を優先します（必要なら MDI も併記）
- 上位パラメータを PDP で可視化
- 交互作用が重要なら Sobol を追加
- レポートや説明資料では SHAP を採用
判断時のチェックポイント
- データ数が少ない（目安 n < 50）: Spearman を優先し、重い手法は参考扱い
- 線形モデルで十分説明できる: Ridge を優先し、R² が低ければ非線形手法へ切り替え
- 強い非線形が疑われる: RF-ANOVA / SHAP / Sobol を優先
- 交互作用が疑われる: Sobol の ST-S を確認
- 実行時間制約が厳しい: Spearman + MDI を先に実行
- 手法間で結論が割れる: 相関特徴の影響や R²、サロゲート品質を再確認
補足
- 重要度は「因果効果」ではなく、基本的には観測データ上の関連や予測寄与を示す指標です。
- 1 つの手法だけで断定せず、2 手法以上で整合性を確認することをおすすめします。
たとえば Spearman が低いのに Sobol の ST が高いパラメータは、単調ではないものの分散には効いている、という読み方ができます。 手法ごとに測っている量が違うため、順位の食い違いはそれ自体が目的関数の性質を教えてくれる情報になります。
ただし感度分析が示すのは、あくまでこれまでのトライアルの範囲で何が効いていたかです。 どのパラメータを次に動かすかを決めるのは設計者であり、重要度の順位がそのまま設計判断になるわけではありません。