Sensitivity Heatmap
Sensitivity Heatmap ウィジェットは、1 つの重要度手法のスコアを、全パラメータ × 全目的関数について一度に表示します。
行がパラメータ、列が目的関数の色分けグリッドとして描画します。 Importance Chart が 1 つの目的関数についてパラメータをランク付けするのに対し、ヒートマップはその詳細と引き換えに全体像を示します。 多目的スタディで、どのパラメータがどの目的関数に効くのか、どのパラメータがどこにも効かないのかを、一目で把握できます。
スコアそのものは Importance Chart と同じ感度分析の手法で計算します。 本ページはウィジェットの説明に絞ります。 各手法が何を測るか、どう選ぶかは感度分析を参照してください。
手法の選択と実行
- ドロップダウンから手法を選びます。 手法の性格がわかるように系統ごとにグループ化されています。
- 低コストな手法（Spearman / Ridge）は選択すると自動で計算されます。 重い手法は Run ボタンを押すまで実行されないため、高コストな手法へ切り替えても意図せず長い計算が始まることはありません。
- 制約付きスタディでは Feasible only を切り替えると、実行可能 trial だけでモデルをフィットします。 そもそも採用できない設計を除いてフィットすることで、実際に選びうる範囲の中での効き方を読めます。
グリッドの読み方
- 行がパラメータ、列が目的関数
- 列を読むとその目的関数を動かすパラメータ、行を読むとそのパラメータが 1 つ、複数、あるいはどの目的関数にも効かないかがわかります。
- たとえば、どの列でも色の薄い行が見つかれば、そのパラメータは今のレンジではほとんど効いていないことになり、次に回す最適化で扱いを見直す候補になります。
- 各セルには数値スコア
- 色の上に表示されるため、視覚パターンだけでなく正確な値も比較できます。
- 色は手法の符号によって変化
- 符号ありの手法（Spearman、Ridge）は を発散カラースケールで表示します。 目的関数を押し上げるか押し下げるかという符号が、大きさだけでなくわかります。
- 非負の手法（木ベース、Sobol）は列ごとにその列の最大値で正規化し、連続カラースケールで表示します。 色は列内（1 つの目的関数に対するパラメータ間）では比較できますが、列をまたいだ直接比較はできません。 各目的関数のもっとも明るいセルは、その目的関数でもっとも重要なパラメータとなります。
Sensitivity Heatmap と Importance Chart
| Importance Chart | Sensitivity Heatmap（本ウィジェット） | |
|---|---|---|
| 対象範囲 | 一度に 1 つの目的関数 | 全パラメータ × 全目的関数を一度に |
| レイアウト | ランク付けされたバー | パラメータ × 目的関数の色分けグリッド |
| 得意なこと | 1 つの目的関数の正確な順位 | 目的関数横断のパターンと無効パラメータの発見 |
| 手法 | 同じ重要度手法 | 同じ重要度手法 |
まずヒートマップで当たりをつけることで、正確な順位を確認するために Importance Chart を開くべき目的関数を絞れます。
注意点
- 非負手法の列をまたいだ比較は誤解を招くことがあります。 各列は独立に正規化されるため、目的関数 A の明るいセルと目的関数 B の明るいセルは同じ絶対的重要度を表しません。 そのため大きさの比較は、列内に限ってください。
- 重要度スコアは観測データ上の関連・予測寄与を表すものであり、因果ではありません。 Importance Chart と同様、結論を出す前に別の手法でも確認してください。
- モデルベースの手法（木ベース、Sobol）はフィットしたモデルの品質に依存します。 フィットが悪いとすべての列が信頼できなくなります。