相関行列
概要
相関行列は、すべての変数（パラメータと目的関数）の組み合わせについてペアワイズの相関を計算し、1 枚のヒートマップとして表示する手法です。 多数の散布図を個別に確認しなくても全体を一望できるため、冗長な（強く相関した）パラメータの発見や、目的関数と関連の強いパラメータの発見に役立ちます。
数式
各セルは 2 種類の相関係数のいずれかで計算でき、アプリ内で選択できます:
欠損値は、ペアごとの complete-case（pairwise complete-case）方式で扱います。 変数のペア ごとに、両方の値が存在する行のみを使って相関を計算し、他のペアの欠損状況とは独立に扱います。 これは、行の中でいずれか 1 つでも変数が欠損していればその行を行列全体から除外する listwise deletion とは異なります。 pairwise 方式はセルごとにより多くのデータを活用できる一方、セルによって計算に使われる行の部分集合（実効サンプルサイズ）が異なります。 そのため、結果として得られる行列が内部的に整合しない（半正定値でなくなるなど）ことが、まれに起こり得ます。
特性・限界
- 相関は因果関係を意味しません。高い相関は 2 変数が連動していることを示すのみで、どちらか（あるいは両方）が原因かについては何も示しません。
- 多重比較の問題があります。変数が 個あれば同時に 通りのペアを検討することになり、変数を増やすほど、偶然だけで高い相関を示すペアが現れやすくなります。1 セルだけ突出した値が出ても、慎重に解釈する必要があります。
- 非単調な関係は、どちらの係数でも捉えられません。Spearman であっても単調な関係しか検出できないため、U 字型や周期的な関係があっても、ほぼ 0 に近い係数になり得ます。
アプリ内での利用箇所
- Correlation Matrix ウィジェット：全変数ペアの相関を 1 枚のヒートマップで俯瞰します。
- Scatter Matrixとの使い分け：まず Correlation Matrix で全ペアを素早く俯瞰し、気になるペアがあれば Scatter Matrix（pairplot）でその関係の実際の形（非線形性、クラスタ、外れ値など、係数だけでは見えない情報）を確認します。