分布フィッティング

概要

分布フィッティングは、ヒストグラムと同じサンプルから最尤推定したパラメトリックな確率密度を、ヒストグラムに重ね描きします。「だいたい釣鐘型」「右に歪んでいる」といった定性的な印象を、「どの分布族がどのパラメータで最もよく記述するか」という定量的な言明に変えます。レポーティング、対数正規に従う量（厳密に正の工学的応答量に多い）の発見、信頼性評価の下地として役立ちます。

対応する分布族は、正規、対数正規、ワイブルの 3 つです。後者 2 つは、厳密に正のサンプルにのみ適用できます。

数式

サンプル $x_1, \dots, x_n$ に対する最尤推定量:

正規分布 $\mathcal{N}(\mu, \sigma^2)$ は、閉形式で求まります:

$\hat\mu = \frac{1}{n}\sum_i x_i, \qquad \hat\sigma^2 = \frac{1}{n}\sum_i (x_i - \hat\mu)^2$

対数正規分布は、 $\ln x_i$ に正規分布の MLE を適用します（パラメータ $\hat\mu_{\ln}, \hat\sigma_{\ln}$ ）。

ワイブル分布（形状 $k$ 、尺度 $\lambda$ 、密度 $f(x) = \frac{k}{\lambda}\left(\frac{x}{\lambda}\right)^{k-1} e^{-(x/\lambda)^k}$ ）には閉形式がなく、形状は MLE 方程式

$\frac{\sum_i x_i^k \ln x_i}{\sum_i x_i^k} - \frac{1}{k} - \frac{1}{n}\sum_i \ln x_i = 0$

を二分法で解きます（左辺は $k$ について単調）。その後 $\hat\lambda = \left(\tfrac{1}{n}\sum_i x_i^{\hat k}\right)^{1/\hat k}$ を求めます。この方程式はスケール不変なので、Tunny Dashboard は先に $\max_i x_i$ で正規化し、大きな $k$ での $x^k$ のオーバーフローを防いでいます。

モデル比較には赤池情報量規準を使います。 3 分布族ともパラメータ数は 2 なので

$\mathrm{AIC} = 2\cdot 2 - 2\ln \hat L$

であり、ここでは AIC による順位付けは尤度による順位付けと等価です。パラメータ数が異なる比較への連続性のため、AIC を報示します。

カウント表示のヒストグラムに密度を重ねるときは、PDF に $n \cdot w$ （サンプル数 × ビン幅）を掛け、曲線と棒が同じ縦軸を共有するようにします。

特性・限界

MLE は適合度検定ではありません。3 分布族の中で最良の AIC は「この 3 つの中で最もましなもの」でしかなく、二峰性や重い裾を持つサンプルにも必ず勝者が付きます。パラメータを引用する前に、重ね描き曲線と棒を目視で照合してください。
サンプルにゼロ以下の値が含まれると、対数正規とワイブルは自動的に適用不能となり、正規のみが残ります。
ワイブルの形状パラメータには解釈があります。 $k < 1$ は減少ハザード（初期故障型）、 $k = 1$ は指数分布に帰着、 $k > 1$ は増加ハザードを表します。これはワイブル分布が信頼性工学で広く使われている理由の一つです。
MLE の分散推定量は、不偏標本分散に対して $(n-1)/n$ 倍だけ小さいバイアスを持ちますが、フィッティングが意味を持つサンプルサイズでは無視できます。

アプリ内での利用箇所

Histogram ウィジェット → Fit セレクタ：選択した分布族（Auto なら最良 AIC の分布族）をヒストグラムに重ね描きし、適用可能な各分布族のフィット済みパラメータと AIC を表示します。

参考文献

Akaike, H. (1974). A new look at the statistical model identification. IEEE Transactions on Automatic Control, 19(6), 716–723. https://doi.org/10.1109/TAC.1974.1100705