Tunny Icon
TunnyDocs

The next-gen Grasshopper optimization tool.

Robustness

Robustness ウィジェットは、選んだ設計に正規分布、一様分布、または標準化ワイブル分布の入力ノイズを与え、観測済みトライアルにフィットしたサロゲートモデルを通して摂動を伝播させることで、得られる出力分布を表示します。 すでに手元にあるトライアルから学習したサロゲートを流用するため、追加の実評価は一切不要です。 背後の数学は、下の手法セクションにまとめてあります。

ワークフロー

  1. 目的関数とサロゲートモデルを選び、Fit Surrogate をクリックします。 サロゲートは全完了トライアルに対してバックグラウンドで学習されます(Surrogate Optimizer と同じ学習条件で、最低 10 トライアル必要です)。 Study に制約列がある場合は、列ごとの制約サロゲートも自動的に併せて学習されます。
  2. Center(解析対象の候補設計)を選びます。 Best trial(選択目的の方向を考慮したベスト)または任意のピン留めトライアルを指定します。 特定の設計を比較したい場合は、先に Trial Table や詳細モーダルでピン留めしておきます。 ピン留めトライアルが消えた場合(Study 切替後など)は、Best trial にフォールバックします。
  3. Noise dist: で Normal、Uniform、Weibull を選びます。 Weibull では形状 k(既定値 1.5、選択範囲 [0.2, 20])も設定します。 Noise %(クランプ前の入力ばらつきの標準偏差を各パラメータの宣言レンジに対する割合で指定)と、サンプル数(256 / 1024 / 4096)を設定します。 サンプル数を増やすと一般にサンプリング誤差が減るため、P5 / P95 のような端の統計量まで読みたい場合は多めに取ります。
  4. 必要なら Model uncertainty を有効にすると、各サンプル点で GP 事後分布からもドローし、サロゲート自身の(認識論的)不確かさを分布に織り込みます。 Ridge と LightGBM は予測の分散を返さないため、これらのモデルではこの設定は無視されます。 対象は目的値のサンプルのみです。GP 制約の予測確率は独立に計算され、この設定が無効でも使われます。

解析自体は、設定変更のたびに即座に実行されます。 時間がかかるのはサロゲートの学習だけなので、一度フィットしてしまえば、Noise % やサンプル数を変えながら何度でも試せます。

結果の読み方

  • ヒストグラム:摂動された全サンプルにわたる予測目的値の分布です。 1 点の予測値ではなく分布として見ることで、その設計の性能がどこまで振れうるのかを読み取れます。
  • Nominal(灰色破線):摂動なしの中心点でのサロゲート予測値です。 **Mean(赤線)**は摂動サンプルの平均です。 Shift = Mean − Nominal は、非対称な斜面や性能劣化を証明するものではありません。 サロゲートの非線形応答、境界でのクランプ(線形の目的関数でも起こりえます)、有限個のモンテカルロサンプルによるばらつきが寄与しえます。 正のシフトはモデルが推定する平均目的値が最小化では悪い側、最大化では良い側に寄ることを示し、負のシフトでは逆です。 実際の性能を保証するものではありません。
  • P5 / P95(破線):経験 5/95 パーセンタイルです。 最小化目的なら P95 は悲観側(「悪い日」)の見積もりになります。
  • Mean ± Std:広がりがロバスト性の主要指標です。 標準偏差が小さいほど入力のばらつきが性能に伝わりにくいため、名目値が同程度の 2 候補なら、標準偏差の小さい方を選びます。
  • P(feasible):Study に制約がある場合に表示します。 摂動後の設計が全制約を満たし続ける推定確率です(Optuna 規約では c≤0c \le 0 で実行可能)。各点の実行可能確率の平均で、GP では予測不確かさを使い、非 GP ではハード指示関数を使います。 一般には、予測平均が制約を満たしたサンプルの単純な割合ではありません。
  • Clipped %(琥珀色の警告):生の入力値がレンジ外に出て、いずれかの次元でクランプされたサンプルの割合です。 クランプはその値を境界へ移すため、境界に確率質量が蓄積します。 「レンジ内に留まる」条件付きの分布ではありません。

補足

  • 解析はモデルによる推定であり、妥当性はサロゲートの品質に制限されます。 フィット品質は、同じモデル種を使って Surrogate Optimizer の検証プロットで確認できます。 フィットが悪くてもヒストグラムの形はもっともらしく出てしまうため、図を眺めているだけでは中身が信用できないことに気づけません。 中心にする設計の周りに観測トライアルがほとんどない場合も同様で、そこでのサロゲートは離れた点から推し量っているだけなので、分布の広がりまで信じるのは危険です。 最低 10 トライアルでも学習自体は通りますが、その程度の点数で得られる分布は、おおまかな目安と考えたほうが安全です。
  • 結果は再現可能です。 同じ学習済みサロゲートと固定シードのもとで、同じ中心、ノイズレベル、分布(ワイブル形状を含む)、サンプル数、Model uncertainty 設定なら同じ統計量が再現されます。 有限個のモンテカルロサンプルによる誤差は残るため、候補間の比較、特に小さな差が正確であるとは限りません。 サンプル数を増やすと一般にサンプリング誤差は減りますが、サロゲートの誤差は取り除けず、固定シードで増やすたびに改善する保証もありません。 ガウスサンプリングには Box-Muller 変換を使います。
  • 想定される使い方は比較です。 Robustness ウィジェットを 2 つ並べ(それぞれ独立した設定を保持します)、2 つのピン留め候補に向けて分布を比べます。 名目値だけを比べれば負けている候補もあります。 ですが分布がはるかに狭いなら、工学的にはそちらが優れた選択になることもよくあります。
  • カテゴリカルパラメータは除外されます(数値パラメータのみが対象です)。 Surrogate Optimizer と同じ扱いです。
  • CSV エクスポートは出力サンプルの生値を書き出すので、外部での後処理に使えます。

手法

概要

最適化アルゴリズムが見つける最適解は決定論的な最適解であり、設計変数を正確に実現できることを前提としています。 ですが、実際の入力には不確かさが伴います。 製造公差、材料ばらつき、運転条件の変動などです。 目的関数曲面の急峻な尾根の上にある設計は、そのばらつきを与えた途端に、予測よりはるかに悪い性能を示すことがあります。 ロバスト性解析では、候補設計の周りで入力を摂動させたとき、予測性能がどのように分布するかを評価します。

これを直接評価するには、候補周辺で多数の追加実評価が必要になります。 代わりに本解析では、観測済みトライアルにすでにフィットした サロゲートを再利用することで、モンテカルロサンプリングによる入力不確かさの伝播を実評価なしで行います。 サロゲートが学習済みであれば、解析自体の計算コストはごくわずか(ミリ秒オーダー)です。

数式

目的関数のサロゲートを f^\hat{f}、候補設計(ピン留めトライアルやベストトライアルなど)を x0\mathbf{x}_0 とし、入力摂動は次元ごとに独立とします。

xij=clamp⁡ ⁣(x0j+δ(uj−lj)Zij,  lj,  uj)x_{ij} = \operatorname{clamp}!\left(x_{0j} + \delta (u_j-l_j) Z_{ij},; l_j,; u_j\right)

ここで [lj,uj][l_j, u_j] はパラメータ jj の宣言レンジ、$\delta$ はユーザーが選ぶノイズレベル(各レンジに対する割合。たとえば δ=0.02\delta = 0.02 なら 1σ でレンジの ±2 % のばらつき)です。 パラメータに宣言レンジがない場合(distribution に下限や上限が設定されていない場合)、$[l_j, u_j]$ は試行データにおけるそのパラメータの観測レンジにフォールバックします。 選択したノイズ分布は全次元に共通で、$Z_{ij}$ は次元ごとに独立に生成され、クランプ前の平均は 0、分散は 1 です。

  • Normal:$Z \sim \mathcal{N}(0,1)$。
  • Uniform:$Z \sim \mathcal{U}(-\sqrt{3},\sqrt{3})$。
  • Weibull:形状 kk(既定値 1.5、選択範囲 [0.2, 20])に対し、 W∼Weibull⁡(k,scale=1)W \sim \operatorname{Weibull}(k,\text{scale}=1) を生成し、次のように標準化します。

Z=W−Γ(1+1/k)Γ(1+2/k)−Γ(1+1/k)2Z = \frac{W-\Gamma(1+1/k)}{\sqrt{\Gamma(1+2/k)-\Gamma(1+1/k)^2}} Γ\Gamma はガンマ関数です。どの分布でもクランプ前の入力標準偏差は σj=δ(uj−lj)\sigma_j = \delta (u_j-l_j) で共通ですが、裾や歪みは異なります。 クランプ(ウィンザー化)は、レンジ外の値を棄却したり再生成したりせず、最寄りの境界へ移すため、境界に確率質量が蓄積します。 したがって、条件付きの切断分布ではなく、平均や分散も変わりえます。 NN 個のモンテカルロサンプルに対する伝播後の出力集合は {yi}{y_i} で、

yi=f^(xi)(偶然的不確かさのみ),yi∼N ⁣(f^(xi),  s^2(xi))(偶然的 + 認識論的)y_i = \hat{f}(\mathbf{x}_i) \quad\text{(偶然的不確かさのみ)}, \qquad y_i \sim \mathcal{N}!\left(\hat{f}(\mathbf{x}_i),; \hat{s}^2(\mathbf{x}_i)\right) \quad\text{(偶然的 + 認識論的)}

前者は入力(偶然的、aleatory)不確かさのみを、サロゲート平均を通して伝播させます。 後者はさらに各サンプル点で GP 事後分布からドローし、モデル(認識論的、epistemic)不確かさ s^2(x)\hat{s}^2(\mathbf{x}) を織り込みます。 候補がサンプルの疎な領域にあり、サロゲート自身の予測不確かさが大きい場合に有用です。 {yi}{y_i} から、経験平均 yˉ\bar{y}、標準偏差 sys_y、5/50/95 パーセンタイルを報告します。 平均シフト yˉ−f^(x0)\bar{y} - \hat{f}(\mathbf{x}_0) (Shift = Mean − Nominal)は、非対称な斜面や性能劣化を証明するものではありません。 サロゲートの非線形応答や境界でのクランプにより平均がずれることがあり、クランプは線形の目的関数でもシフトを生じさせます。 有限個のモンテカルロサンプルによるばらつきも寄与しえます。 正のシフトはモデルが推定する平均目的値が最小化では悪い側、最大化では良い側に寄ることを示し、負のシフトでは逆です。 実際の性能を保証するものではありません。

制約サロゲート c^k\hat{c}_k(Optuna の constraints 規約で保存された値で学習。$c_k \le 0$ で実行可能)がある場合、各点の確率を平均して実行可能確率を推定します。

Pfeas≈1N∑i=1NP ⁣(ck≤0  ∀k∣xi),P ⁣(ck≤0  ∀k∣x)=∏kpk(x)P_\text{feas} \approx \frac{1}{N} \sum_{i=1}^{N} P!\left(c_k \le 0;\forall k \mid \mathbf{x}_i\right), \qquad P!\left(c_k \le 0;\forall k \mid \mathbf{x}\right) = \prod_k p_k(\mathbf{x})

この積は制約間の独立性を仮定しています。GP 制約サロゲートでは、元の制約単位での予測平均を μk(x)\mu_k(\mathbf{x})、予測標準偏差を sk(x)s_k(\mathbf{x}) とすると、

pk(x)=Φ ⁣(−μk(x)sk(x))p_k(\mathbf{x}) = \Phi!\left(\frac{-\mu_k(\mathbf{x})}{s_k(\mathbf{x})}\right) Φ\Phi は標準正規分布の累積分布関数です。予測分散を返さない非 GP モデルでは、代わりに pk(x)=1[μk(x)≤0]p_k(\mathbf{x}) = \mathbb{1}[\mu_k(\mathbf{x}) \le 0] というハード指示関数を使います。 予測分散がゼロまたは数値的に無視できる場合もこの指示関数を使い、定数の制約ではその定数値で判定します。 したがって、表示される確率は一般には、予測制約平均が条件を満たすサンプルの割合ではありません。 Model uncertainty は目的値の事後分布サンプリングのみを制御し、これらの GP 制約確率を無効にする設定ではありません。

特性・限界

  • 解析の質はサロゲートの質を超えられません。 そのため、まずサロゲートの交差検証品質を確認してください。 フィットの悪いモデルからは、見かけ上もっともらしくても信頼できない分布が出力されます。
  • クランプにより境界に確率質量が蓄積し、出力分布が変わります。 報告されるばらつきは、「箱の内側に留まる」条件付きのものではありません。 Clipped % はいずれかの次元でクランプされたサンプルを数えます。
  • 入力次元間の独立性は、3 つのノイズ分布すべてに共通するモデル上の仮定です。 相関のある公差はモデル化されません。非ガウスのばらつきは一様分布や標準化ワイブル分布で表せますが、任意のノイズ分布には対応していません。
  • 各点の実行可能確率を掛け合わせる際には、制約間の独立性も仮定します。
  • ガウスサンプルは、シード付き乱数生成器上の Box-Muller 変換で生成されます。 同じ学習済みサロゲートと固定シードのもとで、同じ候補、ノイズレベル、分布(ワイブル形状を含む)、サンプル数、Model uncertainty 設定なら同じ統計量が再現されます。 再現性は有限個のモンテカルロサンプルによる誤差をなくすものではなく、候補間の比較、特に小さな差の正確さを保証しません。 サンプル数を増やすと一般にサンプリング誤差は減りますが、サロゲートの誤差は取り除けず、固定シードで増やすたびに改善する保証もありません。
  • 想定ワークフローは、2 つの候補(例:2 つのピン留めトライアル)の分布比較です。 名目値がわずかに劣っても分布がはるかに狭い設計の方が、工学的には優れた選択になる場合が多くあります。

参考文献