Tunny Icon
TunnyDocs

The next-gen Grasshopper optimization tool.

GP-MOE

GP-MOE は、入力空間を複数の領域に分割し、各領域に 1 つの FITC スパース GP エキスパートを学習させるサロゲートモデルです。 各エキスパートの予測を滑らかに再結合することで、目的関数が不連続であったり体制変換（レジームスイッチ）を持つ場合でも連続な曲面を出力します。 Tunny Dashboard は egobox-moe クレート（v0.35、Apache-2.0）を使用しています。

なぜ混合エキスパートが必要か

定常カーネル（Matérn 5/2 など）を持つ単一 GP は、空間全体で同じ滑らかさを仮定します。 しかし目的関数が:

  • 急激な不連続性（モード切替、制約の活性化など）
  • 領域ごとに明確に異なる曲率（レジームスイッチ）
  • 多峰性（複数の極値）

を持つ場合、単一 GP は片方の領域を過学習したり、もう一方の変動を過小評価してしまいます。 GP-MOE は、各領域に独立なハイパーパラメータを持つ GP を割り当てることでこれを解決します。

ベンチマーク（区分不連続関数；開発環境での計測による参考値であり、環境やデータによって変動します）: GP-MOE R² ≈ 0.97 に対し、滑らかに混合した単一 GP は R² ≈ 0.89 です。 滑らかまたはノイジーなデータでは、GP-MOE はクラスタ数 k = 1 を選択し、GP-FITC と同等になります。

アーキテクチャ

GMM クラスタリング

入力空間の分割にガウス混合モデル（GMM）を使用します:

p(x)=∑k=1Kπk N(x∣μk,Σk)p(x) = \sum_{k=1}^{K} \pi_k , \mathcal{N}(x \mid \mu_k, \Sigma_k)

各訓練点は、各クラスタへのソフト所属度（責任）で重み付けされます。 ハード k-means ではなく GMM を使うのは、滑らかで重複するクラスタ境界が滑らかなエキスパート再結合を可能にするためです。

クラスタごとの FITC GP エキスパート

各クラスタに 1 つのスパース GP エキスパートを学習します。各エキスパートは:

  • ARD Matérn 5/2 カーネル（GP-FITC / GP-VFE と同一）
  • 定数トレンド関数
  • M = min(N, 100) 誘導点を使った FITC 近似（下記参照）
  • 全 N 点で学習（サブサンプリングなし）

エキスパートはクラスタ責任で重み付けされた全 N 点を参照するため、自身の担当領域を重視しつつグローバルな情報も活用できます。

滑らかな再結合

エキスパート予測を、最適化されたヘビサイド遷移係数 β による滑らかな再結合でブレンドします:

y^(x)=∑k=1Kwk(x) μk(x)\hat{y}(x) = \sum_{k=1}^{K} w_k(x) , \mu_k(x) wk(x)w_k(x) は非負かつ和が 1 になる滑らかな重みで、GMM 責任にヘビサイド関数を適用して導出します。 遷移係数 β は、クロスバリデーション性能を最大化するよう最適化されます。 これにより結合曲面はどこでも連続になり、エキスパート間の継ぎ目もなめらかになります。

クラスタ数の自動選択

クラスタ数 K はクロスバリデーションで自動選択されます:

  1. 訓練データから最大 500 点のサブサンプルを取得します（決定論的: 乱数なし、等間隔ストライドで選択）。
  2. K ∈ {1, 2, 3} の各候補で GpMixture をフィットし、サブサンプル上でクロスバリデーションします。
  3. クロスバリデーションスコアが最良の K を選択します（最大 K = 3 に上限あり。CV 探索はコストが高く、K > 3 は実際の工学データではほとんど改善しません）。
  4. 選択した K で全 N 点の完全モデルをフィットします。

上限 3 により探索コストを抑えます。 実際、滑らかまたはノイジーなデータでは K = 1 が選択され、GP-MOE は GP-FITC に帰着します。

誘導点と決定論性

訓練を完全に決定論的にするため、誘導点は次のように選択します:

  • N ≤ 100: Z = X（訓練点そのもの）。ノイズ推定付き厳密 GP と数学的に等価です。
  • N > 100: エキスパートごとに M = 100 誘導点を k-means セントロイド（決定論的シード）で選択します。

同一の明示的な誘導点位置が、すべてのエキスパートで共有されます。 固定された決定論的シード以外の乱数シードは使用しません。

計算量

処理 コスト
GMM フィット（サブサンプル ≤ 500） O(500 · K · D²)
エキスパートごとの FITC 学習 エキスパートあたり O(N · M²)
グリッド予測（50×50） O(2500 · M · K)

K = 3、M = 100 の場合の学習コストは GP-FITC の約 3 倍です。 目標: 30,000ms 以内（release ビルド）。

フォールバック動作

GP-MOE の学習が失敗した場合（例: クラスタの点数が少なすぎて GP をフィットできません）:

  • PDP: GP-FITC に暗黙的にフォールバックします。
  • Surrogate Optimizer: 別モデルに黙って切り替えるのではなく、ユーザにエラーを表示します。

R² の見方

R² 対応
≥ 0.8 良好なフィットです。曲面は信頼できます。
< 0.5 フィット不良。LightGBM または Random Forest に切り替えるか、N を増やします。

特性・限界

強み:

  • 不連続、レジームスイッチ、多峰性の応答曲面に対応
  • クラスタ数を自動選択（手動チューニング不要）
  • 滑らかな出力曲面（継ぎ目のアーティファクトなし）
  • GP の不確実性推定（95% 信頼帯）を保持

弱み:

  • GP-FITC / GP-VFE より学習コストが高い（おおよそ K 倍）
  • CV サブサンプルが 500 点上限のため、極小 N ではクラスタ選択が最適でない場合があります
  • 滑らか / ノイジーなデータでは K = 1 を選択し、GP-FITC に対して優位性なし

使用場面の目安

目的関数の形が...

  線形に近い ──────────────────────────────────→ Ridge（最速）
  非線形・不連続・ノイジー ─────────────────────→ LightGBM または Random Forest
  滑らかな非線形（デフォルト） ─────────────────→ GP-FITC
  滑らかな非線形・曲面が過学習気味 ─────────────→ GP-VFE
  不連続・多領域・レジームスイッチ ─────────────→ GP-MOE（最善の選択）

関連: GP-FITC / GP-VFE

参考文献

  • Jacobs, R. A., Jordan, M. I., Nowlan, S. J., & Hinton, G. E. (1991). Adaptive Mixtures of Local Experts. Neural Computation, 3(1), 79–87. https://doi.org/10.1162/neco.1991.3.1.79
  • Bettebghor, D. et al. (2011). Surrogate modeling approximation using a mixture of experts based on EM joint estimation. Structural and Multidisciplinary Optimization, 43(2), 243–259. https://doi.org/10.1007/s00158-010-0554-2
← 前へサロゲートモデル: ガウス過程次へ →多基準意思決定(MCDM)