第二回：サロゲートモデルとベイズ最適化

サロゲートモデルとは？

目的関数f(x)を最小化（もしくは、符号を反転させて最大化）する設計変数xの組み合わせ（最適解）を探索するためには、xのあらゆる組み合わせにおいてf(x)を評価する必要があります。しかし、実世界の設計最適化問題では、目的関数の評価（そして結果として、最適化全体）に膨大な計算コストを伴うことが往々にしてあります。例えば、航空機の設計では、抗力・揚力などの空力性能が目的関数となりますが、これらは流体運動を支配する非線形偏微分方程式「ナヴィエ・ストークス方程式」を扱う大規模数値計算により評価されるため、たった1つの設計候補の評価に数時間・数日・数週間レベルの長大な計算時間を要することになります。

このような最適化問題において、目的関数の評価に要する計算時間を削減する手段の1つが「サロゲートモデル」です。サロゲートモデルは、設計変数xに対する目的関数の真の応答f(x)を代数式（例えば、多項式）曲折アクセント付きf(x)に代替（サロゲート）近似したものであり、別名「応答曲面」とも呼ばれます。サロゲートモデルの代数式は、xの限られた組み合わせにおいて大規模数値計算により評価されたf(x)のデータ（サンプル）を補間または回帰するように構築されます。f(x)の関数形が未知（ブラックボックス）であるのに対して、曲折アクセント付きf(x)の代数式は既知（ホワイトボックス）であるため、サロゲートモデルによりサンプルデータが与えられていない任意の点で目的関数を瞬時に推定でき、サロゲートモデル上で最適解を高速に探索できるようになります。

ただし、サロゲートモデルは所詮「近似」に過ぎないため、モデル上で最適解が正しく求まる保証はありません。また、サロゲートモデルの近似精度を上げるためにサンプルデータの数を闇雲に増やすことも、計算コスト的に好ましくありません。

Kriging

南アフリカの統計学者および鉱山技師であるKrige[1]は、鉱山にいくつかの孔を掘って鉱物含有量を測定した結果から、孔が掘られていない場所を含む鉱山全体において、最も可能性が高いと考えられる鉱物含有量の空間分布を推定する手法を提案しました。これに由来するサロゲートモデル「Kriging」[2]（「ガウス過程」[3]もほぼ同義）は、サンプルデータに適合する確率過程をモデル化したものです。この確率過程の平均は目的関数の推定式として、確率過程の分散は推定に含まれうる「不確かさ」（すなわち、推定誤差・エラーバー）を表す式としてそれぞれ導出されます。サンプルデータが与えられた点では不確かさは0で、サンプルデータから遠い点ほど不確かさが大きくなります。

Kriging以外の一般的なサロゲートモデルが目的関数の推定式だけをモデル化するのに対して、確率過程に基づくKrigingは関数推定だけでなく推定誤差のモデル化を併せ持ちます。このKrigingの特徴は後述するように、推定誤差を有するサロゲートモデル上で最適解を正しく求めるために有効となります。

＊SCSKのサロゲートモデル対応ソリューション pSeven

ベイズ最適化とは？

Kriging以外の一般的なサロゲートモデル上で最適解を求める方法は、目的関数f(x)の推定値曲折アクセント付きf(x)を最小化する解x*を求め、そこで評価された目的関数の真値f(x*)をサンプルデータに追加してサロゲートモデルを更新した後、モデル上で再度解を求める手順を繰り返すのが通常です。しかしこの方法は、サロゲートモデルの推定誤差を無視しているため、誤った解探索に陥りがちで、真の最適解を発見できない可能性があります。

そこで、Krigingを用いて最適解を求める方法を説明します。Krigingがモデル化する関数推定（確率過程の平均）と推定誤差（確率過程の分散）の情報から、これまでに取得したサンプルデータよりも目的関数が改善する量の期待値「改善期待量（Expected Improvement: EI）」[4]を計算できます。そして、EIを最大化する解にサンプルデータを追加していくことで、サロゲートモデルの推定誤差を減らすことと、サロゲートモデル上でより良い解を見つけ出す（最終的には、真の最適解に到達する）ことを同時に成し遂げることができます。このように、サロゲートモデルの誤差情報に基づき、サンプルデータを適宜追加してモデルの正確性を上げながら、最適解の在処を確率論的に探っていく（いわゆる「ベイズの定理」に基づく）ことを「ベイズ最適化」と呼びます。

今回は、最適化問題における手段の1つ「サロゲートモデル」やそれを活用した「ベイズ最適化」についてご紹介いただきました。 次回は、「ベイズ最適化の応用事例」についてご紹介いただきます。

＊SCSKのベイズ最適化対応ソリューション pSeven, Citrine Platform

参考文献

• [1]Krige, D.G.: A Statistical Approach to Some Mine Valuations and Allied Problems at the Witwatersrand, Master's thesis, University of the Witwatersrand (1951).
• [2]Sacks, J., Welch, W.J., Mitchell, T.J., Wynn, H.P.: Design and analysis of computer experiments. Statistical Science, 4(4): 409–435 (1989). https://doi.org/10.1214/ss/1177012413
• [3]Rasmussen, C.E., Williams, C.K.I.: Gaussian Processes for Machine Learning, MIT Press (2006).
• [4]Jones, D.R., Schonlau, M., Welch, W.J.: Efficient global optimization of expensive black-box function. Journal of Global Optimization, 13: 455–492 (1998). https://doi.org/10.1023/A:1008306431147