最適化/機械学習による設計空間探索ソフトウエア pSeven

pSeven技術情報コラム第二回（ユーザー様向け）

構築・検証・探索 Part 2：モデルバリデーター

モデルバリデーターではモデル精度を可視化手法として、”Plot”のプルダウンにて2種類のプロットが選択可能です。

1つ目は分位数プロット(クォンタイルプロット)で、予測精度のエラー分布分析に使用できます。横軸の値よりもエラーが小さいサンプルの割合を、このプロットは示しています。直感的には、勾配が急であるほど（最高値付近で長く尻尾を引いているものほど）よいモデルである、と解釈できます。

分位数プロット(クォンタイルプロット)

2つ目は散布図で、リファレンスサンプルとモデル予測の結果を直接比較します。特定のデータドメインにおけるエラーの程度や外れ値の確認に使用できます。

散布図

デフォルトでは、分位数プロット(クォンタイルプロット)と誤差指標は絶対誤差の値で表示されますが、”Errors”で標準誤差（絶対誤差をリファレンスサンプル中の出力値の標準偏差で割ったもの）にも変更可能です。標準誤差は出力値の範囲の影響を無視した誤差の評価基準として使用可能です。

表示画面下部の表は予測誤差指標の一覧で、最も良いものは太字でハイライトされています。

• R²：決定係数、モデルが表現できる出力値の変化の比率
• RMS：平均二乗誤差
• Maximum：予測誤差の最大値
• Q99：下から99%の誤差の値、リファレンス中の99%のデータについて予測誤差はこの値以下になる
• Q95：下から95%の誤差の値、リファレンス中の95%のデータについて予測誤差はこの値以下になる
• Median：予測誤差の中央値
• Mean：予測誤差の算術平均値

R²（決定係数）が最も安定した指標で、1.0に近いほどよいモデルということになります。他の数値は小さいほど、よい予測であることを表します。

“Sample”ではバリデーションに使用するリファレンスデータを変更可能です。

• “training”では、モデルのトレーニングサンプルを使用し、既知のデータに対する予測精度を評価します。
• “test”では、別に用意したテストサンプルを使用し、未知のデータに対する一般的な予測性能を評価します。
• “internal validation”では、クロスバリデーションによるモデル性能を評価します。