評価指標

MAE

平均絶対誤差(MAE)も人気のある回帰指標で、次の式で表されます。

各行で実測値から予測値をマイナスし、それが常に正の値になるように絶対値を取ります。その後、すべての絶対誤差の平均を求めます。

ポイント

• MAEもまた人気ある指標です。ちなみに、「MAEとRMSEはどちらが優れているのか」という果てのない論争があります(明らかにユースケース次第です)。
• 小さいほど良い値です。また、０以上の値となります。
• この指標ではすべての誤差は同じ重みです。2の誤差は1の誤差の2倍悪いです。
• 外れ値に対して脆弱です(ただし、RMSEより強い)。
• 最適化は簡単ではないです。実測値と予測値が一致して誤差がゼロの時、MAEは微分不可能で目的変数の分布に依存して異なる近似値となります。
• ほとんどのメジャーなアルゴリズムはMAEの最適化ロジックを持っていますが、MAEを最適化する難易度から、これらが常に最善のものとは限りません。たとえば、最近のKaggleコンペティションをご存知なら、いくつかのアルゴリズムでMSEの最適化ロジックのほうがMAEの最適化で良い結果であることを知っているでしょう。

どのような場合に使うか

各誤差がその尺度に合わせて同じような重要度を持つ場合に有効です。200ドルの誤差が100ドルの誤差の2倍影響するようなファイナンスなどの分野が良く該当します。これらは論理的ですが、人間は特定の誤差をあまり重視しない(もしくは重視する)ため、RMSEもまた人気です。

Experiment

MAEを評価関数として同じ設定のExperimentを再度実施した結果が以下です。

ご覧の通り、RMSEを最適化した前回と比較してMAEは2,076から1,883となりました。一方、今回のRMSEは3,658.8から3721に悪化しています。これは、最初に述べた一つの指標で良いモデルが、必ずしもすべての指標で良い精度を出すわけでないため、すべての精度指標を理解して分析するユースケースに適したものを選ぶことが重要であると裏付けています。

店舗ID：39/部署ID：3の系列は下記の通りです。

赤で囲ったピークはRMSEで最適化した場合と比較して大きく乖離していますが、各データの誤差は少なくなっています。MAEによる最適化は、比較的小さい値のサンプルにおける誤差を適切な状態にするため、この頂点における誤差を犠牲にしました。明らかに、他店舗/部署のデータでも同様の最適化を行い、このグラフでも異なる指標が異なる結果をもたらすことが理解できるでしょう。

原題

(公式)H2O.ai Blog
Regression Metrics'Guide
Marios Michailidis