# 機械学習の分類・予測精度における評価指標を徹底解説！

> 当サイト【スタビジ】の本記事では、機械学習を実装する上での評価指標について徹底的にまとめていきます！回帰タスクや分類タスクにおける評価指標について見ていきましょう。評価フェーズや評価における注意点についても解説していきます。

- URL: https://toukei-lab.com/evaluation
- 公開: 2022.11.29 / 更新: 2024.11.11
- サイト: スタビジ（https://toukei-lab.com）

:::talk{who="umatan"}
本記事では、機械学習を実装する上での評価指標について徹底的にまとめていきます！回帰タスクや分類タスクにおける評価指標について見ていきましょう。評価フェーズや評価における注意点についても解説していきます。
:::

こんにちは！

データサイエンティストのウマたん([@statistics1012](https://twitter.com/statistics1012?lang=ja))です！

ビジネス貢献の生まれる機械学習手法を実装するためには正しく評価をすることが非常に重要です。

[CRISP-DM](/crisp-dm)というデータ分析プロセスのフローにおいてもEvaluationはModelingの後のフェーズになっており、ここを間違えると初期の[ビジネス理解](/data-business)に戻ってしまっています。

![CRISP-DM](/wp-content/uploads/2020/07/1078px-CRISP-DM_Process_Diagram-1.png)

（出典：[Wikipedia-‘Cross-industry standard process for data mining](https://en.wikipedia.org/wiki/Cross-industry_standard_process_for_data_mining)’）

正しい評価方法を知らないと、<mark>机上検証ではよい評価を算出していたとしても、実際に運用に載せた時に全く事業貢献しないモデルを生み出してしまうかもしれません。</mark>

ここでは、ビジネス観点で本当に正しい機械学習モデル構築・データ分析の評価方法について見ていきましょう！

機械学習における評価指標については以下のYoutube動画でも解説していますので是非チェックしてみてください！

::youtube{#CwiUGtaG3kg}

## 機械学習における評価指標の種類

![About me](/wp-content/uploads/2020/12/About-me-amico-min-e1616673925638-1024x939.png)

まずは、モデルを評価する上でどのような評価指標があるのか確認しておきましょう！

評価指標には様々な指標があります。

回帰タスクにおける予測精度であれば、

:::box
**MAE\
MSE**\
**RMSE\
決定係数（寄与率）**
:::

などを用いることが一般的です。

分類タスクにおける分類精度であれば、

:::box
**正解率**\
**適合率**\
**再現率**\
**F-mesure**
:::

などが一般的です。

それぞれについて詳しく見ていきましょう！

### 予測精度：MAE

![モデル評価](/wp-content/uploads/2022/11/c25d113d60ceede29a1affe45d093746.jpg)

回帰タスクとは売上などの**量的変数を予測する課題**のことです。

まずは、**MAE（絶対平均誤差）**。

Mean Absolute Errorの略でMAEと呼ばれます。

その名の通り、予測値$\hat{y_i}$と実測値$y_i$の絶対値の誤差の平均がMAEになり以下の式で表されます。

$$
MAE=\frac{1}{n}\sum_{i=1}^n|\hat{y_i}-y_i|
$$

:::talk{who="umatan"}
値の「目安」はモデルの用途やデータのスケールに依存するけど、小さいほど正解との誤差が少ない良いモデルであるといえるね！
:::

### 予測精度：MSE

続いて**MSE（平均二乗誤差）**。

Mean Square Errorの略でMSEと呼ばれます。

その名の通り、予測値$\hat{y_i}$と実測値$y_i$の誤差を二乗したものを平均したものがMSEになります。

$$
MSE=\frac{1}{n}\sum_{i=1}^n(\hat{y_i}-y_i)^2
$$

### 予測精度：RMSE

続いて**RMSE（平均平方二乗誤差）**。

Root Mean Square Errorの略でRMSEと呼ばれます。

その名の通り、予測値$\hat{y_i}$と実測値$y_i$の誤差を二乗したものを平均して平方根と取ったものがRMSEになります。

先ほどのMSEの平方根を取った指標です。

$$
RMSE=\sqrt{\frac{1}{n}\sum_{i=1}^n(\hat{y_i}-y_i)^2}
$$

各種評価指標のPython実装に関しては以下の記事でまとめていますのでチェックしてみてください！

<https://toukei-lab.com/rmse_mae_mse>

### 予測精度：決定係数（寄与率）

続いて**決定係数（寄与率）。**

$$
決定係数=1-\frac{\Sigma(y_i – \hat{y_i})^2}{\Sigma(y_i – \bar{y})^2}
$$

決定係数は、各サンプルの平均値との差の二乗を合計したものを分母として回帰式から得られた推定値との差の二乗を合計したものを分子としてそれを1から引いたものです。

0\~1の値を取り1に近ければ近いほど回帰式のあてはまりが良いということになります。

これは図のように平均を引くだけシンプルなモデルと比較してどのくらい回帰式のあてはまりがよくなっているかを示す指標だと考えることができます。

![決定係数](/wp-content/uploads/2021/03/795316b92fc766b0181f6fef074f03fa.png)

:::talk{who="umatan"}
上の3つと違って0\~1の範囲内だから、モデルを絶対評価で評価できるんだ！
:::

### 分類精度：正解率

![モデル評価2](/wp-content/uploads/2022/11/25e701335216a825797b5d5b2b8753a9.jpg)

続いて分類タスク。

回帰タスクと違い分類タスクは「購入するか購入しないか」や、「不正か不正でないか」などの01の質的変数を予測するタスクのことを指します。

例えばクレジットカードの不正利用を判別したいとしましょう。

以下のようなマトリックスで表されます。

<table class="table">
<tbody>
<tr>
<td></td>
<td></td>
<td colspan="2">予測されたクラス</td>
</tr>
<tr>
<td></td>
<td></td>
<td>異常</td>
<td>正常</td>
</tr>
<tr>
<td rowspan="2">実際のクラス</td>
<td>異常</td>
<td>a</td>
<td>b</td>
</tr>
<tr>
<td>正常</td>
<td>c</td>
<td>d</td>
</tr>
</tbody>
</table>

まず最も分かりやすいのが正解率（Accuracy）！

これは、

$$
Accuracy=\frac{a+d}{a+b+c+d}
$$

で表します。

シンプルに全てのサンプルの中で実測値と予測値が一致した割合ですね。

以下のようになったとしましょう！

<table class="table">
<tbody>
<tr>
<td></td>
<td></td>
<td colspan="2">予測されたクラス</td>
</tr>
<tr>
<td></td>
<td></td>
<td>異常</td>
<td>正常</td>
</tr>
<tr>
<td rowspan="2">実際のクラス</td>
<td>異常</td>
<td>100</td>
<td>20</td>
</tr>
<tr>
<td>正常</td>
<td>80</td>
<td>800</td>
</tr>
</tbody>
</table>

このような例だと正解率は900/1000=90％となります。

:::talk{who="umatan"}
正解率は分かりやすいんだけど、正解率だけ見ても本当に分類したい対象をちゃんと分類できているかは分からないから注意が必要だよ！
:::

### 分類精度：適合率

他にもいくつか指標があります。

適合率（precision）は以下のように求めます。

$$
Precision=\frac{a}{a+c}
$$

<table class="table">
<tbody>
<tr>
<td></td>
<td></td>
<td colspan="2">予測されたクラス</td>
</tr>
<tr>
<td></td>
<td></td>
<td>異常</td>
<td>正常</td>
</tr>
<tr>
<td rowspan="2">実際のクラス</td>
<td>異常</td>
<td><span><strong>a</strong></span></td>
<td>b</td>
</tr>
<tr>
<td>正常</td>
<td><span><strong>c</strong></span></td>
<td>d</td>
</tr>
</tbody>
</table>

異常と予測されたクラスのうち実際に異常だったクラスの割合が適合率になります。

この場合は100/180=約56％になります。

### 分類精度：再現率

続いて、再現率（recall）！

再現率は以下のように求めます。

$$
recall=\frac{a}{a+b}
$$

<table class="table">
<tbody>
<tr>
<td></td>
<td></td>
<td colspan="2">予測されたクラス</td>
</tr>
<tr>
<td></td>
<td></td>
<td>異常</td>
<td>正常</td>
</tr>
<tr>
<td rowspan="2">実際のクラス</td>
<td>異常</td>
<td><span><strong>a</strong></span></td>
<td><span><strong>b</strong></span></td>
</tr>
<tr>
<td>正常</td>
<td><span>c</span></td>
<td>d</td>
</tr>
</tbody>
</table>

実際に異常だったクラスのうち、どのくらい異常と予測されたかです。

こちらは、100/120=83%となりました。

実は適合率と再現率はトレードオフの関係になります。

### 分類精度：F-measure

そしてそれら適合率と再現率を組みあわせて作られた指標が**F-measure**というものです。

F-measureは適合率と再現率の調和平均を取ります。

$$
F-measure=\frac{2}{\frac{1}{適合率}+\frac{1}{再現率}}
$$

分類タスクにおける評価指標に関しては以下の記事でも詳しく解説しているのでチェックしてみてください！

<https://toukei-lab.com/confusion_matrix>

<https://toukei-lab.com/roc_auc>

:::talk{who="umatan"}
正解率、適合率、再現率、F-measureを全て確認して、総合的にモデルを評価するのが一般的だよ！
:::

## 機械学習の予測・分類精度評価ステップ

![評価フェーズ](/wp-content/uploads/2022/11/e69f519f7f18fae6368eae98bb516184.png)

ここまででいくつかの評価指標について見てきましたが、実際にどのようにモデルを評価していくのでしょうか？

大きく分けて評価においては2つのステップがあります。

:::box
**・机上検証における評価**\
**・実際にテスト期間を設けての検証**
:::

### 机上検証における評価

作ったモデルにおいて既に持っているデータの中で机上検証を行うことは可能です。

:::ref
例えば、現在が2021年4月だとして売上の需要予測をするのであれば2017年1月から2020年12月のデータを利用してモデルを構築し、そのモデルによって2021年1月〜3月の売上を予測することは可能です。
:::

既に実測値も手元にあるので、<mark>どれくらいモデルの予測値との差があるか机上検証</mark>することが出来ます。

この場合は回帰タスクなので先程の**MAE**や**RMSE**などを用いましょう。

もちろん分類タスクにおいても評価指標が変わるだけでプロセスは同じです。

### 実際にテスト期間を設けての検証

机上検証をおこなったとしても、<mark>同条件下でテスト期間を設けての現状のフローとの比較</mark>が必要になってきます。

売上予測なのであれば、実際に2021年4月以降のデータを予測してみて、現状の予測値との差を見てみる。

それで問題なさそうであれば運用に乗せて実装という方向に進んでいきます。

## 評価フェーズの注意点

![Bankruptcy](/wp-content/uploads/2017/11/Bankruptcy-amico-e1641710992630.png)

さて、評価指標や評価ステップについて見てきましたが、最後に評価フェーズの注意点について確認しておきましょう！

### 過学習があると上手く評価できない

まずは、**過学習**という罠です。

過学習は別名「**オーバーフィッティング**」・「**過適合**」とかとも言ったりしますが、データ分析の分野では有名な罠です。

簡単に言うと、**手元にあるデータだけにピッタリ合い未知データに対して全く合わないモデル**を作ってしまうこと。

手元のデータだけ説明できても未知のデータを説明できるとは限らないんですね。

むしろ<mark>手元のデータに対してフィッティングし過ぎると未知データの予測精度は下がってしまいます。</mark>

データには必ずノイズ（誤差）が存在するため、<mark>完璧に当てることはほぼ不可能</mark>です。

完璧に当てようとするとノイズ自体にも適合したムダに複雑なモデルを作ってしまい、未知データには上手く当てはまらなくなってしまうのです。

過学習を防ぐためには学習モデルと検証データを分けてモデルを構築することが大事です。

<mark>疑似的に将来のデータを作り出すことで過学習を未然に防ぐモデル構築が行えるのです。</mark>

そしてこの学習データを検証データを分けて検証を行うことを**バリデーション**を呼びます。

![交差検証法](/wp-content/uploads/2019/10/test-learn-1024x356.jpg)

実はバリデーションにはいくつかの方法があります。

以下の記事で詳しく解説しています。

<https://toukei-lab.com/cross-validation>

また、過学習に関しては以下の記事でより詳しく解説しています。

<https://toukei-lab.com/over-fitting>

### 不均衡データだと上手く評価できない

さらに分類タスクなのであれば、**不均衡データ**という罠が生じる可能性があります。

不均衡データは2値分類なのであれば2つのサンプルデータに大きな差が生まれている状況を指します。

例えば先程のクレジットカードの例で以下のようになったとしましょう！

<table class="table">
<tbody>
<tr>
<td></td>
<td></td>
<td colspan="2">予測されたクラス</td>
</tr>
<tr>
<td></td>
<td></td>
<td>異常</td>
<td>正常</td>
</tr>
<tr>
<td rowspan="2">実際のクラス</td>
<td>異常</td>
<td>0</td>
<td>10</td>
</tr>
<tr>
<td>正常</td>
<td>0</td>
<td>990</td>
</tr>
</tbody>
</table>

異常と正常が10：990なのでかなりの不均衡データになっていることが分かります。

この時、異常データは全く異常と予測出来ておらず、全て正常としてしまっているのですが、それでも正解率は**990/1000=99%**&#x3068;なることが分かります。

このように不均衡データになっていると、<mark>モデルが全く機能していないのに精度の評価は高く見えてしまう</mark>ことになるのです。

これを回避するために不均衡データに対してはあらかじめ、**オーバーサンプリング**や**アンダーサンプリング**などのサンプリング調整を行います。

:::talk{who="umatan"}
実データにはたくさんの不均衡データが仕込まれているから不均衡データの罠にはまらないように注意しよう！
:::

以下の記事で不均衡データに対する対処法については詳しくまとめていますので是非チェックしてみてください！

<https://toukei-lab.com/imbalance-data-smote>

### せっかく評価結果がよくても業務フローに乗らない

また、せっかく評価結果がよくても業務フローに乗らないという問題があります。

これはCRISP-DMで言うビジネス理解の最初のフェーズである程度業務フローに乗せる時のイメージを現場とすりあわせておかないといけない問題なのですが、<mark>せっかくモデルを構築して検証しても業務フローに乗りませんということになりかねません。</mark>

例えば、1ヶ月前に予測がしたいのに、特徴量として1日前のデータをインプットしてしまっていたらそのモデルは業務に乗りません。

このように一見評価指標を見ると精度が高い！と思っても、**業務フローに乗らないモデル**になってしまっている可能性があるので注意が必要です。

## 機械学習の予測・分類精度における評価指標

本記事では、機械学習モデル構築における評価指標についてまとめてきました！

:::box
- [予測精度：MAE](/evaluation#MAE)
- [予測精度：MSE](/evaluation#MSE)
- [予測精度：RMSE](/evaluation#RMSE)
- [予測精度：決定係数（寄与率）](/evaluation#i-2)
- [分類精度：正解率](/evaluation#i-3)
- [分類精度：適合率](/evaluation#i-4)
- [分類精度：再現率](/evaluation#i-5)
- [分類精度：F-measure](/evaluation#F-measure)
:::

ぜひ評価指標の種類と評価のステップについて理解して使いこなせるようにしておきましょう！

以下の記事で機械学習の勉強法については詳しくまとめていますのであわせてチェックしてみてください！

<https://toukei-lab.com/machine-learning-fresh>

また、ここで学んだ評価指標を実践で使っていくデータサイエンス全般を習得していくのであれば当メディアが運営する「**[スタアカ（スタビジアカデミー）](https://toukei-lab.com/achademy/)**」がオススメです！

:::box
**[業界最安級AIデータサイエンス特化スクール：スタアカ（スタビジアカデミー）](https://toukei-lab.com/achademy/)**
:::

世界最大小売業ウォルマートの実データを使って実践的な分析をしていきますよ！

ぜひチェックしてみてください！