# 弱学習器とは？弱学習器を用いたアンサンブル学習とは？
> 当サイト【スタビジ】の本記事では、機械学習手法の基本となっている弱学習器についてまとめていきます。実は、ランダムフォレストやXgboostなどの強力な機械学習手法は弱学習器を基にしているんです。弱学習器をアンサンブル学習させることで強い手法を生み出しているんですよー！
- URL: https://toukei-lab.com/weak-learning
- 公開: 2022.11.29 / 更新: 2024.11.14
- サイト: スタビジ（https://toukei-lab.com）
:::talk{who="umatan"}
当サイト【スタビジ】の本記事では、機械学習手法の基本となっている弱学習器についてまとめていきます。実は、ランダムフォレストやXgboostなどの強力な機械学習手法は弱学習器を基にしているんです。弱学習器をアンサンブル学習させることで強い手法を生み出しているんですよー！
:::
こんにちは！
データサイエンティストのウマたん([@statistics1012](https://twitter.com/statistics1012?lang=ja))です！
強力な機械学習手法を構築する上で重要な弱学習器。
この記事では、そんな**弱学習器**について見ていきましょう！
:::talk{who="umatan"}
強力な機械学習手法は弱学習器から生み出されている場合が多いんだ！
:::
## 弱学習器とは
弱学習器とは、その名の通り「**弱い学習器**」。
単独で使うと精度の低い手法のことを指します。
手法の精度を考える上で「**バイアスとバリアンス**」という考え方があります。
:::box
**バイアスは純粋に予測値と実測値の差を表します**\
**バリアンスは予測値のばらつきを表します**
:::
バイアスが低ければ低いほど良いと思われがちですが、バイアスが低いとバリアンスが高くなる場合が多く、バリアンスが高いと[過学習](/over-fitting)の可能性が高くなってしまいます。
弱学習器は、単純なモデルで予測値を推定するため、**バイアスが高くバリアンスが低くなる傾向**にあります。
弱学習器単体だと、予測精度の悪い結果になってしまいますが、上手く[アンサンブル学習](/ensemble)させることでバリアンスを保ったままバイアスを下げることが可能です。
:::talk{who="robotan"}
「3人寄れば文殊の知恵」ってやつ！？
:::
:::talk{who="umatan"}
そういうこと！
:::
## 弱学習器を使った強力な手法
弱学習器の真骨頂は**アンサンブル学習**です。
アンサンブル学習について簡単に見ていきましょう！
### バギング
バギングは、並列的に弱学習器を用いてそれぞれのモデルの総合的な結果を用いるという手法です。
バギングと[決定木](/%E6%B1%BA%E5%AE%9A%E6%9C%A8)を組み合わせた[ランダムフォレスト](/%e3%83%a9%e3%83%b3%e3%83%80%e3%83%a0%e3%83%95%e3%82%a9%e3%83%ac%e3%82%b9%e3%83%88)という手法がありますが、以下のようなイメージになります。
訓練データに対していくつも決定木モデルを作成し、それぞれの結果を集約して最終結果を出力します。
回帰だったら平均値、分類だったら多数決。
ランダムフォレストは非常に簡単に実装できる手法ですが、それなりに高い精度が見込めるのでオススメです！
### ブースティング
バギングは並列でしたが、ブースティングは直列的に弱学習器を用いていきます。
最初の弱学習器で上手く推定できなかった部分を推定するために重みを付けて次の弱学習器で学習を行います。
最終的には、**精度の高いモデルに重みを付けて最終的なモデル**を作成します。
決定木とブースティングを組み合わせた手法が[XGboost](/xgboost)や[LightGBM](/light-gbm)や[CatBoost](/catboost)などの[勾配ブースティング木](/gradient-boosting)手法であり、非常に高い精度をたたき出します。
一般的にブースティングの方がバギングより高い精度が見込めますが、学習に時間がかかります。
アンサンブル学習に関しては以下の記事をご覧ください！
## 弱学習器 まとめ
弱学習器は単独だと全く使えないというわけではありません。
強い手法ではありませんが、アルゴリズムがシンプルでデータの構造を紐解く意味でも使いやすい手法が多いです。
逆にアンサンブル学習に強学習器を使っても意味がありませんので注意しましょう！
:::talk{who="umatan"}
これは強学習器を組み合わせると過剰適合のリスクや計算コストの増大などデメリットが多いからなんだ！
:::
弱学習器と強学習器の違いは微妙なところで、何が弱学習器という明確な定義はありませんが、**決定木**や**単純なニューラルネットワーク**などは弱学習器と考えてよいです。
弱学習器やアンサンブル学習などを含めた機械学習について学びたい方は以下の本をオススメします。
::product[はじめてのパターン認識]{url="https://www.amazon.co.jp/dp/4627849710?tag=statistic08-22&linkCode=ogi&th=1&psc=1" image="https://m.media-amazon.com/images/I/51YFB3Y0EYL._SL160_.jpg" amazon="https://www.amazon.co.jp/dp/4627849710?tag=statistic08-22&linkCode=ogi&th=1&psc=1" rakuten="https://af.moshimo.com/af/c/click?a_id=858168&p_id=54&pc_id=54&pl_id=616&url=https%3A%2F%2Fsearch.rakuten.co.jp%2Fsearch%2Fmall%2F%25E3%2581%25AF%25E3%2581%2598%25E3%2582%2581%25E3%2581%25A6%25E3%2581%25AE%25E3%2583%2591%25E3%2582%25BF%25E3%2583%25BC%25E3%2583%25B3%2F%3Ff%3D1%26grp%3Dproduct"}
もっと機械学習やデータサイエンスについて詳しく知りたい方はぜひ以下の記事を見てみてください！
また当メディアが運営する「**[スタアカ（スタビジアカデミー）](https://toukei-lab.com/achademy/)**」というサービスで網羅的に学べますので是非チェックしてみてください！
:::box
**[業界最安級AIデータサイエンス特化スクール：スタアカ（スタビジアカデミー）](https://toukei-lab.com/achademy/)**
:::