【例あり】最尤法（最尤推定）についてわかりやすく解説！

こんにちは！

スタビジ編集部です！

今回は最尤法について解説していきます！

最尤法とは「観測されたデータから尤度が最大となるパラメータを決定する方法」です。

最尤法の目的は、「ある母集団がパラメータがわからない確率分布に従っている場合、母集団から抽出したサンプルから尤もらしいパラメータを推定すること」。

覚えておきましょう！

この記事では、そんな最尤法（最尤推定）の導出方法と最小二乗法との関係について解説していきます！

以下のYouTube動画でも解説していますので合わせてチェックしてみてください！

尤度・尤度関数については、以下の動画でも解説しています！

最尤法（最尤推定）について解説！

最尤法をコインの例で見ていこう！

まずコインを用いた例を見ていきましょう！

コインの表裏の出る確率は一般的に0.5と言われています。しかしここではイカサマが施されたコインを使っていきましょう！

さてイカサマされたコインを10回使ったら7回表が出ました。ここで求めたいパラメータはイカサマされたコインの表が出る確率$p$とします。直感的には$\frac{7}{10}$ですが果たしてどうでしょうか？

さて表が出る確率が0.5でないなら、どのようにして求めることができるでしょうか？この時に使う手法が最尤法（最尤推定）になります。

まずコインの確率分布は二項分布に従うと考えられます。二項分布の確率関数は以下の通りです！（表が出る回数:$k$, 表が出る確率:$P$)

$P(X=k)={}_n\mathrm{C}_k P^{k}(1-P)^{n-k}$

次に二項分布を使ってどうやってパラメータを求めるか解説していきます！

尤度関数

尤度関数とは「求めたいパラメータθを変数とした関数」です。式に表すと以下のようになります！(確率密度関数：$f(x|θ)$)

$L(θ|x)=f(x|θ)$

確率密度関数$f(x|θ)$はパラメータθを前提とした$x$の関数であることが分かりますね！つまり$L(θ|x)$は$x$を前提としたパラメータθの関数と考えられます！

この尤度関数から尤もらしいパラメータθを推定するには、尤度関数をθで偏微分した式が0になるパラメータを求めることになります。

$\frac{\partial L(θ|x)}{\partial θ} = 0$

尤度推定量の求め方

今回の尤度関数は二項分布を使ったものになることが分かりますね！

$L(P|k=7)={10 \choose 7} P^{7}(1-P)^{3}$

なぜこのような式になるかわからない方はぜひ二項分布の記事を読んでみてください！

二項分布について解説！定義と期待値・分散の計算、正規分布への近似について！当サイト【スタビジ】の本記事では、二項分布について解説していきます！二項分布は代表的な離散的分布の一つです。今回は二項分布の定義を解説しつつ、平均・分散といった基本的な要素も解説していきます。

この尤度関数はlogでまとめると綺麗にまとまるので使っていきましょう！

$\log{L(P|k=7)} =120(7\log{P}+3\log{(1-P)})$

次に偏微分をしていきましょう！

$\frac{\partial \log{L(P|k)}}{\partial P} = 120(\frac{7}{P}-\frac{3}{1-P})$

したがって偏微分した式が0になるようなPは…？

$\frac{\partial \log{L(P|k)}}{\partial P} = 120(\frac{7}{P}-\frac{3}{1-P})=0$

$\frac{7(1-P)-3P}{P(1-P)}=\frac{7-10P}{P(1-P)}=0$

イカサマされたコインの表が出る確率Pは$\frac{7}{10}$であると分かりましたね！直感的な値と同じことが分かりましたね！

最小二乗法との関係

最尤法を用いた例として最小二乗法が挙げられます。

最小二乗法とは、観測されたデータに一番よく合う直線や曲線を見つけるための方法！

具体的には誤差平方和を最小化するパラメータを推定します。

驚くことに最小二乗法は最尤法に基づいて考えることもできます！

まず残差$e_{i}(=y_{i}-(a+bx_{1}))$は正規分布に従っていることがわかっています。

そしてサンプルサイズは$n$なので、すべてのデータに対する尤度関数を考える必要があります。

したがって尤度関数は以下のような式になります。

$L(a,b|x_{i})=\prod_{i=1}^{n}f(x_{i}|a,b)=\prod_{i=1}^{n}\frac{1}{\sqrt{2π}σ}exp(\frac{(y_{i}-(a+bx_{i}))^{2}}{2σ^{2}})$

これにlog変換を行うと…？

$\log{L(a,b|x_{i})}=-\frac{1}{2σ^{2}}\sum_{i=1}^{n}(y_{i}-(a+bx_{i}))^{2}-\frac{n}{2}\log{\frac{1}{2πσ^{2}}}$

この式で$a,b$に関わっているのは第１項だけになります。第１項に注目すると、最小二乗法の残差平方和式と同一になりますね！！

これを微分した式を0にできるパラメータ$a,b$を求めることができますね！つまり最小二乗法は最尤法で解釈することが可能であると分かりました！

最尤法　まとめ

本記事では最尤法についてまとめました！

今回は二項分布を使いましたが、様々な分布にも応用が可能です！ぜひ勉強しましょう！

二項分布について解説！定義と期待値・分散の計算、正規分布への近似について！当サイト【スタビジ】の本記事では、二項分布について解説していきます！二項分布は代表的な離散的分布の一つです。今回は二項分布の定義を解説しつつ、平均・分散といった基本的な要素も解説していきます。 ポアソン分布について図でわかりやすく解説！二項分布からの平均と分散の計算方法は？当サイト【スタビジ】の本記事では、ポアソン分布について解説していきます！ポアソン分布とは、ある事象が一定の時間に発生する回数を示す離散的な分布の1つであり、単位時間当たり平均λ回起こるような事象が単位時間にk回発生する分布を表しています！今回はポアソン分布の定義を解説しつつ、平均・分散といった基本的な要素も解説していきます。 【Python実装あり】一様分布について解説！定義と平均・分散の導出について！当サイト【スタビジ】の本記事では、一様分布について解説していきます！一様分布は代表的な離散的分布の一つでもあり、連続的分布の一つでもある基本的な分布です。今回は一様分布の定義を解説しつつ、平均・分散といった基本的な要素も解説していきます。 正規分布について解説！基礎的な知識から標準化まで！当サイト【スタビジ】の本記事では、正規分布について解説していきます！正規分布は連続的分布の一つでもある基本的な分布であり、統計学・機械学習において非常に重要な役割を持ちます。今回は正規分布の定義を解説しつつ、平均・分散といった基本的な要素と標準化について解説していきます。 ガンマ分布と指数分布について解説！期待値・分散の基本的な性質について！当サイト【スタビジ】の本記事では、ガンマ分布と指数分布について解説していきます！ガンマ分布・指数分布は連続的分布の一つでもある基本的な分布であり、ガンマ分布は指数分布を一般化させた分布です！今回はガンマ分布・指数分布の定義を解説しつつ、平均・分散といった基本的な要素について解説していきます。 負の二項分布・幾何分布についてわかりやすく解説！~期待値・分散について~当サイト【スタビジ】の本記事では、負の二項分布・幾何分布について解説していきます！負の二項分布は離散的分布の一つで、通常の二項分布とは異なる定義と性質を持っているため，かなり難しい分布です。また負の二項分布は幾何分布を一般化したものと考えられています。今回は負の二項分布・幾何分布の定義を解説しつつ、平均・分散といった基本的な要素について解説していきます。

このようなデータサイエンスの力を身に付けるためにはスタビジの記事やスクールを活用すると良いでしょう。

当メディアでは、データサイエンティストの経験を詰め込んだデータサイエンス特化のスクール「スタアカ（スタビジアカデミー）」を運営していますので，興味のある方はぜひチェックしてみてください！

AIデータサイエンス特化スクール「スタアカ」

データサイエンティストとしての経験をふまえてエッセンスを詰め込んだのがこちらのスタビジアカデミー、略して「スタアカ」！！

当メディアが運営するスクールです。

24時間以内の質問対応と現役データサイエンティストによる複数回のメンタリングを実施します！

カリキュラム自体は、他のスクールと比較して圧倒的に良い自信があるのでぜひ受講してみてください！

他のスクールのカリキュラムはPythonでの機械学習実装だけに焦点が当たっているものが多く、実務に即した内容になっていないものが多いです。

そんな課題感に対して、実務で使うことの多いSQLや機械学習のビジネス導入プロセスの理解なども合わせて学べるボリューム満点のコースになっています！

Pythonが初めての人でも学べるようなカリキュラムにしておりますので是非チェックしてみてください！

ウォルマートのデータを使って商品の予測分析をしたり、実務で使うことの多いGoogleプロダクトのBigQueryを使って投球分析をしたり、データサイエンティストに必要なビジネス・マーケティングの基礎を学んでマーケティングプランを作ってもらったり・Webサイト構築してデータ基盤構築してWebマーケ×データ分析実践してもらったりする盛りだくさんの内容になってます！

＼今すぐ試す／

データサイエンスに関する記事はこちら！

【初心者必見】統計学入門に必要な知識と独学勉強方法を簡単に学ぼう！当ブログ【スタビジ】の本記事では、統計学入門に必要な知識をカンタンにまとめ、それらをどのように効率的に独学で勉強していけばよいかをお話ししていきます。統計学は難しいイメージが少しありますが、学び方をしっかり考えれば大丈夫！ 【データサイエンティスト厳選18冊】データサイエンスを学ぶ上でオススメな本・教材！当ブログ【スタビジ】の本記事では、データサイエンスを学ぶ上でオススメできる本を厳選して紹介していきます。ここではデータサイエンティストになるために習得するスキルをデータサイエンスと称しております。いくつかの観点に切り分けて見ていきます。

データサイエンスを勉強できるスクールやサイトは、ぜひこちらを参考にしてみてください！

【徹底比較】データサイエンティストになるための学習ができるスクール9選！当サイト【スタビジ】の本記事では、データサイエンティストへの学習ができるスクールを紹介していきます。スクールに通ったからと言ってデータサイエンティストになれるわけではありませんが、データサイエンティストへの基本を着実に固めることは可能です…