# 統計モデリングとは何か？線形モデルから階層ベイズまでをわかりやすく解説

> 当サイト【スタビジ】の本記事では、データを分析する上で非常に重要な統計モデリングという考え方についてまとめていきます。機械学習手法を使えばノンパラメトリックに解析できますが、もし背後に存在する分布を統計モデリングにより正しく推定できたなら爆発的な威力があるんです。

- URL: https://toukei-lab.com/statistical-model
- 公開: 2022.11.29 / 更新: 2024.10.25
- サイト: スタビジ（https://toukei-lab.com）

:::talk{who="umatan"}
本記事では、データを分析する上で非常に重要な統計モデリングという考え方についてまとめていきます。機械学習手法を使えば[ノンパラメトリック](/parametoric-nonparametoric)に解析できますが、もし背後に存在する分布を統計モデリングにより正しく推定できたなら爆発的な威力があるんです。
:::

統計モデリングと聞くと非常に堅苦しいイメージを持つかもしれませんが、統計を語る上で非常に重要な考え方なんです。

この記事では、そんな統計モデリングを出来るだけ簡単に説明していきます！

:::talk{who="umatan"}
数式も出てくるけど、フーンくらいに思っておいていてくれたら良いよ！
:::

回帰分析と非常に関係が深いので、先に以下の記事を読んでみることをオススメします。

<https://toukei-lab.com/%e5%9b%9e%e5%b8%b0%e5%88%86%e6%9e%90>

この記事では、通称「緑本」と呼ばれている以下の本を参考にしています。

非常に読みやすく分かりやすいので一読することをオススメします。

::product[データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)]{url="https://www.amazon.co.jp/dp/400006973X?tag=statistic08-22&linkCode=ogi&th=1&psc=1" image="https://m.media-amazon.com/images/I/41RtTklVDtL._SL160_.jpg" amazon="https://www.amazon.co.jp/dp/400006973X?tag=statistic08-22&linkCode=ogi&th=1&psc=1" rakuten="https://af.moshimo.com/af/c/click?a_id=858168&p_id=54&pc_id=54&pl_id=616&url=https%3A%2F%2Fsearch.rakuten.co.jp%2Fsearch%2Fmall%2F%25E3%2583%2587%25E3%2583%25BC%25E3%2582%25BF%25E8%25A7%25A3%25E6%259E%2590%25E3%2581%25AE%25E3%2581%259F%25E3%2582%2581%25E3%2581%25AE%25E3%2583%25A2%25E3%2583%2587%25E3%2583%25AA%25E3%2583%25B3%25E3%2582%25B0%25E5%2585%25A5%25E9%2596%2580%2F%3Ff%3D1%26grp%3Dproduct"}

最も単純な線形モデルから順に拡張されたモデルを紹介していきますよー！

## 統計モデリングとはそもそも何か

![統計モデリングの種類](/wp-content/uploads/2022/11/60-1024x576.jpg)

まずは、**統計モデリングとは何か・統計モデリングがなぜ必要か**見ていきましょう！

普段なんとなーく線形回帰分析を使っていませんか？

実は<mark>線形回帰分析というのは目的変数の分布に正規分布を仮定しているという制限がある</mark>のです。

ビジネスシーンで使われるデータは正規分布に従っていないことが多く、それらを分析に用いる時は注意が必要です。

ちなみに以下のようにBox-cox変換を用いることで無理やり正規分布に近似させる方法もあります。

<https://toukei-lab.com/box-cox%E5%A4%89%E6%8F%9B%E3%82%92%E7%94%A8%E3%81%84%E3%81%A6%E6%AD%A3%E8%A6%8F%E5%88%86%E5%B8%83%E3%81%AB%E5%BE%93%E3%82%8F%E3%81%AA%E3%81%84%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E8%A7%A3%E6%9E%90>

そこで重要なのが、その<mark>データに合ったモデルを定義する</mark>こと。

すなわちそれが統計モデリング。

[ポアソン回帰](/poisson-regression)や[ロジスティック回帰](/%e3%83%ad%e3%82%b8%e3%82%b9%e3%83%86%e3%82%a3%e3%83%83%e3%82%af%e5%9b%9e%e5%b8%b0)などは統計モデリングの初歩的手法ですね。

ただ、ここで大事なのは複雑な手法を知ることではありません。

<mark>世の中のデータの真値に完璧に一致する分布など存在しません。</mark>

いかに手元にあるデータからそのデータの母集団分布をコスパ良くモデリングすることができるか。

必ずしも<mark>複雑なモデリングをすれば良いというわけではないので注意が必要です。</mark>

:::talk{who="umatan"}
複雑すぎると結果の解釈が難しくなってしまうことがあるよ！
:::

## 統計モデリングの種類

まず、いくつかのモデリングのステップがあることを覚えておきましょう。

:::point
**線形モデル（単回帰分析）**\
**↓**\
**一般線形モデル（よく使う重回帰分析とか）**\
**↓**\
**一般化線形モデル（ポアソン回帰・ロジスティック回帰とか）**\
**↓**\
**一般化線形混合モデル**\
**↓**\
**階層ベイズ**
:::

下に行けば行くほどモデリングが複雑になってきます。

正直、一般化線形モデルまではビジネスシーンで使いますがそれ以降はあまり使う場面はないかもですね。

### 統計モデリング①：線形モデル

線形モデルは次の式で表されます。

$$
\begin{darray}{rcllll}
{y_i}&=&{{\bf x}_i^T}{\beta}+{\epsilon_i},{\epsilon_i}\sim N(0,\sigma^2)\
\end{darray}
$$

線形モデルの特徴は${\bf x}_i$を与えた時の$y_i$の条件付き分布が正規分布に従うというところです。特に、誤差分散が全ての$i$に対して同一である場合に限ります。すなわち、次の様になります。

$$
\begin{darray}{rcllll}
{y_i}|{\bf x_i}\sim N({{\bf x}_i^T}{\beta},\sigma^2)\
\end{darray}
$$

いわゆる通常の[単回帰分析](/%e5%9b%9e%e5%b8%b0%e5%88%86%e6%9e%90)のモデルですね。パラメータは通常の[最小二乗法](/least_squares_method)で推定します。

### 統計モデリング②：一般線形モデル

一般線形モデルは線形モデルの拡張であり次の式で表されます。

$$
\begin{darray}{rcllll}
{\bf Y}&=&{\bf X}{\bf B}+{\bf E},{\epsilon_i}\sim MVN({\bf 0},{\bf Sigma})\
\end{darray}
$$

${\bf X}$は計画行列を表します。\
一般線形モデルの特徴は${\bf X}$を与えた時の${\bf Y}$の条件付き分布が多変量正規分布に従うというところです。特に、誤差分散共分散行列が任意の正定値対称行列になります。パラメータは（重み付き）最小二乗法で推定します。

線形モデルから<mark>一般線形モデルへと拡張することで重回帰分析・分散分析・共分散分析などを同じモデルとして表すことが出来ます。</mark>

それだけでなく、目的変数が複数の場合である、多変量重回帰分析や多変量分散分析もこのモデルで表されます。

多変量重回帰分析は、詳細な日本語の文献もほとんどないんですよね・・

### 統計モデリング③：一般化線形モデル

線形モデルでは、目的変数は正規分布を仮定していました。

しかし、<mark>世の中のデータには正規分布に従うとは考えづらいデータも多く存在します。</mark>

そこで、さらに拡張されたものが一般化線形モデルです。

例えば、「$n_i$個体中$y_i$個体が生存した」というのを目的変数とする場合には、目的変数が二項分布に従う[ロジスティック回帰](/%e3%83%ad%e3%82%b8%e3%82%b9%e3%83%86%e3%82%a3%e3%83%83%e3%82%af%e5%9b%9e%e5%b8%b0)モデルになります。\
ロジスティック回帰モデルは次の式で表されます。

$$
\begin{darray}{rcllll}
&&{y_i}|{p_i}\sim B(n_i,p_i)\
&&log\left(\frac{p_i}{1-p_i}\right)={{\bf x}_i^T}{\beta}\
\end{darray}
$$

他にも例えば、「アイスが$y_i$個売れた」というのを目的変数とする場合には、目的変数がポアソン分布に従うポアソン回帰モデルになります。

$$
\begin{darray}{rcllll}
&&{y_i}|{\lambda_i}\sim Po(\lambda_i)\
&&\log(y_i)={{\bf x}_i^T}{\beta}\
\end{darray}
$$

一般化線形モデルでは、パラメータは[最尤法](/maximum_likelihood_method)で推定します。

### 統計モデリング④：一般化線形混合モデル

一般化線形混合モデルは、<mark>サンプルに個人、場所、時間などのグループ構造が存在する場合にグループ間の差による変動も組み込んだモデル</mark>です。

例えば、次の様なデータを想定します。業界別に「経常利益」・「純資産」・「一年以内に倒産したか」を集めたデータです。

このデータから倒産予測モデルを作りたいと考えます。

表：倒産データ\
![](/wp-content/uploads/2018/01/98735a290275bac39f5bb4c7b0e44e60.png)

このデータでは、目的変数は「一年以内に倒産したか」という二値のデータになるので、二項分布に従うと考え、[ロジスティック回帰](/%E3%83%AD%E3%82%B8%E3%82%B9%E3%83%86%E3%82%A3%E3%83%83%E3%82%AF%E5%9B%9E%E5%B8%B0)を適用しようとします。

しかし、感覚的には業界によって倒産のしやすさも異なってくると考えられます。

つまり、「業界間の変動」を考慮する必要があります。

通常のロジスティック回帰である一般化線形モデルでは、この「業界間の変動」は存在しないものとしてモデル化してしまいます。そこで、一般化線形混合モデルを用います。\
各企業$i$について、$y_i$を「一年以内に倒産したか」、$x_{i1}$を「経常利益」、$x_{i2}$を「純資産」とすると、次の様なモデルになります。

$$
\begin{darray}{rcllll}
&&{y_i}|{p_i}\sim B(1,p_i)\
&&log\left(\frac{p_i}{1-p_i}\right)={{\bf x}_i^T}{\beta}+{r_j}\
&&{r_j}\sim N(0,s^2)\
\end{darray}
$$

ここで、$r_j$は「業界間の変動」を表す変量効果であり今は正規分布を仮定しています。$j$は業界を表します。

一般化線形混合モデルでは、パラメータを推定する時、$r_j$も推定しようとするとパラメータの数が多すぎ最尤法では不安定になったり、そもそも最尤法では推定出来ないこともあります。推定したいのは$beta$だけなので$beta$のみを推定することにします。

その方法は積分によって$r_j$を消し去ることです。そうすることで、$beta$と$r_j$の正規分布のパラメータ$s$のみになり、最尤推定することが出来ます。

しかし、<mark>変量効果が多くなると消し去るパラメータの数も多くなります。</mark>

すると、その分だけ積分回数も増えてしまいます。

多重積分は計算時間もかかり、推定も不安定になります。

そこで、<mark>MCMCを用いる階層ベイズモデルが必要になります。</mark>

:::talk{who="robotan"}
MCMCって何だっけ？
:::

:::talk{who="umatan"}
マルコフ連鎖モンテカルロ法のことだよ！
:::

### 統計モデリング⑤：階層ベイズモデル

階層ベイズモデルは一般化線形混合モデルをベイズ化したものになります。

一般化線形混合モデルの説明で、変量効果が多くなった時にはMCMCを用いるのが良いと述べました。

MCMCはベイズの一つではありませんが、<mark>ベイズと深く関わるものです。</mark>

そこで、一般化線形混合モデルを[ベイズ統計学](/bayes)の枠組みで再構築したものが階層ベイズモデルになります。

ベイズ統計学に関しては以下の動画も参考にしてみてください！

::youtube{#I7jiPkYUjGo}

ベイズ統計学ではパラメータも確率変数であると考えます。

すなわち、<mark>ただ一つの真値を持つのではなく、何かしらの確率分布に従うと考えます。</mark>

先ほどの例でいうと、$r_j$が正規分布に従うと考え、$r_j$のパラメータ$s$がさらに何かしらの分布に従うと考えます。

倒産予測モデルのパラメータの関係を図にして表してみます。

![](/wp-content/uploads/2018/01/6ab7bcdb794b3e4bc0218f8b0a0995d3.png)

図：階層のイメージ

この図の様に、「パラメータのパラメータのパラメータの…」という様に「階層化」されるため**階層ベイズモデル**と呼ばれます。

## 統計モデリングを実装するには

統計モデリングを実装するにはどうすれば良いか。

基本的に一般化線形モデルまでは、<mark>RもしくはPythonに入っている関数を使えば簡単に実装することが可能です。</mark>

しかし、階層ベイズを使い複雑なモデリングを行いたい場合はStanという新たなモデリングツールを使うことをオススメします！

Stanはあまり良い書籍が出ていないのですが、以下の本はオススメです！

R×Stanを勉強したいなら絶対目を通しておくべきです。

::product[StanとRでベイズ統計モデリング (Wonderful R)]{url="https://www.amazon.co.jp/dp/4320112423?tag=statistic08-22&linkCode=ogi&th=1&psc=1" image="https://m.media-amazon.com/images/I/416xdqDozvL._SL160_.jpg" amazon="https://www.amazon.co.jp/dp/4320112423?tag=statistic08-22&linkCode=ogi&th=1&psc=1" rakuten="https://af.moshimo.com/af/c/click?a_id=858168&p_id=54&pc_id=54&pl_id=616&url=https%3A%2F%2Fsearch.rakuten.co.jp%2Fsearch%2Fmall%2FStan%25E3%2581%25A8R%25E3%2581%25A7%25E3%2583%2599%25E3%2582%25A4%25E3%2582%25BA%25E7%25B5%25B1%25E8%25A8%2588%25E3%2583%25A2%25E3%2583%2587%25E3%2583%25AA%25E3%2583%25B3%25E3%2582%25B0%2F%3Ff%3D1%26grp%3Dproduct"}

Stanを勉強する上でのオススメ本は以下にまとめていますので良ければご覧ください！

<https://toukei-lab.com/stan>

Stan×Pythonなら以下の[Udemy講座](https://trk.udemy.com/N9qrr2)が圧倒的におすすめです！

[![Udemy　コース　PythonとStan](/wp-content/uploads/2020/04/udemy-python9-min.jpg)](https://trk.udemy.com/N9qrr2)

:::ref
[【PythonとStanで学ぶ】仕組みが分かるベイズ統計学入門](https://trk.udemy.com/N9qrr2)
:::

この教材では、**ベイズの基本的な概念から階層ベイズまでPythonとStanを使いながら実**装していきます。

理論と実装が分かりやすく学べるので非常におすすめなんです！

なかなかStanが学べる教材はないので貴重です。

Pythonの勉強は以下の記事を参考にしてみてください！

<https://toukei-lab.com/python-learn>

Pythonやデータサイエンス全般について学びたい方は当メディアが運営するサービス「スタアカ」を是非チェックしてみてください！

:::box
**[業界最安級AIデータサイエンス特化スクール：スタアカ（スタビジアカデミー）](https://toukei-lab.com/achademy/)**
:::

網羅的に学べます！

## 統計モデリング　まとめ

本記事では、統計モデリングについてみてきました。

最後にまとめておきましょう！

:::memo
**■統計モデリングの種類**\
・線形モデル\
・一般線形モデル\
・一般化線形モデル\
・一般化線形混合モデル\
・階層ベイズモデル

**■統計モデルは解析したいデータの特徴にあわせて選ぶ必要がある**\
・目的変数は連続変量か離散変量か？\
・正の値のみか負の値も取るか？\
・上限や下限はあるか？\
・データにグループによる変動（変量効果）は存在するか？\
・変量効果はいくつあるのか？

**■モデルと推定方法の関係**\
線形モデル・一般線形モデル：最小二乗推定\
一般化線形モデル・一般化線形混合モデル：最尤推定\
階層ベイズモデル：ベイズ推定

**■推定を実現する数値計算方法**\
最尤推定：ニュートン法・準ニュートン法\
ベイズ推定：MCMC
:::

以下の本を読めば線形モデルから階層ベイズまでの流れをスムーズに理解することができます。

::product[データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学)]{url="https://www.amazon.co.jp/dp/400006973X?tag=statistic08-22&linkCode=ogi&th=1&psc=1" image="https://m.media-amazon.com/images/I/41RtTklVDtL._SL160_.jpg" amazon="https://www.amazon.co.jp/dp/400006973X?tag=statistic08-22&linkCode=ogi&th=1&psc=1" rakuten="https://af.moshimo.com/af/c/click?a_id=858168&p_id=54&pc_id=54&pl_id=616&url=https%3A%2F%2Fsearch.rakuten.co.jp%2Fsearch%2Fmall%2F%25E3%2583%2587%25E3%2583%25BC%25E3%2582%25BF%25E8%25A7%25A3%25E6%259E%2590%25E3%2581%25AE%25E3%2581%259F%25E3%2582%2581%25E3%2581%25AE%25E3%2583%25A2%25E3%2583%2587%25E3%2583%25AA%25E3%2583%25B3%25E3%2582%25B0%25E5%2585%25A5%25E9%2596%2580%2F%3Ff%3D1%26grp%3Dproduct"}

この本は圧倒的にオススメなので是非読んでみてください！

ここから統計学の勉強・機械学習の勉強に進みたいなら以下の記事をチェックしてみてください！

<https://toukei-lab.com/statistics-freshman>

<https://toukei-lab.com/machine-learning-study>