こんにちは！
前に、線形回帰・Lasso・Ridgeを実装してみよう！のページの最後にシミュレーションを繰り返すことが大事と言いました。
どの手法が良いか・どのモデルが良いかを比較する為にはシミュレーションを繰り返して、指標の平均やばらつきをみて判断することが大切です。たった一回の結果では本当に差があるのか偶然なのか信頼性に欠けるからです。
今回は線形回帰モデルの人工データを用いて線形回帰・Lasso・Ridgeの精度比較を行います。
実験の設定と手順
・比較手法：通常の線形回帰・Lasso回帰・Ridge回帰
・評価指標：MSPE(平均二乗予測誤差)
・シミュレーション回数：100回
実験の流れは簡単にこんな感じです。
- 人工データを生成
- データを解析
- 指標を算出して結果を格納
- 1~3を100回繰り返す
- 結果の平均とばらつきで比較
人工データ生成
今回のデータの生成モデルを次に示します。
\begin{eqnarray*}
y_i&=&1+{\bf x}_i^T{\bf \beta}+\epsilon_i\\
{\bf \beta}&=&(1,-1,0,\cdots,0)^T\in {\bf R}^p\\
{\bf x_i}&\sim& N({\bf \mu},{\bf \Sigma})\\
{\bf \mu}&=&{\bf 0}_p\\
{\bf \Sigma}&=&{\bf I}_p\\
\epsilon_i&\sim& N(0,1^2)\\
i&=&1,2,\cdots,n\\
\end{eqnarray*}
説明変数は\(p\)次元であり、平均0・独立で発生させています。
また、\(\beta\)はp次元ベクトルであり、変数1と変数2のみが目的変数へ寄与があります。
つまり、かなりスパースな設定になっています。
今回は、\(p\)を5,10,50と変化させて実験してみます。
シミュレーション実験
シミュレーション実験をしてみましょう。
サンプルサイズ\(n\)は1100とします。
100個のデータを学習データ、残りの1000個のデータをテストデータとして実験します。
今回用いるコード（\(p=50\)の場合）を載せておきます。
実行する前に入っていないパッケージはインストールしておいてください。
ばらつきも含めて見たいので結果を箱ひげ図で表します。
通常の線形回帰はglmと表記してあります。
・\(p=5\)の結果
説明変数の数も多くないのであまり手法の差は見えません。
・\(p=10\)の結果
通常の線形回帰とRidgeは同じくらいですが、Lassoが良い精度を示しています。
説明変数が多くなってスパース性が上がったことが原因でしょう。
・\(p=50\)の結果
通常の線形回帰が最も悪くなり、Lassoが最も良くなりました。
差もかなり大きいです。
通常の線形回帰が悪い理由：サンプルサイズが100なのに対して説明変数が50次元なので推定が不安定になった。
Ridgeが２番目の理由：正則化しているので推定は安定しているがスパース性を考慮していないのでLassoより劣った。
よって、説明変数が多くて回帰係数がスパースのとき、Lassoは予測精度が通常の線形回帰・Ridgeと比べて良いことがわかりました。
こんな感じで手法の精度を比べたいときは、シミュレーションを繰り返して比較しましょう！
しかし、「今回は人工データだからたくさんデータを生成できるけど実データで精度比較したいときはどうするの？」という疑問が出てくると思います。その場合には交差検証法を使って比較します。
交差検証法についてはまた別のページで！
