# RNN(リカレントニューラルネットワーク)の概要とPython実装方法をわかりやすく解説！

> 当サイト【スタビジ】の本記事では、ディープラーニングを時系列にも対応させたRNN（リカレントニューラルネットワーク）について解説していきます。RNNの仕組みや応用場面と一緒にPythonでの実装をしていきます。これからの応用が期待される領域なんですよー！

- URL: https://toukei-lab.com/rnn
- 公開: 2022.11.29 / 更新: 2024.11.06
- サイト: スタビジ（https://toukei-lab.com）

:::talk{who="umatan"}
当サイト【スタビジ】の本記事では、ディープラーニングを時系列にも対応させたRNN（リカレントニューラルネットワーク）について解説していきます。RNNの仕組みや応用場面と一緒にPythonでの実装をしていきます。これからの応用が期待される領域なんですよー！
:::

こんにちは！データサイエンティストのウマたん([@statistics1012](https://twitter.com/statistics1012?lang=ja))です！

自然なコミュニケーションができるようになることは、真の人工知能を実現するために非常に重要。

[ディープラーニング](/deep-learning)の日進月歩の進化により、<mark>数年前と比較して飛躍的に言語処理能力が上がっています。</mark>

:::talk{who="robotan"}
一昔前まで使い物にならなかったGoogle翻訳もだいぶ精度よくなってきてるもんなー！
:::

:::talk{who="umatan"}
その裏にはディープラーニング領域の発展が隠されているんだよー！
:::

そんな自然言語処理の世界で現在使われている最先端技術の基となっているのが**RNN（Recurrent neural network）**。

この記事では、そんなRNNについて徹底的に見ていきます！

ディープラーニング系、その他のAI用語を一挙にまとめた以下の記事も合わせて要チェックです！

<https://toukei-lab.com/ai-term>

## RNNとは

まずはRNNについて簡単に見ていきましょう！

以下のYoutube動画でも詳しく解説していますよ！

::youtube{#TCEpAR05D60}

RNNとはディープラーニングの一種で、**R**ecurrent **n**eural **n**etworkの頭文字を取った手法です。

日本語では回帰的ニューラルネットワークとか再帰的ニューラルネットワークとも呼ばれます。

まずは、RNNの概要、そして仕組みについて見ていきましょう！

### RNNの概要

通常のディープラーニングでは、時系列要素のあるデータを上手く扱えないという欠点があります。

時系列要素はなくシンプルにいくつかの同列要素のインプットに対して重みパラメータを変化させて出力を調整します。

よくある図ですが、イメージはこんな感じ。

![3層構造のニューラルネットワーク](/wp-content/uploads/2019/06/NN.jpg)

通常のディープラーニングの説明は割愛しますので、知りたい方は以下の記事を見てみてください！

<https://toukei-lab.com/deep-learning>

そんなディープラーニングの構造に対して、時系列要素を加えて順番を考慮しようよというのが**RNN**の考え方。

時系列処理はテキストの文脈を読み取る上で非常に重要です。

例えば英語で、he said “I’m () ” という文章があった時、（）の中身を当てるのは相当難しい。

:::talk{who="robotan"}
I’m the king of the world!!じゃない？？
:::

:::talk{who="umatan"}
おっとぉ！それはタイタニックの有名なシーン、ディカプリオが叫ぶセンテンスだね！
:::

ロボたんの戯言は置いておいて、正直可能性は無限大にあって分かりません。

しかし、その後ろにこんな文脈があったらどうでしょう？

**Tom came home, and he said “I’m () “.**

（）の中にどのような文章が入るかほとんどの人が分かると思います。

おそらくTom came home, and he said “I’m **home** “でしょう。

このように<mark>テキストの文脈からワードを推論する</mark>のは周りの文脈が非常に重要なんです。

それを実現できるのがRNNだと考えてください。

詳しく知りたい場合、「RNN」の論文を読んでみるとよいでしょう！

> Time underlies many interesting human behavior. Thus, the question of how to represent time in connectoinist models is very important. In this approach, hidden unit patterns are fed back to themselves; the internal representations which deveolp thus reflect task demands in the context of prior internal states.
>
> 引用：[Google-“Finding Structure in Time”](https://onlinelibrary.wiley.com/doi/pdf/10.1207/s15516709cog1402_1)

### RNNの仕組み

RNNの概念が分かったところでRNNの仕組みについて見ていきましょう！

文脈を読み取るモデルが作りたい！しかし通常のディープラーニングでは難しそうです。

:::talk{who="robotan"}
通常のディープラーニングではなぜ難しいの？
:::

:::talk{who="umatan"}
実は、現状のモデルでもある程度推論はできるんだけど時系列要素を持たせることができないんだ。
:::

例えば、ディープラーニングによってワードの分散表現を獲得する手法である[word2vec](/word2vec)と呼ばれる手法があります。

RNNよりもだいぶ後に提案された手法で**分散表現（ベクトル化）**&#x306B;特化しています。

簡単にどんな手法か見ていきましょう！

word2vecでは**前後関係からのみ**ワードを推論します。

つまりTom () home, and he said “I’m home”とあった場合、Tomとhomeの間に入るワードがcameであるという教師データを与えて学習するというもの。

大量のセンテンスを学習させることでモデルの精度を上げていきます。

この時、ワードをベクトル変換するためword2vecと呼ばれています。

こんなイメージです↓↓

![word2vec](/wp-content/uploads/2020/01/word2vec.jpg)

1つのワードから前後を予測するタイプもあり、それぞれCBOWモデルとskip-gramと呼ばれます。

さてさて、しかしこのword2vecでは単語をベクトル化することに特化しているため文意全体を読み解くのは非常に難しいです。

そこで登場するのがRNNの考え方。

今までのディープラーニングでは、それぞれのインプットがそれぞれの中間層に与えられていましたが、RNNで&#x306F;**<mark>同一の中間層を用いて再帰的にインプット</mark>**&#x304C;行われます。

再帰的という部分がReccurentと言われるゆえんです。

こんなイメージ

![rnnの概念](/wp-content/uploads/2020/01/rnn.jpg)

同じレイヤーh1を用いているのがミソです。

これにより前のワードの情報をレイヤに記憶させ後続へとつなぐことができます。

## RNNの改善手法と応用場面

![メモ](/wp-content/uploads/2019/03/a94310ed4de4a08528a026f0badfdb2f_s-e1556972696222.jpg)

RNNは同じレイヤに情報を再帰させることで時系列要素をレイヤに記憶させることに成功していました。

しかしRNNも万能ではありません。

ここでは、RNNの欠点と改善手法・応用ケースについて見ていきましょう！

### RNNの欠点と改善手法

![](/wp-content/uploads/2019/07/1429918-min-e1563893922712.jpg)

そんなRNNですが、実はいくつかの欠点があるんです。

それは時系列要素を繋いでいくことで勾配が爆発もしくは消失してしまうこと。

ディープラーニングでは<mark>重みパラメータを勾配法で計算するため勾配の値が非常に重要です。</mark>

通常のディープラーニングでも初期値を正しく与えないと<mark>勾配消失や勾配爆発が起きますが、RNNでも起きやすい。</mark>

そこを改善しなくてはいけません。

:::talk{who="robotan"}
勾配消失？？勾配爆発？？
:::

:::talk{who="umatan"}
細かい説明は省くけど、それによって学習が上手くできなくなってしまうんだ！
:::

勾配爆発に関しては、**勾配クリッピング**という方法が一般的です。

勾配クリッピングでは、勾配がある閾値を超えた場合勾配をルールに従って修正する方法。

そして勾配消失に関しては、**LSTM**と呼ばれる手法が一般的に用いられます。

LSTMはLong short term memoryの略で、長い記憶も短い記憶も継続させます。

シンプルに言うとLSTMでは通常の勾配とは別に記憶用の記憶セルを作り伝播させていきます。

以下の記事で詳しく解説しています！

<https://toukei-lab.com/lstm>

<https://toukei-lab.com/demand-forecast>

また、詳しくは以下の書籍を参考にしてみてください。

::product[ゼロから作るDeep Learning ❷ ―自然言語処理編]{url="https://www.amazon.co.jp/dp/4873118360?tag=statistic08-22&linkCode=ogi&th=1&psc=1" image="https://m.media-amazon.com/images/I/512wqsxOrsL._SL160_.jpg" amazon="https://www.amazon.co.jp/dp/4873118360?tag=statistic08-22&linkCode=ogi&th=1&psc=1" rakuten="https://af.moshimo.com/af/c/click?a_id=858168&p_id=54&pc_id=54&pl_id=616&url=https%3A%2F%2Fsearch.rakuten.co.jp%2Fsearch%2Fmall%2F0%25E3%2581%258B%25E3%2582%2589%25E4%25BD%259C%25E3%2582%258B%25E3%2583%2587%25E3%2582%25A3%25E3%2583%25BC%25E3%2583%2597%25E3%2583%25A9%25E3%2583%25BC%25E3%2583%258B%25E3%2583%25B3%25E3%2582%25B0%2F%3Ff%3D1%26grp%3Dproduct"}

ここでおさえておきたいのは、<mark>RNNを改善した最新の手法はあるが基本的な考え方は同じということ。</mark>

そして便利なことにPythonを使えば、最新の手法でもフレームワークで実装できるということ。

### RNNの応用場面

さて、そんなRNNは現実世界のどのような場面に応用されているのでしょうか？

どのようなことができるのでしょうか？

#### Google翻訳

RNNの考え方の延長線上に時系列データを別の時系列データに変換する「[seq2seq](/seq2seq)」があります。

それにより、Google翻訳のような日本語の文意を読み取り英語に変換するというアプリケーションが開発されています。

#### 自動応答

流行りのチャットボットや音声AIなども同じくseq2seqをベースにしています。

ある質問に対して自然な回答をすることは完璧なAIを作り出す上で日々研究されている分野です。

#### 画像→テキスト変換

現在の技術では、非常に高い精度で画像データをテキストデータに変換することができます。

![neural image caption](/wp-content/uploads/2020/01/neural-image-caption-min.jpg)（引用元：Google-“[Show and Tell: A Neural Image Caption Generator](https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Vinyals_Show_and_Tell_2015_CVPR_paper.pdf)“）

これを見るとかなりの高精度で画像データを読み取りテキスト変換することが出来ていることが分かります。

:::talk{who="robotan"}
わー！ほんとだ！こんなに高精度なのか！ディープラーニングってすごいなー！
:::

:::talk{who="umatan"}
ディープラーニングのポテンシャルは無限大なんだ！
:::

## RNNを実際にPythonで実装してみよう

![PC](/wp-content/uploads/2018/08/PAK85_MBAdesagyou20140312_TP_V-e1557018085482.jpg)

さて、RNNの概況について理解できたところで実際にPythonを使って実装していきましょう！！

使うデータセットはKaggleのホームページが落とせる航空会社の乗客数データ！

:::box{title="参考サイト"}
[Kaggle-“Air Passenger”](https://www.kaggle.com/rakannimer/air-passengers)
:::

1949年から1960年までの月別乗客数がデータとして入っています。

149行2列のシンプルなデータセット。

モデル構築は以下のサイトを参考にしています。

:::box{title="参考サイト"}
[Deepage-“RNNで来月の航空会社の乗客数を予測する：TFLearnでLSTMからGRUまで実装しよう”](https://deepage.net/deep_learning/2016/09/17/tflearn_rnn.html)
:::

1変数の時系列データを基に過去のデータから未来の値を予測します。

この時、tflearnというライブラリを使ってRNN（正確にはLSTM）を実装していきます。tflearnは[keras](/keras)と似たようなライブラリでディープラーニングの実装が感覚的に容易にできます。

実際にモデルを構築していきましょう！

```python title="rnn_airplane.py"
import tensorflow
import tflearn
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split

tensorflow.reset_default_graph() #モデルを初期化

df = pd.read_csv('AirPassengers.csv',usecols=[1])
dataset = df.values
dataset = df.astype('float32')
dataset = (dataset - np.min(dataset))/(np.max(dataset)-np.min(dataset))


dataset = np.array(dataset)


def create_dataset(dataset, steps_of_history, steps_in_future):
    X, Y = [], []
    for i in range(0, len(dataset)-steps_of_history, steps_in_future):
        X.append(dataset[i:i+steps_of_history])
        Y.append(dataset[i + steps_of_history])
    X = np.reshape(np.array(X), [-1, steps_of_history, 1])
    Y = np.reshape(np.array(Y), [-1, 1])
    return X, Y

def split_data(x, y, test_size=0.1):
    pos = round(len(x) * (1 - test_size))
    trainX, trainY = x[:pos], y[:pos]
    testX, testY   = x[pos:], y[pos:]
    return trainX, trainY, testX, testY

steps_of_history = 1
steps_in_future = 1

X, Y = create_dataset(dataset, steps_of_history, steps_in_future)
trainX, trainY, testX, testY = split_data(X, Y, test_size = 0.33)

net = tflearn.input_data(shape=[None, steps_of_history, 1])
net = tflearn.lstm(net, n_units=6)
net = tflearn.fully_connected(net, 1, activation='linear')
net = tflearn.regression(net, optimizer='adam', learning_rate=0.001,
        loss='mean_square')

model = tflearn.DNN(net, tensorboard_verbose=0)

model.fit(trainX, trainY, validation_set=0.1, batch_size=1, n_epoch=150)

test_predict = model.predict(testX)

rmse = np.sqrt(np.mean((test_predict-testY)**2))
print(rmse)
```

最終的な評価は[RMSE](/rmse_mae_mse)（Root Mean Square Error）で算出しています。

細かい実装ポイントについて見ていきましょう！

```python
def create_dataset(dataset, steps_of_history, steps_in_future):
    X, Y = [], []
    for i in range(0, len(dataset)-steps_of_history, steps_in_future):
        X.append(dataset[i:i+steps_of_history])
        Y.append(dataset[i + steps_of_history])
    X = np.reshape(np.array(X), [-1, steps_of_history, 1])
    Y = np.reshape(np.array(Y), [-1, 1])
    return X, Y

def split_data(x, y, test_size=0.1):
    pos = round(len(x) * (1 - test_size))
    trainX, trainY = x[:pos], y[:pos]
    testX, testY   = x[pos:], y[pos:]
    return trainX, trainY, testX, testY
```

ここでは、データセットを時系列モデルに適した形に変形する関数と、学習データ予測データに分ける関数を作っています。

```python
net = tflearn.input_data(shape=[None, steps_of_history, 1])
net = tflearn.lstm(net, n_units=6)
net = tflearn.fully_connected(net, 1, activation='linear')
net = tflearn.regression(net, optimizer='adam', learning_rate=0.001,
        loss='mean_square')

model = tflearn.DNN(net, tensorboard_verbose=0)

model.fit(trainX, trainY, validation_set=0.1, batch_size=1, n_epoch=150)
```

ここが実際にRNN（LSTM）モデルを構築している部分。

ちなみに初回モデル構築は問題ないですが、再度パラメータを変えて処理を回そうとすると[Jupyter notebook](/python-how)ではエラーをはいてしまうので、7行目に初期化するような記述を入れています。

```python
tensorflow.reset_default_graph() #モデルを初期化
```

これだけでRNNが実装できちゃうんです！簡単！

この時、RMSEは0.10079201となりました。それなりに良い予測ができてる！

ちなみに層を増やしてみると・・・

```python
net = tflearn.input_data(shape=[None, steps_of_history, 1])
net = tflearn.lstm(net, n_units=6, activation='relu',return_seq=True )
net = tflearn.lstm(net, n_units=6, activation='relu')
net = tflearn.fully_connected(net, 1, activation='linear')
net = tflearn.regression(net, optimizer='adam', learning_rate=0.001,
        loss='mean_square')
```

RMSEは0.16051404に悪化してしまいました・・・

簡易的なデータセットに複雑なモデルで当ててもあまり意味がなさそう。

ちなみに過学習を防ぐためにDropoutなどのパラメータで調節することも可能です！

:::talk{who="robotan"}
こんなに簡単なの！？すごい！
:::

:::talk{who="umatan"}
ディープラーニングもだいぶ身近になったよねー！
:::

## RNNについて勉強する方法

![Check](/wp-content/uploads/2019/09/b8bc8c6db6cbd74d3cfddb22f7d9a699_s.jpg)

さて、ここまでRNNについて徹底的に見てきました。

:::talk{who="robotan"}
RNNの可能性は非常に感じるけど、どのように勉強していったらいいのー？
:::

:::talk{who="umatan"}
良質な情報自体は書籍から学べるよ！だけど本腰入れて勉強するならプログラミングスクールも視野に入れておいた方がよいかも！
:::

正直、<mark>書籍ベースで非常に深い部分まで突っ込んで学ぶことが可能</mark>です。

先ほども紹介しましたが、RNNまわりを勉強するなら以下の書籍が圧倒的にオススメです！

::product[ゼロから作るDeep Learning ❷ ―自然言語処理編]{url="https://www.amazon.co.jp/dp/4873118360?tag=statistic08-22&linkCode=ogi&th=1&psc=1" image="https://m.media-amazon.com/images/I/512wqsxOrsL._SL160_.jpg" amazon="https://www.amazon.co.jp/dp/4873118360?tag=statistic08-22&linkCode=ogi&th=1&psc=1" rakuten="https://af.moshimo.com/af/c/click?a_id=858168&p_id=54&pc_id=54&pl_id=616&url=https%3A%2F%2Fsearch.rakuten.co.jp%2Fsearch%2Fmall%2F0%25E3%2581%258B%25E3%2582%2589%25E4%25BD%259C%25E3%2582%258B%25E3%2583%2587%25E3%2582%25A3%25E3%2583%25BC%25E3%2583%2597%25E3%2583%25A9%25E3%2583%25BC%25E3%2583%258B%25E3%2583%25B3%25E3%2582%25B0%2F%3Ff%3D1%26grp%3Dproduct"}

有名どころですが、もしディープラーニングの基本から勉強したいのであれば以下の書籍を読むとよいでしょう！

こちらは[画像認識](/python-image)の話がメインです。

::product[ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装]{url="https://www.amazon.co.jp/dp/4873117585?tag=statistic08-22&linkCode=ogi&th=1&psc=1" image="https://m.media-amazon.com/images/I/513J77QZHgL._SL160_.jpg" amazon="https://www.amazon.co.jp/dp/4873117585?tag=statistic08-22&linkCode=ogi&th=1&psc=1" rakuten="https://af.moshimo.com/af/c/click?a_id=858168&p_id=54&pc_id=54&pl_id=616&url=https%3A%2F%2Fsearch.rakuten.co.jp%2Fsearch%2Fmall%2F%25E3%2582%25BC%25E3%2583%25AD%25E3%2581%258B%25E3%2582%2589%25E4%25BD%259C%25E3%2582%258BDeep%2BLeaning%2F%3Ff%3D1%26grp%3Dproduct"}

ただ、書籍だけでメンターサポートがないとなかなか進めるのが難しいと思うのでその場合はプログラミングスクールを活用するとよいでしょう！

僕の場合は[**テックアカデミー**](https://techacademy.jp/)で書籍も使いながらメンターサポートいただいて学習を進めました！

テックアカデミー本体のカリキュラムは微妙なので期待しない方がいいですが、<mark>メンターサポートは充実しているので自分でメンターの人に要望を出しながらガツガツ進められる人にはオススメ！</mark>

::button[AIコースを見てみる]{href="https://techacademy.jp/course/ai"}

::button[公式サイトを見てみる]{href="https://techacademy.jp/"}

以下で僕の体験談を記事にしています。

<https://toukei-lab.com/techacademy-review>

他のプログラミングスクールもあわせてオススメを以下の記事で紹介しています！

<https://toukei-lab.com/datascientist-school>

## RNN　まとめ

RNNはこれからも進化を続ける分野であり、<mark>まさに音声AIの領域は世界のIT企業GAFAが凌ぎを削っている部分。</mark>

人間と同等レベルの思考・会話が出来る日も遠くはないでしょう。

それが実現した未来はどんな世界になるのでしょうか。

:::talk{who="robotan"}
AIの実現はそう遠くないと言われているけど本当にあるのかなー？？
:::

:::talk{who="umatan"}
そこは色んな専門家が議論を重ねている領域だから難しいよね・・
:::

当サイトでもシンギュラリティ（**AIが人間を超えるタイミング**）について言及している記事がありますのでよければ目を通してみてください！

<https://toukei-lab.com/singularity>

ディープラーニングを使って、世界を変えていきましょう！

ディープラーニング、機械学習、データサイエンス、Pythonの勉強法については以下の記事でまとめていますのであわせてチェックしてみてください！

<https://toukei-lab.com/deep-learning-study>

<https://toukei-lab.com/machine-learning-study>

<https://toukei-lab.com/data-scientist>

<https://toukei-lab.com/python-learn>