強化学習 確認テスト

強化学習は「状態に応じて行動する → 報酬を得る → 報酬をもとに行動を変える」というループを回して、報酬の合計（収益）が最大になる行動を身につけます。自転車に乗れるようになるまでの試行錯誤と同じ考え方です。正解ラベルから学ぶのは教師あり学習です。

復習する：強化学習とは？

Q(s,a)は、ある状態sで行動aを取ったときの評価（報酬の見込み）です。Q学習では、Q値が大きくなる行動を選びながら、試行を通じてQ値を更新していきます。

復習する：強化学習とは？

Q値は、良い状態に移る行動の評価が高くなるように更新されます。真ん中のマスで右へ動くと100点が得られるのでそのQ値が上がり、次に、その真ん中のマスへ移るスタートのマスでの右のQ値も上がっていきます。

復習する：Q学習の基礎とQテーブルの更新方法

いつもQ値だけで行動を選ぶと、局所最適解に陥るおそれがあります。そこでEPSILONの確率でランダムに行動を選ぶようにしています。新しい情報の反映の度合いはALPHA（学習率）、将来の報酬の重視の度合いはGAMMA（割引率）、試行回数はEPISODESで決めます。

復習する：Q学習で迷路の最適ルートを見つけよう！

学習後のQテーブルでは、良い行動ほどQ値が大きくなっています。そのため各マスでQ値が最大の行動（np.argmaxで選んだ行動）をたどると、最適なルートになります。課題の10×10の迷路でも、この方法で経路を取り出しました。

復習する：Q学習で迷路の最適ルートを見つけよう！