【强化学习】强化学习分类

https://github.com/tigerneil/deep-reinforcement-learning-family
https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/1-1-B-RL-methods/
-------主要引用morvan老师的教学视频

【强化学习】强化学习分类

在学习强化学习的过程当中咱们常常会遇到一些陌生的名词分类，什么model-free，offpolicy之类的，学习的时候不明觉厉可能就一眼带过了，可是其实这些分类的名词其实十分有趣，掌握他们十分有助于咱们加深对相关强化学习算法的了解。

一、Model-free 和 Model-based

举个栗子：咱们刚刚学习强化学习的时候都学习过gridworld这个机器人走迷宫的例子吧，就是有一个迷宫机器人从起点出发经过强化学习的方式选择出到达终点的最优路径。

model-based方式就是咱们给机器人地图全开，事先了解好整个游戏环境根据过往的经验选取最优策略，也就是说model-based他能经过想象来预判断接下来将要发生的全部状况. 而后选择这些想象状况中最好的那种. 并依据这种状况来采起下一步的策略

model-free方法就是不依赖模型，这种状况下就是直接将咱们的机器人丢到迷宫里面瞎溜达，而后机器人会根据现实环境的反馈采起下一步的动做。这种方法不对环境进行建模也能找到最优的策略。Model-free 的方法有不少, 像 Q learning, Sarsa, Policy Gradients 都是从环境中获得反馈而后从中学习。

二、Policy-based RL 和 Value-based RL

说道Policy与Value就不得不提到他们的两大表明算法，Policy-based有 Policy Grandient；Value-based有Q-Learning。根据这两种算法咱们很清晰的就能看出他们之间的区别，Policy-based算法是经过对策略抽样训练出一个几率分布，并加强回报值高的动做被选中的几率。而Value-based是经过潜在奖励计算出动做回报指望来做为选取动做的依据。
Policy基于策略的算法在连续动做空间上比起Value-based更有优点
还有一种nb的算法Actor-Critic他结合了这两类方法的优点之处, actor 会基于策略的几率分布作出动做，而 critic 会对作出的动做给出动做的价值, 这样就在原有的 policy gradients 上加速了学习过程。

三、回合更新 和 单步更新

回合更新和单步更新, 假设强化学习就是在玩游戏, 游戏回合有开始和结束. 回合更新指的是游戏开始后，咱们要等到打完这一局咱们才对这局游戏的经历进行总结学习新的策略。 而单步更新则是在游戏进行中每一步都在更新，这样就能够一边游戏一边学习不用等到回合结束。
再来讲说方法, Monte-carlo learning 和基础版的 policy gradients 等 都是回合更新制, Qlearning, Sarsa, 升级版的 policy gradients 等都是单步更新制. 由于单步更新更有效率, 因此如今大多方法都是基于单步更新。 好比有的强化学习问题并不属于回合问题。

四、在线学习 和 离线学习

On-Policy在线学习智能体自己必须与环境进行互动而后一边选取动做一边学习。
Off-Policy是指智能体能够亲自与环境进行交互进行学习，也能够经过别人的经验进行学习，也就是说经验是共享的，可使本身的过往经验也能够是其余人的学习经验。

最典型的在线学习就是 Sarsa 了, 还有一种优化 Sarsa 的算法, 叫作 Sarsa lambda, 最典型的离线学习就是 Q learning, 后来人也根据离线学习的属性, 开发了更强大的算法, 好比让计算机学会玩电动的 Deep-Q-Network