DQN(Deep Reiforcement Learning) 发展历程（三）

目录

• 不基于模型(Model-free)的预测
  • 蒙特卡罗方法
  • 时序差分方法
  • 多步的时序差分方法
• 参考

DQN发展历程(一)

DQN发展历程(二)

DQN发展历程(三)

DQN发展历程(四)

DQN发展历程(五)

不基于模型(Model-free)的预测

• 没法事先了解状态转移的几率矩阵

蒙特卡罗方法

• 从开始状态开始，到终结状态，找到一条完整的状态序列，以求解每一个状态的值。相比于在整个的状态空间搜索，是一种采样的方法。

• 对于某一状态在同一状态序列中重复出现的，有如下两种方法：
  • 只选择第一个状态进行求解，忽略以后的全部相同状态
  • 考虑全部的状态，求平均值
• 对于求解每一个状态的值，使用平均值表明状态值，根据大数定理，状态数足够多的条件下，该平均值等于状态值。平均值求解有两种方法：
  • 存储全部状态后求平均：消耗大量存储空间
  • 每次迭代状态都更新当前平均值：

时序差分方法

• 蒙特卡罗方法须要得到从开始到终结的一条完整的状态序列，以求解每一个状态的值，时序差分方法则不须要。根据贝尔曼不等式，只须要从当前状态到下一状态求解。
• 时序差分方法每步都更新状态值，而蒙特卡罗方法须要等到全部状态结束才更新。

• 蒙特卡罗方法使用最后的目标来求解状态值，而时序差分使用下一状态的估计在每一步调整状态值。
• 蒙特卡罗方法是无偏估计方差较大，时序差分则是有篇估计但估计方差小。

多步的时序差分方法

• 时序差分方法使用当前状态值和下一状态值更新当前状态值，若是使用当前状态值和以后多步的状态值更新当前状态值，就是多步的时序差分方法。
• 当步数到最后的终结状态时，即是蒙特卡罗方法。
• 当步数到下一状态时，即是时序差分方法。
• 多步的时序差分方法，分为前向和后向的时序差分方法。

参考

david siver 课程

https://home.cnblogs.com/u/pinard/