《强化学习导论》中关于带控制变量的每次决策型方法的理解

从书中前面的介绍中可以看到，G通过加入一个控制变量，来达到降低方法的效果。虽然后面不知道怎么在推导正式公式的时后没有看到1-ρ的身影。。。（这里如果有知道的小伙伴，请留下您的意见）。 对于后面的这个公式来说，我的理解是： 第一：Gt+1:h也是个递归，还没展开。 第二：这个最终结果就类似树回溯算法，只不过这里用的是ρ。 这个地方稍微画以下就可以看出。 不知理解是否到位，还请不吝指教！

>>阅读原文<<