为什么基于策略估计的方法性能优于基于行为值函数估计的方法？例如DPG优于DQN?

原因有两个： 1.如果最终策略是确定性策略，则基于策略估计的方法采用的softmax可以逼近找到最优解，即会出现pi（a|s）=1或0的情况；而基于行为值函数的估计的方法由于需指定ewuxilong-greedy策略中的ewuxilong参数，不能取得确定性策略，因为ewuxilong完全等于0意味着没有探索，其性能不会太好。 2.如果最优策略是随机策略，则基于策略估计的方法采用的softmax可

>>阅读原文<<