各种AC系列算法的伪代码

TD3的技巧 技巧一：裁剪的双Q学习(Clipped Double-Q learning). 与DDPG学习一个Q函数不同的是，TD3学习两个Q函数(因此称为twin)，并且利用这两个Q函数中较小的哪个Q值来构建贝尔曼误差函数中的目标网络。 技巧二：延迟的策略更新(“Delayed” Policy Updates). TD3算法中，策略(包括目标策略网络)更新的频率要低于Q函数的更新频率。文章建议

>>阅读原文<<