pytorch的梯度反向传播 detach backward

一、梯度的传播反向传播什么时候停止 1.为叶子节点时【反向时前面没有与之相连的节点】 常见的叶子节点【输入】 2.该节点唯一相连的节点的require_grads=False 3.该节点唯一相连的节点使用detach函数时 该方法常用于GAN网络生成器的输出使用detach时,pytorch不对生成器进行梯度计算,叶子节点为判别器的首个参数 二、 detach梯度分离的使用 https://www
相关文章
相关标签/搜索