pytorch backward

retain_graph 只有叶子节点的梯度会被保留 在pytorch里面哪些是叶子节点呢？如果输入是requires_grad=True的话,输入是叶子节点，否则只有网络的参数是叶子节点。 叶子节点的梯度是累积的，也就是说如果多次调用backward没有对叶子节点的梯度清零的话，叶子节点的梯度是不断的累加的，但是中间其他节点的 梯度是全新的，下面是例子 from __future__ impor

>>阅读原文<<