PyTorch梯度爆炸、loss反向传播为nan

在最近的项目中用到了自定义loss函数，代码一切都准备就绪后，在训练时遇到了梯度爆炸的问题，每次训练几个iterations后，梯度和loss都会变为nan。通常状况下，梯度中间部分值存在0状况，梯度就会产生nan，致使该层向前的层梯度和权重都为Nanweb 参考文献：svg https://zhuanlan.zhihu.com/p/79046709

>>阅读原文<<