实现属于自己的TensorFlow(二) - 梯度计算与反向传播

前言 上一篇中介绍了计算图以及前向传播的实现，本文中将主要介绍对于模型优化非常重要的反向传播算法以及反向传播算法中梯度计算的实现。因为在计算梯度的时候需要涉及到矩阵梯度的计算，本文针对几种常用操作的梯度计算和实现进行了较为详细的介绍。如有错误欢迎指出。 首先先简单总结一下, 实现反向传播过程主要就是完成两个任务: 实现不同操作输出对输入的梯度计算 实现根据链式法则计算损失函数对不同节点的梯度计算

>>阅读原文<<