caffe：debug之反向传播（以Lenet为例，接上篇前向传播）

时间 2021-07-10

本文接第一次处理TestAll，在退出TestAll后，即开始正式迭代训练网络。

step中继续执行其他过程然后进入ForwardBackward（）函数

上述函数定义在net.hpp中

其中Forward函数即在testAll中提到的net.cpp的Forward函数

Forward详细说明以及步骤都在TestAll中讲解完毕。

其一次结果为：

接下来开始执行Backword函数执行后向传播

Backword（net.cpp）

---------->BackwordFromTo(net.cpp)

在BackwordFromTo中执行Backward函数开始后向传播

---------->Backward(layer.hpp)

---------->Backward_cpu(softmax_loss_layer.cpp)

其中对于

求导公式解释如下

softmaxLoss的梯度计算结果最后可以化简为qi - pi （qi是softmax对zi的偏导，pi是label的值取 0 或 1）

详见Deep Learning P221 6.5.9 Differentiation outside the Deep Learning Community

For example, suppose we have variables p1,p2,...,pn representing probabilities and variables z1 , z2 , . . . , zn representing unnormalized log probabilities. Suppose

...

construct a cross-entropy loss J = − sum( pi log qi). A human

mathematician can observe that the derivative of J with respect to zi takes a very

simple form: qi − pi .

知道这个trick之后红框的表达式就不难理解了

bottom_diff[i * dim + label_value * inner_num + j] -= 1 前面还有一句 caffe_copy(prob_.count(), prob_data, bottom_diff);

首先向bottom_diff拷入prob_data, 也就是softmax输出的qi

dim : 表示一个num/batch里一个样本的大小，为 channel * Height * Width

inner_num：表示一个特征图/channel/一个label的大小，为Height * Width，这里就是1*1了

label_val = label[i * inner_num_ + j] 就是 p[label_val] = 1 (只有一个) p[others_label_val] = 0

i * dim + label_value * inner_num + j 就是一个样本里，对应label_val的那个channel的index

对这个index执行 q[index] -= p[label_val]

对这个样本里的其它channel的index默认执行q[index] -= p[other_label_val]

言归正传，执行完此函数后回到net.cpp的BackwardFromTo函数，然后继续

继续后向传播，计算前一层。进入Backward函数中

---------->Backward_cpu(inner_product_layer.cpp)

此函数进行一系列计算，计算内积，即相乘，使用BLAS，最终求出梯度