layer这个类能够说是里面最终的一个基本类了,深度网络呢就是一层一层的layer,相互之间经过blob传输数据链接起来。首先layer必需要实现一个forward function,前递函数固然功能能够本身定义啦,在forward中呢他会从input也就是Layer的bottom,对了caffe里面网络的前一层是叫bottom的,从bottom中获取blob,而且计算输出的Blob,固然他们也会实现一个反向传播,根据他们的input的blob以及output blob的error gradient 梯度偏差计算获得该层的梯度偏差。从公式中也能够看到:
\[\delta^l=((w^{l+1})^T\delta^{l+1}) \sigma'(z^l)\]网络
首先来看layer类的构造部分,以及Public部分的函数函数
template <typename Dtype> class Layer { public: explicit Layer(const LayerParameter& param) : layer_param_(param), is_shared_(false) { // Set phase and copy blobs (if there are any). phase_ = param.phase(); if (layer_param_.blobs_size() > 0) { blobs_.resize(layer_param_.blobs_size()); for (int i = 0; i < layer_param_.blobs_size(); ++i) { blobs_[i].reset(new Blob<Dtype>()); blobs_[i]->FromProto(layer_param_.blobs(i)); } } } virtual ~Layer() {}
首先得到当前网络的Phase,是train仍是test,在初始化列表初始化LayerParameter,以后blobs_这里存放的是一个指向blob类的shared_ptr指针的一个vector,在这里是申请空间,而后将传入的layer_param中的blob拷贝过来。spa
void SetUp(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) { InitMutex(); CheckBlobCounts(bottom, top); LayerSetUp(bottom, top); Reshape(bottom, top); SetLossWeights(top); }
这里是Setup函数,首先check 这个bottom和top的blob是否正确,再调用Layersetup对每一具体的层作进一步设置,以后再作reshape来设置top blobs和internal buffer。最后再设置loss weight multiplier 的blob对每个非零的loss和weight,通常这个方法被继承以后是不会被重写的。scala
virtual void LayerSetUp(const vector<Blob<Dtype>*>& bottom,const vector<Blob<Dtype>*>& top) virtual inline bool ShareInParallel() inline bool IsShared() const inline void SetShared(bool is_shared)
LayerSetup就是对具体某一个layer的setup,被上面的那个函数所调用,ShareInParallel和IsShared和SetShared分别是用来返回并行状态和得到这一layer是否被多个nets所共享,默认是除了data layer都是关闭的。在多个GPU下的Train阶段以及share是true的状况下,is_shared将会被置成true。指针
virtual void Reshape(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) = 0;
这个reshape主要是layer用来根据输入的blob调节Internal buffer以及输出的Blob的code
接下来是几个最重要的函数,首先是Forward.这实际上是一个装饰器,继承以后在调用的调用其相应的forward_cpu或者forward_gpu,根据输入的input data blob计算相应的output data blob,同时会反应这一层layer的total loss.blog
inline Dtype Forward(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top);
这里是BackWard,实现的是反向传播,也就是给定top blob额error gradient 计算获得bottom的error gradient。其输入时 output blobs ,在Ouput blobs里面的diff存储的就是其相应的error gradients。其中propagate_down这个参数跟Bottom的长度是同样的,每个Index用来指定是否须要反向传播error gradients 到对应的bottom blob。而bottom 这里面的diff 区域存放的就是BackWard计算出来相应的gradient error.继承
inline void Backward(const vector<Blob<Dtype>*>& top, const vector<bool>& propagate_down, const vector<Blob<Dtype>*>& bottom);
若是本身你要实现一个Layer的话,那么Forward_cpu和Backward_cpu 以及gpu(可选),应该要有本身的实现。ip
杰下来几个函数比较简单,统一作说明ci
vector<shared_ptr<Blob<Dtype> > >& blobs()\\返回blobs const LayerParameter& layer_param() \\返回layer 的参数parameter virtual void ToProto(LayerParameter* param, bool write_diff = false)\\将层参数写到Protobuffer里 inline Dtype loss(const int top_index) const \\给定index返回相应的scalar loss inline void set_loss(const int top_index, const Dtype value)\\给定Index设置loss virtual inline const char* type()\\返回layer的type
一下几个函数主要得到bottom或者top blob的数量状态,比较简单,看名字便可
virtual inline int ExactNumBottomBlobs() virtual inline int MinBottomBlobs() virtual inline int MaxBottomBlobs() virtual inline int ExactNumTopBlobs() virtual inline int MinTopBlobs() virtual inline int MaxTopBlobs() virtual inline bool EqualNumBottomTopBlobs() virtual inline bool AutoTopBlobs()
AllowforceBackward用来设置是否强制梯度返回,由于有些层其实不须要梯度信息 ,后面两个函数分别查看以及设置是是否须要计算梯度。
virtual inline bool AllowForceBackward(const int bottom_index) inline bool param_propagate_down(const int param_id) inline void set_param_propagate_down(const int param_id, const bool value)
好,咱们再后下面看,几个变量和函数都是保护变量
LayerParameter layer_param_; \\保存layer的参数 parameter Phase phase_; \\标定阶段是train仍是test vector<shared_ptr<Blob<Dtype> > > blobs_; \\是Blob的一个集合,保存了learnbale参数 vector<bool> param_propagate_down_;\\标志位是否要计算param blob的梯度 vector<Dtype> loss_;\\用来代表那个top blob 有非零的权重
下面这几个函数,分别是计算cpu和gpu模式下的正向和反向传播
virtual void Forward_cpu(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) virtual void Forward_gpu(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top) virtual void Backward_cpu(const vector<Blob<Dtype>*>& top,const vector<bool>& propagate_down,const vector<Blob<Dtype>*>& bottom) = 0; virtual void Backward_gpu(const vector<Blob<Dtype>*>& top,const vector<bool>& propagate_down,const vector<Blob<Dtype>*>& bottom)
这个函数被setup调用,主要是check bottom和top 的blob是否match,这里面用了上面提到的ExactBottomBlobs()等函数
virtual void CheckBlobCounts(const vector<Blob<Dtype>*>& bottom, const vector<Blob<Dtype>*>& top)
SetLoss是很是重要的一个步骤,是被SetUp调用来初始化top bottom的weights,而且存储非零的loss weights 在diff blob里面
inline void SetLossWeights(const vector<Blob<Dtype>*>& top)
私有变量和函数以下,东西比较少,主要是对并行中的锁进行控制
bool is_shared_; //标记该layer是否被其余nets所共享 shared_ptr<boost::mutex> forward_mutex_;//若该layer被shared,则须要这个mutex序列保持forward过程的正常运行 void InitMutex();//初始化forward 的 mutex void Lock();//locak mutex void Unlock();//unlock mutex这一看就明白了
最后其实proto里面有个layer_parameter是挺重要的一个结构,存储了layer的大量信息,这个具体能够到proto文件夹下查看,这里就暂时不列出了。