Caffe 议事（一）：从零开始搭建 ResNet 之 残差网络结构介绍和数据准备

声明：Caffe 系列文章是咱们实验室 黄佳斌 大神所写的内部学习文档，已经得到他的受权容许。

本参考资料是在 Ubuntu14.04 版本下进行，而且默认 Caffe 所需的环境已经配置好，下面教你们如何搭建 KaiMing He 的 Residual Network（残差网络）。

Cite: He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.. Cited by 1330.

1.ResNet结构介绍：

　　ResNet 的结构以下：

 Fig 1 34-layer ResNet

　　上图显示了网络主体框架，能够看到一个残差模块（Fig 2）是由两层卷积再加一个恒等映射组成的。相同颜色块之间的 feature map 的大小是同样的，所以残差模块的输入输出的维度大小也是同样，能够直接进行相加（如 Fig 1中的实曲线）网络延伸到不一样颜色块时都要通过2倍下采样或者是 stride=2 的卷积，那么这时 feature map 的大小都会减半，可是卷积核的数量会增长一倍，这样是为了保持时间的复杂度，那么残差模块的输入和输出大小不同的时应该要怎么办？这里采用论文中的 B 方法：用 1X1 的卷积核来映射到跟输出同样的维度（如 Fig 1中的虚曲线）。ResNet 的大致结构是仍是参照 VGG 网络。

Fig 2 残差模块

　　本参考资料是搭建论文中 CIFAR10 实验的 ResNet，总共 20 层。结构以下：

Layer_name	Output_size	20-layer ResNet
Conv1	32 X 32	Kernel_size=3 X 3 Num_output = 16 Stride = 1 Pad = 1
Conv2_x	32 X 32	{3X3,16; 3X3,16} X 3
Conv3_x	16 X 16	{3X3,16; 3X3,16} X 3
Conv4_x	8 X 8	{3X3,16; 3X3,16} X 3
InnerProduct	1 X 1	Average pooling 10-d fc

　　每一个 Convx_x 中都含有 3 个残差模块，每一个模块的卷积核都是 3X3 大小的，pad 为 1，stride 为 1。Con4_x 的输出经过 global_average_pooling 映射到 64 个 1X1 大小的 feature map，最后再经过含有 10 个神经元的全链接层输出分类结果。

 

2.数据准备

　　CIFAR10 数据库介绍：

　　CIFAR10 数据库中的图片大小为 3 X 32 X 32（通道数 X 图像高度 X 图像宽度），训练数据为 50000 张，测试数据为 10000 张。此外还有 CIFAR100，那是分 100 类的图像数据库。

 Fig 3 CIFAR10 数据库

　　咱们先在 /home/your_name/ 下创建一个文件夹叫 ResNet，再把 caffe-master 放进去解压，而后按照以下步骤

 Fig 4 把 caffe-maste r放入 ResNet 而后解压

 

　　步骤1：

　　在 caffe-master (caffe 的根目录)中找到 Makefile.config.example，复制一份为 Makefile.config。

 Fig 5 复制一份Makefile.config

　　在这个复制好的 Makefile.config 文件中设置好一些参数。因为每一个电脑环境不同，在这里贴出本实验方案的设置参数，仅供参考：（仅仅是把 “#” 注释给去掉）

　　# USE_CUDNN := 1　　　　　　　　　　变为　　USE_CUDNN := 1 

　　# WITH_PYTHON_LAYER := 1 　　　　 变为　　WITH_PYTHON_LAYER := 1

 

　　步骤2：

　　在 caffe-master (caffe 的根目录)中打开终端，先输入 make clean（清除以前编译的文件，虽然还没编译过），而后再输入 make all（从新编译 caffe），这个过程会很漫长，若是想要加快速度，输入 make all -j8（j 后面的数字表明加速的倍数，能够是 2,4,8,16 等），最后再输入 make pycaffe（以后本参考资料会用 python 搭建残差网络，所以要生成供 python 调用的接口文件）。

 

 Fig 6 make clean & make all & make pycaffe

 

　　步骤3：

　　在 caffe 的示例程序中有 CIFAR10 的 demo，里面有获取 CIFAR10 数据程序。在 caffe-master (caffe 的根目录)中打开终端，输入：

　　$./data/cifar10/get_cifar10.sh

 　　为何要在 caffe 的根目录里面输入这个，由于只有在根目录才有 data 文件，才能按照路径找到文件，打了指令后会出现下载界面，以下：

Fig 7 下载CIFAR10界面

　　下载完成后，会在 $(caffe 根目录)/data/cifar10/ 中生成许多数据 batch，不过这些都是二进制文件，咱们须要转换为 LMDB 格式。

 

Fig 8 下载后的二进制数据batch

 

　　步骤4：

　　一样在 caffe-master (caffe 的根目录)中打开终端，输入：　　

　　$./examples/cifar10/create_cifar10.sh

　　这样就把上面的二进制文件转换成 LMDB 数据，同时生成了训练数据 (cifar10_train_lmdb) 的均值文件 mean.binaryproto。均值文件的计算方式是计算每一个样本不一样维度上的均值，拿 CIFAR10 作例子，训练数据有 5000 X 3 X 32 X 32 (样本个数 X 图像通道数 X 图像高度 X 图像宽度)，那么均值文件的维度是 3 X 32 X 32。

Fig 9 生成的测试数据，训练数据，还有均值文件

　　这样咱们就已经生成数据了，接下来咱们就要用 python 来搭建网络。